網(wǎng)上營業(yè)廳
掌上營業(yè)廳
近日，天翼云上線全球運營商首個商用昇騰大規(guī)模專家并行（大EP）推理集群，結(jié)合息壤MaaS支持提供萬億級Tokens日調(diào)用，支撐用戶國產(chǎn)化智算應用全面用云。自2025年初以來，DeepSeek大模型憑借其超高訓練性價比、高推理性能掀起了全民AI熱潮，人工智能全面邁入大規(guī)模應用階段，推理應用在各行業(yè)全面加速落地，Tokens處理需求量與日俱增，這對推理系統(tǒng)的性能提出了更高的要求。為應對這一挑戰(zhàn)，大規(guī)模專家并行推理技術與PD分離技術應運而生，為大模型推理應用的加速規(guī)模應用提供了強大的技術支撐。
大規(guī)?？绻?jié)點專家并行技術（簡稱大EP) 是一種針對大規(guī)模深度學習MoE模型（如DeepSeek）的高效推理技術，可對推理路由專家進行大規(guī)模EP并行、對MLA和共享專家進行DP并行，并進行雙流并行通信掩蓋，同時降低模型權(quán)重占用的NPU內(nèi)存，提升KV Cache緩存空間，增加整個集群的吞吐。PD分離技術是指將推理過程中的Prefill計算和Decode計算分開。Prefill和Decode兩者計算類型不同：Prefill為計算密集型，時延主要由算力決定；Decode為訪存帶寬密集型，時延主要由訪存帶寬決定。PD混合部署時，兩者互相干擾：Prefill時，Decode等待；Decode時，Prefill時延增加，P/D時延不穩(wěn)定，資源需求更大。PD分離部署時，Prefill階段和Decode階段分別部署于不同的物理節(jié)點，兩者并行計算以實現(xiàn)硬件平均吞吐效率的有效提升。
PD混合部署示意圖
PD分離部署示意圖
天翼云攜手昇騰圍繞大EP與PD分離技術進行深度創(chuàng)新，將DeepSeek 671B滿血版大模型按專家維度切分到不同的NPU上，使得單卡權(quán)重占用內(nèi)存比例大幅降低，權(quán)重加載耗時大幅減少，且可用于KV數(shù)據(jù)計算的內(nèi)存顯著增加，實現(xiàn)高并發(fā)、高吞吐、低時延的推理性能。在大EP方案實施過程中，雙方聯(lián)合解決多專家的協(xié)同調(diào)度、跨節(jié)點通信擁塞等難題，實現(xiàn)推理API服務調(diào)用三級負載均衡：
· API server層實現(xiàn)流式與非流式請求分離；
· 在P/D節(jié)點實現(xiàn)推理請求實例級負載均衡調(diào)度；
· 專家級負載均衡實時動態(tài)調(diào)整冗余專家來分擔負荷，有效避免計算資源浪費，結(jié)合專家親和部署，降低通信量30%。
天翼云昇騰大EP推理集群在輸入1K、輸出1K場景與輸入2K、輸出2K場景下單卡平均端到端吞吐均提升3.8倍左右；在輸入5K、輸出2K場景下，單卡平均端到端吞吐提升5倍以上，滿足長文檔等剛性需求；相比于傳統(tǒng)DeepSeek雙機部署方式，支持3倍以上的用戶并發(fā)量，更好服務于客戶智能化轉(zhuǎn)型。
天翼云MaaS提供大模型服務的開發(fā)者平臺，提供功能豐富、安全以及高性價比的模型調(diào)用服務，同時提供數(shù)據(jù)集、精調(diào)、評測等端到端能力，以及RAG、聯(lián)網(wǎng)搜索等插件服務，全方位保障模型服務的開發(fā)與落地。
天翼云始終堅持以科技創(chuàng)新為根本，堅定不移走自主可控之路，持續(xù)夯實國產(chǎn)云底座，與時俱進，開拓創(chuàng)新滿足各行業(yè)多元化業(yè)務場景需求。在新時代AI發(fā)展浪潮中，引領先進技術的前進方向，不斷優(yōu)化性能，突破創(chuàng)新，為AI智算發(fā)展貢獻強勁動力，服務于千行百業(yè)，共創(chuàng)未來。
新浪微博
今日頭條
騰訊微信
