AIGC時代，智能化場景在行業(yè)縱深發(fā)展，智算規(guī)模持續(xù)擴大，增速遠超摩爾定律據(jù)《中國綜合算力指數(shù)（2023年）》預測，算力結構會在未來幾年發(fā)生根本性變化，智算成為主流算力來源：羅蘭貝格20232025來源：中國信通院22020年前后國內開始建設智算中心，早期建設的智算中心主要承載中小模型面向大模型應用場景，在技術、標準、生態(tài)和運營等方面存在挑戰(zhàn)技術：與大模型匹配度較低標準：缺乏行業(yè)統(tǒng)一標準運營：缺乏全局協(xié)同生態(tài)：運營：缺乏全局協(xié)同3新型智算中心新型智算中心以高性能GPU、AI加速卡為中心，以高速互聯(lián)智算集群為目標，形成集約化建設的E級超大規(guī)模算力基礎設施，具備軟硬件AI全棧環(huán)境，支撐AI大模型的高效訓練和推理新互聯(lián)新算效新存儲新平臺新節(jié)能4集群時期（~2025）單機8卡高速互聯(lián)高性能無損網(wǎng)絡傳統(tǒng)云數(shù)據(jù)中心異構時期（~2021）25G傳統(tǒng)以太風冷獨立存儲PCIe扣卡模組DPU海量非結構化數(shù)據(jù)，融合存儲集群時期（~2025）單機8卡高速互聯(lián)高性能無損網(wǎng)絡傳統(tǒng)云數(shù)據(jù)中心異構時期（~2021）25G傳統(tǒng)以太風冷獨立存儲PCIe扣卡模組DPU海量非結構化數(shù)據(jù)，融合存儲算力池化，分布式訓練冷板/浸沒式液冷在新互聯(lián)、新算效、新存儲、新平臺、新節(jié)能等五大方面進行系統(tǒng)性重構，推動新型智算中心走向超級池化時期超級池化時期（2025~）超級池化時期（2025~）百卡高速總線互聯(lián)存算一體內存池化算力原生GSE單機柜40單機柜40KW，冷板式液冷裸機/虛機/容器裸機/虛機/容器5編排調度算力交易計量計費用戶界面開發(fā)管理裸機存儲交付管理虛機容器網(wǎng)絡內存池全局統(tǒng)一存儲融合存儲編排調度算力交易計量計費用戶界面開發(fā)管理裸機存儲交付管理虛機容器網(wǎng)絡內存池全局統(tǒng)一存儲融合存儲冷卻水系統(tǒng)液冷強化互聯(lián)技術、深化算力協(xié)同、定義新型存儲、新增算力原生、升級綠色節(jié)能PaddlePaddleTesnsorFlowDeepSpeedPyTorch...算力抽象運行時算力抽象運行時CANNHypervisor+虛擬機實例跨架構編譯器裸金屬實例容器實例ROCmCUDA...RoCEGSE高速互聯(lián)計算總線CPUGPUDPUCIM對象文件塊高效供電高效供電6參數(shù)量提升100倍數(shù)據(jù)量提升1000倍●GPT-3●參數(shù)：1750億3102132030245675674467SuperSever（S2）架構0415參數(shù)量提升100倍數(shù)據(jù)量提升1000倍●GPT-3●參數(shù)：1750億3102132030245675674467SuperSever（S2）架構041526370…044556622337711?大模型遵循ScalingLaw，邁進萬億規(guī)模，在原有Transformer結構基礎上，引入了MoE（專家系統(tǒng)）算法以及并行策略，具有單次通信數(shù)據(jù)量小，但通信頻繁，且對時延要求高的特點?千億模型的通信高要求只存在8卡之間，但萬億模型的高帶寬低時延要求擴展到了百卡級別，節(jié)點的概念將從以服務器為單位擴展成以百卡集群為單位，智算設施應以實現(xiàn)百卡級別高速互聯(lián)為新的設計思路參數(shù)：1750億數(shù)據(jù)：45TB+X參數(shù)：~1萬億數(shù)據(jù)：20萬億Tokens數(shù)據(jù)：45TB數(shù)據(jù)：45TB數(shù)據(jù)：40GB1155~400~400GB百ns級703471256003470347161256125新互聯(lián)——卡間互聯(lián)從直連向交換拓撲演進，打造高效集群能力03471256003470347161256125?百卡間的通信能力的提升應從互聯(lián)拓撲、通信協(xié)議方面優(yōu)化。目前，卡間互聯(lián)的最優(yōu)解是交換拓撲（Switch）：?大規(guī)模連接：因芯片功耗限制和通信設計，直連拓撲難以應用于大規(guī)模連接。32卡全互聯(lián)場景，以16nm的56Gbps（PAM4）SerDes的功耗為例，AI芯片用于卡間互聯(lián)的功耗達80W，物理上難以實現(xiàn)此芯片設計?從單芯片最大吞吐到點對點帶寬：受限于芯片法案，單芯片的最大吞吐量止于600GB/s，因此通過交換拓撲，提升點對點（P2P）帶寬能力，有助于整體芯片能力提升?大模型推理應用：業(yè)界正在通過量化、蒸餾、剪枝等手段使大模型小型化，加快其應用落地。在推理場景下，模型部署在2卡或4卡，原8卡全互聯(lián)拓撲難以發(fā)揮帶寬優(yōu)勢，交換拓撲帶來的P2P帶寬優(yōu)勢將顯著提升推理效率英偉達從V100開始牽引的趨勢國內英偉達從V100開始牽引的趨勢CubeCubeMesh類33228更低延遲的內部通信更高效的數(shù)據(jù)讀寫更靈活的拓撲連接一組有N張GPU/AI卡一組有N張GPU/AI卡總線Switch總線Switch總線Switch計算總線0044552233NN11...?高速卡間互聯(lián)需求從8卡擴展到百卡，智算設備形態(tài)將從S（Server服務器）演變?yōu)镾2（SuperServer，超級服務器），帶來智算中心底層互聯(lián)技術的全新變革?國內AI生態(tài)多而不強，大多AI芯片企業(yè)沒有交換芯片設計能力，且互聯(lián)協(xié)議各家自研，需要與交換芯片廠家深度合作定制?中國移動希望聯(lián)合業(yè)界制定統(tǒng)一的高速互聯(lián)計算總線標準，打破國內GPU卡間互聯(lián)的性能瓶頸模型參數(shù)從千億邁向萬億，互聯(lián)高需求從8卡擴展到百卡間0456271012456701245670456271SuperSuperSever（S2）架構040…0445556662223337771119新互聯(lián)——高性能新以太互聯(lián)網(wǎng)絡大模型以分布式訓練為基礎，要求網(wǎng)絡能力：零丟包、大帶寬、低時延、高可靠，為避免通信開銷制約GPU集群有效算力提升，亟需構建開放兼容、超高性能的新型智算中心網(wǎng)絡技術體系傳統(tǒng)：網(wǎng)絡性能和成本無法兼得專用網(wǎng)絡、超高性能、成本昂貴生態(tài)開放、性能有限、性價比高以開放破壟斷以創(chuàng)新提性能未來：突破以太技術、升級高速互聯(lián)創(chuàng)新創(chuàng)新全調度以太網(wǎng)(GSE)，革新以太網(wǎng)底層轉發(fā)機制，增強物理層、鏈路層、網(wǎng)絡層、傳輸層協(xié)議能力，全面提升網(wǎng)絡性能分發(fā)粒度逐流分發(fā)逐“報文容器”分發(fā)感知+主動流量控制“全局”最優(yōu)調度盲發(fā)+被動擁塞控制“局部”決策轉發(fā)發(fā)流模式轉發(fā)策略新互聯(lián)——全調度以太網(wǎng)（GSE）進展2023.52023.62023.82023.9《全調度以太網(wǎng)技術架構》白皮書CCSA成功立項《全調度以太網(wǎng)總體技術要求》全調度以太網(wǎng)（GSE）推進計劃業(yè)界首款GSE原型系統(tǒng)期待更多產(chǎn)學研合作伙伴加入GSE推進計劃，共建新型智算中心網(wǎng)絡產(chǎn)業(yè)生態(tài)!>全調度以太網(wǎng)（GSE）推進計劃研究范疇：.物理層：低時延Phy、B400G高速光接口、光交換等.鏈路層：基于報文分發(fā)和重組機制、調度技術、鏈路級安全及容錯等.網(wǎng)絡層：新型組網(wǎng)拓撲、新型組播/任播協(xié)議等;.傳輸層：改進的RDMA、新型擁塞控制等.應用層：在網(wǎng)計算、存儲加速、開放API框架等.管理和運維體系：網(wǎng)絡可視化、可調試能力、多維自動化能力統(tǒng)一內存池新存儲——內存池化統(tǒng)一內存池?傳統(tǒng)的存儲層級架構在大模型的訓練場景下，存在兩大痛點：?HBM成本高，容量低，GPU要將數(shù)據(jù)從內存Load到HBM之后再進行計算，由此引起的數(shù)據(jù)傳輸延遲影響模型訓練的效率?缺乏統(tǒng)一尋址，程序員需要根據(jù)底層存儲系統(tǒng)的規(guī)劃來進行海量數(shù)據(jù)的排布，并手動完成數(shù)據(jù)的搬移，以及時保證數(shù)據(jù)的一致性，大大提高了用戶編程的門檻?內存池化使得整個系統(tǒng)的內存在邏輯上實現(xiàn)統(tǒng)一，提供一致性的內存語義和空間尋址能力，供多個GPU同時訪問，這種一致性的模式，一方面解決了單個GPU顯存容量限制的問題，另一方面使得多個GPU/CPU之間實現(xiàn)高效協(xié)同突破馮諾依曼架構達到能效比數(shù)量級提升突破馮諾依曼架構達到能效比數(shù)量級提升?基于SRAM，中大算力，100T++隨著NICC向超級池化階段發(fā)展，解決海量數(shù)據(jù)處理要求，需要聚焦GPU升級，突破性能瓶頸，加強CPU、GPU、DPU三大芯片協(xié)同。未來，探索存算一體新型計算范式，達到能效比數(shù)量級提升下一代GPU芯片設計GPU、CPU、DPU三大芯片協(xié)同存算一體，突破傳統(tǒng)計算范式性能瓶頸顯存帶寬和容量的制約數(shù)據(jù)搬移的功耗激增演進路線①存儲一體化設計②稀疏化設計③算法和芯片協(xié)同設計④低時延推理架構設計三大芯片協(xié)同提升算效迎接更加爆炸式的數(shù)據(jù)處理需求場景1：統(tǒng)一云化管理場景2：高性能存儲加速場景3：RDMA網(wǎng)絡協(xié)同優(yōu)化中大規(guī)模深度學習模型訓練和推理任務對AI集群資源管理效率、網(wǎng)絡和存儲性能提出了更極致的需求，DPU可在智算領域三大應用場景與計算、網(wǎng)絡、存儲深度協(xié)同，助力算效提升三大應用場景，兩種部署模式深化標準體系，普惠DPU能力?裸金屬、容器、虛機統(tǒng)一管理，?文件系統(tǒng)卸載，無縫對接多種存GPUGPUSSD超大QP數(shù)量等RDMA標卡無法PCIeSwitch CANNnvIDIA.是系統(tǒng)與開發(fā)者的接口，基于SYCL的統(tǒng)一編程模型，實現(xiàn)CUDA等現(xiàn)有范式中指令、內核等機制與SYCL的轉譯CPU側和GPU側指令元語及執(zhí)行策略的一體承載，并生成中間元語格式的算力原生程序實現(xiàn)異廠家共識的“中間元語”，標準化制定程序格式及指針、區(qū)塊、標識符等參數(shù)，是編譯器和運行時組件研發(fā)的規(guī)約實現(xiàn)“中間元語”的再裝配，完成原生程序的加載、解析和動態(tài)庫的交叉鏈接，保障計算任務與異構算力的即時互映射和池應用層框架層應用層框架層Pytorch工具鏈無法互識跨架構流轉工具鏈硬件層HYGONROCmHYGONROCmnvIDIA.CUDANeuWareoneAPI CANNnvIDIA.是系統(tǒng)與開發(fā)者的接口，基于SYCL的統(tǒng)一編程模型，實現(xiàn)CUDA等現(xiàn)有范式中指令、內核等機制與SYCL的轉譯CPU側和GPU側指令元語及執(zhí)行策略的一體承載，并生成中間元語格式的算力原生程序實現(xiàn)異廠家共識的“中間元語”，標準化制定程序格式及指針、區(qū)塊、標識符等參數(shù)，是編譯器和運行時組件研發(fā)的規(guī)約實現(xiàn)“中間元語”的再裝配，完成原生程序的加載、解析和動態(tài)庫的交叉鏈接，保障計算任務與異構算力的即時互映射和池應用層框架層應用層框架層Pytorch工具鏈無法互識跨架構流轉工具鏈硬件層HYGONROCmHYGONROCmnvIDIA.CUDANeuWareoneAPINeuWareCUDAoneAPI硬件層 CANN 編程模型轉換、編譯、優(yōu)化算力原生層原生運行時程序加載動態(tài)鏈接跨架構流轉的原生程序中國移動原創(chuàng)提出算力原生技術，打造“芯合”算力原生跨架構平臺，目標打破“框架+工具鏈+硬件”緊耦合的智算生態(tài)，屏蔽底層硬件差異，實現(xiàn)智算應用的跨架構遷移部署。繁冗開發(fā)、復雜適配、各自為棧//一次開發(fā)、一次封裝、跨芯遷移化執(zhí)行單機架功率kW/架30-60kW/架 15kw/架5-10kW/架通用服務器AI服務器5三“極”目標1??4單機架功率kW/架30-60kW/架 15kw/架5-10kW/架通用服務器AI服務器5三“極”目標1??43?2五大統(tǒng)一智算中心走向超大規(guī)模，面對不斷攀升的能耗需求，液冷是必經(jīng)之路但液冷產(chǎn)業(yè)生態(tài)不完善，設備標準化程度低，需要通過“五大統(tǒng)一”實現(xiàn)三“極”目標挑戰(zhàn)2：單機柜功耗超過40kW挑戰(zhàn)1：單AI服務器功耗超過10kWGPUGPU500400300-400300W250-300150-2502016～20192020～20212022~TDP（W）25070