離鱗渲染等業(yè)努打造高效、23CONTENTS34行業(yè)需求洞察行業(yè)需求洞察貴州省政策支持國家政策導(dǎo)向國家政策導(dǎo)向2.《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計l需求本質(zhì)：構(gòu)建“彈性可擴(kuò)展、算力多元化、綠色高效”的區(qū)域級算力樞紐，既服務(wù)當(dāng)前西部渲染業(yè)務(wù)，又為AI、大數(shù)據(jù)等新興業(yè)務(wù)預(yù)留技術(shù)底座，匹配西部數(shù)字文創(chuàng)產(chǎn)業(yè)算力的需求。設(shè)計需求技術(shù)需求核心業(yè)務(wù)場景需求設(shè)計需求技術(shù)需求?超微服務(wù)器性價比優(yōu)于戴爾/浪潮；華三交換機(jī)成本比思科低40%；華三S9850-32H?采用AllReduce協(xié)議，每臺服務(wù)器傳輸?超微服務(wù)器性價比優(yōu)于戴爾/浪潮；華三交換機(jī)成本比思科低40%；華三S9850-32H?采用AllReduce協(xié)議，每臺服務(wù)器傳輸強(qiáng)擴(kuò)展性功耗配置渲染強(qiáng)擴(kuò)展性功耗配置渲染集群個建筑可視化項目，數(shù)據(jù)量約1.2PB，個建筑可視化項目，數(shù)據(jù)量約1.2PB，?架構(gòu)支持3年內(nèi)算力翻倍(≈300臺GPU服務(wù)器)，無需重構(gòu)網(wǎng)絡(luò)，滿足“東數(shù)西渲”業(yè)務(wù)量增長的算力彈性需求高可靠性實施規(guī)劃高可靠性實施規(guī)劃AI推理數(shù)字領(lǐng)域人工智能領(lǐng)域政策加持國內(nèi)外提前布局，智能算力需求激增各國政府布局AI領(lǐng)域全棧能力，并出資引導(dǎo)智能算力基礎(chǔ)設(shè)施建設(shè)，AI智能算力增速遠(yuǎn)超摩爾定律智算中心主要由國家政府總體牽頭建設(shè)，同時基礎(chǔ)設(shè)施提供商積極參與智算中心定義智算中心定義智算中心是以GPU、AI加速卡[1]等智能算力為核心、集約化建設(shè)的新型算力基礎(chǔ)設(shè)施，提供軟硬件全棧環(huán)境，主要承載模型訓(xùn)練以及適合中心推理、多媒體渲染等業(yè)務(wù)，支撐各行業(yè)數(shù)智化轉(zhuǎn)型升級 注[1]：行業(yè)中GPU是一個較為泛化的概念，TaaS是指TensorFlowasaService，深度學(xué)習(xí)平臺及行業(yè)大數(shù)據(jù)解決方案 超算中心定義超算中心融合管理子系統(tǒng)信息安全子系統(tǒng)大帶寬無收斂無收斂零丟包易擴(kuò)展高速網(wǎng)絡(luò)交換子系統(tǒng)通用CPU算力子系統(tǒng)GPU智算子系統(tǒng)HPC超算子系統(tǒng)全閃存存儲子系統(tǒng)高性能文件存儲子系統(tǒng)智算與通算區(qū)別2.內(nèi)部互聯(lián)網(wǎng)絡(luò)分為業(yè)務(wù)/存儲網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、4.數(shù)據(jù)面網(wǎng)絡(luò)：采用RoCE實現(xiàn)智算集群與高性能文件存儲223CONTENTS34核心層構(gòu)成骨干網(wǎng)，Leaf層接入l聚焦大模型推理、離線渲染、生成式AI開發(fā)、邊緣計算協(xié)同四大核心業(yè)務(wù)，滿足人工智能項目開發(fā)全流l爭取項目成果入選省級算力樞紐示業(yè)務(wù)與目標(biāo)業(yè)務(wù)定位建設(shè)目標(biāo)架構(gòu)邏輯服務(wù)器，構(gòu)建1152卡千卡級算力l可靠性：全鏈路冗余設(shè)計（網(wǎng)絡(luò)、供電、散熱達(dá)成系統(tǒng)年非計劃停機(jī)時間≤4小時目標(biāo)離線渲染+模型服務(wù)+算力租賃離線渲染+模型服務(wù)+算力租賃業(yè)務(wù)架構(gòu)設(shè)計軟件設(shè)施硬設(shè)施層基礎(chǔ)設(shè)施軟件設(shè)施硬設(shè)施層基礎(chǔ)設(shè)施主要包括A數(shù)據(jù)流向：I智算集群、高速網(wǎng)絡(luò)通用計算集群、I智算集群、高速網(wǎng)絡(luò)通用計算集群、運維監(jiān)控平臺運維監(jiān)控平臺服務(wù)目錄項目管理用戶管理配額管理計費管理總覽視圖服務(wù)目錄項目管理用戶管理配額管理計費管理總覽視圖權(quán)限管理規(guī)格定價操作日志離線渲染生成開發(fā)邊緣計算協(xié)同云主機(jī)云硬盤裸金屬云主機(jī)云硬盤VPC鏡像服務(wù)對象存儲VPC鏡像服務(wù)數(shù)據(jù)處理數(shù)據(jù)處理模型部署模型訓(xùn)練模型管理自動建模模型監(jiān)控模型開發(fā)模型推理Spine-Leaf物理層+EVPN/VXLAN邏輯層的組合架構(gòu)，兼顧物理網(wǎng)絡(luò)的高擴(kuò)展性、東西向性能及運維效率，與邏輯層彈性、虛擬機(jī)無縫遷移（跨機(jī)柜/POD）及多租戶隔離能力。強(qiáng)電系統(tǒng)強(qiáng)電系統(tǒng)弱電系統(tǒng)不間斷電源系統(tǒng)制冷系統(tǒng)計算層設(shè)備(算力機(jī)柜)設(shè)備參數(shù)部署分布算力價值設(shè)備參數(shù)功能定位部署細(xì)節(jié)管理節(jié)點服務(wù)器R7525搭載AMDEPYC系列高性能CPU設(shè)備參數(shù)部署分布算力價值設(shè)備參數(shù)功能定位部署細(xì)節(jié)管理節(jié)點服務(wù)器R7525搭載AMDEPYC系列高性能CPU、128GB大容量內(nèi)存、2×1.92TBSSD，具備強(qiáng)大數(shù)據(jù)處理與存儲能力；l承擔(dān)集群管理、資源調(diào)度、實時監(jiān)控職責(zé)，是l管理節(jié)點通過獨立管理交換機(jī)接入，嚴(yán)格隔離管理與業(yè)務(wù)流量l集中部署于特定機(jī)柜位置（靠近管理交換機(jī)），實現(xiàn)管理流量與業(yè)務(wù)流量物理隔離。臺，形成千卡算力矩陣；l每列機(jī)架5U-18U部署3臺分布于機(jī)柜中央，利用機(jī)柜中上部空間，避開底部線纜區(qū)與頂部散熱盲區(qū)lGPU配置：單臺搭載8張NVIDIA4090GPU，F(xiàn)P32算力達(dá)40TFLOPS/卡，為模型訓(xùn)練、渲染提供強(qiáng)勁算力支撐；l硬件特性：支持PCIe5.0高速互聯(lián)，配置2×1000W冗余電源，適配10KW高功率機(jī)柜，保障穩(wěn)定運行；l端口能力：GPU服務(wù)器配置25G雙網(wǎng)卡，分別連接不同Leaf交換機(jī)，構(gòu)建25G雙鏈路冗余l(xiāng)1152張GPU理論總算力超46PFLOPS，可滿足千億參數(shù)大模型訓(xùn)練對算力的極致需求；PCIe4.0插槽更具性價比(4卡算力密度低且占用更多機(jī)架，16 網(wǎng)絡(luò)層設(shè)備網(wǎng)絡(luò)核心機(jī)柜核心交換機(jī)(Spine)Leaf交換機(jī)管理交換機(jī)華三S9850，支持BGP/OSPF等路由協(xié)議，作為網(wǎng)絡(luò)骨干，上下排列便于與Leaf交換機(jī)留散熱與操作空間華三S6850-56HF，48×25G端口+8×100G端口，部署靠近機(jī)柜中部，方便連接算力機(jī)柜服務(wù)器與核心交換機(jī)，每臺交換機(jī)對應(yīng)一組算力機(jī)柜接入。帶內(nèi)管理（華三S6805-54HF）S5570S-54S-EI）部署4臺，設(shè)備集中于管理區(qū)便于運維人員操作，與業(yè)務(wù)設(shè)備物理隔離飛塔FortiGate600F主備自動切換，部署網(wǎng)絡(luò)邊界層，先于業(yè)務(wù)流量接入，10GB流量清洗，保障安全防護(hù)優(yōu)先（國VPN加密、訪問控制、審計追l端口與性能：32*400G交換容量達(dá)12.8Tbps；l端口與協(xié)議：25G/100G靈活端口，RoCEv2（遠(yuǎn)程直接數(shù)據(jù)存?。﹨f(xié)議，l帶內(nèi)管理：獨立帶內(nèi)管理網(wǎng)絡(luò)，保障運維指令（如配置更新、狀態(tài)查詢）l性能與防護(hù)：10Gbps數(shù)l技術(shù)價值：為Spine層構(gòu)建網(wǎng)絡(luò)骨干，保障千卡集群數(shù)據(jù)同步高效、穩(wěn)定；l部署：2臺S9850-32H作兼顧業(yè)務(wù)/管理核心功能，增強(qiáng)網(wǎng)絡(luò)冗余度l接入能力：每臺Leaf交換機(jī)連接18臺GPU服層構(gòu)建服務(wù)器接入網(wǎng)絡(luò)，支撐業(yè)務(wù)流量高效傳輸傳輸，與管理節(jié)點、服務(wù)器管理網(wǎng)口互聯(lián)；l帶外管理：帶外遠(yuǎn)程管理可通過獨立通道訪問設(shè)備，快速定位與解決故障，保障運維連續(xù)性/運維隔離。防御、DDoS分布式拒絕服務(wù)，雙機(jī)熱備部署；l部署細(xì)節(jié)：2臺防火墻連接內(nèi)外網(wǎng)邊界，通過配置8080（訓(xùn)練平臺）等業(yè)務(wù)端口，封禁非法IP智算網(wǎng)絡(luò)拓?fù)湓O(shè)計思路公網(wǎng)接入公網(wǎng)接入 運維專網(wǎng)專線接入 運維專網(wǎng)專線接入八各服務(wù)器1、AI計算集群：AI計算集群間采用4*400GBRDMA網(wǎng)各服務(wù)器帶內(nèi)管理帶外管理二2、HPC計算節(jié)點：采用100GBRDMA網(wǎng)絡(luò)搭建超算集帶內(nèi)管理帶外管理二3、通用計算區(qū)：各服務(wù)器通過25G網(wǎng)卡接入上聯(lián)計算裸金屬TORAI計算集群裸金屬TORAI計算集群7、管理區(qū)：提供帶外和帶內(nèi)管理，帶外通過1個GE網(wǎng)卡8、出口區(qū)：配置公網(wǎng)出口、專線接入以及運維專線等網(wǎng)換機(jī)S6850-56HF構(gòu)成換機(jī)S6850-56HF構(gòu)成（400G接口）網(wǎng)絡(luò)分層拓?fù)鋱D分層結(jié)構(gòu)分層結(jié)構(gòu)任意兩臺服務(wù)器間僅需2跳任意兩臺服務(wù)器間僅需2跳（Leaf→Spine→Leaf）臺2①業(yè)務(wù)網(wǎng)絡(luò)：①業(yè)務(wù)網(wǎng)絡(luò)：400G光纖（核心交換機(jī)-Leaf交換機(jī)互聯(lián)）、25G光纖（Leaf交換機(jī)-GPU服務(wù)器連接），滿足高帶寬、低延遲業(yè)務(wù)需求。②管理網(wǎng)絡(luò)：10G網(wǎng)線（帶內(nèi)管理交換機(jī)-服務(wù)器BMC口）、1G網(wǎng)線（帶外管理交換機(jī)-服務(wù)器獨立管理網(wǎng)口），保障管理流量穩(wěn)定傳輸。③業(yè)務(wù)核心：通過400G光纖與Spine交換機(jī)、Leaf交換機(jī)互聯(lián)，這樣就能讓業(yè)務(wù)流量（大模型訓(xùn)練數(shù)據(jù)傳輸）和管理流量（設(shè)備遠(yuǎn)程運維指令）在這些核心設(shè)備間高效流轉(zhuǎn)，同時借助雙機(jī)部署實現(xiàn)冗余，避免單點故障影響業(yè)務(wù)和管理功能接口接口類型應(yīng)用位置400G400GQSFP-DD25GSFP+管理連接40GQSFP+管理上行帶外管理出口連接關(guān)鍵鏈路標(biāo)注?25G業(yè)務(wù)鏈路：GPU與Leaf之間的高速數(shù)據(jù)通路，支持ECMP多路徑負(fù)載均衡?10G管理鏈路：管理平面與核心網(wǎng)絡(luò)的連接，保障運維指令傳輸?10G安全鏈路：Leaf與防火墻之間的安全過濾通道，降速至10G傳輸?1G應(yīng)急鏈路：帶外管理通道，用于設(shè)備故障時的應(yīng)急訪問硬件設(shè)備參數(shù)器機(jī)82228用482器1條2.線纜與配件清單數(shù)量纖米10GSFP+單模3924年/年年分層架構(gòu)網(wǎng)絡(luò)拓?fù)浜唸D分層架構(gòu) 基于Spine-Leaf(脊-葉)物理拓?fù)錁?gòu)建的層層層層算機(jī)柜布局設(shè)備連接關(guān)系表(分層互聯(lián)邏輯)機(jī)柜布局核心架構(gòu)：400GSpine-Core骨干連接、400服務(wù)器接入：每臺Leaf連接18臺GPU）：），計算平面-機(jī)柜物理部署(示例)管理平面性業(yè)務(wù)核心交換機(jī)全全Mesh與負(fù)載均衡 防火墻雙機(jī)熱備架構(gòu)防火墻部署層級防火墻部署層級鏈路規(guī)劃鏈路規(guī)劃帶寬優(yōu)化端口利用率硬件上架流程硬件上架流程預(yù)處理檢查預(yù)處理操作上架分步操作承重檢查：確認(rèn)機(jī)柜承重能力≥1500KG。供電檢查：驗證10KW冗余PDU供電功能正常。安裝機(jī)柜導(dǎo)流板，合理劃分冷熱通道，步驟1:安裝適配導(dǎo)軌，確保導(dǎo)軌水平、穩(wěn)固。步驟2:將GPU服務(wù)器推入機(jī)柜對應(yīng)U位并固定。散熱檢查：測試機(jī)柜風(fēng)冷系統(tǒng)風(fēng)量≥1800CFM。步驟3:連接服務(wù)器雙25G網(wǎng)線至Leaf交換機(jī)端口，雙網(wǎng)絡(luò)調(diào)試與配置測試目標(biāo)測試項與工具驗收標(biāo)準(zhǔn)上架規(guī)劃A.?A.?光纖部署線纜管理：機(jī)柜內(nèi)部采用理線架分層布線，業(yè)務(wù)光纖與管理網(wǎng)線分離捆扎（間隔≥5cm）。機(jī)房主干橋架分上下兩層，業(yè)務(wù)聯(lián)調(diào)與驗收集群算力驗證集群算力驗證驗證項與工具驗證目標(biāo)驗證項與工具驗證目標(biāo)GPU狀態(tài)檢查：執(zhí)行nvidia-smi命令lPOC測試：驗證RDMA網(wǎng)絡(luò)性能、風(fēng)冷散熱效果、存儲分層策略等關(guān)鍵技術(shù)全鏈路壓力測試測試目標(biāo)測試目標(biāo)測試項與工具測試項與工具測試價值測試價值規(guī)劃思路復(fù)用原有端口新增存儲鏈路新增存儲設(shè)備 二期新增建設(shè)計劃(存儲平面擴(kuò)展)規(guī)劃思路復(fù)用原有端口新增存儲鏈路新增存儲設(shè)備?業(yè)務(wù)平面：原Leaf-Spine-Core架構(gòu)不變，承載GPU業(yè)務(wù)流量（25GRoC）；?存儲平面：新增FCSAN與IPSAN混合架構(gòu)，通過Core交換機(jī)?管理平面：帶內(nèi)/外管理網(wǎng)絡(luò)獨立監(jiān)控計算與存儲設(shè)備，保留原IPMI協(xié)議1 高性能并行文件存儲方案設(shè)計(二期新增)高性能層大容高性能層大容量層流程階段計算處理流程數(shù)據(jù)處理流程模型加載向量讀取輸入數(shù)據(jù)+模型->Vector->應(yīng)用三方收集、網(wǎng)絡(luò)爬取、邊緣匯聚…負(fù)載高性能動態(tài)混合兼顧高帶寬&高I/OGPU推理服務(wù)器預(yù)處理服務(wù)器l格式標(biāo)準(zhǔn)化l錯誤糾正l異常數(shù)據(jù)清理l重復(fù)數(shù)據(jù)清除GPU推理服務(wù)器模型加載向量讀取輸入數(shù)據(jù)+模型->Vector->應(yīng)用三方收集、網(wǎng)絡(luò)爬取、邊緣匯聚…負(fù)載高性能動態(tài)混合兼顧高帶寬&高I/OGPU推理服務(wù)器預(yù)處理服務(wù)器l格式標(biāo)準(zhǔn)化l錯誤糾正l異常數(shù)據(jù)清理l重復(fù)數(shù)據(jù)清除GPU推理服務(wù)器行業(yè)模型訓(xùn)推一體化GPU1GPU2數(shù)據(jù)全生命周期管理和大容量訴求，實現(xiàn)高性價比邊緣存儲邊緣存儲GPU3GPU4…GPU訓(xùn)練服務(wù)器GPUGPU訓(xùn)練服務(wù)器GPU訓(xùn)練服務(wù)器張量張量并行…定可靠運行安全穩(wěn)多協(xié)議融合互通定可靠運行安全穩(wěn)多協(xié)議融合互通213原始數(shù)據(jù)訓(xùn)練集數(shù)據(jù)索引數(shù)據(jù)4向量庫熱溫冷智能分級跨域數(shù)據(jù)災(zāi)備智能分級全域數(shù)據(jù)管理數(shù)據(jù)安全可信并行文件存儲及對象存儲組網(wǎng)架構(gòu)(二期新增)設(shè)計說明聯(lián)存儲交換機(jī)并接入存儲小核心供昇騰910B使用。業(yè)務(wù)交換機(jī)。l對象存儲管理網(wǎng)采用千兆管理網(wǎng)。算存一體化網(wǎng)絡(luò)分層拓?fù)鋱D1(二期規(guī)劃)存儲架構(gòu)?協(xié)議轉(zhuǎn)換：iSCSI網(wǎng)關(guān)連接Core交換機(jī)（非FC設(shè)備算存一體化網(wǎng)絡(luò)分層拓?fù)鋱D2(二期規(guī)劃)l第34頁SAN存儲：雙陣列負(fù)載分擔(dān)，關(guān)鍵鏈路聚合（如Leaf的8×40GFC）2CONTENTS4設(shè)備類型：華三交換機(jī)（核心、Leaf、管理）、飛塔防火墻、Dell管理節(jié)點Leaf交換機(jī)全mesh互聯(lián)，障數(shù)據(jù)多路徑傳輸與負(fù)載lGPU服務(wù)器配置雙網(wǎng)卡，分別連接不同Leaf交換機(jī)，實現(xiàn)鏈路冗余，提l業(yè)務(wù)/管理核心交換機(jī)單獨承載高優(yōu)先級流量，管理平面通過獨立網(wǎng)絡(luò)傳輸，安全層串聯(lián)l采用EVPN+VXLAN技術(shù)擬機(jī)/容器跨機(jī)柜遷移時l采用EVPN+VXLAN技術(shù)擬機(jī)/容器跨機(jī)柜遷移時l大二層網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)相比，遷移時間更少、通信延遲更低），高性能并行文件存儲技術(shù)優(yōu)勢應(yīng)用協(xié)議應(yīng)用協(xié)議備份與容災(zāi)數(shù)據(jù)處理數(shù)據(jù)處理智能數(shù)據(jù)分層文件對象HDFS塊文件對象文件對象HDFS塊文件對象基礎(chǔ)基礎(chǔ)硬件全閃池靈活配置和部署方式l采用“分布式存儲+分層存儲”架構(gòu)，高性能層使用NVMeSSD，容量層采用HDD硬盤結(jié)合糾刪碼技術(shù)項目價值與優(yōu)勢本方案構(gòu)建了“計算-網(wǎng)絡(luò)-管理-安全”協(xié)同適配高負(fù)載場景，具備高算力、高可靠、低成本優(yōu)勢技術(shù)優(yōu)勢面，串聯(lián)飛塔防火墻實現(xiàn)10Gbps安全防護(hù)，通過RoCEv2協(xié)議降低GPU間通信延技術(shù)優(yōu)勢亮點2成本優(yōu)化價比優(yōu)于戴爾30%）和華三網(wǎng)絡(luò)設(shè)備（成本比思科低40%標(biāo)亮點2成本優(yōu)化3業(yè)務(wù)支撐3業(yè)務(wù)支撐通過消費級GPU堆疊實現(xiàn)千億級參數(shù)模型訓(xùn)練與中大規(guī)模渲染任務(wù)，同時利用產(chǎn)業(yè)鏈證明：編制《產(chǎn)業(yè)融合白皮書》，含上游超微產(chǎn)業(yè)