東數(shù)西算數(shù)據(jù)中心基礎(chǔ)架構(gòu)設(shè)計(jì)方案白皮書(shū)目錄一、 東數(shù)西算的背景 3(一) 政策背景 3核心戰(zhàn)略 3東數(shù)西算和國(guó)家熱戰(zhàn)關(guān)系解讀 4一張圖解讀政策之的系 7典型樞紐和節(jié)點(diǎn)布局 7(二) 投資背景 9政府投資 9民間投資 10(三) 業(yè)務(wù)背景 11東數(shù)西算業(yè)務(wù)需求 11業(yè)務(wù)承載能力需求 13業(yè)務(wù)上線效率的需求 13能效水平需求 15(四) 技術(shù)背景 16云邊協(xié)同發(fā)展趨勢(shì) 16算力芯片發(fā)展趨勢(shì) 16存儲(chǔ)介質(zhì)發(fā)展趨勢(shì) 18節(jié)能減排技術(shù)發(fā)展勢(shì) 19二、 從0到1基礎(chǔ)設(shè)施建式 21(一) 基于微模塊建設(shè)方式 21數(shù)據(jù)中心建設(shè) 21簡(jiǎn)易算力部署 22邊緣計(jì)算節(jié)點(diǎn) 22(二) 基于整機(jī)柜交付方式 231. 廠內(nèi)預(yù)制、快速交付 23(三) 基于液冷建設(shè)交付式 24數(shù)據(jù)中心液冷技術(shù) 24冷板式液冷 25浸沒(méi)式液冷 26三、 算力部署及數(shù)據(jù)處模式 27(一) 計(jì)算 27Intel架構(gòu)典型服務(wù)器 28AMD架構(gòu)典型服務(wù)器 29(二) AI 30GPU典型服務(wù)器 30ASIC典型服務(wù)器 32FPGA典型服務(wù)器 33(三) 存儲(chǔ) 33海量存儲(chǔ)服務(wù)器 34緊湊型存儲(chǔ)服務(wù)器 35全閃存儲(chǔ)服務(wù)器 35四、 集群管理及應(yīng)用模式 36五、 系統(tǒng)運(yùn)行維護(hù)模式 39六、 結(jié)論 40七、 關(guān)于超云 41八、 參考獻(xiàn)用注 42一、東數(shù)西算的背景(一) 政策背景核心戰(zhàn)略922752030206020302060排來(lái)抵消。數(shù)字經(jīng)濟(jì)：2022112發(fā)展目標(biāo)、重點(diǎn)任務(wù)和保障措施。東數(shù)西算：202221710個(gè)國(guó)家數(shù)據(jù)中心集群。至此，全國(guó)一體化大數(shù)據(jù)中心體系完成總體布局設(shè)計(jì)，“東數(shù)西算”工程正式全面啟動(dòng)。325革為主線，加快建設(shè)高效規(guī)范、公平競(jìng)爭(zhēng)、充分開(kāi)放的全國(guó)統(tǒng)一大市場(chǎng)。東數(shù)西算和國(guó)家熱點(diǎn)戰(zhàn)略關(guān)系解讀什么是東數(shù)西算經(jīng)濟(jì)發(fā)展實(shí)際，進(jìn)行的全局統(tǒng)籌、協(xié)同優(yōu)化的又一個(gè)歷史性大工程。展數(shù)字經(jīng)濟(jì)，各領(lǐng)域相輔相成，協(xié)同發(fā)展。例如：ICT核心技術(shù)攻關(guān)通過(guò)東部數(shù)據(jù)經(jīng)濟(jì)發(fā)展帶動(dòng)西部實(shí)體經(jīng)濟(jì)發(fā)展和數(shù)字經(jīng)濟(jì)建設(shè)理體系聯(lián)動(dòng)，為我國(guó)數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化發(fā)展打好堅(jiān)實(shí)底座（1）成威脅。（注2）。數(shù)據(jù)中心耗電量逐年升高，據(jù)國(guó)家能源局?jǐn)?shù)據(jù)顯示，2020年我國(guó)數(shù)據(jù)中心耗電量已逾20002（PUE高達(dá)1.49；二1.351.14%。結(jié)合數(shù)據(jù)中心規(guī)2060年前實(shí)現(xiàn)碳中和目標(biāo)。完善制度，對(duì)我國(guó)市場(chǎng)格局有以下作用：強(qiáng)化我國(guó)國(guó)內(nèi)市場(chǎng)基本盤(pán)促進(jìn)我國(guó)國(guó)內(nèi)大循環(huán)以及國(guó)際國(guó)內(nèi)雙循環(huán)影響全球要素資源向我國(guó)聚攏新引擎，商貿(mào)流通的數(shù)字化建設(shè)則是必然趨勢(shì)?，F(xiàn)代商貿(mào)的流通是物流+效率、提升服務(wù)質(zhì)量、擴(kuò)大市場(chǎng)利潤(rùn)（3）一張圖解讀政策之間的關(guān)系圖1：全國(guó)資源分布與輸送示意圖典型樞紐和節(jié)點(diǎn)布局8國(guó)家還規(guī)劃了10個(gè)國(guó)家數(shù)據(jù)中心集群，包括張家口集群、蕪湖集群、長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)集群、韶關(guān)集群、天府集群、重慶集群、林格爾集群、貴安集群、慶陽(yáng)集群和中衛(wèi)集群，以此構(gòu)建全國(guó)新型算力網(wǎng)絡(luò)體系。圖2：全國(guó)一體化算力網(wǎng)絡(luò)國(guó)家樞紐節(jié)點(diǎn)布局圖用能、水、電等資源的協(xié)調(diào)可持續(xù)，優(yōu)化數(shù)據(jù)中心供給結(jié)構(gòu)，擴(kuò)展算力增長(zhǎng)空間（注4）。(二) 投資背景“東數(shù)西算”是掀起數(shù)據(jù)中心產(chǎn)業(yè)鏈投資熱潮的新動(dòng)能。數(shù)據(jù)中心的產(chǎn)業(yè)鏈條較長(zhǎng)、覆蓋門(mén)類(lèi)較廣，包括土建工程、信息通信基礎(chǔ)軟件、IT設(shè)備制造和綠色能源供給等。雖然數(shù)據(jù)中心的預(yù)期收益較高，但前期建設(shè)需要大量的資金。在政策引導(dǎo)和行業(yè)需求的驅(qū)動(dòng)下，“東數(shù)西算”工程實(shí)施落地，可以吸引大量投資，繼而為數(shù)據(jù)中心產(chǎn)業(yè)鏈建設(shè)提供必備的資金。根據(jù)國(guó)家發(fā)改委預(yù)測(cè)，“東40005年或?qū)?dòng)每年千億元的投資，對(duì)相關(guān)產(chǎn)業(yè)拉動(dòng)作用突出。據(jù)《2020全球計(jì)算力指數(shù)評(píng)估報(bào)告》顯示：1GDP3.31.8才、技術(shù)，將為我國(guó)數(shù)字經(jīng)濟(jì)發(fā)展注入源源不斷的新動(dòng)能。政府投資地方政府根據(jù)招商引資政策，對(duì)興建數(shù)據(jù)中心、產(chǎn)業(yè)園區(qū)等項(xiàng)目給予政策雙贏局面。民間投資局。202054.3%23.8%16.7%、中國(guó)移13.8%201940.7%，市場(chǎng)收入占比有明顯提升（5）圖3：:基礎(chǔ)電信運(yùn)營(yíng)商及第三方數(shù)據(jù)中心運(yùn)營(yíng)商數(shù)據(jù)中心業(yè)務(wù)收入分布(三) 業(yè)務(wù)背景東數(shù)西算業(yè)務(wù)需求離線數(shù)據(jù)處理場(chǎng)景此西部?jī)r(jià)格便宜的算力優(yōu)勢(shì)足以低過(guò)數(shù)據(jù)傳輸帶來(lái)的成本。AIAIAIHub生物信息等高性能超算場(chǎng)景，也適合在西部地區(qū)數(shù)據(jù)中心中進(jìn)行計(jì)算。物理托管和混合云場(chǎng)景IT中西部用戶(hù)，甚至一些東部客戶(hù)有了更多選擇。兩地三中心災(zāi)備場(chǎng)景6）業(yè)務(wù)承載能力需求80%智能訓(xùn)練，超算中心等，更是需要發(fā)揮集群的算力優(yōu)勢(shì)，組建并行集群。網(wǎng)絡(luò)算力，更靈活的部署方式。業(yè)務(wù)上線效率的需求心的建設(shè)和交付成為提升業(yè)務(wù)上線效率的關(guān)鍵環(huán)節(jié)之一。IT3至4IDC服務(wù)商IT設(shè)備層面進(jìn)行IT設(shè)備的實(shí)施周期，能效水平需求程注重高算快存的同時(shí)也對(duì)東西部樞紐節(jié)點(diǎn)分別提出不同能效水平要求。根據(jù)PUE1.2PUE1.25以下。要在集約化、規(guī)?；?、綠色化方面著重發(fā)力。(四) 技術(shù)背景云邊協(xié)同發(fā)展趨勢(shì)形態(tài)將更好地滿足各行各業(yè)創(chuàng)新需求。算力芯片發(fā)展趨勢(shì)CPU作為數(shù)據(jù)中心算力的基石，目前呈現(xiàn)出一超多強(qiáng)的市場(chǎng)格局，x86IntelAMD2021ARM制程、核心主頻、TDP及封裝方式不斷進(jìn)行更新迭代。制程工藝與核心數(shù)量Intel為例，至強(qiáng)IceLakeCPU4020217Intel公布的芯片制程工藝路線圖顯示，新一代可擴(kuò)展處理器將采用更先進(jìn)的制程，單顆核心數(shù)預(yù)計(jì)將達(dá)到核以上，AMDARM從技術(shù)路線來(lái)說(shuō)，制程工藝更加先進(jìn)，核數(shù)更多。ChipletCPUCPU拆分成多個(gè)較小的晶片（Die）AMDCPUEPYC32芯片模塊架構(gòu)（MCU），DieDie8個(gè)物理CacheEPYCdie8CCDIODChiplet設(shè)計(jì)（如下圖）。圖4：模塊化與Chiplet設(shè)計(jì)示意圖CPUIntelAMDTDP270WCPUAIAI要，AI芯片算力將承擔(dān)更多的算力任務(wù)，向著更高算力、更先進(jìn)制程、更多核NVIDIAHopperH100GPU8004nm，18432CUDAPCI-E5.0、NVLink900GB/sPCI-E5.0A100MIGDPX指令。網(wǎng)絡(luò)算力CPU一步提升計(jì)算系統(tǒng)的數(shù)據(jù)處理與調(diào)度能力，DPUIOCPUCPUCPU變?yōu)橐詳?shù)據(jù)為中心，提高了整體數(shù)據(jù)中心的數(shù)據(jù)處理效能。存儲(chǔ)介質(zhì)發(fā)展趨勢(shì)東數(shù)西算對(duì)海量數(shù)據(jù)的需求和運(yùn)用更廣泛。來(lái)自中商產(chǎn)業(yè)研究院發(fā)布的數(shù)據(jù)顯示，中國(guó)83.7%的數(shù)據(jù)集中在“胡煥庸線”以東，為此需要通過(guò)“東數(shù)西算”工程來(lái)改善數(shù)字基建不平衡的布局，對(duì)海量數(shù)據(jù)進(jìn)行合理、優(yōu)化的調(diào)度、存儲(chǔ)與處理，發(fā)揮數(shù)據(jù)資產(chǎn)對(duì)行業(yè)數(shù)字化的更大價(jià)值。HDD的發(fā)展趨勢(shì)：HDDT如何突破HDD容量增長(zhǎng)瓶頸及實(shí)現(xiàn)容量與性能的均衡提升是目前機(jī)械介質(zhì)技術(shù)發(fā)展所面臨的核心挑戰(zhàn)。20T+的容量突破;性能提升：通過(guò)雙驅(qū)動(dòng)臂技術(shù)（Mach.2為例）不變的情況下性能加倍；TCO降低：通過(guò)氦氣填充、SMR技術(shù)大幅提高單盤(pán)容量的同時(shí)降低總體TCO；SSDSSDNAND3DNAND技術(shù)，64-176層芯片成為主流產(chǎn)品。2022176層2022年底發(fā)布200NANDTSSD成本也逐步降低。節(jié)能減排技術(shù)發(fā)展趨勢(shì)PUEIDC入場(chǎng)。供電技術(shù)。（包括能量和功率能、風(fēng)能等間歇能源的不足。UPS3UPS0.99或以上，諧波電流小于5%UPSUPS投資成本和運(yùn)營(yíng)成本低的特點(diǎn)。降壓和整流合二為一AC380VHVDC量損失，將降壓與整流合二為一來(lái)有效降低能量損耗。負(fù)載端升壓降損DC-DC并減少中間降壓環(huán)節(jié)，避免損耗。PUEIDC噪音，在高功率密度情況下散熱效果更優(yōu)。二、從0到1基礎(chǔ)設(shè)施建設(shè)模式(一) 基于微模塊建設(shè)方式數(shù)據(jù)中心建設(shè)IT本。2個(gè)月。N、N+1、2N等配電方案。簡(jiǎn)易算力部署PUE數(shù)值進(jìn)一步降低，同時(shí)封閉式機(jī)柜設(shè)計(jì)可以有效的隔絕噪音。邊緣計(jì)算節(jié)點(diǎn)IT也需要單柜空間內(nèi)具備配電、UPS、制冷、監(jiān)控等基本組成，必要時(shí)需要做到改良升級(jí)，以適應(yīng)高低溫、鹽霧高濕、沙塵風(fēng)雪等惡劣環(huán)境。(二) 基于整機(jī)柜交付方式1.廠內(nèi)預(yù)制、快速交付IT6化，通過(guò)節(jié)約空間來(lái)提高部署密度，其部署密度通常可以翻倍。10%10%5%。1臺(tái)，交付效率大大提升。(三) 基于液冷建設(shè)交付方式數(shù)據(jù)中心液冷技術(shù)TCO，助力東數(shù)西算高質(zhì)量低碳數(shù)據(jù)中心建設(shè)發(fā)展。IT設(shè)備直接接觸進(jìn)行散熱。其中二次側(cè)根據(jù)冷卻液帶走熱量ITIT體產(chǎn)品解決方案。冷板式液冷ITCPU、GPU、VRDIMM40-65%，其它部件仍采用風(fēng)冷將熱量帶走，因此冷板式液冷又被稱(chēng)為氣液雙通道式冷卻模式。部分系統(tǒng)，主要包括液體冷卻分配裝置（CDU），PUEPUE1.2512%20000.5元/余萬(wàn)費(fèi)用。X86利用率最佳狀態(tài)。浸沒(méi)式液冷浸沒(méi)式液冷采用中溫絕緣液體進(jìn)行制冷，將所有電子元件浸泡在冷卻液中，利用冷卻液循環(huán)將熱量全部帶走，因此相比于空氣冷卻和冷板式液冷架構(gòu)，浸沒(méi)式液冷服務(wù)器運(yùn)行環(huán)境發(fā)生了巨大轉(zhuǎn)變，從空氣變?yōu)榱死鋮s液。ITIOIOTankPUE功率密度能夠高達(dá)160kW/Rack持存儲(chǔ)介質(zhì)運(yùn)行最佳狀態(tài)。冷解決方案。三、算力部署及數(shù)據(jù)處理模式(一)計(jì)算CPUIntelAMD兩條技術(shù)路線，從實(shí)際應(yīng)用來(lái)看，Intel業(yè)務(wù)生態(tài)更加優(yōu)秀，AMD更佳，可根據(jù)東數(shù)西算數(shù)據(jù)中心承載業(yè)務(wù)的不同來(lái)區(qū)別選擇。Intel架構(gòu)典型服務(wù)器ITIT基礎(chǔ)設(shè)施的最核心的產(chǎn)品之一，通過(guò)各種方式（CPU則是服務(wù)器核心算CPU領(lǐng)域占據(jù)約80%的份額，通過(guò)不斷完善其Xeon可擴(kuò)展處理器的架構(gòu)和性能，從Skylake、CascadeLake、IceLakeSapphireRapids提供更強(qiáng)大的算力保障。ITIntel并可根據(jù)用戶(hù)的實(shí)際業(yè)務(wù)進(jìn)行靈活的產(chǎn)品開(kāi)發(fā)定制。R5215G12AI種業(yè)務(wù)場(chǎng)景。AI擴(kuò)展：R5215G122U82GPU、FPGAASICAI方案部署。NVMe28Gen4U.2NVMeU.2NVMeCPU（PCI-ESwitch方式IO無(wú)收斂，PCI-E資源發(fā)揮到極致。AMD架構(gòu)典型服務(wù)器2017AMDEPYCNaplesx862019Zen27nmCPU64CPCI-E4.0SEV的技術(shù)。AMDEPYCAMD在服務(wù)器市2021AMDMilanCCD832MBL3緩存，IPC19%6通道內(nèi)存，AMDGenoaSP596DDR5PCIeGen5Zen4Zen315%35%，助力東數(shù)西算業(yè)務(wù)高速增長(zhǎng)。AMDAMDAMDAMD求。R6242A13AMDEPYCMilan51220004U.2NVMeSSD2200W擬化、超融合、HPC等對(duì)計(jì)算密度要求高的場(chǎng)景。(二) AICPUGPUFPGAGPU典型服務(wù)器GPU相較于傳統(tǒng)CPU芯片，GPU具備并行計(jì)算能力強(qiáng)，算力高的特性。除此之外，NVIDIAGPUCUDA可支持現(xiàn)有的大部分深度學(xué)習(xí)算法，為應(yīng)用開(kāi)發(fā)者提供了優(yōu)秀的開(kāi)發(fā)平臺(tái)。GPUGPU算力的平臺(tái)，可以在單機(jī)提供豐富的異構(gòu)算力支持。GPUAI算力的需求GPU服務(wù)器NVLink技術(shù)，GPUNVLinkGPUGPUdirect利的保障集群性能的線性提升。在存儲(chǔ)層面，GPUPCI-ENVMeGPU緩存的快速寫(xiě)入。R8488A13AIHPCGPUNVSwitchGPU8GPU600GB/s8200Gb/sInfiniBandA134U高度5PFLOPS算力的同時(shí)實(shí)現(xiàn)高效節(jié)能。R8428G12AIGPUGPU10GPUGPUNVIDIATealaGPUGPUAI訓(xùn)練、推理、HPC等多項(xiàng)場(chǎng)景提供靈活算力。ASIC典型服務(wù)器ASICDPUEB通過(guò)專(zhuān)用設(shè)計(jì)突破摩爾定律的限制，達(dá)到了單卡性能的新水平。ASICAIASICASIC件針對(duì)專(zhuān)業(yè)應(yīng)用場(chǎng)景優(yōu)化，最大幅度節(jié)約用戶(hù)投資。ASICASIC戶(hù)的學(xué)習(xí)成本和總體擁有成本，豐富用戶(hù)選擇。FPGA典型服務(wù)器FPGA是可編程門(mén)陣列芯片，能夠?qū)崿F(xiàn)硬件級(jí)編程，具備中等的性能和易用FPGA的特性。FPGAGPU人工智能邊端推理方向，F(xiàn)PGAAIFPGA態(tài)也已經(jīng)日趨成熟，F(xiàn)PGA成為人工智能芯片領(lǐng)域新的生力軍。FPGAR5210E12是面向邊緣推理端推出的全新一代邊緣計(jì)算服FPGA2FPGAOTII250TOPS算力，在邊緣端提供訓(xùn)練和推理服務(wù)，實(shí)現(xiàn)本地快速響應(yīng)。(三) 存儲(chǔ)量存儲(chǔ)產(chǎn)品-冷數(shù)據(jù)，高密存儲(chǔ)產(chǎn)品-溫?cái)?shù)據(jù)，全閃存儲(chǔ)產(chǎn)品-熱數(shù)據(jù)。海量存儲(chǔ)服務(wù)器PB級(jí)存儲(chǔ)規(guī)模和支撐萬(wàn)級(jí)別數(shù)量客戶(hù)訪問(wèn)。4UR5410G1218T648TSAN環(huán)境、海量數(shù)據(jù)存儲(chǔ)系統(tǒng)提供強(qiáng)大助力。R5410G12EXPIO升用戶(hù)體驗(yàn)。緊湊型存儲(chǔ)服務(wù)器TCO2U12盤(pán)的存儲(chǔ)服務(wù)器受限于散熱、槽位、設(shè)計(jì)等因素,導(dǎo)致存儲(chǔ)密度提升異常困難。R52242U243.5IO的極致均衡80%的得盤(pán)率，以TCO的目的。全閃存儲(chǔ)服務(wù)器HDDNVMeSSD設(shè)計(jì)，相NVMeSSD從傳統(tǒng)的SATA/SASCPU進(jìn)行通信以PCI-E4.0PCI-E5.0的傳輸效率進(jìn)一步提高，為PCI-ESSD提供了非常大的接口帶寬，以滿足用戶(hù)為高帶寬低延時(shí)的需要。面IOPSR5215G12NVMeU.2、M.2、AICSSD，2U28NVMePCI-E通過(guò)全閃磁盤(pán)陣列加速用戶(hù)創(chuàng)造價(jià)值、突破創(chuàng)新。四、集群管理及應(yīng)用模式ITITIT待解決的新挑戰(zhàn)。圖5：超云業(yè)務(wù)分布示意圖圖6：超云大規(guī)模集群服務(wù)器1.IT法對(duì)高風(fēng)險(xiǎn)的部件提前進(jìn)行預(yù)警，降低服務(wù)器在高負(fù)荷運(yùn)行狀態(tài)下的突然失效。另外對(duì)已發(fā)生故障的部件，按設(shè)備、部件的類(lèi)別做出相應(yīng)的隔離措施處理，避免單一非必要部件故障影響整機(jī)系統(tǒng)的運(yùn)行。器：baseboardmanagementcontroller的縮寫(xiě)）IPMI（IntelligentPlatformManagementInterface的縮寫(xiě)）web用性和易維護(hù)性。IPMIv2.0LANFRUSELBIOSBIOSOSSNMPTrapsLAN統(tǒng)健康監(jiān)視并對(duì)嚴(yán)重事件產(chǎn)生糾正動(dòng)作。五、系統(tǒng)運(yùn)行維護(hù)模式響應(yīng)、更專(zhuān)業(yè)的技術(shù)專(zhuān)家隊(duì)伍、更精準(zhǔn)的備品備件保障和更完善健康監(jiān)測(cè)機(jī)制，都是數(shù)據(jù)中心集群高效穩(wěn)定運(yùn)行的核心保障。