2024年1月全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書推薦語OCTC開放計算標準工作委員會液冷行業(yè)在數(shù)據(jù)中心領(lǐng)域的應(yīng)用和發(fā)展，已經(jīng)成為了數(shù)字化時代不可或缺的一部分。隨著數(shù)據(jù)量的爆炸式增長，傳統(tǒng)的風(fēng)冷技術(shù)已經(jīng)難以滿足高密度服務(wù)器的散熱需求。而液冷技術(shù)，作為一種高效、綠色的冷卻方式，正逐漸成為數(shù)據(jù)中心建設(shè)的首選。本文詳細介紹了液冷技術(shù)的背景、技術(shù)優(yōu)化方向以及全液冷服務(wù)器系統(tǒng)的設(shè)計、驗證和展望。通過對液冷技術(shù)的深入剖析，我們可以看到其在數(shù)據(jù)中心節(jié)能減排、提高計算力和生產(chǎn)力的巨大潛力。在未來，液冷技術(shù)將繼續(xù)發(fā)揮重要作用，為數(shù)字經(jīng)濟的發(fā)展提供有力支撐。辛公明｜山東大學(xué)能源與動力工程學(xué)院教授、黨委書記面對能耗挑戰(zhàn)與雙碳目標，液冷技術(shù)成為數(shù)據(jù)中心領(lǐng)域的前沿焦點。本文系統(tǒng)介紹了液冷技術(shù)的演進、全液冷冷板系統(tǒng)的設(shè)計與實踐，以及鋁冷板方案的具體實施與測試。內(nèi)容詳實，層次分明，為研究者與實踐者提供了寶貴的參考資料。本文不僅梳理了液冷行業(yè)的發(fā)展背景，還深入探討了液冷技術(shù)的優(yōu)化方向。對于數(shù)據(jù)中心行業(yè)而言，液冷技術(shù)的推廣應(yīng)用將有助于實現(xiàn)節(jié)能減排，推動綠色算力的發(fā)展。希望此文能激發(fā)更多人關(guān)注液冷技術(shù)，共同為綠色低碳數(shù)據(jù)中心建設(shè)作出貢獻。陳葆立｜英特爾數(shù)據(jù)中心與人工智能集團副總裁兼中國區(qū)總經(jīng)理數(shù)字化和綠色低碳已經(jīng)成為經(jīng)濟與社會高質(zhì)量、可持續(xù)發(fā)展的關(guān)鍵推動力。中國“雙碳”目標的提出，更讓數(shù)字化與綠色低碳相互協(xié)同，加速推動數(shù)字基礎(chǔ)設(shè)施和算力底座優(yōu)化升級，推進千行百業(yè)更快速實現(xiàn)碳中和轉(zhuǎn)型。英特爾植根中國，攜手戰(zhàn)略合作伙伴浪潮信息積極行動，不斷協(xié)同推進技術(shù)創(chuàng)新，踐行數(shù)字化及綠色戰(zhàn)略，助力中國加速實現(xiàn)“雙碳”目標。本項目就是在上述背景下，由英特爾中國和浪潮信息通力合作完成。為應(yīng)對IT設(shè)備功耗和功率密度的持續(xù)增加、數(shù)據(jù)中心PUE要求日益嚴格的挑戰(zhàn)，本項目探索出更經(jīng)濟、更高效的基于冷板的全液冷解決方案的參考設(shè)計和驗證方法。目錄第一章液冷行業(yè)背景及技術(shù)優(yōu)化方向液冷行業(yè)背景及政策液冷數(shù)據(jù)中心主流技術(shù)介紹及對比先進冷板液冷數(shù)據(jù)中心介紹冷板液冷服務(wù)器設(shè)計技術(shù)優(yōu)化方向第二章全液冷服務(wù)器系統(tǒng)架構(gòu)設(shè)計全液冷冷板服務(wù)器創(chuàng)新實踐系統(tǒng)組成及管路布局通流方式選擇及流量計算第三章全液冷服務(wù)器冷板關(guān)鍵部件設(shè)計CPU冷板設(shè)計內(nèi)存液冷設(shè)計硬盤液冷設(shè)計PCIe/OCP卡液冷設(shè)計電源冷板設(shè)計第四章全液冷服務(wù)器冷板性能測試測試項目介紹測試結(jié)果分析第五章鋁冷板全液冷方案設(shè)計與測試鋁冷板全液冷方案設(shè)計鋁冷板性能與兼容性測試鋁冷板測試結(jié)果及分析第六章冷板液冷未來思考展望全液冷冷板技術(shù)應(yīng)用拓展冷板液冷新技術(shù)展望03040708091011121316171718192123242529303132353637第一章液冷行業(yè)背景及技術(shù)優(yōu)化方向液冷行業(yè)背景及政策液冷數(shù)據(jù)中心主流技術(shù)介紹及對比先進冷板液冷數(shù)據(jù)中心介紹冷板液冷服務(wù)器設(shè)計技術(shù)優(yōu)化方向03

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》國家十四五規(guī)劃提出大力發(fā)展數(shù)字經(jīng)濟，計算力代表著生產(chǎn)力，而計算力的承載體就是數(shù)據(jù)中心。根據(jù)IDC發(fā)布算力報告指出：算力提升與經(jīng)濟發(fā)展成正相關(guān)關(guān)系，計算力指數(shù)每提高一個點，數(shù)字經(jīng)濟會增長3.5%，GDP會增長1.8%。數(shù)據(jù)中心基礎(chǔ)設(shè)施作為算力的載體已成為支撐數(shù)字經(jīng)濟的“數(shù)字底座”，而其本身也是碳排放“大戶”，2022年，中國數(shù)據(jù)中心碳排放量相當于5000萬輛燃油汽車的年排放總量。在雙碳目標下，作為“耗電大戶”數(shù)據(jù)中心的節(jié)能減排備受關(guān)注。當前，芯片功耗與服務(wù)器功耗逐步上升。與之對應(yīng)，單機柜功率密度也不斷增大。根據(jù)相關(guān)機構(gòu)調(diào)研，2020年數(shù)據(jù)中心平均機架功率為8.5kW/機柜，相比于2011、2017年有明顯提高，年復(fù)合增長率達到15%。高功耗芯片，高密度服務(wù)器及單機柜密度的演進，對于傳統(tǒng)風(fēng)冷散熱來說，既容易出現(xiàn)局部熱點，影響換熱性能；又需要不斷降低送風(fēng)溫度，增大送風(fēng)風(fēng)量，影響制冷能耗。因此，傳統(tǒng)風(fēng)冷制冷模式在換熱性能及能耗優(yōu)化方面逐步受限。液冷是一種新興的冷卻技術(shù)，該種技術(shù)通過采用液態(tài)冷卻工質(zhì)流動方式帶走發(fā)熱元件熱量替代風(fēng)冷換熱中采用空氣換熱的模式。與風(fēng)冷對比，液冷技術(shù)可以更好地支持高功耗芯片解熱，保持芯片低溫運行，延長壽命；充分利用室外自然冷源冷卻，降低數(shù)據(jù)中心PUE；提高關(guān)鍵部件換熱效率，減少服務(wù)器散熱熱點，支持機柜更高密度；降低數(shù)據(jù)中心噪聲，提升數(shù)據(jù)中心環(huán)境適應(yīng)性。因此，未來數(shù)據(jù)中心建設(shè)中，液冷技術(shù)的應(yīng)用將會是在數(shù)據(jù)中心制冷方向的重要組成部分，也是實現(xiàn)綠色算力和雙碳目標達成的重要舉措。1.1數(shù)據(jù)中心行業(yè)發(fā)展及問題“碳中和”成為全人類共識，已有130多個國家宣示了碳中和承諾。近年來隨著數(shù)據(jù)中心規(guī)?？焖僭鲩L，其耗電量約占全球總用電量的2%，且還在急劇增加?！禪ptime全球數(shù)據(jù)中心報告2022》指出，2014年以來，全球大型數(shù)據(jù)中心PUE連續(xù)8年維持在1.6左右，數(shù)據(jù)中心能效水平仍存在較大優(yōu)化空間。為推動數(shù)據(jù)中心綠色發(fā)展，多個國家、國際組織發(fā)布相關(guān)政策。多地已開始限制高PUE的數(shù)據(jù)中心的建設(shè)，相關(guān)政策和數(shù)據(jù)中心機房對PUE提出明確限制，鼓勵液冷技術(shù)、IT設(shè)備高密度集成技術(shù)及IT設(shè)備能效提升技術(shù)實施，促進數(shù)據(jù)中心液冷技術(shù)進一步發(fā)展。1.2數(shù)據(jù)中心行業(yè)政策介紹1.液冷行業(yè)背景及政策第一章｜液冷行業(yè)背景及技術(shù)優(yōu)化方向04

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》標準化是衡量技術(shù)成熟度的重要憑證，對于液冷數(shù)據(jù)中心的標準化建設(shè)，一直以來都是行業(yè)領(lǐng)域、學(xué)術(shù)界與工業(yè)界關(guān)注的重點。國內(nèi)標準方面，已發(fā)布1項與電子設(shè)備相關(guān)的冷板液冷國家標準，GB/T15428-1995《電子設(shè)備用冷板設(shè)計導(dǎo)則》。該標準主要規(guī)定電子設(shè)備使用的冷板換熱計算和結(jié)構(gòu)設(shè)計，對于冷板核心參數(shù)定義，性能定義，材料定義，加工工藝，漏液檢測定義和測試方法及要求均不涉及；同時據(jù)統(tǒng)計，近五年來國內(nèi)有十余家標準組織或技術(shù)組織正在開展液冷技術(shù)相關(guān)的標準化工作，已發(fā)布行業(yè)標準9項，團體標準28項，涉及液冷部件，節(jié)點，系統(tǒng)和數(shù)據(jù)中心四個層面的技術(shù)要求和測試方法，適用于液冷系統(tǒng)的設(shè)計、施工、部署、運維、測試等環(huán)節(jié)的技術(shù)指導(dǎo)（清單詳見下表）；此外國內(nèi)也已發(fā)布20余項白皮書或研究報告成果。1.3液冷數(shù)據(jù)中心標準化建設(shè)序號標準類別標準編號標準名稱歸口單位1國家標準GB/T

15428-1995電子設(shè)備用冷板設(shè)計導(dǎo)則全國電工電子設(shè)備結(jié)構(gòu)綜合標準化技術(shù)委員會2行業(yè)標準YD/T

4024-2022數(shù)據(jù)中心液冷服務(wù)器系統(tǒng)總體技術(shù)要求和測試方法中國通信標準化協(xié)會3行業(yè)標準YD/T

3983-2021數(shù)據(jù)中心液冷服務(wù)器系統(tǒng)能源使用效率技術(shù)要求和測試方法中國通信標準化協(xié)會4行業(yè)標準YD/T

3982-2021數(shù)據(jù)中心液冷系統(tǒng)冷卻工質(zhì)體技術(shù)要求和測試方法中國通信標準化協(xié)會5行業(yè)標準YD/T

3981-2021數(shù)據(jù)中心噴淋式液冷服務(wù)器系統(tǒng)技術(shù)要求和測試方法中國通信標準化協(xié)會6行業(yè)標準YD/T

3980-2021數(shù)據(jù)中心冷板式液冷服務(wù)器系統(tǒng)技術(shù)要求和測試方法中國通信標準化協(xié)會7行業(yè)標準YD/T

3979-2021數(shù)據(jù)中心浸沒式液冷服務(wù)器系統(tǒng)技術(shù)要求和測試方法中國通信標準化協(xié)會8行業(yè)標準YD/T

4274-2023單相浸沒式液冷數(shù)據(jù)中心設(shè)計要求中國通信標準化協(xié)會9行業(yè)標準YD/T

4411-2023浸沒式液冷數(shù)據(jù)中心測試方法中國通信標準化協(xié)會10團體標準T/CESA

1249.1-2023服務(wù)器及存儲設(shè)備用液冷裝置技術(shù)規(guī)范第1部分：冷板中國電子工業(yè)標準化技術(shù)協(xié)會11團體標準T/CESA

1249.2-2023服務(wù)器及存儲設(shè)備用液冷裝置技術(shù)規(guī)范第2部分：連接系統(tǒng)中國電子工業(yè)標準化技術(shù)協(xié)會12團體標準T/CESA

1249.3-2023服務(wù)器及存儲設(shè)備用液冷裝置技術(shù)規(guī)范第3部分：冷量分配單元中國電子工業(yè)標準化技術(shù)協(xié)會13團體標準T/CESA

1249.4-2023服務(wù)器及存儲設(shè)備用液冷裝置技術(shù)規(guī)范第4部分：液冷監(jiān)控中國電子工業(yè)標準化技術(shù)協(xié)會14團體標準T/CESA

1271-2023液冷式高性能計算機技術(shù)參考架構(gòu)中國電子工業(yè)標準化技術(shù)協(xié)會15團體標準T/CESA

1272-2023高性能計算機浸沒式液冷系統(tǒng)技術(shù)要求中國電子工業(yè)標準化技術(shù)協(xié)會16團體標準T/CCSA

239.2-2020服務(wù)器用液冷系統(tǒng)第2部分：噴淋式中國通信標準化協(xié)會05

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》表1.現(xiàn)有液冷數(shù)據(jù)中心標準第一章｜液冷行業(yè)背景及技術(shù)優(yōu)化方向第一章｜液冷行業(yè)背景及技術(shù)優(yōu)化方向在國外標準方面，ASHRAE

TC9.9定義了供給冷量分配單元的一次側(cè)冷卻水的溫度等級，從

W17到W+共6個溫度等級，詳細內(nèi)容如下表所示。序號標準類別標準編號標準名稱歸口單位17團體標準T/CCSA

239.1-2018服務(wù)器用液冷系統(tǒng)第1部分：間接冷板式中國通信標準化協(xié)會18團體標準T/CIE

087—2020單相浸沒式直接液冷數(shù)據(jù)中心設(shè)計規(guī)范中國電子學(xué)會19團體標準T/CIE

091—2020溫水冷板式間接液冷數(shù)據(jù)中心設(shè)計規(guī)范中國電子學(xué)會20團體標準T/CIE

090—2020數(shù)據(jù)中心溫水冷板式間接液冷設(shè)備通用技術(shù)要求中國電子學(xué)會21團體標準T/CIE

088—2020非水冷板式間接液冷數(shù)據(jù)中心設(shè)計規(guī)范中國電子學(xué)會22團體標準T/CIE

089—2020噴淋式直接液冷數(shù)據(jù)中心設(shè)計規(guī)范中國電子學(xué)會23團體標準T/CIE

098—2021液/氣雙通道熱管冷板間接液冷數(shù)據(jù)中心設(shè)計規(guī)范中國電子學(xué)會24團體標準T/CIE

097—2021液/氣雙通道熱管冷板間接液冷數(shù)據(jù)中心散熱設(shè)備通用技術(shù)規(guī)范中國電子學(xué)會25團體標準T/CIE

096-2021相變浸沒式直接液冷數(shù)據(jù)中心設(shè)計規(guī)范中國電子學(xué)會26團體標準T/CIE

050-2018液-氣雙通道散熱數(shù)據(jù)中心機房驗收標準及測試方法中國電子學(xué)會27團體標準T/CIE

051-2018液-氣雙通道散熱數(shù)據(jù)中心機房設(shè)計規(guī)范中國電子學(xué)會28團體標準T/ZSA

216-2023相變浸沒式直接液冷數(shù)據(jù)中心設(shè)計規(guī)范中關(guān)村標準化協(xié)會29團體標準T/SHSIC

0202-2023數(shù)據(jù)中心浸沒式液冷系統(tǒng)單項冷卻工質(zhì)技術(shù)指標和測試方法上海市通信學(xué)會30團體標準T/CA

307-2023數(shù)據(jù)中心浸沒液冷系統(tǒng)碳氟類冷卻工質(zhì)技術(shù)要求和測試規(guī)范中國通信工業(yè)協(xié)會表2.

ASHRAE機房等級劃分及參數(shù)ASHRAE機房等級

W1706

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》W27W32W40W45W+一次側(cè)供水溫度17℃27℃32℃40℃45℃>45℃冷板液冷和浸沒式液冷是目前數(shù)據(jù)中心行業(yè)應(yīng)用的兩種主流液冷技術(shù)。冷板式液冷是指采用液體作為傳熱工質(zhì)在高導(dǎo)熱金屬冷板內(nèi)部流道流動，通過熱傳遞對熱源實現(xiàn)冷卻的非接觸式液體冷卻技術(shù)。浸沒式液冷是將發(fā)熱電子元器件直接浸沒在非導(dǎo)電冷卻工質(zhì)中，通過冷卻工質(zhì)循環(huán)流動來進行散熱的接觸式冷卻技術(shù)。根據(jù)液冷工質(zhì)在換熱過程中是否會發(fā)生液氣相轉(zhuǎn)變，冷板和浸沒式液冷又分成單相式和兩相式。單相冷板和單相沒式液冷由于技術(shù)相對簡單，在教科研、互聯(lián)網(wǎng)和通信等多行業(yè)里已經(jīng)有一些典型部署案例。相比單相浸沒式液冷，單相冷板式液冷主要有以下優(yōu)勢：技術(shù)相對成熟，生態(tài)完善，對機柜和服務(wù)器改造小，初投資少，成本優(yōu)勢明顯。不改變客戶的使用習(xí)慣，運維模式、機房承重與風(fēng)冷場景也基本一致。冷卻工質(zhì)不直接接觸芯片和服務(wù)器內(nèi)其他部件，對材料兼容性要求低，可以相對容易地與不同廠商和型號的計算設(shè)備兼容，提供更多的硬件選擇空間；對服務(wù)器高速鏈路信號完整性也無影響。占用空間相對較少，適合于對空間有限制的數(shù)據(jù)中心和計算環(huán)境。對冷卻工質(zhì)的需求量少，冷板液冷冷卻工質(zhì)相比浸沒式液冷用氟化液也更加環(huán)保。單芯片散熱能力在1kW以上，相比單相浸沒式液冷有更高的單點散熱能力。除此之外，相比于單相浸沒式液冷，單相冷板式液冷（以下均簡稱為冷板式液冷）的缺點主要集中在以下幾個方面：數(shù)據(jù)中心系統(tǒng)PUE更高：由于冷板式液冷服務(wù)器中冷板結(jié)構(gòu)多數(shù)僅覆蓋CPU、GPU等高功耗發(fā)熱部件，其余部件常以風(fēng)冷輔助冷卻，服務(wù)器仍需配置冷板及風(fēng)扇兩套冷卻部件，數(shù)據(jù)中心需要配置CDU和空調(diào)兩套冷卻系統(tǒng)。隨著空調(diào)及壓縮機制冷，通常冷板液冷數(shù)據(jù)中心PUE高于浸沒式液冷系統(tǒng)。系統(tǒng)存在漏液短路風(fēng)險：冷板式液冷系統(tǒng)通常冷卻工質(zhì)選擇去離子水或乙二醇/丙二醇水溶液，如果冷卻工質(zhì)與冷板材質(zhì)選擇和后期維護不當，長期運行后可能出現(xiàn)腐蝕，導(dǎo)致冷卻工質(zhì)泄露，最終對服務(wù)器造成宕機或者燒板的風(fēng)險?；谏鲜隼浒迨揭豪涞膬?yōu)劣勢情況，鑒于冷板式液冷在整體系統(tǒng)架構(gòu)改造，產(chǎn)業(yè)鏈成熟度，初投資等方面均有優(yōu)勢。如果冷板液冷能夠逐步增加液冷覆蓋面積，同時避免因冷卻工質(zhì)泄露導(dǎo)致的系統(tǒng)短路風(fēng)險，冷板式液冷優(yōu)勢會更加明顯。2.1數(shù)據(jù)中心行業(yè)發(fā)展及問題2.液冷數(shù)據(jù)中心主流技術(shù)介紹及對比第一章｜液冷行業(yè)背景及技術(shù)優(yōu)化方向07

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》Frontier和Aurora數(shù)據(jù)中心均采用了冷板全液冷高密服務(wù)器架構(gòu)，冷板全液冷顧名思義就是用冷板液冷技術(shù)實現(xiàn)服務(wù)器內(nèi)接近100%的熱捕獲。冷板全液冷服務(wù)器在全球很多高算力，高供電密度的數(shù)據(jù)中心中已有很多商業(yè)部署案例，其帶來的好處是高效節(jié)能與靜音：服務(wù)器內(nèi)去風(fēng)扇，數(shù)據(jù)中心去空調(diào)化運行，數(shù)據(jù)中心PUE低至1.1以下，運行噪音低于60dB。這對于大規(guī)模高密度計算集群來說是一個重要的優(yōu)勢，有助于進一步提高能源使用效率，把更多的電力用于提升算力。高集成：采用全液冷技術(shù)，利用一套高溫水系統(tǒng)可以實現(xiàn)系統(tǒng)換熱，機房內(nèi)部無需空調(diào)冷凝器設(shè)備，機房外部無需額外配置空調(diào)蒸發(fā)器，冷水機組及各項管路，全液冷服務(wù)器布置可以通過去除空調(diào)系統(tǒng)及相應(yīng)基礎(chǔ)設(shè)施節(jié)省30%以上的空間。高密度：全液冷產(chǎn)品可以忽略風(fēng)扇及空調(diào)的影響，使服務(wù)器的布置和機柜內(nèi)排布更緊密，單機柜可支持100KW以上，無需安裝冷熱通道封閉設(shè)施，節(jié)省了大量的空間，從而能夠在單位空間布置更多的服務(wù)器，提高數(shù)據(jù)中心運算效率。除去以上全液冷冷板系統(tǒng)應(yīng)用可以帶來的諸多好處之外，全液冷冷板服務(wù)器系統(tǒng)大規(guī)模推廣應(yīng)用還存在很多挑戰(zhàn)，需要后續(xù)逐步優(yōu)化去解決：3.2數(shù)據(jù)中心特點及問題分析FrontierFrontier系統(tǒng)安裝在美國田納西州ORNL橡樹嶺國家實驗室，系統(tǒng)總共配有74個獨立機柜，包括

9408個CPU和37632個GPU，搭載CPU和GPU的9408個刀片服務(wù)器通過全冷板液冷的方式進行冷卻散熱。AuroraAurora系統(tǒng)安裝在美國能源部下屬阿貢國家實驗室，根據(jù)規(guī)劃，Aurora在建設(shè)完成后將配備

21248個CPU,

63744個GPU，搭載CPU和GPU的10624個刀片服務(wù)器通過全冷板液冷的方式進行冷卻散熱。3.先進冷板液冷數(shù)據(jù)中心介紹為了更清晰地了解先進冷板式液冷數(shù)據(jù)中心形態(tài)功能及應(yīng)用情況，選取行業(yè)數(shù)據(jù)中心典型代表進行分析，詳細數(shù)據(jù)如下：3.1先進冷板液冷數(shù)據(jù)中心介紹第一章｜液冷行業(yè)背景及技術(shù)優(yōu)化方向08

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》結(jié)合冷板式液冷特點及行業(yè)先進液冷數(shù)據(jù)中心分析，冷板液冷未來技術(shù)優(yōu)化方向主要圍繞通過技術(shù)創(chuàng)新進一步提高能效，降低初投資成本，減少漏液安全隱患及提高運維便利性展開。完善部件液冷方案,提高液冷覆蓋率。除CPU,GPU，內(nèi)存之外，目前業(yè)界對服務(wù)器內(nèi)其他發(fā)熱部件如何通過冷板液冷實現(xiàn)經(jīng)濟有效散熱的探索還比較少，方案尚未成熟，價格昂貴，有待通過設(shè)計方案的創(chuàng)新實現(xiàn)標準化，規(guī)?；瘧?yīng)用的經(jīng)濟性和可靠性，進一步提高冷板液冷數(shù)據(jù)中心能效，減少數(shù)據(jù)中心空調(diào)用量和成本，降低冷卻系統(tǒng)復(fù)雜度。提高通用化及可維護性。目前已知的全冷板液冷方案大多基于高度定制化服務(wù)器設(shè)計，液冷方案無法靈活適用于傳統(tǒng)通用服務(wù)器架構(gòu)。對硬盤和網(wǎng)卡等通常需要熱插拔的部件無法支持不斷電維護。內(nèi)存液冷方案對冷板管路加工精度要求非常高，在內(nèi)存安裝，維護及可靠性方面也存在一定的弊端。拓展冷板液冷材料范圍，減輕重量，降低成本。服務(wù)器重量隨著液冷部件的增多大幅上升，對服務(wù)器運維和運輸過程中的可靠性帶來諸多挑戰(zhàn)。拓展低密度低成本冷板液冷材料范圍，有助于推動行業(yè)多樣化發(fā)展。提升液冷系統(tǒng)長期使用的安全性，降低漏液風(fēng)險。選取合理的冷板環(huán)路材料和液冷冷卻工質(zhì)，并進行充分的相容性測試及系統(tǒng)性能老化性測試，是保障液冷系統(tǒng)全生命周期內(nèi)安全穩(wěn)定運行，降低漏液風(fēng)險的關(guān)鍵。4.冷板液冷服務(wù)器設(shè)計技術(shù)優(yōu)化方向隨著服務(wù)器內(nèi)液冷覆蓋率的增高，服務(wù)器冷板液冷環(huán)路設(shè)計復(fù)雜度提升，對適合的服務(wù)器系統(tǒng)架構(gòu)有一定要求，需要設(shè)計者在早期就針對全液冷方案規(guī)劃合理的服務(wù)器架構(gòu)設(shè)計，減少全液冷環(huán)路設(shè)計的復(fù)雜性。隨著液冷環(huán)路包含的部件增多，服務(wù)器內(nèi)冷板方案的重量和體積也會有大幅提升，對液冷環(huán)路的安裝和維護帶來更多挑戰(zhàn)。服務(wù)器內(nèi)冷板方案的成本也會隨著液冷覆蓋率的提高而有所提升，需要通過部件液冷方案設(shè)計優(yōu)化及標準化以促進規(guī)模應(yīng)用，降低成本。09

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》第一章｜液冷行業(yè)背景及技術(shù)優(yōu)化方向第二章10

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》全液冷服務(wù)器系統(tǒng)架構(gòu)設(shè)計全液冷冷板服務(wù)器創(chuàng)新實踐系統(tǒng)組成及管路布局通流方式選擇及流量計算節(jié)點與硬盤區(qū)域?qū)崿F(xiàn)內(nèi)部水電信號盲插結(jié)構(gòu)共用，去除了多余管路，單節(jié)點運行即可支持多張固態(tài)硬盤液冷。節(jié)點冷板設(shè)計采用串聯(lián)主流路，冷板焊接接口明顯減少，降低漏液風(fēng)險。全新的內(nèi)存液冷設(shè)計方案，顛覆了業(yè)界現(xiàn)有方案在散熱性能，公差控制，維護便利性及信號接觸可靠性方面的弊端，為解決高功耗內(nèi)存散熱難題打開了新思路。全新的OCP網(wǎng)卡和硬盤液冷方案簡單可靠，均可支持30次以上熱插拔，方便客戶在開機狀態(tài)下進行維修，擴容或系統(tǒng)更新操作。此全液冷冷板方案最大化地利用現(xiàn)有風(fēng)冷模組及業(yè)界成熟的冷板和風(fēng)冷散熱器加工工藝，避免定制化液冷部件和復(fù)雜加工工藝，優(yōu)化成本。對低密度低成本鋁冷板的散熱可行性及與冷卻工質(zhì)的長期相容性做了大量拓展研究，為鋁冷板在數(shù)據(jù)中心行業(yè)應(yīng)用可行性分析積累了寶貴實踐數(shù)據(jù)。為了進一步推動液冷技術(shù)發(fā)展和生態(tài)成熟，浪潮信息聯(lián)合英特爾深耕通用高密服務(wù)器液冷優(yōu)化設(shè)計，除了業(yè)界目前廣泛嘗試的CPU和GPU液冷，對高功耗內(nèi)存，固態(tài)硬盤，OCP網(wǎng)卡，

PSU電源，PCIe和光模塊液冷也進行了深入的探索和研究，打造行業(yè)最高液冷覆蓋率，滿足用戶多種液冷覆蓋占比部署要求，為互聯(lián)網(wǎng)、通訊等行業(yè)客戶提供通用基礎(chǔ)能力及多樣化技術(shù)支持。此次全液冷冷板系統(tǒng)開發(fā)是基于浪潮信息2U四節(jié)點高密計算服務(wù)器i24，每個液冷節(jié)點支持兩顆英特爾第五代至強平臺可擴展處理器，搭配16根DDR5內(nèi)存，1張PCIe擴展卡和1張

OCP3.0網(wǎng)卡。整機可支持8張SSD固態(tài)硬盤，在實現(xiàn)高密算力的同時滿足客戶存儲需求。服務(wù)器主要的發(fā)熱部件包括CPU、內(nèi)存，I/O板卡,本地硬盤，機箱電源等。液冷方案實現(xiàn)了系統(tǒng)中95%左右的熱量通過冷板接觸熱源由液體直接帶走，剩余5%左右的熱量經(jīng)由PSU電源后置的風(fēng)液式換熱器里面的冷卻水帶走，系統(tǒng)級即可實現(xiàn)接近100%液冷熱捕獲率。整體設(shè)計理念是基于在滿足性能和可靠性要求的基礎(chǔ)上，從系統(tǒng)級解決方案開始，探索高能效，低成本和易于運維的全液冷服務(wù)器全新設(shè)計之道：1.全液冷冷板服務(wù)器創(chuàng)新實踐第二章｜全液冷服務(wù)器系統(tǒng)架構(gòu)設(shè)計11

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》2U四節(jié)點全液冷服務(wù)器系統(tǒng)由節(jié)點、機箱、中背板、固態(tài)硬盤模組組成。節(jié)點和機箱組件間通過快接頭、電源及信號連接器實現(xiàn)水、電、信號盲插。2.1全液冷服務(wù)器整機介紹全液冷服務(wù)器的節(jié)點由節(jié)點外殼、主板、CPU芯片、內(nèi)存模組、內(nèi)存冷板、CPU冷板，IO冷板，電源及電源后置換熱器等組成。2.2全液冷服務(wù)器單節(jié)點介紹2.系統(tǒng)組成及管路布局圖1.2U四節(jié)點全液冷服務(wù)器圖2.全液冷服務(wù)器節(jié)點第二章｜全液冷服務(wù)器系統(tǒng)架構(gòu)設(shè)計12

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》3.通流方式選擇及流量計算圖3.

2U四節(jié)點全液冷服務(wù)器串聯(lián)流路為了簡化流路設(shè)計的復(fù)雜性，此全液冷服務(wù)器的散熱冷卻工質(zhì)流路選用串聯(lián)流路設(shè)計，冷卻工質(zhì)整體由低功耗器件往高功耗器件流動和散熱，詳細流動方向見下圖及表所示。3.1全液冷冷板通流方式選擇表3.冷卻工質(zhì)流動順序13

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》流動順序冷卻部件1CDU冷卻工質(zhì)經(jīng)快接頭1流入電源冷板2經(jīng)節(jié)點快接頭2流入節(jié)點內(nèi)IO冷板（PCIe，OCP3.0，PCH和IO部件）3內(nèi)存冷板4流出節(jié)點，經(jīng)快接頭3流入SSD冷板5經(jīng)快接頭3流回節(jié)點，流入CPU冷板，經(jīng)快接頭2、1流出系統(tǒng)返回CDU第二章｜全液冷服務(wù)器系統(tǒng)架構(gòu)設(shè)計全液冷服務(wù)器流量需要滿足系統(tǒng)散熱需求：1）為了確保二次側(cè)管路材料的長期可靠性，二次側(cè)回水溫度不超過65?C；2）確保全液冷服務(wù)器各零部件在定義的邊界條件下滿足散熱需求，選取銅冷板+PG25作為流量設(shè)計分析。為了滿足二次側(cè)回水溫不超過65?C要求，通過下列公式計算出單節(jié)點PG25最小流量Qmin：Qmin=Psys/(ρ*C*?T)≈1.3(LPM)其中：Psys指單節(jié)點功耗，通過計算硬件配置以及電路損耗，單節(jié)點功耗約為1100W。ρ指PG25在目標溫度下的密度。C指PG25在目標溫度下的比熱容。?T=14?C指二次側(cè)進水溫度51?C到最高回水溫度65?C的溫差。為進一步驗證該流量下，各個冷板覆蓋部件是否超溫，通過CFD軟件進行散熱仿真。結(jié)果顯示全液冷服務(wù)器銅冷板在進水溫度51?C（W45）以及冷卻工質(zhì)PG25

1.3LPM流量條件下所有零部件溫度都滿足溫度要求，且具有一定的安全溫度裕量，詳細數(shù)據(jù)如下表所示：3.2全液冷冷板流量設(shè)計表4.

CFD散熱仿真條件14

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》第二章｜全液冷服務(wù)器系統(tǒng)架構(gòu)設(shè)計序號項目仿真數(shù)據(jù)1冷板材料純銅2冷卻工質(zhì)PG253進水溫度51℃（W45）4環(huán)境溫度35℃5節(jié)點流量1.3LPM綜上分析所述，全液冷服務(wù)器采用單節(jié)點流量1.3LPM完全滿足系統(tǒng)散熱設(shè)計目標，而且經(jīng)濟合理利用CDU提供的冷卻工質(zhì)。15

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》表5.

CFD散熱仿真結(jié)果序號部件仿真功耗W溫度規(guī)格℃仿真結(jié)果℃1CPU3508763（殼溫）2Memory12.985733VR032110834VR132110815PCH1386556BMC586617CPLD5.3110638SSD13.570679OCP41055310HCA25.71059111QSFP4.77572第二章｜全液冷服務(wù)器系統(tǒng)架構(gòu)設(shè)計第三章16

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》全液冷服務(wù)器冷板關(guān)鍵部件設(shè)計CPU冷板設(shè)計內(nèi)存液冷設(shè)計硬盤液冷設(shè)計PCIe/OCP卡液冷設(shè)計電源冷板設(shè)計CPU冷板模組是基于英特爾第五代至強平臺可擴展處理器冷板的設(shè)計要求，綜合考慮散熱，結(jié)構(gòu)性能，成品率，價格及不同材質(zhì)冷板設(shè)計兼容性等因素優(yōu)化而成的一款CPU冷板參考設(shè)計，主要由CPU冷板鋁支架，CPU冷板及冷板接頭等部件組成。內(nèi)存液冷設(shè)計采用的是創(chuàng)新型的枕木散熱器液冷方案，因內(nèi)存插滿如鐵軌上的枕木而得名。它將傳統(tǒng)風(fēng)冷散熱和冷板散熱相結(jié)合，通過內(nèi)置熱管的散熱器（或純鋁/銅板、Vapor

Chamber等）把內(nèi)存上的熱量傳遞至兩端，與冷板通過選定的導(dǎo)熱墊片接觸，最終通過冷板內(nèi)的冷卻工質(zhì)把熱量帶走實現(xiàn)內(nèi)存散熱。內(nèi)存跟散熱器可在系統(tǒng)外通過治具進行組裝形成最小維護單元（下文稱之為內(nèi)存模組）。內(nèi)存冷板上設(shè)計有內(nèi)存模組固定結(jié)構(gòu)可確保散熱器和內(nèi)存冷板之間良好接觸，內(nèi)存模組固定結(jié)構(gòu)根據(jù)需要可以用螺絲固定或者無工具維護。內(nèi)存冷板頂部給內(nèi)存散熱，底部則可以根據(jù)需要給主板其他發(fā)熱元器件散熱，比如VR，最大化利用內(nèi)存冷板。為簡化內(nèi)存冷板設(shè)計，內(nèi)存和主板之間可以設(shè)計轉(zhuǎn)接支架來滿足不同主板的限高區(qū)。1.CPU冷板設(shè)計2.內(nèi)存液冷設(shè)計圖4.

CPU冷板模組圖5.枕木散熱器液冷方案第三章｜全液冷服務(wù)器冷板關(guān)鍵部件設(shè)計17

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》第三章｜全液冷服務(wù)器冷板關(guān)鍵部件設(shè)計與市場上現(xiàn)有的管路（Tubing）內(nèi)存液冷方案相比，枕木散熱器液冷方案的主要優(yōu)勢有：易于維護。內(nèi)存維護時只需像維護風(fēng)冷內(nèi)存一樣維護內(nèi)存模組，無需將散熱器和扣具取下，極大地提高了液冷內(nèi)存組裝效率和可靠性，降低了內(nèi)存在系統(tǒng)內(nèi)拆裝時可能對內(nèi)存顆粒和導(dǎo)熱墊片造成的損傷。通用性好。不同內(nèi)存的顆粒厚度和內(nèi)存間距不影響該方案的散熱性能，該方案最小適應(yīng)7.5毫米的內(nèi)存間距，往上兼容。散熱器和冷板解耦設(shè)計，可重復(fù)利用和內(nèi)存液冷標準化。更高的性價比。內(nèi)存散熱器可根據(jù)內(nèi)存功耗選取不同的工藝和散熱技術(shù)，且數(shù)量可根據(jù)內(nèi)存按需配置。在7.5毫米內(nèi)存間距情況下，即可滿足30W以上內(nèi)存的散熱需求。易于制造和組裝。內(nèi)存插槽之間沒有液冷管路，無需復(fù)雜的管路焊接和工藝控制，可以采用傳統(tǒng)風(fēng)冷散熱器和通用的CPU冷板制造工藝。組裝散熱器時，散熱性能對散熱器和主板在垂直于內(nèi)存顆粒平面方向的公差不敏感，不會出現(xiàn)熱接觸不良，更容易組裝。可靠性好。枕木液冷方案避免了組裝過程中可能對內(nèi)存顆粒和導(dǎo)熱墊片造成的損傷，并可滿足多次插拔需求。此外，它還避免了內(nèi)存和管路液冷散熱方案安裝后內(nèi)存與插槽間由于傾斜而造成信號接觸不良的風(fēng)險，極大地提升系統(tǒng)可靠性。創(chuàng)新的固態(tài)硬盤液冷方案是通過內(nèi)置熱管的散熱器把硬盤區(qū)域的熱量導(dǎo)出與硬盤區(qū)域外的冷板通過導(dǎo)熱墊片垂直接觸實現(xiàn)換熱。此固態(tài)硬盤液冷方案主要由裝有散熱器的固態(tài)硬盤模組，固態(tài)硬盤冷板，硬盤模組鎖緊機構(gòu)，及硬盤支架組成。硬盤模組鎖緊機構(gòu)固定在硬盤支架上提供合適的預(yù)緊力來保證固態(tài)硬盤模組和固態(tài)硬盤冷板的長期接觸可靠性。為了方便硬盤冷板環(huán)路在狹小空間內(nèi)的安裝，硬盤支架在服務(wù)器深度方向采用了抽屜式的安裝方式設(shè)計。3.硬盤液冷設(shè)計圖6.創(chuàng)新的固態(tài)硬盤液冷方案18

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》相比業(yè)界已有的硬盤液冷嘗試，此方案的先進性主要體現(xiàn)在：可支持30次以上系統(tǒng)不斷電熱插拔硬盤安裝過程中對導(dǎo)熱界面材料無剪切破環(huán)風(fēng)險，鎖緊機構(gòu)的設(shè)計可以保證長期的接觸可靠性液冷散熱方案對加工工藝要求低，只需采用傳統(tǒng)的風(fēng)冷和CPU冷板加工工藝硬盤間無水設(shè)計，多硬盤可供用同一冷板，減少了接頭數(shù)量，降低漏液風(fēng)險可靈活適配不同厚度和數(shù)量的固態(tài)硬盤系統(tǒng)PCIe卡液冷方案是基于現(xiàn)有風(fēng)冷PCIe卡，通過開發(fā)一款可以與系統(tǒng)冷板接觸的PCIe卡散熱模塊來實現(xiàn)對光模塊及PCIe卡上主要芯片的散熱。光模塊的熱量通過熱管傳導(dǎo)到與PCIe卡主芯片上的散熱模塊主體，散熱模塊主體與IO冷板通過合適的導(dǎo)熱界面材料接觸實現(xiàn)換熱。液冷PCIe卡主要由QSFP散熱板夾子、PCIe芯片散熱模塊及PCIe卡組成。QSFP散熱板夾子要設(shè)計合適的彈性量，確保與PCIe散熱模塊上的QSFP散熱板和籠子配合實現(xiàn)光模塊安裝時的合適浮動量，以保證良好的用戶體驗，避免損壞光模塊，并實現(xiàn)良好的接觸穩(wěn)定性而達到預(yù)期的散熱效果。4.PCIe/OCP卡液冷設(shè)計4.1PCIe液冷方案圖7.PCIe卡液冷模組第三章｜全液冷服務(wù)器冷板關(guān)鍵部件設(shè)計19

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》OCP3.0卡液冷方案跟PCIe卡類似，通過給OCP3.0卡定制一款液冷散熱器，把卡上發(fā)熱芯片熱量傳導(dǎo)到液冷散熱器，最終通過散熱器與系統(tǒng)IO冷板的接觸把熱量帶走實現(xiàn)散熱。OCP3.0液冷模組主要由散熱器模塊，OCP3.0卡及其支架組成。鎖緊機構(gòu)由于空間限制采用了彈簧螺釘，以保證液冷OCP3.0卡組裝后散熱器模塊與IO冷板之間的長期接觸可靠性?？紤]到后期維護的便利性及OCP3.0卡的多次熱插拔需求，鎖緊機構(gòu)的設(shè)計和導(dǎo)熱界面材料的選型也做了很多優(yōu)化來提高整體方案的可靠性及運維的便利性。4.2OCP3.0液冷方案IO冷板是具有多功能的冷板，不僅僅實現(xiàn)主板IO區(qū)域內(nèi)的發(fā)熱部件的散熱，也實現(xiàn)了液冷

PCIe卡和液冷OCP3.

0卡的散熱。4.3IO冷板方案圖8.

OCP3.0液冷模組圖9.

IO冷板20

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》第三章｜全液冷服務(wù)器冷板關(guān)鍵部件設(shè)計電源液冷解決方案是在現(xiàn)有風(fēng)冷電源的基礎(chǔ)上通過外接一個風(fēng)液換熱器來冷卻PSU風(fēng)扇吹出的熱風(fēng)，以減少系統(tǒng)對外界數(shù)據(jù)中心環(huán)境的預(yù)熱。PSU后置換熱器為多層結(jié)構(gòu)，流道與鰭片相互疊加。PSU后置換熱器的尺寸須在不影響電源線的插拔功能和滿足系統(tǒng)機柜空間限制的條件下，平衡散熱需求，重量及成本做出最優(yōu)選擇。PSU后置換熱器獨立組裝在節(jié)點支架上。5.電源冷板設(shè)計IO冷板主要由IO冷板主體和銅管流道組成。IO冷板主體采用鋁合金材質(zhì)，銅管主要承擔(dān)冷卻工質(zhì)流道和加強散熱的作用，具體設(shè)計需要根據(jù)主板布局及部件的散熱要求進行優(yōu)化。液冷

PCIe卡及液冷OCP3.0卡上的散熱模塊與IO冷板沿箭頭方向接觸。冷卻工質(zhì)流道材料的選型需要考慮與系統(tǒng)管路冷卻工質(zhì)及浸潤材料的兼容性。此IO冷板液冷方案實現(xiàn)了多個部件在多維度的組裝需求，銅鋁材質(zhì)的混合使用，解決了材料兼容性問題，保證散熱效果，同時幫助減輕60%冷板重量并降低了成本。圖10.液冷PCIe卡，液冷OCP3.0及IO冷板位置圖11.PSU后置換熱器第三章｜全液冷服務(wù)器冷板關(guān)鍵部件設(shè)計21

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》第三章｜全液冷服務(wù)器冷板關(guān)鍵部件設(shè)計此創(chuàng)新的電源液冷解決方案，無須重新開發(fā)新的液冷專用電源，縮短開發(fā)周期，降低開發(fā)成本；良好的通用性可以靈活適配多家廠商的電源方案，比定制化液冷電源節(jié)約成本60%以上。針對于整機柜的應(yīng)用場景，電源液冷還可以采用集中式風(fēng)液換熱器的解決方案，即對整機柜前后門進行封閉，在機柜底部布置一個集中式風(fēng)液換熱器，借助集中式結(jié)構(gòu)替代PSU后置的分布式風(fēng)液換熱器結(jié)構(gòu)。集中式風(fēng)液換熱器是由噴涂親水涂層強化換熱的鋁制波紋翅片，配合高換熱系數(shù)銅管組成的換熱器，可在能夠在10℃溫差下提供不低于8kW冷卻能力；換熱器流路仿真優(yōu)化，在低阻下承載更多流量；具備防凝露設(shè)計和全方位漏液檢測，杜絕安全隱患。采用特殊的鉸鏈設(shè)計，滿足高承重要求；同時卡盤式連接設(shè)計，方便安裝，易于維護。按照單臺全液冷服務(wù)器超過95%熱量均由冷板解熱，僅有不足5%熱量需要風(fēng)液換熱器解熱計算，單個節(jié)點僅有40-50W風(fēng)液解熱量，單臺集中式風(fēng)液換熱器支持8kW換熱量，可支持不低于150節(jié)點的電源風(fēng)液散熱，且成本遠低于150個分布式風(fēng)液散熱器價格。利用該種方案，服務(wù)器電源可以不做任何改造，產(chǎn)生的熱量在機柜后部由集中式風(fēng)液換熱器統(tǒng)一收集與熱交換，同時該部分熱量在機柜內(nèi)形成自有循環(huán)，不會對機房環(huán)境造成任何影響，真正做到“Rack

asacomputer”。22

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》圖12.全液冷整機柜（含全液冷服務(wù)器+集中式風(fēng)液換熱器）第四章23

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》全液冷服務(wù)器冷板測試驗證測試項目介紹測試結(jié)果分析第四章｜全液冷服務(wù)器冷板測試驗證1.測試項目介紹全液冷服務(wù)器冷板性能測試分別針對單機系統(tǒng)和整機柜系統(tǒng)進行測試，詳細測試項目及介紹如下：測試單臺全液冷冷板服務(wù)器和全液冷整機柜系統(tǒng)在W32、W40與W45一次側(cè)供液溫度，服務(wù)器滿載情況各個部件運行參數(shù)。測試單臺全液冷冷板服務(wù)器液體散熱量比例。測試全液冷服務(wù)器冷板在不同流量及入水溫度的流阻曲線。（1）系統(tǒng)散熱性能測試結(jié)果全液冷服務(wù)器系統(tǒng)散熱性能測試按照最高散熱設(shè)計目標二次側(cè)供水溫度51?C(W45)，冷板系統(tǒng)在相應(yīng)冷卻工質(zhì)單節(jié)點流量1.3LPM進行，測試結(jié)果如下表：2.測試結(jié)果分析1.1散熱性能測試24

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》2.1單機系統(tǒng)測試1.2HCR測試1.3流阻測試表6.系統(tǒng)熱性能測試條件序號項目測試數(shù)據(jù)1冷板材料純銅2冷卻工質(zhì)PG253進水溫度51℃（W45）4出水溫度60℃5環(huán)境溫度24℃6節(jié)點流量1.3LPM全液冷服務(wù)器系統(tǒng)散熱性能測試結(jié)果表明滿配系統(tǒng)在最差工況條件下：供水溫度51?C和額定流量1.3LPM，所有的散熱部件都滿足部件的溫度要求，并且還有十分安全的裕量。下圖為CPU冷板測試散熱性能曲線：表7.系統(tǒng)熱性能測試結(jié)果序號部件加壓讀取功耗W溫度規(guī)格℃測試結(jié)果℃1CPU3508777/74（結(jié)溫）2Memory12.485703VR0/110784VR1/110775PCH/86538SSD11.570659OCP/1055410QSFP/7556圖13.

CPU銅冷板熱阻與流阻曲線第四章｜全液冷服務(wù)器冷板測試驗證25

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》第四章｜全液冷服務(wù)器冷板測試驗證（2）液冷熱捕獲效率（HCR）測試結(jié)果液冷熱捕獲效率（HCR）通常用來衡量液冷系統(tǒng)液冷散熱效率，在全液冷服務(wù)器單系統(tǒng)熱性能測試中收集相關(guān)數(shù)據(jù)，用下列公式計算HCR值：HCR=P_liquid/P_system

*

100%其中：

P_liquid指通過液體散發(fā)的熱量

P_system指液冷系統(tǒng)總功耗全液冷服務(wù)器液冷熱捕獲效率（HCR）測試結(jié)果如下圖：圖14.液冷HCR曲線全液冷服務(wù)器熱捕獲效率（HCR）測試結(jié)果表明：液冷熱捕獲效率（HCR）與?T（系統(tǒng)供水溫度和環(huán)境溫度之間的差值）直接相關(guān)，該?T越小液冷捕獲效率（HCR）值越高。在典型的液冷系統(tǒng)工作邊界條件下：供水溫度38?C（W32）,空氣環(huán)境溫度35?C，液冷熱捕獲效率（HCR）大約93%左右。如果要達到HCR

100%,則需要供水溫度低于空氣環(huán)境溫度10?C，即供液溫度降低至25℃左右，但在這種工況下，需要綜合考慮結(jié)露的風(fēng)險。26

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》（3）全液冷服務(wù)器系統(tǒng)流阻測試結(jié)果冷卻工質(zhì)PG25和純水在不同流量不同溫度下全液冷服務(wù)器系統(tǒng)流阻測試結(jié)果如下圖所示：全液冷服務(wù)器系統(tǒng)流阻測試結(jié)果顯示工質(zhì)PG25在相同溫度和流量下比純水流阻高20%左右，同一工質(zhì)溫度越高流阻越低，PG25的流阻相比純水對溫度更為敏感。在51?C進水溫度1.3LPM流量條件下，采用冷卻工質(zhì)PG25和純水的系統(tǒng)流阻分別是118kPa和99.6kPa。圖15.系統(tǒng)流阻曲線（1）系統(tǒng)散熱性能測試整機柜系統(tǒng)散熱性能測試采用前后封閉液冷機柜，配置3臺液冷服務(wù)器，分別位于機柜上、中、下3個位置，每臺液冷服務(wù)器含有4個節(jié)點，合計12個服務(wù)器節(jié)點。服務(wù)器節(jié)點去除分布式風(fēng)液換熱器，機柜底部配置集中式風(fēng)液換熱器，除服務(wù)器及風(fēng)液換熱器外，其余機架采用盲板結(jié)構(gòu)封存，系統(tǒng)內(nèi)外均無列間空調(diào)使用和運行。由于單節(jié)點已完成整機熱性能測試，整機柜測試測試工況選擇CDU二次側(cè)供水溫度工況38?C(W32)，集中式風(fēng)液換熱器連接一次側(cè)供水工況32?C(W32)，測試結(jié)果表明在上述工況下，系統(tǒng)可正常運行。具體測試數(shù)據(jù)如下表：2.2整機柜系統(tǒng)測試第四章｜全液冷服務(wù)器冷板測試驗證27

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》第四章｜全液冷服務(wù)器冷板測試驗證（2）液冷熱捕獲效率（HCR）測試結(jié)果針對于液冷熱捕獲效率（HCR），相關(guān)計算數(shù)據(jù)如下：冷板液冷解熱量：10.6kW，集中式風(fēng)液換熱器解熱量：0.6kW，因此整體液冷解熱量11.2kW，參考整機測試功耗11.4kW計算可得，HCR為98.2%。與單服務(wù)器在35℃環(huán)境中進行測試相比，在全液冷機柜環(huán)境中，由于機柜前后門封閉，熱量無法從服務(wù)器中逃逸至外部環(huán)境中，更容易被風(fēng)液換熱器進行捕獲，因此系統(tǒng)HCR值更高。這也從另一個角度證明，在該種工作情況下，以全液冷整機柜（全液冷服務(wù)器+集中式風(fēng)液換熱器）為載體，可以最直觀和容易實現(xiàn)系統(tǒng)無風(fēng)扇全液冷。綜合上述分析可得，全液冷服務(wù)器和全液冷整機柜系統(tǒng)可在滿足服務(wù)器關(guān)鍵部件的散熱的基礎(chǔ)上，有效提升系統(tǒng)液冷占比，在規(guī)定的冷卻工質(zhì)流量及溫度的條件下，實現(xiàn)100%的液冷散熱，整體設(shè)計與測試均能互相驗證并滿足要求。表8.全液冷整機柜換熱測試數(shù)據(jù)28

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》類型項目數(shù)據(jù)測試條件數(shù)據(jù)系統(tǒng)冷板銅冷板節(jié)點數(shù)量12冷卻工質(zhì)純水風(fēng)液換熱器一次側(cè)進水溫度31.6℃CDU二次側(cè)進水溫度37.8℃整機柜CDU供水流量14.9LPM整機柜集中式風(fēng)液換熱器供水流量2.9LPM測試環(huán)境溫度35℃風(fēng)液換熱器送風(fēng)溫度36℃測試結(jié)果數(shù)據(jù)風(fēng)液換熱器一次側(cè)回水溫度34.8℃CDU二次側(cè)回水溫度48.1℃整機柜IT總功耗11.4kW風(fēng)液換熱器回風(fēng)溫度44.3℃服務(wù)器節(jié)點溫度正常無超溫第五章29

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》鋁冷板全液冷方案設(shè)計與測試驗證鋁冷板全液冷方案設(shè)計鋁冷板性能與兼容性測試鋁冷板測試結(jié)果及分析第五章｜鋁冷板全液冷方案設(shè)計與測試驗證1.鋁冷板全液冷方案設(shè)計為了進一步優(yōu)化全液冷服務(wù)器的重量和成本，在原有銅冷板的基礎(chǔ)上，此次基于鋁材質(zhì)冷板也做了全液冷系統(tǒng)方案的探索。以下是鋁冷板全液冷服務(wù)器及冷板節(jié)點示意圖。鋁冷板全液冷方案中除了IO冷板的流道設(shè)計和加工方式跟銅冷板有所區(qū)別，其他部件冷板的設(shè)計基本保持跟銅冷板方案一致。與銅制IO冷板銅管嵌入鋁冷板結(jié)構(gòu)設(shè)計不同，鋁制IO冷板直接針對鋁冷板進行槽道設(shè)計，并由上蓋和下底板2塊冷板進行覆蓋和焊接，實現(xiàn)一體化鋁冷板結(jié)構(gòu)，詳細如下圖所示：經(jīng)過測量，冷板材質(zhì)從銅到鋁的替代幫助整個全液冷系統(tǒng)冷板重量節(jié)省44%，降低了對機箱強度和包材設(shè)計要求，提高運維便利。鋁冷板加工工藝靈活，更易于實現(xiàn)規(guī)?；?，大規(guī)模量產(chǎn)后鋁冷板方案比銅冷板成本預(yù)計可以節(jié)省20%以上。圖16.

2U四節(jié)點鋁冷板液冷服務(wù)器圖17.鋁冷板節(jié)點圖圖18.鋁IO冷板圖30

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》2.鋁冷板性能與兼容性測試鋁冷板目前在數(shù)據(jù)中心行業(yè)的使用還比較少，一方面由于鋁材質(zhì)的換熱能力低于銅材質(zhì)，相同換熱設(shè)計下，鋁冷板的熱阻更高；另一方面，鋁材質(zhì)活性更高，更容易與冷卻工質(zhì)發(fā)生反應(yīng)，嚴重的可能造成冷卻工質(zhì)雜質(zhì)增加，冷板腐蝕、泄露，甚至最終影響系統(tǒng)使用。因此選擇鋁材質(zhì)冷板，在保障冷板換熱與流動性能滿足要求的同時，需要對冷板的可靠性及冷卻工質(zhì)兼容性進行測試與匹配。此次鋁冷板的探索，在方案方案設(shè)計、換熱與流動性能等測試的基礎(chǔ)上，增加了冷卻工質(zhì)兼容性測試，可為后續(xù)探索與應(yīng)用提供數(shù)據(jù)參考與支撐。鋁冷板性能測試主要圍繞散熱能力和流動兩方面來驗證，冷板主體材質(zhì)從銅改成鋁后是否仍可滿足各個部件的散熱需求。圖19.冷板冷卻工質(zhì)兼容性測試平臺2.1冷板換熱與流動性能測試將鋁冷板測試樣品接入專用兼容性測試平臺，測試平臺內(nèi)配有冷板液冷系統(tǒng)及純化裝置，通過TTV持續(xù)加熱及CDU循環(huán)實現(xiàn)冷卻工質(zhì)持續(xù)穩(wěn)定高溫運行，冷卻工質(zhì)冷板入口流速

1.5m/s，冷卻工質(zhì)出口溫度65℃。每天記錄檢查每個支路的流量、溫度數(shù)據(jù)、溶液電導(dǎo)率值及PH值變化，定期使用專門的試驗瓶收取并儲存溶液。整體測試結(jié)束后，將剩余冷板和測試樣片拆卸，稱重并進行分析剖解。通過對比測試樣品前后結(jié)構(gòu)參數(shù)（關(guān)鍵尺寸、質(zhì)量、流道表面形貌），性能參數(shù)（散熱性能）及測試平臺冷卻工質(zhì)電導(dǎo)率及離子含量等數(shù)據(jù)，判斷冷板在長周期運行后，是否存在兼容性問題。2.2冷板與冷卻工質(zhì)兼容性測試第五章｜鋁冷板全液冷方案設(shè)計與測試驗證31

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》3.1換熱與流動性能測試結(jié)果3.鋁冷板測試結(jié)果及分析詳細測試數(shù)據(jù)如下：經(jīng)測試，鋁冷板（與冷卻工質(zhì)純水）和銅冷板(與冷卻工質(zhì)PG25)在相同流量下散熱性能相近，經(jīng)過基于350W

CPU對比測試，CPU鋁冷板相比銅冷板在相同工況下溫度高~2?C（熱阻值高~20%），但CPU鋁冷板依然能滿足全液冷散熱器CPU的散熱需求，并且還有一定的安全溫度裕量。由于鋁冷板和銅冷板采用相同結(jié)構(gòu)設(shè)計，二者在相同流量工況下流阻基本一致。

CPU鋁冷板測試熱阻和流阻曲線如下圖。全液冷服務(wù)器鋁冷板系統(tǒng)散熱測試結(jié)果如下表。表9.鋁冷板系統(tǒng)散熱測試條件32

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》表10.鋁冷板系統(tǒng)散熱測試結(jié)果序號項目測試數(shù)據(jù)1冷板材料鋁合金2冷卻工質(zhì)PG253進水溫度51℃（W45）4出水溫度60℃5環(huán)境溫度24℃6節(jié)點流量1.3LPM序號部件加壓讀取功耗W溫度規(guī)格℃測試結(jié)果℃1CPU3508780/77（結(jié)溫）2Memory12.48571第五章｜鋁冷板全液冷方案設(shè)計與測試驗證表11.長期測試冷卻工質(zhì)電導(dǎo)率變化時間

Day

5

Day

25

Day

45

Day

65

Day

85

Day

105電導(dǎo)率μS/cm

1.9

5.6

5.5

7.8

8.1

7.7表12.長期測試冷板熱阻變化項目 頂部冷板 頂中部冷板 底部冷板啟動前測試結(jié)果-熱阻?C/W

0.0349

0.0344

0.034690天測試后結(jié)果-熱阻?C/W

0.0343

0.0348

0.0350經(jīng)過超3個月高溫運行后，分別對冷板冷卻工質(zhì)、熱阻、重量進行檢測，并對冷板的進行切割處理，測試冷板內(nèi)部結(jié)構(gòu)變化，詳細數(shù)據(jù)如下：圖20.

CPU鋁冷板熱阻曲線3.2兼容性測試結(jié)果第五章｜鋁冷板全液冷方案設(shè)計與測試驗證33

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》另外關(guān)于鋁冷板結(jié)構(gòu)強度的研究，參考通用冷板的相關(guān)標準規(guī)范，圍繞冷板剛度、耐壓能力及抗沖擊振動等幾方面進行了系統(tǒng)性測試，測試結(jié)果鋁冷板均符合相關(guān)要求。經(jīng)過檢測，冷卻工質(zhì)的電導(dǎo)率、冷板質(zhì)量、熱性能均沒有顯著變化。冷卻工質(zhì)數(shù)據(jù)及冷板形態(tài)參數(shù)均滿足要求，鋁冷板拆解后，內(nèi)部結(jié)構(gòu)也無腐蝕性形態(tài)。部分測試過程及結(jié)構(gòu)圖片如下圖所示：圖21.冷板內(nèi)部結(jié)構(gòu)圖圖22.冷板稱重圖表13.長期測試冷板重量變化項目 冷板組件重量啟動前測試結(jié)果-冷板重量g 643/

646/

64490天測試后結(jié)果-冷板重量g 645/

647/

642表14.長期測試冷板結(jié)構(gòu)變化項目 冷板不同位置翅片厚度啟動前測試結(jié)果-鏟齒間距mm 0.21/

0.19/

0.20/

0.21/

0.1990天測試后結(jié)果-鏟齒間距mm 0.21/

0.20/

0.21/

0.19/

0.20第五章｜鋁冷板全液冷方案設(shè)計與測試驗證34

｜《全液冷冷板系統(tǒng)參考設(shè)計及驗證白皮書》第六章35

｜