1T/CAMDXXXX—XXXXAI服務(wù)器用液冷技術(shù)要求本文件規(guī)定了AI服務(wù)器用液冷系統(tǒng)（以下簡(jiǎn)稱“液冷系統(tǒng)”）的技術(shù)要求、試驗(yàn)方法、檢驗(yàn)規(guī)則、標(biāo)志、包裝、運(yùn)輸與貯存。本文件適用于AI服務(wù)器及AI計(jì)算集群中使用的冷板式液冷和浸沒式液冷系統(tǒng)。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T3767聲學(xué)聲壓法測(cè)定噪聲源聲功率級(jí)和聲能量級(jí)反射面上方近似自由場(chǎng)的工程法3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1AI服務(wù)器AIserver專門為人工智能計(jì)算任務(wù)設(shè)計(jì)和優(yōu)化的服務(wù)器，通常配備高功率密度GPU、ASIC或其他AI加速芯片。3.2冷板式液冷coldplateliquidcooling一種間接接觸式液冷技術(shù)，通過流經(jīng)密閉冷板的冷卻工質(zhì)，與貼附在發(fā)熱器件上的冷板進(jìn)行熱交換，從而帶走熱量。3.3浸沒式液冷lmmersionliquidcooling一種直接接觸式液冷技術(shù)，將發(fā)熱的IT設(shè)備完全浸沒在不導(dǎo)電的冷卻工質(zhì)中，通過冷卻工質(zhì)的自然對(duì)流、強(qiáng)制流動(dòng)或相變過程帶走熱量。3.4冷量分配單元coolantdistributionunit(CDU)液冷系統(tǒng)中用于調(diào)節(jié)和分配冷卻工質(zhì)流量、壓力、溫度的核心監(jiān)控與循環(huán)裝置，通常包含泵、換熱器、控制單元等。3.5電源使用效率powerusageeffectiveness(PUE)數(shù)據(jù)中心總耗電量與IT設(shè)備耗電量的比值，是衡量數(shù)據(jù)中心能源效率的核心指標(biāo)。PUE越接近1，能效水平越高。3.6單相液冷single-phaseliquidcooling冷卻工質(zhì)在循環(huán)過程中不發(fā)生相變的液冷方式。3.7兩相液冷two-phaseliquidcooling冷卻工質(zhì)在循環(huán)過程中發(fā)生液相與氣相相互轉(zhuǎn)換的液冷方式，利用相變潛熱大幅提升傳熱效率。4系統(tǒng)組成與分類T/CAMDXXXX—XXXX24.1系統(tǒng)組成一個(gè)完整的AI服務(wù)器液冷系統(tǒng)通常由下列核心部分組成：a)一次側(cè)循環(huán)系統(tǒng)：從CDU到機(jī)房外冷源的循環(huán)回路，負(fù)責(zé)將最終熱量排至外界環(huán)境。b)二次側(cè)循環(huán)系統(tǒng)：從CDU到服務(wù)器內(nèi)冷板或浸沒艙的封閉循環(huán)回路，直接冷卻發(fā)熱器件。二次側(cè)冷卻工質(zhì)宜采用絕緣介質(zhì)。c)冷量分配單元（CDU）：負(fù)責(zé)工質(zhì)的驅(qū)動(dòng)、壓力/流量/溫度調(diào)節(jié)、監(jiān)測(cè)與控制。d)末端散熱部件：根據(jù)技術(shù)路徑不同，指冷板或浸沒艙。冷板需與芯片表面緊密貼合；浸沒艙需具備良好的密封與絕緣性能；e)管路與連接系統(tǒng)：包括快接頭、歧管、軟管及硬管。要求密封可靠、流阻低、便于安裝與維護(hù)。快接頭應(yīng)滿足盲插要求，并具備防漏和自密封功能；f)監(jiān)控管理系統(tǒng)：對(duì)系統(tǒng)壓力、流量、溫度、泄漏等進(jìn)行實(shí)時(shí)監(jiān)測(cè)、告警和智能調(diào)控，應(yīng)支持與數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng)（DCIM）對(duì)接。4.2分類4.2.1按冷卻工質(zhì)與發(fā)熱器件的接觸方式，可分為：a)冷板式液冷系統(tǒng)；b)浸沒式液冷系統(tǒng)（包括單相浸沒和兩相浸沒）。4.2.2按冷卻工質(zhì)的相態(tài)變化，可分為：c)單相液冷系統(tǒng)；d)兩相液冷系統(tǒng)。5技術(shù)要求5.1通用要求5.1.1液冷系統(tǒng)應(yīng)滿足AI服務(wù)器7×24小時(shí)不間斷穩(wěn)定運(yùn)行的需求。5.1.2液冷系統(tǒng)所有與冷卻工質(zhì)接觸的金屬、密封件、管路等材料應(yīng)具備良好的相容性，防止腐蝕、溶脹或化學(xué)反應(yīng)。5.1.3液冷系統(tǒng)應(yīng)具備可維護(hù)性和可擴(kuò)展性。支持在線維護(hù)、組件熱插拔，并易于隨算力規(guī)模擴(kuò)容。5.1.4液冷系統(tǒng)運(yùn)行噪聲應(yīng)符合機(jī)房環(huán)境要求。在滿負(fù)荷運(yùn)行時(shí)，距離機(jī)架1米處的聲壓級(jí)應(yīng)低于75dB(A)。5.2性能要求5.2.1散熱性能5.2.1.1冷板式液冷：在額定工作條件下，應(yīng)確保GPU等關(guān)鍵芯片結(jié)溫不超過制造商規(guī)定的最大限值，并留有至少10℃的安全裕量。對(duì)于TDP≥1000W的芯片，冷板接觸面的熱流密度處理能力應(yīng)不低于1.5kW/cm2。5.2.1.2浸沒式液冷：應(yīng)確保浸沒艙內(nèi)冷卻工質(zhì)溫度場(chǎng)均勻，任意兩點(diǎn)溫差不超過5℃。對(duì)于兩相浸沒，應(yīng)有效抑制局部干涸現(xiàn)象。5.2.2流量與壓降液冷系統(tǒng)二次側(cè)循環(huán)在額定流量下的總壓降應(yīng)在CDU泵的揚(yáng)程范圍內(nèi)。單個(gè)GPU冷板的推薦流量范圍通常為1.0～2.5L/min。液冷系統(tǒng)應(yīng)能根據(jù)熱負(fù)載動(dòng)態(tài)調(diào)節(jié)總流量與分支流量。5.2.3溫度控制CDU出口冷卻工質(zhì)溫度控制精度應(yīng)優(yōu)于±1.0℃。在外部冷源供水溫度波動(dòng)或服務(wù)器負(fù)載階躍變化時(shí)，液冷系統(tǒng)應(yīng)能快速響應(yīng)，將溫度波動(dòng)控制在設(shè)定范圍內(nèi)。5.3可靠性要求5.3.1密封性T/CAMDXXXX—XXXX3整個(gè)二次側(cè)循環(huán)回路應(yīng)具備極高的密封性。在1.5倍設(shè)計(jì)工作壓力下進(jìn)行靜壓測(cè)試，保壓30分鐘，壓力降不應(yīng)超過試驗(yàn)壓力的1%。5.3.2機(jī)械可靠性管路、接頭、冷板等組件應(yīng)能承受振動(dòng)、沖擊及長(zhǎng)期壓力循環(huán)?？旖宇^應(yīng)滿足至少5000次插拔循環(huán)后，密封性能仍符合要求。5.3.3電氣安全二次側(cè)冷卻工質(zhì)在25℃時(shí)的體積電阻率應(yīng)不低于10MΩ·cm，介電強(qiáng)度應(yīng)不低于15kV。系統(tǒng)設(shè)計(jì)應(yīng)確保即使在泄漏情況下，冷卻工質(zhì)也不會(huì)導(dǎo)致服務(wù)器電路短路。5.4能效要求5.4.1.1液冷系統(tǒng)的引入應(yīng)顯著降低數(shù)據(jù)中心整體PUE。對(duì)于采用液冷系統(tǒng)的AI計(jì)算集群，其PUE設(shè)計(jì)目標(biāo)值不應(yīng)高于1.25；在采用高效自然冷源等優(yōu)化設(shè)計(jì)條件下，應(yīng)力爭(zhēng)達(dá)到1.15以下。5.4.1.2CDU本身的能耗比（即CDU耗電量與其帶走的熱量之比）應(yīng)優(yōu)于10%。5.4.1.3液冷系統(tǒng)宜支持高溫供水。一次側(cè)回水溫度應(yīng)盡可能提高，以充分利用自然冷源，延長(zhǎng)壓縮機(jī)運(yùn)行時(shí)間。5.5安全性要求5.5.1泄漏監(jiān)測(cè)與防護(hù)液冷系統(tǒng)必須配備多點(diǎn)位、高靈敏度的泄漏傳感器，并在檢測(cè)到泄漏后30秒內(nèi)發(fā)出聲光告警，并可根據(jù)策略聯(lián)動(dòng)關(guān)閉管路閥門或停機(jī)。5.5.2壓力保護(hù)液冷系統(tǒng)應(yīng)設(shè)有安全閥、泄壓閥等過壓保護(hù)裝置，防止因泵異常或管路堵塞導(dǎo)致壓力過高。5.5.3接地所有金屬管路和組件必須可靠接地，防止靜電累積。5.6監(jiān)控與管理要求液冷系統(tǒng)應(yīng)具備下列功能：a)實(shí)時(shí)監(jiān)測(cè)與顯示：壓力、流量、進(jìn)/回液溫度、泵速、泄漏狀態(tài)等；b)智能調(diào)控：根據(jù)服務(wù)器負(fù)載與環(huán)境溫度，自動(dòng)調(diào)節(jié)泵頻、閥門開度及三通混水比例，實(shí)現(xiàn)按需制冷；c)告警與日志：對(duì)參數(shù)越限、泄漏、通信中斷等異常情況生成分級(jí)告警，并記錄詳細(xì)事件日志；d)能效分析：統(tǒng)計(jì)系統(tǒng)耗電量、散熱量，計(jì)算子系統(tǒng)能效比，并生成報(bào)告。6試驗(yàn)方法6.1通用要求6.1.1材料相容性將液冷系統(tǒng)與冷卻工質(zhì)接觸的金屬、密封件、管路等材料樣本浸泡于實(shí)際使用的冷卻工質(zhì)中，在最高設(shè)計(jì)溫度下持續(xù)浸泡不少于500小時(shí)。試驗(yàn)后，材料應(yīng)無(wú)腐蝕、溶脹、裂紋或明顯形變，冷卻工質(zhì)應(yīng)無(wú)渾濁、沉淀或變色。6.1.2可維護(hù)性與可擴(kuò)展性驗(yàn)證通過模擬在線維護(hù)、組件熱插拔及系統(tǒng)擴(kuò)容操作，驗(yàn)證系統(tǒng)是否支持在不斷電、不停機(jī)的情況下完成上述操作。記錄操作時(shí)間、系統(tǒng)穩(wěn)定性及功能恢復(fù)情況。6.1.3噪聲測(cè)試T/CAMDXXXX—XXXX4在滿負(fù)荷運(yùn)行狀態(tài)下，使用符合GB/T3767規(guī)定的聲級(jí)計(jì)，在距離機(jī)架正面1米、高度1.5米處測(cè)量聲壓級(jí)。測(cè)量時(shí)間不少于5分鐘，取平均值。6.2性能試驗(yàn)6.2.1散熱性能試驗(yàn)6.2.1.1冷板式液冷在額定流量與進(jìn)口溫度下，對(duì)TDP≥1000W的芯片施加額定熱負(fù)載，使用熱電偶或紅外熱像儀測(cè)量芯片結(jié)溫及冷板表面溫度。6.2.1.2浸沒式液冷在滿載運(yùn)行狀態(tài)下，使用溫度傳感器測(cè)量浸沒艙內(nèi)至少6個(gè)不同位置的工質(zhì)溫度，計(jì)算任意兩點(diǎn)溫6.2.2流量與壓降在二次側(cè)循環(huán)回路中安裝流量計(jì)與壓差傳感器，調(diào)節(jié)系統(tǒng)至額定流量，記錄總壓降及各分支壓降。壓降應(yīng)在CDU泵的揚(yáng)程范圍內(nèi)。6.2.3溫度控制精度在額定工況下，穩(wěn)定運(yùn)行系統(tǒng)后，記錄CDU出口溫度波動(dòng)范圍。隨后模擬外部冷源溫度階躍變化或服務(wù)器負(fù)載階躍變化（50%→100%），記錄系統(tǒng)響應(yīng)時(shí)間及溫度恢復(fù)至設(shè)定值±1.0℃內(nèi)的時(shí)間。6.3可靠性試驗(yàn)6.3.1密封性對(duì)二次側(cè)循環(huán)回路施加1.5倍設(shè)計(jì)工作壓力，保壓30分鐘，使用壓力傳感器記錄壓力變化。壓力降不應(yīng)超過試驗(yàn)壓力的1%。6.3.2機(jī)械可靠性6.3.2.1振動(dòng)與沖擊試驗(yàn)依據(jù)GB/T2423系列標(biāo)準(zhǔn)進(jìn)行振動(dòng)與沖擊試驗(yàn)，試驗(yàn)后系統(tǒng)應(yīng)無(wú)泄漏、結(jié)構(gòu)損壞或功能異常。6.3.2.2插拔壽命試驗(yàn)對(duì)快接頭進(jìn)行不少于5000次插拔循環(huán)試驗(yàn)，每1000次檢查密封性能，試驗(yàn)后仍應(yīng)符合密封要求。6.3.3電氣安全6.3.3.1體積電阻率測(cè)試按GB/T5654的規(guī)定執(zhí)行。6.3.3.2介電強(qiáng)度測(cè)試按GB/T507的規(guī)定執(zhí)行。6.3.3.3泄漏模擬試驗(yàn)帶電狀態(tài)下模擬系統(tǒng)泄漏，觀察是否引起服務(wù)器電路短路。6.4能效試驗(yàn)6.4.1PUE測(cè)試在AI計(jì)算集群滿負(fù)荷穩(wěn)定運(yùn)行狀態(tài)下，使用精度不低于0.5級(jí)的電能表分別測(cè)量數(shù)據(jù)中心總耗電量（含IT設(shè)備、液冷系統(tǒng)、輔助設(shè)施等）和IT設(shè)備耗電量。測(cè)試持續(xù)時(shí)間不少于24小時(shí)，每小時(shí)記錄一次數(shù)據(jù)，計(jì)算平均PUE值。T/CAMDXXXX—XXXX56.4.2CDU能耗比測(cè)試在額定工況下，通過電能表測(cè)量CDU輸入電功率，同時(shí)用流量計(jì)、溫度傳感器獲取二次側(cè)工質(zhì)流量及CDU進(jìn)出口溫度。根據(jù)公式計(jì)算CDU帶走的熱量：Q=ρ×V×c×ΔT(ρ為工質(zhì)密度，V為流量，c為工質(zhì)比熱容，ΔT為進(jìn)出口溫差）。CDU能耗比為輸入電功率與帶走熱量的比值，結(jié)果應(yīng)優(yōu)于10%。6.4.3高溫供水適應(yīng)性試驗(yàn)調(diào)節(jié)一次側(cè)冷源供水溫度至設(shè)計(jì)最高允許值，保持系統(tǒng)穩(wěn)定運(yùn)行不少于8小時(shí)。記錄PUE變化，驗(yàn)證系統(tǒng)是否能正常散熱且PUE符合要求。6.5安全性試驗(yàn)6.5.1泄漏監(jiān)測(cè)與防護(hù)模擬二次側(cè)回路不同位置（冷板接頭、管路快接、浸沒艙）的微量（0.1L/min）和大量（1L/min）泄漏，測(cè)試傳感器響應(yīng)時(shí)間(≤30秒）、聲光告警觸發(fā)情況及聯(lián)動(dòng)動(dòng)作（關(guān)閉閥門/停機(jī)）執(zhí)行效果，記錄每個(gè)場(chǎng)景的結(jié)果。6.5.2壓力保護(hù)試驗(yàn)逐步增加二次側(cè)壓力至設(shè)計(jì)壓力的1.2倍，觀察安全閥/泄壓閥是否在設(shè)定壓力下開啟，系統(tǒng)壓力是否回落至安全范圍。6.5.3接地電阻測(cè)試使用接地電阻測(cè)試儀測(cè)量所有金屬管路、CDU外殼、浸沒艙框架的接地電阻，每個(gè)點(diǎn)測(cè)3次取平均值，結(jié)果不應(yīng)大于4Ω。6.6監(jiān)控與管理功能驗(yàn)證6.6.1實(shí)時(shí)監(jiān)測(cè)功能驗(yàn)證檢查監(jiān)控界面是否顯示壓力、流量、溫度、泵速、泄漏狀態(tài)等參數(shù)，對(duì)比現(xiàn)場(chǎng)儀器測(cè)量值，誤差不應(yīng)大于±2%。6.6.2智能調(diào)控功能驗(yàn)證模擬負(fù)載階躍變化（50%→100%），記錄泵頻、閥門開度、流量調(diào)節(jié)過程，驗(yàn)證系統(tǒng)是否在10分鐘內(nèi)將工質(zhì)溫度波動(dòng)控制在±1.0℃內(nèi)，流量匹配負(fù)載需求。6.6.3告警與日志功能驗(yàn)證人為設(shè)置參數(shù)越限、模擬泄漏、斷開通信鏈路，檢查分級(jí)告警及日志完整性。6.6.4能效分析功能驗(yàn)證觸發(fā)能效報(bào)告生成，檢查報(bào)告是否包含耗電量、散熱量、CDU能耗比、PUE等指標(biāo)，統(tǒng)計(jì)周期是否可配置。7檢驗(yàn)規(guī)則7.1檢驗(yàn)分類液冷系統(tǒng)的檢驗(yàn)分為出廠檢驗(yàn)和型式檢驗(yàn)。7.2出廠檢驗(yàn)每套液冷系統(tǒng)出廠前均應(yīng)進(jìn)行出廠檢驗(yàn)，檢驗(yàn)項(xiàng)目應(yīng)符合表1的規(guī)定。檢驗(yàn)合格后方可出廠，并應(yīng)附有產(chǎn)品合格證。7.3型式檢驗(yàn)T/CAMDXXXX—XXXX67.3.1型式檢驗(yàn)在下列情況之一時(shí)進(jìn)行：a)新產(chǎn)品定型或老產(chǎn)品轉(zhuǎn)廠生產(chǎn)時(shí)；b)結(jié)構(gòu)、材料、工藝有重大改變，可能影響產(chǎn)品性能時(shí)；c)正常生產(chǎn)每?jī)赡赀M(jìn)行一次；d)停產(chǎn)一年以上恢復(fù)生產(chǎn)時(shí)；e)出廠檢驗(yàn)結(jié)果與上次型式檢驗(yàn)有較大差異時(shí)。7.3.2型式檢驗(yàn)項(xiàng)目應(yīng)符合表1的規(guī)定。表1檢驗(yàn)項(xiàng)目1√√2-√3-√4-√5√√6√√7√√8√√9√√-√-√√√√√-√-√-√-√√√√√√√√√注：“√”表示必檢項(xiàng)目，“–”表示不檢項(xiàng)目。7.4抽樣與判定型式檢驗(yàn)應(yīng)從出廠檢驗(yàn)合格的產(chǎn)品中隨機(jī)抽取1套樣品。若檢驗(yàn)項(xiàng)目全部合格，則判定該次型式檢驗(yàn)合格；若有不合格項(xiàng)，允許加倍抽樣對(duì)不合格項(xiàng)進(jìn)行復(fù)檢，復(fù)檢合格則判定合格；若復(fù)檢仍不合格，則判定該次型式檢驗(yàn)不合格。8標(biāo)志、包裝、運(yùn)輸與貯存8.1標(biāo)志每套液冷系統(tǒng)應(yīng)在明顯位置設(shè)置清晰、耐久的銘牌，內(nèi)容包括：a)產(chǎn)品名稱及型號(hào)；b)制造商名稱或商標(biāo)；c)額定工作壓力、流量、溫度范圍；d)電源電壓及功率；e)產(chǎn)品編號(hào)與生產(chǎn)日期；f)執(zhí)行標(biāo)準(zhǔn)編號(hào)；g)安全警示標(biāo)志。8.2包裝8.2.1液冷系統(tǒng)應(yīng)采用防潮、防震、防碰撞的包裝措施，重要部件應(yīng)單獨(dú)固定。T/CAMDX