非接觸式液 接觸式液 液冷技術對 冷卻 快接 冷量分配單元 冷 服務器液冷管 整機柜服務器的要 通用算力整機柜服務器要 AI算力整機柜服務器要 整機柜設計要 單節(jié)點服務器的要 液冷三種交付模式及優(yōu)劣 液冷機房配套要 液冷運維與風冷運維的對比分 超聚變金融領域液冷應用案 超聚變科教領域液冷應用案 浪潮金融領域液冷應用案 曙光互聯(lián)網(wǎng)領域液冷應用案 曙光IDC領域液冷應用案 曙光氣象領域液冷應用案 烽火科教領域液冷應用案 華為IDC領域液冷應用案 華為AI領域液冷應用案 國家互聯(lián)網(wǎng)信息辦公室發(fā)布的《數(shù)字中國發(fā)展報告（2022年）》顯示，截至2022年底，我國數(shù)據(jù)中心機架總規(guī)模已超過650萬標準機架，近5年年均增速超過30%，在用數(shù)據(jù)中心算力總規(guī)模超180EFLOPS數(shù)據(jù)中心及機架規(guī)模的快速增長，導致數(shù)據(jù)中心用電量急劇攀升。2021年全國數(shù)據(jù)中心耗電量達2166億度，約占全國總耗電量的2.6%，碳排放量1.35億噸，占全國總1.14%。為了降低數(shù)據(jù)中心能耗，助力實現(xiàn)雙碳目標，政府鼓勵重點行業(yè)利用綠效率（PUE）1.31.254A同時，隨著服務器核心計算芯片的更新?lián)Q代，服務器單芯片功耗將達到500~1000W，風冷散熱能力有限，機柜空間剩余現(xiàn)象愈發(fā)明顯。GPU服務器、高性能計算服務器等設ITIT體PUE，與國家節(jié)能降耗政策要求相悖。提升3500倍。非接觸式液冷主要指冷板式液冷，將服務器發(fā)熱元件（CUGP/IMM）貼近冷去離子水。冷板式液冷原理如下圖所示：1冷板式液冷換熱熱阻較大，相比傳統(tǒng)風冷散熱技術可實現(xiàn)60%～90%的能耗降低，數(shù)據(jù)中心PUE值能降至1.2左右，同時，可保持傳統(tǒng)機柜方式部署，部署密度較高，對2浸沒式液冷可完全去除散熱風扇，換熱能力強，節(jié)能效果好，數(shù)據(jù)中心PUE值可降至1.1及以下，但一般需要改為箱式部署，部署密度一般低于冷板式液冷，機房配套和據(jù)中心PUE可降至1.1左右。噴淋式液冷需要對機柜和服務器機箱進行改造，運維難11.1-1.15-低，PUE收益高，PUE收益綜合考量初始投資成本、可維護性、PUE效果以及產(chǎn)業(yè)成熟度等因素，冷板式和單超聚變以25%乙二醇溶液為主，浪潮、新華三以25%丙二醇溶液為主。乙二醇溶液、丙建議在20%~30%，濃度不宜過高，過高會影響工質散熱性能；也不宜過低，過低會影響0℃，需考慮運輸、儲存、短時停機、業(yè)務量較少、服務器已安長期使用容易導致CDU內的銅釬焊板式換熱器滲漏。分布式式 集中式圖3分布式CDU和集中式CDU示意圖集中式CDU的單臺CDU可以同時為多個服務器機柜提供制冷能力，可以通過多臺CDU集群實現(xiàn)N+M的冗余能力，可靠性高，適用于規(guī)模部署液冷服務器機柜的場景。分布式CDU免二次側管路安裝，單臺CDU只為所在機柜服務器提供制冷能力，無法提供跨機柜的冗余能力，可靠性較集中式CDU低。集中式CDU和分布式CDU的對比如2CDUCDU同，高度4U左右CDUN+M1CDUCDU過兩個機柜間CDU1+1備份提高可靠CDU需占用機柜安裝空間，液冷機柜CDU低；規(guī)模部署液冷機柜時，空間CDU不占用機柜安裝空間，液冷機柜CDU低小規(guī)模時成本較分布式CDU高，大式CDU冷板需采用銅材質，配套管路可采用EPDM、FEP、PTFE最大工作壓力不小于服務器液冷管路采用耐高溫耐高壓EP波紋管或P材質軟管，工作壓力最大承壓≥1P；32200mm600mm1200mm(如含液冷門，建議≤1400mm21inch19inch361U最大18個2U支持整柜集中供電，單個電源框高度≤3RU，支持2N供電系統(tǒng)，電源模塊支持N+2備份；支持2+2路三相交流供電輸入，電壓范圍：346VAC~415VAC-3ph-50Hz，每相電流32A；或支持220VAC供電輸入，電壓范圍198VAC～264VAC，建議每路電流或支持240VDC供電輸入，電壓范圍192VHVDC-288VHVDC，建議每路電流63A。1、48V銅排供電，滿足計算節(jié)點和+48V2、至少支持5+5路AC供電，滿足AC風液換熱器帶走，實現(xiàn)100%液冷散熱。AIAI4AI2200mm600mm1200mm(如含液冷門，建議≤1400mm21inch19inch最少32U服務器部署空間，可適配GPU模組，液冷冷板至少覆蓋CPU、支持整柜集中供電，2個3U電源框，單個電源框高度≤3RU，最大支持36塊電源，支持2N供電系統(tǒng)，電源模塊支持N+2備份；雙電源框支持6+6路三相交流供電輸入，電壓范圍：346VAC~415VAC-3ph-50Hz，每相電流32A?；蛑С?20VAC供電輸入，電壓范圍198VAC～264VAC，建議每路電流或支持240VDC供電輸入，電壓范圍192VHVDC-288VHVDC，建議每路電流63A。1、48V銅排供電，滿足計算節(jié)點和+48V2、至少支持5+5路AC供電，滿足AC風液換熱器帶走，實現(xiàn)100%液冷散熱。服務器機柜和節(jié)點宜支持總線盲插設計，采用三維浮動液冷快接頭、48V供電功能的盲插快接頭與機柜manifold連接，實現(xiàn)液冷的即插即用，即拔即斷。48VBusBarmanifold情況時立即上報服務器BMC系統(tǒng)，產(chǎn)生漏液告警，通知機房維護人員及時處理。2N整機柜應支持2N供電系統(tǒng)。2N供電系統(tǒng)是指由兩套或多套供電系統(tǒng)組成的冗余系統(tǒng)，每個數(shù)據(jù)中心機房供電系統(tǒng)包含N套供電系統(tǒng)（稱作N主），其總容量為機房供中的所有環(huán)節(jié)和設備都進行冗余配置（稱作N備），且是彼此隔離的兩條供電線路，正常運行時，每套供電系統(tǒng)僅承擔總負荷的一部分。2N供電系統(tǒng)如下圖所示，以機房市電輸圖42N通用算力服務器支持CPU+VRDAICPU+VRD+GPUVRD（VoltageRegulatorDown）DC支持系統(tǒng)散熱風扇分區(qū)調速和PID（Proportional-Integral-Derivative）智能調速、CPUSAS/SATA/NVMeSAS/SATARAID0/1/10/5/50/6/60，RAID應提供熱插拔電源模塊，支持N+N冗余；風扇模塊，支持N+1冗余，提升系統(tǒng)整板載的BMC集成管理模塊能夠持續(xù)監(jiān)控系統(tǒng)參數(shù)、觸發(fā)告警，并且采取恢復措施，以集成在服務器上的BMC管理模塊可用來監(jiān)控系統(tǒng)運行狀態(tài)，并提供遠程管理功能；支持BIOS菜單密碼，保證系統(tǒng)啟動及系統(tǒng)管理的安全性；接，根據(jù)IT設備側與機房配套側各自的交付內容，液冷服務器有如下三種交付模式：5+CDU+CDU5目前液冷技術標準化程度較弱，服務器與液冷機柜、CDU液冷管路的對接和冷卻工66大，尤其包含CDU及7600-1000KG-箱式部署（3500-600-600-列間空調/需要/無/閉式/中水/軟化水/純水/軟化水/純水/列間空調/5-7KW15-80KW27-8100CPU/內存/VRD/GPU等液去除風扇，100存儲僅支持SSD和氦氣IOIOIO（IO（使用700-800L系統(tǒng)內、CDUCDUIT2、IO（使IO3、存儲僅支持SSD和氦

算力密度提升：采用2U8高密液冷節(jié)點，提供1.43DU液冷2U8高密節(jié)點，相比同算力風冷節(jié)點，節(jié)省836U20kW

每組機柜模塊配套2臺CDU1臺CDU出現(xiàn)CDU可以完成對該組機柜模塊的液冷制冷機房規(guī)模約250臺液冷機柜、50臺350kW液冷CDU，二次側整體每個模塊采用獨立的CDU+管路+液冷機柜+液冷服務器，即獨立的二次側打包服務器、機柜、CDU+6

液冷換熱單元CDU每個模塊采用獨立的CDU+管路+液冷機柜+液冷服務器。即獨立的二次側打包機柜、Mild、CDU（冷塔，一次側管路由總集成方和設計院完成）2U機架服務器，單柜21kW，算力密度提升2.5倍，為風冷機柜2.5曙光IDC曙光數(shù)創(chuàng)冷板液冷解決方案助力某IDC某IDC數(shù)據(jù)中心項目，共1500+節(jié)點，70臺液冷

液冷換熱單元CDU每個模塊采用獨立的CDU+管路+液冷機柜+液冷服務器。即獨立的二次側打包機柜、Mild、CDU（冷塔，一次側管路由總集成方和設計院完成）2U機架服務器，單柜20kW，算力密度提升2.5倍，為風冷機柜2.5

每個模塊采用獨立的CDU二次側機柜、Mild、CDUU+Uk+UU；華為IDC

二次側打包服務器、機柜、CDU算力強：液冷+PowerTurbo釋放算力潛能（1U2P節(jié)點），性能提升能效優(yōu)：L1/L2/L3聯(lián)動，iCooling+液冷，PUE低至提升4倍，降低TCO20%3倍；全AI

全棧液冷方案（帶液冷門），100+D+管路++應。交付模式：L0-L4管路、Atlas900、HCSO、Mlrt等模塊；算力強：全棧液冷方案釋放算力潛能，網(wǎng)絡時延降低70能效優(yōu)：用電節(jié)省60%，單柜可支持43KW，AI集群PUE小于 非接觸式液 接觸式液 液冷技術對 冷卻 快接 冷量分配單元 冷 服務器液冷管 整機柜服務器的要 通用算力整機柜服務器要 AI算力整機柜服務器要 整機柜設計要 單節(jié)點服務器的要 液冷三種交付模式及優(yōu)劣 液冷機房配套要 液冷運維與風冷運維的對比分 超聚變金融領域液冷應用案 超聚變科教領域液冷應用案 浪潮金融領域液冷應用案 曙光互聯(lián)網(wǎng)領域液冷應用案 曙光IDC領域液冷應用案 曙光氣象領域液冷應用案 烽火科教領域液冷應用案 華為IDC領域液冷應用案 華為AI領域液冷應用案 國家互聯(lián)網(wǎng)信息辦公室發(fā)布的《數(shù)字中國發(fā)展報告（2022年）》顯示，截至2022年底，我國數(shù)據(jù)中心機架總規(guī)模已超過650萬標準機架，近5年年均增速超過30%，在用數(shù)據(jù)中心算力總規(guī)模超180EFLOPS數(shù)據(jù)中心及機架規(guī)模的快速增長，導致數(shù)據(jù)中心用電量急劇攀升。2021年全國數(shù)據(jù)中心耗電量達2166億度，約占全國總耗電量的2.6%，碳排放量1.35億噸，占全國總1.14%。為了降低數(shù)據(jù)中心能耗，助力實現(xiàn)雙碳目標，政府鼓勵重點行業(yè)利用綠效率（PUE）1.31.254A同時，隨著服務器核心計算芯片的更新?lián)Q代，服務器單芯片功耗將達到500~1000W，風冷散熱能力有限，機柜空間剩余現(xiàn)象愈發(fā)明顯。GPU服務器、高性能計算服務器等設ITIT體PUE，與國家節(jié)能降耗政策要求相悖。提升3500倍。非接觸式液冷主要指冷板式液冷，將服務器發(fā)熱元件（CUGP/IMM）貼近冷去離子水。冷板式液冷原理如下圖所示：1冷板式液冷換熱熱阻較大，相比傳統(tǒng)風冷散熱技術可實現(xiàn)60%～90%的能耗降低，數(shù)據(jù)中心PUE值能降至1.2左右，同時，可保持傳統(tǒng)機柜方式部署，部署密度較高，對2浸沒式液冷可完全去除散熱風扇，換熱能力強，節(jié)能效果好，數(shù)據(jù)中心PUE值可降至1.1及以下，但一般需要改為箱式部署，部署密度一般低于冷板式液冷，機房配套和據(jù)中心PUE可降至1.1左右。噴淋式液冷需要對機柜和服務器機箱進行改造，運維難11.1-1.15-低，PUE收益高，PUE收益綜合考量初始投資成本、可維護性、PUE效果以及產(chǎn)業(yè)成熟度等因素，冷板式和單超聚變以25%乙二醇溶液為主，浪潮、新華三以25%丙二醇溶液為主。乙二醇溶液、丙建議在20%~30%，濃度不宜過高，過高會影響工質散熱性能；也不宜過低，過低會影響0℃，需考慮運輸、儲存、短時停機、業(yè)務量較少、服務器已安長期使用容易導致CDU內的銅釬焊板式換熱器滲漏。分布式式 集中式圖3分布式CDU和集中式CDU示意圖集中式CDU的單臺CDU可以同時為多個服務器機柜提供制冷能力，可以通過多臺CDU集群實現(xiàn)N+M的冗余能力，可靠性高，適用于規(guī)模部署液冷服務器機柜的場景。分布式CDU免二次側管路安裝，單臺CDU只為所在機柜服務器提供制冷能力，無法提供跨機柜的冗余能力，可靠性較集中式CDU低。集中式CDU和分布式CDU的對比如2CDUCDU同，高度4U左右CDUN+M1CDUCDU過兩個機柜間CDU1+1備份提高可靠CDU需占用機柜安裝空間，液冷機柜CDU低；規(guī)模部署液冷機柜時，空間CDU不占用機柜安裝空間，液冷機柜CDU低小規(guī)模時成本較分布式CDU高，大式CDU冷板需采用銅材質，配套管路可采用EPDM、FEP、PTFE最大工作壓力不小于服務器液冷管路采用耐高溫耐高壓EP波紋管或P材質軟管，工作壓力最大承壓≥1P；32200mm600mm1200mm(如含液冷門，建議≤1400mm21inch19inch361U最大18個2U支持整柜集中供電，單個電源框高度≤3RU，支持2N供電系統(tǒng)，電源模塊支持N+2備份；支持2+2路三相交流供電輸入，電壓范圍：346VAC~415VAC-3ph-50Hz，每相電流32A；或支持220VAC供電輸入，電壓范圍198VAC～264VAC，建議每路電流或支持240VDC供電輸入，電壓范圍192VHVDC-288VHVDC，建議每路電流63A。1、48V銅排供電，滿足計算節(jié)點和+48V2、至少支持5+5路AC供電，滿足AC風液換熱器帶走，實現(xiàn)100%液冷散熱。AIAI4AI2200mm600mm1200mm(如含液冷門，建議≤1400mm21inch19inch最少32U服務器部署空間，可適配GPU模組，液冷冷板至少覆蓋CPU、支持整柜集中供電，2個3U電源框，單個電源框高度≤3RU，最大支持36塊電源，支持2N供電系統(tǒng)，電源模塊支持N+2備份；雙電源框支持6+6路三相交流供電輸入，電壓范圍：346VAC~415VAC-3ph-50Hz，每相電流32A?；蛑С?20VAC供電輸入，電壓范圍198VAC～264VAC，建議每路電流或支持240VDC供電輸入，電壓范圍192VHVDC-288VHVDC，建議每路電流63A。1、48V銅排供電，滿足計算節(jié)點和+48V2、至少支持5+5路AC供電，滿足AC風液換熱器帶走，實現(xiàn)100%液冷散熱。服務器機柜和節(jié)點宜支持總線盲插設計，采用三維浮動液冷快接頭、48V供電功能的盲插快接頭與機柜manifold連接，實現(xiàn)液冷的即插即用，即拔即斷。48VBusBarmanifold情況時立即上報服務器BMC系統(tǒng)，產(chǎn)生漏液告警，通知機房維護人員及時處理。2N整機柜應支持2N供電系統(tǒng)。2N供電系統(tǒng)是指由兩套或多套供電系統(tǒng)組成的冗余系統(tǒng)，每個數(shù)據(jù)中心機房供電系統(tǒng)包含N套供電系統(tǒng)（稱作N主），其總容量為機房供中的所有環(huán)節(jié)和設備都進行冗余配置（稱作N備），且是彼此隔離的兩條供電線路，正常運行時，每套供電系統(tǒng)僅承擔總負荷的一部分。2N供電系統(tǒng)如下圖所示，以機房市電輸圖42N通用算力服務器支持CPU+VRDAICPU+VRD+GPUVRD（VoltageRegulatorDown）DC支持系統(tǒng)散熱風扇分區(qū)調速和PID（Proportional-Integral-Derivative）智能調速、CPUSAS/SATA/NVMeSAS/SATARAID0/1/10/5/50/6/60，RAID應提供熱插拔電源模塊，支持N+N冗余；風扇模塊，支持N+1冗余，提升系統(tǒng)整板載的BMC集成管理模塊能夠持續(xù)監(jiān)控系統(tǒng)參數(shù)、觸發(fā)告警，并且采取恢復措施，以集成在服務器上的BMC管理模塊可用來監(jiān)控系統(tǒng)運行狀態(tài)，并提供遠程管理功能；支持BIOS菜單密碼，保證系統(tǒng)啟動及系統(tǒng)管理的安全性；接，根據(jù)IT設備側與機房配套側各自的交付內容，液冷服務器有如下三種交付模式：5+CDU+CDU5目前液冷技術標準化程度較弱，服務器與液冷機柜、CDU液冷管路的對接和冷卻工66大，尤其包含CDU及7600-1000KG-箱式部署（3500-600-600-列間空調/需要/無/閉式/中水/軟化水/純水/軟化水/純水/列間空調/5-7KW15-80KW27-8100CPU/內存/VRD/GPU等液去除風扇，100存儲僅支持SSD和氦氣IOIO