冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書_第1頁
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書_第2頁
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書_第3頁
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書_第4頁
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書_第5頁
已閱讀5頁,還剩113頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

[編號(hào)ODCC-2023-02004]

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書

開放數(shù)據(jù)中心委員會(huì)

2023-019發(fā)布

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

前言

本規(guī)范由開放數(shù)據(jù)中心標(biāo)準(zhǔn)推進(jìn)委員會(huì)發(fā)布。

2015年,OpenAI成立,通過GPT(GenerativePre-trained

Transformer)算法,在2018年6月推出了GPT-1(1.2億參數(shù)),

在2019年11月增加了訓(xùn)練的數(shù)據(jù)量后推出了GPT-2(15億參數(shù)),

在2020年6月推出了GPT-3(1750億參數(shù))。隨著數(shù)據(jù)參數(shù)的加大

發(fā)現(xiàn)差異很小,后加入人工反饋強(qiáng)化學(xué)習(xí)來提升對(duì)話質(zhì)量,在2022

年3月推出了GPT-3.5;對(duì)話優(yōu)化后,在2022年11月就推出了

ChatGPT。月活人數(shù)突破1億僅用時(shí)兩個(gè)月。2023年2月7日微軟

將ChatGPT引入到搜索引擎Bing正式發(fā)布。除了微軟,谷歌、Meta、

百度、騰訊、阿里巴巴紛紛入局進(jìn)軍生成式AI。生成式AI模型需

求的暴漲,使得對(duì)芯片的需求從CPU+加速器轉(zhuǎn)變?yōu)橐訥PU主導(dǎo)的大

規(guī)模并行計(jì)算。未來,在單芯片性能之上,智算中心能夠通過算力

的生產(chǎn)-調(diào)度-聚合-釋放,支持AI產(chǎn)業(yè)化發(fā)展?,F(xiàn)階段,單CPU熱

設(shè)計(jì)功耗為150~200W,最高可達(dá)350W;單GPU熱設(shè)計(jì)功耗為

300~400W,最高可達(dá)700W。與此同時(shí),服務(wù)器功耗從傳統(tǒng)服務(wù)器

的1kW增加到AI服務(wù)器的6.5~10kW??諝饫鋮s解決成本和難度大

幅上升,英偉達(dá)、英特爾等芯片公司已經(jīng)開始將冷卻的方式轉(zhuǎn)向液

冷。

液冷是指通過液體代替空氣冷卻芯片,根據(jù)液體與芯片是否接

觸可以分為直接液冷和間接液冷。直接液冷包括浸沒液冷和噴淋液

冷,浸沒液冷又分為單相浸沒和兩相浸沒。而間接液冷主要是冷板

液冷。早在20世紀(jì)60年代,IBM就推出了用冷板液冷冷卻的計(jì)算

IV

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

機(jī)產(chǎn)品。直到21世紀(jì)初,美國GRC(GreenRevolutionCooling)

公司推出了單相浸沒冷卻解決方案。2017年,廣東合一推出了噴淋

式液冷。2019年曙光完成全球首個(gè)大規(guī)模刀片式浸沒兩相液冷商業(yè)

應(yīng)用項(xiàng)目。2021年,微軟發(fā)布了箱體式兩相浸沒液冷方案。而冷板

液冷作為歷史最悠久,技術(shù)最為成熟,生態(tài)系統(tǒng)最為豐富的液冷解

決方案,它的爆發(fā)已經(jīng)到來!

本白皮書傾注了作者大量的時(shí)間和精力,其成文也仰仗各參編

老師撰寫并參與討論,其次,本文得到程軍先生、王鋒先生、何智

強(qiáng)先生和袁達(dá)人先生提供的產(chǎn)品資料,在此對(duì)上人員做出的貢獻(xiàn)表

示由衷的感謝。此外,本文很多化工類專有名詞的解釋均得益于

ChatGPT,令人充分感受到科技的便利和AI的潛力。最后,作者盡

量用實(shí)物照片為讀者生動(dòng)呈現(xiàn)相關(guān)技術(shù)和產(chǎn)品,希望通過本白皮書

促進(jìn)冷板液冷技術(shù)快速迭代優(yōu)化,為讀者在冷板液冷的實(shí)踐和決策

提供有價(jià)值的信息和建議。

由于時(shí)間倉促,水平所限,錯(cuò)誤和不足之處在所難免,歡迎各

位讀者批評(píng)指正。如有意見或建議請(qǐng)聯(lián)系dceco@。

V

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

目錄

版權(quán)聲明..............................................................................................................................................I

編寫組.................................................................................................................................................II

前言.................................................................................................................................................IV

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書................................................................................................1

一、概述...........................................................................................................................................1

二、術(shù)語、定義和縮略語..............................................................................................................1

三、冷板液冷介紹..........................................................................................................................8

(一)冷板液冷技術(shù)介紹......................................................................................................8

1.冷板液冷發(fā)展歷程......................................................................................................8

2.冷板液冷技術(shù)原理....................................................................................................10

3.冷板液冷技術(shù)特點(diǎn)....................................................................................................12

4.冷板液冷關(guān)鍵技術(shù)....................................................................................................15

(二)常用產(chǎn)品器件介紹....................................................................................................16

1.冷板組件....................................................................................................................17

2.快速接頭QDC.............................................................................................................20

3.軟管............................................................................................................................24

4.機(jī)柜工藝?yán)涿焦┗仄绻躌CM.....................................................................................25

5.冷量分配單元CDU.....................................................................................................26

6.環(huán)路工藝?yán)涿焦┗仄绻躄CM.....................................................................................29

7.冷源............................................................................................................................30

8.工藝?yán)涿?...................................................................................................................34

(三)冷板液冷發(fā)展面臨的主要挑戰(zhàn)................................................................................40

VI

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

1.水質(zhì)............................................................................................................................40

2.泄漏............................................................................................................................42

3.冗余路由....................................................................................................................44

4.高成本........................................................................................................................44

5.建設(shè)周期長................................................................................................................45

6.能耗問題....................................................................................................................45

7.冷源水耗....................................................................................................................46

四、工程標(biāo)準(zhǔn)化及設(shè)計(jì)要求........................................................................................................46

(一)標(biāo)準(zhǔn)化現(xiàn)狀及需求....................................................................................................46

1.標(biāo)準(zhǔn)化現(xiàn)狀................................................................................................................46

2.標(biāo)準(zhǔn)化需求................................................................................................................48

(二)工程標(biāo)準(zhǔn)化設(shè)計(jì)要求................................................................................................50

1.二次側(cè)管路................................................................................................................50

2.功能要求....................................................................................................................54

(三)典型案例介紹............................................................................................................55

1.江蘇某大數(shù)據(jù)產(chǎn)業(yè)園項(xiàng)目........................................................................................55

2.廈門某智算中心........................................................................................................57

3.山西某大規(guī)模冷板液冷數(shù)據(jù)中心............................................................................58

4.廣州科云數(shù)據(jù)中心....................................................................................................59

五、接液材料研究........................................................................................................................60

(一)傳統(tǒng)材料....................................................................................................................61

(二)國外推薦材料............................................................................................................61

1.金屬與金屬合金類....................................................................................................61

2.合成橡膠、塑料和其它材料類................................................................................63

VII

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

(三)國內(nèi)常用非金屬材料................................................................................................65

1.管路及接頭材料........................................................................................................65

2.密封件材料................................................................................................................69

(四)新材料管路設(shè)計(jì)制造及測(cè)試方法............................................................................72

1.設(shè)計(jì)原則....................................................................................................................72

2.管路制造....................................................................................................................74

3.測(cè)試............................................................................................................................74

(五)其它行業(yè)領(lǐng)域冷板液冷新材料應(yīng)用........................................................................76

1.直流輸電領(lǐng)域............................................................................................................76

2.靜止無功補(bǔ)償裝置SVC冷卻領(lǐng)域............................................................................77

3.儲(chǔ)能領(lǐng)域....................................................................................................................78

(六)數(shù)據(jù)中心新材料應(yīng)用案例........................................................................................81

1.國內(nèi)數(shù)據(jù)中心案例....................................................................................................81

2.國外數(shù)據(jù)中心案例....................................................................................................83

六、冷板液冷新技術(shù)展望............................................................................................................89

(一)負(fù)壓冷板液冷技術(shù)....................................................................................................89

1.技術(shù)背景介紹............................................................................................................89

2.負(fù)壓CDU技術(shù)原理....................................................................................................89

3.負(fù)壓液冷系統(tǒng)方案技術(shù)亮點(diǎn)....................................................................................92

4.應(yīng)用案例....................................................................................................................94

(二)相變冷板冷卻技術(shù)....................................................................................................97

1.重力熱管方案............................................................................................................97

2.動(dòng)力熱管方案............................................................................................................98

(三)冷板液冷氣-液混合技術(shù)..........................................................................................98

VIII

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

1.風(fēng)冷CDU.....................................................................................................................99

2.氣-液組合末端........................................................................................................102

3.氣-液同源冷源........................................................................................................102

參考文獻(xiàn)........................................................................................................................................105

IX

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書

一、概述

隨著AI時(shí)代的到來,冷板液冷技術(shù)作為一種解決高算力發(fā)熱的

冷卻方式,已經(jīng)成為行業(yè)最熱門的話題之一,得到越來越廣泛的關(guān)

注。本文將分四個(gè)部分進(jìn)行展開:

第一部分:對(duì)冷板液冷技術(shù)進(jìn)行介紹,從發(fā)展歷程、技術(shù)特點(diǎn)、

關(guān)鍵技術(shù)、器件組成等方面逐一介紹,并指出其發(fā)展面臨的主要挑

戰(zhàn)。

第二部分:對(duì)冷板液冷的工程標(biāo)準(zhǔn)化進(jìn)行分析,從標(biāo)準(zhǔn)化的現(xiàn)

狀,到標(biāo)準(zhǔn)化的需求,并指出設(shè)計(jì)和功能要求,最后分享一些典型

數(shù)據(jù)中心案例。

第三部分:通過接液材料的詳細(xì)描述,為讀者呈現(xiàn)除傳統(tǒng)材料

外,其他行業(yè)領(lǐng)域和國內(nèi)外數(shù)據(jù)中心對(duì)新材料的應(yīng)用情況分享。

第四部分:對(duì)近幾年冷板液冷出現(xiàn)的新技術(shù)進(jìn)行介紹和展望。

二、術(shù)語、定義和縮略語

AsahiGlassFluoroelastomer的簡(jiǎn)寫。它是由日本旭硝子株式

會(huì)社(AsahiGlassCo.,Ltd.)開發(fā)的一種特殊的氟橡膠材

AFLAS

料,學(xué)名是聚四氟乙烯-聚丙烯共聚物,它具有優(yōu)異的耐化學(xué)

性、耐高溫性、耐油性和耐候性,常用于制造密封件。

CDA銅發(fā)展協(xié)會(huì)(CopperDevelopmentAssociation)。

CDU冷量分配單元(CoolantDistributionUnit)用于實(shí)現(xiàn)液冷系

統(tǒng)的二次側(cè)冷卻環(huán)路驅(qū)動(dòng)、穩(wěn)壓和自動(dòng)配流,同時(shí)實(shí)現(xiàn)一二次

1

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

側(cè)循環(huán)系統(tǒng)熱量交換、物理隔離等功能的單元。

制冷負(fù)載系數(shù)(CoolingLoadFactor),一般定義為數(shù)據(jù)中心

CLF制冷設(shè)備耗電與IT設(shè)備耗電的比值。本文提到的冷板液冷CLF指

的是冷板液冷系統(tǒng)的耗電與對(duì)應(yīng)液冷部分IT設(shè)備耗電的比值。

中央處理器(CentralProcessingUnit),它是服務(wù)器的核心

CPU

組件之一。

氯化聚氯乙烯(ChlorinatedPolyvinylChloride),是一種

特殊的塑料材料,是PVC經(jīng)過氯化處理而制成的。它具有出色的

CPVC

阻燃性能和耐化學(xué)腐蝕性能,廣泛應(yīng)用于管道系統(tǒng)、化工設(shè)

備、火災(zāi)噴淋系統(tǒng)、電力線路絕緣和建筑材料等領(lǐng)域。

計(jì)算機(jī)房空調(diào)器(ComputerRoomAirConditioner),其主要

CRAC是指帶壓縮機(jī)的蒸汽壓縮制冷循環(huán)系統(tǒng),通過制冷劑蒸發(fā)將機(jī)

房空氣熱量帶到室外的空調(diào)。

計(jì)算機(jī)房空氣處理器(ComputerRoomAirHandler),其主要

CRAH

是指通過冷凍水將機(jī)房空氣熱量帶走的冷凍水末端空調(diào)。

氯磺化聚乙烯(ChlorosulfonatedPolyethylene),也被稱為

海普隆Hypalon?。它是一種通過將聚乙烯與氯和硫進(jìn)行反應(yīng)而

CSPE

制得的合成橡膠,其特性包括耐候性、耐輻射、抗化學(xué)腐蝕和

電絕緣性能。

直接接觸式液體冷卻(DirectContactLiquidCooling),

DCLCDCLCTM被CoolIT公司注冊(cè),特指冷板液冷的間接式液冷,直接接

觸指的是冷板(而非工藝?yán)涿剑┡cCPU等發(fā)熱源的直接接觸。

三元乙丙橡膠(EthylenePropyleneDieneMonomer),是一

EPDM

種合成橡膠。

乙烯丙烯橡膠(EthylenePropyleneRubber),是一種合成橡

EPR

膠。

它是由乙烯(Ethylene)、四氟乙烯(Tetrafluoroethylene)

和丙烯(Propylene)通過共聚反應(yīng)制得的共聚物,ETP型氟橡

ETP

膠是一種高性能的氟橡膠材料,具有出色的化學(xué)穩(wěn)定性、耐熱

性和耐油性。

FEP聚全氟乙丙烯(FluorinatedEthylenePropylene),是一種

熱塑性聚合物,由四氟乙烯和含氟單體(如四氟乙烯醚)共聚

2

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

而成。它具有類似于PTFE的出色耐化學(xué)腐蝕性、低摩擦系數(shù)和

優(yōu)異的耐高溫性能。相比于PTFE,F(xiàn)EP具有更低的熔融溫度,更

容易地加工成各種形狀。

含氟彈性橡膠(Fluoroelastomer),也稱氟碳橡膠

FKM(FluorocarbonRubber),是一種特殊的橡膠材料,具有出色

的耐化學(xué)腐蝕性能和高溫穩(wěn)定性。

設(shè)施水系統(tǒng)(FacilitiesWaterSystem),冷源與CDU之間的水

FWS

系統(tǒng),即一次側(cè)冷凍或冷卻水系統(tǒng)。

GF型氟橡膠是由氟化碳單體聚合而成,添加了玻璃纖維(Glass

GFFiber)增強(qiáng)劑的氟橡膠材料,玻璃纖維的添加可以增強(qiáng)氟橡膠

的強(qiáng)度和剛度,提高其耐磨損性和耐沖擊性。

圖形處理器(GraphicsProcessingUnit),是一種專門用于

GPU處理圖形和圖像的處理器。與CPU相比,GPU在圖形處理方面有

著更強(qiáng)大的計(jì)算和并行處理能力。

高密度聚乙烯(HighDensityPolyethylene),是一種常見的

HDPE

塑料材料。

氫化丁晴橡膠(HydrogenatedNitrileButadieneRubber),

是一種耐油性較高的橡膠材料,通過氫化處理增加了耐熱性和

HNBR

抗臭氧性能,被廣泛應(yīng)用于涉及高溫、高壓和化學(xué)腐蝕環(huán)境下

的密封和橡膠制品。

環(huán)路工藝?yán)涿焦┗仄绻埽↙oopCoolantManifold)用于向環(huán)路

LCM

內(nèi)各支路分配工藝?yán)涿降难b置。

熔融指數(shù)(MeltFlowIndex),指熱塑性塑料在一定溫度和壓

MFI力下,熔體在10分鐘時(shí)間內(nèi)通過測(cè)試器的小孔所流出的熔料重

量,單位是以克/10分鐘表示。

熔體質(zhì)量流動(dòng)速率(Melt-massFlowRate),指熱塑性樹脂材料

MFR

分子平均尺寸和流動(dòng)性能的一項(xiàng)指標(biāo)。

丁晴橡膠(NitrileButadieneRubber),是一種常見的合成

NBR

橡膠材料。

開放計(jì)算項(xiàng)目(OpenComputerProject),它是由Facebook

OCP(更名為Meta)在2011年發(fā)起的,旨在通過共享設(shè)計(jì)和創(chuàng)新

來構(gòu)建高效、節(jié)能的數(shù)據(jù)中心設(shè)備和硬件基礎(chǔ)架構(gòu)。目前,OCP

3

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

同ODCC、OPEN19并稱為全球三大開放計(jì)算組織。

聚酰胺塑料(Polyamide),具有良好的綜合性能,包括力學(xué)性

PA能、耐熱性、耐磨損性、耐化學(xué)藥品性和自潤滑性,且摩擦系

數(shù)低,有一定的阻燃性,易于加工。

PE聚乙烯(Polyethylene),是一種常見的塑料材料。

聚醚醚酮(PolyetherEtherKetone),是一種高性能工程塑

PEEK

料,具有極高的熱穩(wěn)定性、耐化學(xué)腐蝕性和機(jī)械強(qiáng)度。

交聯(lián)聚乙烯(Cross-LinkedPolyethylene),由聚乙烯分子經(jīng)

PEX過交聯(lián)處理生成,交聯(lián)可以提高材料的強(qiáng)度、耐熱性和耐化學(xué)

腐蝕性,是一種常用的供水管道材料。

聚全氟丙烯(PerfluoroAlkoxy),是一種氟塑料,屬于全氟

聚合物的一種類型。它具有出色的化學(xué)穩(wěn)定性、高溫耐性、電

PFA絕緣性和耐腐蝕性。它具有與PTFE類似的特性,但其可加工性

更好,通過熱塑性加工方法(如注塑或擠出)加工成管材、薄

膜、塊材和各種形狀的制品。

全氟聚醚(Perfluoropolyether),是一種特殊的氟化合物材

PFPE

料,具有出色的化學(xué)穩(wěn)定性、熱穩(wěn)定性和潤滑性能。

全氟甲基乙烯基醚(Perfluoromethylvinylether),是一種全

PMVE氟聚合物,具有出色的化學(xué)穩(wěn)定性、高溫穩(wěn)定性和電氣絕緣性

能。

PP聚丙烯(Polypropylene),是一種常見的熱塑性聚合物。

均聚聚丙烯(PolypropyleneHomopolymer),相比PPR,具有

PPH

更高的剛性和強(qiáng)度,廣泛用于各種工業(yè)和建筑材料。

聚苯氧化物(PolyphenyleneOxide),是一種高性能工程塑

PPO料。它具有優(yōu)異的耐熱性、電絕緣性、機(jī)械性能和化學(xué)穩(wěn)定

性。

無規(guī)共聚聚丙烯(PolypropyleneRandom),相比PVC,具有

PPR

更高的耐熱性和耐化學(xué)腐蝕性能,廣泛用于家庭水管系統(tǒng)。

聚苯硫醚(PolyphenyleneSulfide),是一種高性能工程塑

PPS料。它具有優(yōu)異的耐熱性、耐化學(xué)腐蝕性、機(jī)械強(qiáng)度和電絕緣

性能。

4

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

聚苯砜(Polyphenylsulfone),一種無定形的熱塑性工程塑料,

具有高度透明性、高水解穩(wěn)定性,是所有高性能熱塑性塑膠中

PPSU最牢固的材料之一。該材料兼具強(qiáng)大的機(jī)械特性與耐熱和耐化

學(xué)性,因此非常適于通常負(fù)載較高和需接觸化學(xué)品的各種要求

嚴(yán)苛的應(yīng)用。

聚砜(Polysulfone),是一種特定的高性能工程塑料,它具有

PSU高溫穩(wěn)定性、機(jī)械強(qiáng)度、耐化學(xué)腐蝕性、電絕緣性和耐磨性等

特殊性能。

聚四氟乙烯(Polytetrafluoroethylene),也稱為特氟龍

TeflonTM,具有強(qiáng)抗腐蝕性,可以耐受包括王水在內(nèi)的強(qiáng)酸強(qiáng)堿

PTFE

溶液;低摩擦系數(shù),可用于軸承、墊片和密封環(huán)等高摩擦部

件;電絕緣性,可作為電纜絕緣材料。

能源利用效率(PowerUsageEffectiveness),是數(shù)據(jù)中心最

PUE重要的評(píng)價(jià)指標(biāo)之一,定義為數(shù)據(jù)中心總耗電與IT設(shè)備耗電之

比。

聚氯乙烯(PolyvinylChloride),是一種普遍使用的塑料,可

PVC以用于管道、電纜、地板、窗框等,但其耐高溫性能較差,會(huì)

釋放出揮發(fā)性化合物危害人類健康。

聚偏二氟乙烯(PolyvinylideneFluoride),相比PTEF,其

PVDF剛性、硬度、電絕緣性、抗蠕變性能尤為突出,是最強(qiáng)韌的氟

材料。

快速接頭(QuickDisconnectCoupling),包括自鎖式快速接

QDC

頭(手插和盲插)、球閥式快速接頭。

機(jī)柜工藝?yán)涿焦┗仄绻埽≧ackCoolantManifold)用于向機(jī)柜

RCM

內(nèi)各液冷冷板分配工藝?yán)涿降难b置。

二次側(cè)流體管路(SecondaryFluidNetworks),加拿大液冷

SFN

廠商CoolIT的命名方式,同LCM。

SUS是日本JIS(日本工業(yè)標(biāo)準(zhǔn))中使用的不銹鋼材料標(biāo)準(zhǔn)的簡(jiǎn)

SUS稱。在過去,日本的不銹鋼材料常常使用SUS作為牌號(hào)的前綴,

例如SUS304代表符合JISG4303標(biāo)準(zhǔn)的304不銹鋼。

靜止無功補(bǔ)償裝置(StaticVarCompensator),由電容器及

SVC各種電抗元件構(gòu)成與系統(tǒng)并聯(lián)并向系統(tǒng)供應(yīng)或從系統(tǒng)吸收無功

功率的裝置。

5

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

工藝?yán)涿较到y(tǒng)(TechnolgyCoolingSystem),冷板組件與CDU

TCS

之間的系統(tǒng),即二次側(cè)系統(tǒng)。

熱設(shè)計(jì)功率(ThermalDesignPower),是處理器或顯卡等計(jì)

算機(jī)硬件熱設(shè)計(jì)的一個(gè)主要參數(shù)。TDP是指處理器或其他硬件在

TDP滿負(fù)荷工作情況下的最大熱量產(chǎn)生值,代表了CPU或其他實(shí)際使

用時(shí)的預(yù)計(jì)功耗極限,是散熱器的設(shè)計(jì)和選擇的重要參考依

據(jù)。

四氟乙烯(Tetrafluoroethylene),是一種無色、無味且具有

TFE

高度穩(wěn)定性的氣體。

超高分子量聚乙烯(Ultra-HighMolecularWeight

Polyethylene),是一種特殊類型的聚乙烯,其分子量非常

UHMWPE高,通常達(dá)到數(shù)百萬至數(shù)千萬克/摩爾。它具有許多優(yōu)異的性

能:高強(qiáng)度、高耐磨性、低摩擦系數(shù)、優(yōu)異的耐化學(xué)性、良好

的電絕緣性和優(yōu)異的高溫性能。

統(tǒng)一編號(hào)系統(tǒng)(UnifiedNumberingSystem),它是一種用于

材料和金屬標(biāo)準(zhǔn)化命名的編碼系統(tǒng)。它由SAE(Societyof

AutomotiveEngineers)、ASTM(AmericanSocietyfor

TestingandMaterials)和ASME(AmericanSocietyof

UNSMechanicalEngineers)等多個(gè)工程組織共同制定和管理的,

不受國籍、材料種類、制造方式、化學(xué)成分等因素限制的開放

式系統(tǒng),在全球廣泛應(yīng)用。它由一個(gè)字母和五個(gè)數(shù)字組成,字

母表示材料類型,數(shù)字表示材料化學(xué)成分、機(jī)械性能等相關(guān)參

數(shù),便于跨國貿(mào)易。

用水效率(WaterUsageEffectiveness),是數(shù)據(jù)中心重要的

WUE評(píng)價(jià)指標(biāo)之一,定義為數(shù)據(jù)中心總用水量與IT設(shè)備耗電量之

比,單位為L/kW·h。

AirCooling,與液冷相對(duì)應(yīng),以空氣為冷卻介質(zhì),通過CRAC或

空氣冷卻CRAH設(shè)備將機(jī)房內(nèi)的空氣降溫至18~30℃左右的冷空氣,將服

務(wù)器產(chǎn)生的熱量轉(zhuǎn)移的過程。業(yè)內(nèi)常被稱為“風(fēng)冷”。

LiquidCooling或DirectLiquidCooling,液體冷卻的簡(jiǎn)稱,

以液體為冷卻介質(zhì),通過CDU設(shè)備將進(jìn)入服務(wù)器的工藝?yán)涿揭后w

降溫至17~45℃左右,將服務(wù)器產(chǎn)生的熱量全部或部分轉(zhuǎn)移的

液冷

過程。根據(jù)工藝?yán)涿绞欠衽c服務(wù)器接觸分為直接液冷和間接液

冷兩大類。直接液冷的液體一般是不導(dǎo)電的油類或者氟化物;

間接液冷的液體一般是去離子水,醇類溶液,還有氟化物。

6

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

空氣冷卻和液體冷卻混合布置的機(jī)房或者機(jī)柜,空氣冷卻和液

氣液比冷功率(或發(fā)熱量)的大致設(shè)計(jì)比例,一般指冷板液冷服務(wù)

器。業(yè)內(nèi)常被稱為“風(fēng)液比”。

風(fēng)冷冷卻(AirCooled)或風(fēng)冷冷凝(AirCooled

風(fēng)冷Condensation)的簡(jiǎn)稱,一般指冷卻介質(zhì)向空氣尤其室外空氣

轉(zhuǎn)移熱量的過程。

水冷冷凝(WaterCooledCondensation)的簡(jiǎn)稱,一般指冷卻

水冷

介質(zhì)通過冷卻水轉(zhuǎn)移熱量的過程。

PrimarySide,是指在間接熱交換過程中,提供熱量或冷量的

一次側(cè)一側(cè)。在液冷領(lǐng)域,以CDU的板式換熱器為界限,冷源側(cè)為一次

側(cè)。

SecondarySide,是指在間接熱交換過程中,熱量或冷量傳遞

二次側(cè)給待調(diào)節(jié)區(qū)域的一側(cè)。在液冷領(lǐng)域,以CDU的板式換熱器為界

限,服務(wù)器側(cè)為二次側(cè)。

TechnologyCoolingSystem,簡(jiǎn)稱TCS,是指用于冷卻和保持

工藝?yán)涿较到y(tǒng)電子設(shè)備運(yùn)行溫度在可接受范圍內(nèi)的系統(tǒng)。該系統(tǒng)即為二次側(cè)

所在系統(tǒng),工藝?yán)涿郊炊蝹?cè)冷卻液。

ApproachTemperature或MinimumDifferential

逼近溫度

Temperature,是指二次側(cè)供液溫度與一次側(cè)進(jìn)水溫度之差。

模塊化數(shù)據(jù)中心的簡(jiǎn)稱,ModularDataCenter(MDC),是指

完全按照模塊化設(shè)計(jì)思路搭建的可快速部署的數(shù)據(jù)中心模型,

數(shù)據(jù)中心內(nèi)部由多個(gè)完全相同的微模塊(MicroModule)組

微模塊

成;微模塊則是以若干機(jī)架為基本單位,包含制冷模塊、供配

電模塊及網(wǎng)絡(luò)、布線、監(jiān)控在內(nèi)的獨(dú)立的運(yùn)行單元,全部組件

可在工廠預(yù)制,并可靈活拆卸,快速組裝。

接液材料是指其表面與工藝?yán)涿街苯咏佑|的材料,必須和工藝

接液材料冷媒具備兼容性,以將冷卻回路中潛在的腐蝕風(fēng)險(xiǎn)和泄漏風(fēng)險(xiǎn)

降至最低。

7

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

三、冷板液冷介紹

(一)冷板液冷技術(shù)介紹

1.冷板液冷發(fā)展歷程

雖然液冷這個(gè)技術(shù)名詞是近代才出現(xiàn)的,但是液冷或者說用水

降溫這種生活方式,卻是與人類發(fā)展史緊密相伴的。用水降溫是動(dòng)

物與生俱來的本領(lǐng),人類還進(jìn)一步利用液冷原理建造自然水冷建筑

“含涼殿”。

液冷技術(shù)并非從數(shù)據(jù)中心行業(yè)發(fā)展應(yīng)用起來的,其最初的應(yīng)用

是在機(jī)械加工行業(yè),也就是18世紀(jì)第一次工業(yè)革命發(fā)明的機(jī)械加工

設(shè)備,使用水和油作為金屬加工液進(jìn)行降溫。之后,19世紀(jì)第二次

工業(yè)革命將人類社會(huì)帶入電氣時(shí)代,尼古拉·特斯拉首次將液冷應(yīng)

用于變壓器冷卻。20世紀(jì)開始進(jìn)入電子時(shí)代,隨著科技的進(jìn)步和制

作工藝的發(fā)展,高性能、高功率的電子元器件的冷卻要求不斷提高,

就需要選擇效率更高的液冷技術(shù),理論上沸騰的熱水可以帶走的極

限熱量是2MW/cm2。1944年美國人高格勒提出熱管換熱器概念,它是

一種不附加任何動(dòng)力,可以使冷凝的液體依靠吸液芯克服重力再回

到上方,達(dá)到熱量從一個(gè)地點(diǎn)傳動(dòng)到另一個(gè)地點(diǎn)目的的傳熱器件。

經(jīng)過熱管技術(shù)的演進(jìn),閉合管路的冷板始于航天設(shè)備的應(yīng)用,冷板

的叫法據(jù)說來自20世紀(jì)60年代的美國阿波羅登月計(jì)劃,登月設(shè)備中

液冷已經(jīng)廣泛應(yīng)用于高精度電子器件的冷卻。[1]

8

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

液冷技術(shù)首次在計(jì)算機(jī)上得到正式使用是在1951年,人類歷史

上第一臺(tái)商用電子計(jì)算機(jī)UNIVACI采用了水冷裝置。之后的幾十年,

液冷技術(shù)的發(fā)展應(yīng)用是曲折的,主要跟計(jì)算機(jī)性能需求和芯片技術(shù)

發(fā)展緊密相關(guān)。1966年,IBM推出了System360大型計(jì)算機(jī),這款計(jì)

算機(jī)是當(dāng)時(shí)運(yùn)算速度最快、性能最強(qiáng)的機(jī)器,主要用于科學(xué)應(yīng)用領(lǐng)

域的高速數(shù)據(jù)處理(比如太空探索、亞原子物理學(xué)、全球氣候預(yù)測(cè)

等)。為確保該大型機(jī)在高速運(yùn)算中不會(huì)發(fā)生過熱宕機(jī),IBM首度開

發(fā)了用水冷卻的液冷系統(tǒng)。但在隨后的幾十年,由于在較低熱負(fù)荷

時(shí)空氣冷卻成本更低、安裝部署更為簡(jiǎn)單,液冷技術(shù)并未被重視。

直到20世紀(jì)80年代,計(jì)算機(jī)性能飛速提升,為了滿足散熱的需要,

空氣冷卻和液冷融合的氣液混合系統(tǒng)開始出現(xiàn),甚至有一段時(shí)間多

種芯片級(jí)液冷技術(shù)得到深度應(yīng)用并走向成熟。20世紀(jì)90年代,晶體

管新技術(shù)的應(yīng)用,推動(dòng)著大型計(jì)算機(jī)和超級(jí)計(jì)算機(jī)芯片的功耗和熱

量斷崖式下跌,散熱又重新回到空氣冷卻的模式。21世紀(jì)初,隨著

數(shù)據(jù)中心應(yīng)用規(guī)模的快速提升,液冷技術(shù)又一次步入發(fā)展的快車道。

2008年,IBM對(duì)外發(fā)布基于Power6處理器的液冷超級(jí)計(jì)算機(jī)節(jié)點(diǎn)

Power575,其在微處理器模塊上使用了冷板液冷,使服務(wù)器工作溫

度降低了至少20℃。Power575液冷系統(tǒng)通過采用模塊化的設(shè)計(jì)和快

速連接接頭的應(yīng)用,尤其在系統(tǒng)側(cè)和設(shè)備側(cè)采用全流量互鎖式快接,

可以實(shí)現(xiàn)快速簡(jiǎn)單的連接和斷開。

國內(nèi)隨著信息技術(shù)賦能千行百業(yè),數(shù)據(jù)中心能耗和芯片散熱問

題也得到重視,國家和地方出臺(tái)了一系列數(shù)據(jù)中心能效水平限值要

9

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

求,如國家工信部規(guī)定新建大型、超大型數(shù)據(jù)中心PUE不超過1.3。

液冷技術(shù)在國內(nèi)有了迅速成長壯大的土壤,國內(nèi)如曙光、華為、浪

潮、聯(lián)想、新華三和中興通訊等代表性廠商已經(jīng)紛紛推出了系列液

冷產(chǎn)品。中科曙光最早于2015年推出國內(nèi)首款標(biāo)準(zhǔn)化量產(chǎn)的冷板液

冷服務(wù)器,同年,中科院大氣物理研究所的“地球數(shù)值模擬裝置原

型系統(tǒng)”率先使用冷板液冷服務(wù)器,大大提高散熱效率,也成為國

內(nèi)液冷服務(wù)器大規(guī)模使用的第一個(gè)公開案例,該系統(tǒng)并于2017年上

榜當(dāng)年全球高性能計(jì)算機(jī)(HPC)TOP500榜單。冷板液冷因?qū)ΜF(xiàn)有服

務(wù)器芯片組件及附屬部件改動(dòng)量較小,可操作性更強(qiáng),成為目前國

內(nèi)成熟度最高、應(yīng)用最廣泛的液冷散熱方案。隨著國內(nèi)主流服務(wù)器

廠商紛紛推出冷板液冷服務(wù)器產(chǎn)品,液冷技術(shù)開始逐步走向成熟并

開始批量化、規(guī)?;褂?。

2.冷板液冷技術(shù)原理

傳統(tǒng)空氣冷卻方式以空氣為介質(zhì)進(jìn)行散熱,通過送入低溫空氣、

經(jīng)與電子器件進(jìn)行熱交換后,將其熱量帶走。液冷方式則以液體為

介質(zhì)進(jìn)行散熱,只需提供中溫液體即可滿足元器件散熱需求,比空

氣冷卻方式散熱效率更高,也更加節(jié)能(如圖3-1所示)。

10

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

圖3-1空氣冷卻及液冷工作原理

冷板液冷技術(shù)是目前最為成熟、應(yīng)用最為廣泛的液冷散熱方式。

冷板液冷技術(shù)是指通過冷板(通常為銅、鋁等導(dǎo)熱金屬構(gòu)成的封閉

腔體)將發(fā)熱器件的熱量間接傳遞給在封閉的循環(huán)管路中的冷卻液

體,通過冷卻液體將熱量帶走的冷卻形式[2]。冷板液冷技術(shù)利用工

藝?yán)涿阶鳛橹虚g熱量傳輸?shù)拿浇?,將熱量由熱區(qū)傳遞到遠(yuǎn)端后再進(jìn)

行冷卻。在該技術(shù)中,工藝?yán)涿脚c被冷卻對(duì)象分離,工藝?yán)涿讲慌c

電子器件直接接觸,而是通過冷板等高效熱傳導(dǎo)部件將冷卻對(duì)象的

熱量傳遞到工藝?yán)涿街?,因此冷板液冷技術(shù)又稱為間接液冷技術(shù)。

冷板液冷技術(shù)相較于傳統(tǒng)空氣冷卻技術(shù),不需改變現(xiàn)有服務(wù)器

的形態(tài),使用、維護(hù)等方面與現(xiàn)有服務(wù)器也較為接近。冷板液冷系

統(tǒng)工作原理如圖3-2所示,冷板液冷是將服務(wù)器內(nèi)的主要散熱元器件

CPU、GPU、內(nèi)存等產(chǎn)生的熱量通過與冷板內(nèi)的液體進(jìn)行熱交換并帶

出服務(wù)器,這一部分的熱量占服務(wù)器總熱量的50%-80%,剩余少部分

的熱量采用空氣冷卻,通過空氣與服務(wù)器進(jìn)行熱交換。冷板液冷系

統(tǒng)中的二次側(cè)的中高溫液體帶走服務(wù)器的熱量,流經(jīng)CDU,傳遞給一

11

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

次側(cè)冷卻水,并通過冷源設(shè)備將熱量傳遞到室外空氣,這一過程中

的主要?jiǎng)恿ρb置為循環(huán)水泵以及冷源設(shè)備的風(fēng)機(jī)。

圖3-2冷板液冷系統(tǒng)原理示意圖

3.冷板液冷技術(shù)特點(diǎn)

冷板液冷方案一般具備以下特點(diǎn):

(1)高效散熱:液體的體積比熱容是空氣的1000-3500倍,意

味著冷卻液體可以吸收大量熱量而不會(huì)顯著升高溫度;液體的對(duì)流

換熱系數(shù)是空氣的10-40倍,同等空間情況液冷的冷卻能力遠(yuǎn)高于空

氣;由液冷冷板套件替代CPU原散熱套件,通過工藝?yán)涿皆诶浒逯械?/p>

強(qiáng)制對(duì)流,有效地將熱量從設(shè)備中快速地帶走,散熱效率得到大幅

提升。

(2)高TDP方案:當(dāng)CPU芯片TDP超過350W時(shí),冷板液冷成為少

數(shù)的解決方案(圖3-3)。

12

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

圖3-3TDP變化與冷卻方式的演進(jìn)[3]

(3)精確制冷:冷板套件直達(dá)服務(wù)器內(nèi)部,實(shí)現(xiàn)更為高效的部

件級(jí)精確制冷,CPU核溫低至65℃左右,使元器件在更穩(wěn)定更合適的

溫度下工作,可靠性更高。

(4)支持高功率部署:冷板液冷技術(shù)散熱效率更高,可支持單

機(jī)柜功率高達(dá)60kW的部署需求,同時(shí)降低占地成本。

(5)兼容性優(yōu):在不改變目前服務(wù)器主板的情況下即可實(shí)現(xiàn),

拆卸簡(jiǎn)單,安裝方便。相比其他液冷技術(shù),對(duì)機(jī)房的要求較低,與

現(xiàn)有機(jī)房的兼容性優(yōu)。冷板液冷可實(shí)現(xiàn)液冷微模塊的形式,可實(shí)現(xiàn)

與現(xiàn)有空氣冷卻服務(wù)器的兼容使用。在系統(tǒng)上,相比其他液冷技術(shù),

空氣冷卻改造液冷更為方便,可參見本文第六章第(三)節(jié)第1小節(jié)。

(6)維護(hù)簡(jiǎn)便:服務(wù)器與機(jī)柜的連接采用快速接頭,服務(wù)器上

下架可實(shí)現(xiàn)冷卻系統(tǒng)在線插拔,不影響其他服務(wù)器正常運(yùn)行。另外,

保留了原有服務(wù)器的形態(tài)及維護(hù)方式,不影響客戶使用習(xí)慣。

(7)生態(tài)更成熟:冷板液冷是液冷技術(shù)中應(yīng)用最早,也是最為

成熟的技術(shù),同時(shí),其產(chǎn)業(yè)鏈生態(tài)更成熟。

13

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

(8)支持定制:可根據(jù)特定的電子元件,考慮組件的尺寸、形

狀和散熱要求,可優(yōu)化工藝?yán)涿酵ㄟ^冷板的流動(dòng)路徑、增加翅片等

手段以降低熱阻(圖3-4)。

圖3-4某強(qiáng)化對(duì)流換熱定制開發(fā)冷板CFD分析

(9)支持超頻:由于服務(wù)器的運(yùn)行溫度更低,可允許服務(wù)器超

頻運(yùn)行,提升服務(wù)器算力挖潛。

(10)更加節(jié)能:整個(gè)冷卻系統(tǒng)采用中高溫水作為冷卻介質(zhì),

不同于靠低溫水或空氣進(jìn)行散熱,從而大大降低了冷卻系統(tǒng)能耗,

可充分利用自然冷源,冷板液冷CLF可低至0.1以下,比傳統(tǒng)空氣冷

卻機(jī)房節(jié)能20%以上。

(11)支持余熱回收:一次側(cè)回水溫度約為38℃-45℃,雖屬于

低品位余熱,但考慮到數(shù)據(jù)中心規(guī)模體量巨大,其產(chǎn)生的余熱量可

觀且穩(wěn)定、持續(xù)。因此可依據(jù)余熱利用場(chǎng)景靈活選擇設(shè)置,如辦公

及生活供暖、泳池加熱、設(shè)施農(nóng)業(yè)溫室供熱等方式就近消納余熱資

源。

(12)冷媒易獲得:相比其它液冷技術(shù),冷板液冷通常采用乙

二醇或丙二醇等水基溶液作為工藝?yán)涿?,具有容易獲取的優(yōu)點(diǎn)。

14

冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004

4.冷板液冷關(guān)鍵技術(shù)

冷板液冷技術(shù)的關(guān)鍵技術(shù)包括以下幾點(diǎn):

(1)冷板設(shè)計(jì):冷板的設(shè)計(jì)對(duì)冷卻系統(tǒng)至關(guān)重要。冷板必須與

電子元器件保持良好的熱接觸,這樣熱量才能快速有效地從元器件

傳遞到冷板。冷板流道通過機(jī)械加工、鏟齒、擠壓、鍛壓等工藝加

工,密封采用攪拌摩擦焊、真空釬焊、氣體保護(hù)焊等工藝焊接,需

要具有良好的密封性。此外,冷板內(nèi)通道流量大小、水阻和布局方

式對(duì)散熱效果起著至關(guān)重要的作用。

(2)工藝?yán)涿降倪x擇和水質(zhì)管理:冷板液冷系統(tǒng)中使用的液體

冷卻劑通常是去離子水、乙二醇或丙二醇等水基溶液。去離子水會(huì)

添加適當(dāng)?shù)乃巹﹣硪种萍?xì)菌滋生并減緩金屬腐蝕。工藝?yán)涿巾毶髦?/p>

選擇,以保證與接液材料的兼容性。工藝?yán)涿奖仨毦哂辛己玫谋葻?/p>

容、流動(dòng)特性和低粘度,以確保有效的熱傳遞。同時(shí),需要對(duì)水基

的工藝?yán)涿竭M(jìn)行定期的水質(zhì)監(jiān)測(cè)和分析。近兩年,陸續(xù)出現(xiàn)了氟化

物代替水基溶液作為工藝?yán)涿竭M(jìn)行冷卻,詳見本文6.2。除6.2外,

本文其它章節(jié)所涉及工藝?yán)涿骄谒芤哼M(jìn)行設(shè)計(jì)和介紹,特

此說明。

(3)RC

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論