版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
[編號(hào)ODCC-2023-02004]
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書
開放數(shù)據(jù)中心委員會(huì)
2023-019發(fā)布
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
前言
本規(guī)范由開放數(shù)據(jù)中心標(biāo)準(zhǔn)推進(jìn)委員會(huì)發(fā)布。
2015年,OpenAI成立,通過GPT(GenerativePre-trained
Transformer)算法,在2018年6月推出了GPT-1(1.2億參數(shù)),
在2019年11月增加了訓(xùn)練的數(shù)據(jù)量后推出了GPT-2(15億參數(shù)),
在2020年6月推出了GPT-3(1750億參數(shù))。隨著數(shù)據(jù)參數(shù)的加大
發(fā)現(xiàn)差異很小,后加入人工反饋強(qiáng)化學(xué)習(xí)來提升對(duì)話質(zhì)量,在2022
年3月推出了GPT-3.5;對(duì)話優(yōu)化后,在2022年11月就推出了
ChatGPT。月活人數(shù)突破1億僅用時(shí)兩個(gè)月。2023年2月7日微軟
將ChatGPT引入到搜索引擎Bing正式發(fā)布。除了微軟,谷歌、Meta、
百度、騰訊、阿里巴巴紛紛入局進(jìn)軍生成式AI。生成式AI模型需
求的暴漲,使得對(duì)芯片的需求從CPU+加速器轉(zhuǎn)變?yōu)橐訥PU主導(dǎo)的大
規(guī)模并行計(jì)算。未來,在單芯片性能之上,智算中心能夠通過算力
的生產(chǎn)-調(diào)度-聚合-釋放,支持AI產(chǎn)業(yè)化發(fā)展?,F(xiàn)階段,單CPU熱
設(shè)計(jì)功耗為150~200W,最高可達(dá)350W;單GPU熱設(shè)計(jì)功耗為
300~400W,最高可達(dá)700W。與此同時(shí),服務(wù)器功耗從傳統(tǒng)服務(wù)器
的1kW增加到AI服務(wù)器的6.5~10kW??諝饫鋮s解決成本和難度大
幅上升,英偉達(dá)、英特爾等芯片公司已經(jīng)開始將冷卻的方式轉(zhuǎn)向液
冷。
液冷是指通過液體代替空氣冷卻芯片,根據(jù)液體與芯片是否接
觸可以分為直接液冷和間接液冷。直接液冷包括浸沒液冷和噴淋液
冷,浸沒液冷又分為單相浸沒和兩相浸沒。而間接液冷主要是冷板
液冷。早在20世紀(jì)60年代,IBM就推出了用冷板液冷冷卻的計(jì)算
IV
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
機(jī)產(chǎn)品。直到21世紀(jì)初,美國GRC(GreenRevolutionCooling)
公司推出了單相浸沒冷卻解決方案。2017年,廣東合一推出了噴淋
式液冷。2019年曙光完成全球首個(gè)大規(guī)模刀片式浸沒兩相液冷商業(yè)
應(yīng)用項(xiàng)目。2021年,微軟發(fā)布了箱體式兩相浸沒液冷方案。而冷板
液冷作為歷史最悠久,技術(shù)最為成熟,生態(tài)系統(tǒng)最為豐富的液冷解
決方案,它的爆發(fā)已經(jīng)到來!
本白皮書傾注了作者大量的時(shí)間和精力,其成文也仰仗各參編
老師撰寫并參與討論,其次,本文得到程軍先生、王鋒先生、何智
強(qiáng)先生和袁達(dá)人先生提供的產(chǎn)品資料,在此對(duì)上人員做出的貢獻(xiàn)表
示由衷的感謝。此外,本文很多化工類專有名詞的解釋均得益于
ChatGPT,令人充分感受到科技的便利和AI的潛力。最后,作者盡
量用實(shí)物照片為讀者生動(dòng)呈現(xiàn)相關(guān)技術(shù)和產(chǎn)品,希望通過本白皮書
促進(jìn)冷板液冷技術(shù)快速迭代優(yōu)化,為讀者在冷板液冷的實(shí)踐和決策
提供有價(jià)值的信息和建議。
由于時(shí)間倉促,水平所限,錯(cuò)誤和不足之處在所難免,歡迎各
位讀者批評(píng)指正。如有意見或建議請(qǐng)聯(lián)系dceco@。
V
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
目錄
版權(quán)聲明..............................................................................................................................................I
編寫組.................................................................................................................................................II
前言.................................................................................................................................................IV
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書................................................................................................1
一、概述...........................................................................................................................................1
二、術(shù)語、定義和縮略語..............................................................................................................1
三、冷板液冷介紹..........................................................................................................................8
(一)冷板液冷技術(shù)介紹......................................................................................................8
1.冷板液冷發(fā)展歷程......................................................................................................8
2.冷板液冷技術(shù)原理....................................................................................................10
3.冷板液冷技術(shù)特點(diǎn)....................................................................................................12
4.冷板液冷關(guān)鍵技術(shù)....................................................................................................15
(二)常用產(chǎn)品器件介紹....................................................................................................16
1.冷板組件....................................................................................................................17
2.快速接頭QDC.............................................................................................................20
3.軟管............................................................................................................................24
4.機(jī)柜工藝?yán)涿焦┗仄绻躌CM.....................................................................................25
5.冷量分配單元CDU.....................................................................................................26
6.環(huán)路工藝?yán)涿焦┗仄绻躄CM.....................................................................................29
7.冷源............................................................................................................................30
8.工藝?yán)涿?...................................................................................................................34
(三)冷板液冷發(fā)展面臨的主要挑戰(zhàn)................................................................................40
VI
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
1.水質(zhì)............................................................................................................................40
2.泄漏............................................................................................................................42
3.冗余路由....................................................................................................................44
4.高成本........................................................................................................................44
5.建設(shè)周期長................................................................................................................45
6.能耗問題....................................................................................................................45
7.冷源水耗....................................................................................................................46
四、工程標(biāo)準(zhǔn)化及設(shè)計(jì)要求........................................................................................................46
(一)標(biāo)準(zhǔn)化現(xiàn)狀及需求....................................................................................................46
1.標(biāo)準(zhǔn)化現(xiàn)狀................................................................................................................46
2.標(biāo)準(zhǔn)化需求................................................................................................................48
(二)工程標(biāo)準(zhǔn)化設(shè)計(jì)要求................................................................................................50
1.二次側(cè)管路................................................................................................................50
2.功能要求....................................................................................................................54
(三)典型案例介紹............................................................................................................55
1.江蘇某大數(shù)據(jù)產(chǎn)業(yè)園項(xiàng)目........................................................................................55
2.廈門某智算中心........................................................................................................57
3.山西某大規(guī)模冷板液冷數(shù)據(jù)中心............................................................................58
4.廣州科云數(shù)據(jù)中心....................................................................................................59
五、接液材料研究........................................................................................................................60
(一)傳統(tǒng)材料....................................................................................................................61
(二)國外推薦材料............................................................................................................61
1.金屬與金屬合金類....................................................................................................61
2.合成橡膠、塑料和其它材料類................................................................................63
VII
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
(三)國內(nèi)常用非金屬材料................................................................................................65
1.管路及接頭材料........................................................................................................65
2.密封件材料................................................................................................................69
(四)新材料管路設(shè)計(jì)制造及測(cè)試方法............................................................................72
1.設(shè)計(jì)原則....................................................................................................................72
2.管路制造....................................................................................................................74
3.測(cè)試............................................................................................................................74
(五)其它行業(yè)領(lǐng)域冷板液冷新材料應(yīng)用........................................................................76
1.直流輸電領(lǐng)域............................................................................................................76
2.靜止無功補(bǔ)償裝置SVC冷卻領(lǐng)域............................................................................77
3.儲(chǔ)能領(lǐng)域....................................................................................................................78
(六)數(shù)據(jù)中心新材料應(yīng)用案例........................................................................................81
1.國內(nèi)數(shù)據(jù)中心案例....................................................................................................81
2.國外數(shù)據(jù)中心案例....................................................................................................83
六、冷板液冷新技術(shù)展望............................................................................................................89
(一)負(fù)壓冷板液冷技術(shù)....................................................................................................89
1.技術(shù)背景介紹............................................................................................................89
2.負(fù)壓CDU技術(shù)原理....................................................................................................89
3.負(fù)壓液冷系統(tǒng)方案技術(shù)亮點(diǎn)....................................................................................92
4.應(yīng)用案例....................................................................................................................94
(二)相變冷板冷卻技術(shù)....................................................................................................97
1.重力熱管方案............................................................................................................97
2.動(dòng)力熱管方案............................................................................................................98
(三)冷板液冷氣-液混合技術(shù)..........................................................................................98
VIII
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
1.風(fēng)冷CDU.....................................................................................................................99
2.氣-液組合末端........................................................................................................102
3.氣-液同源冷源........................................................................................................102
參考文獻(xiàn)........................................................................................................................................105
IX
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書
一、概述
隨著AI時(shí)代的到來,冷板液冷技術(shù)作為一種解決高算力發(fā)熱的
冷卻方式,已經(jīng)成為行業(yè)最熱門的話題之一,得到越來越廣泛的關(guān)
注。本文將分四個(gè)部分進(jìn)行展開:
第一部分:對(duì)冷板液冷技術(shù)進(jìn)行介紹,從發(fā)展歷程、技術(shù)特點(diǎn)、
關(guān)鍵技術(shù)、器件組成等方面逐一介紹,并指出其發(fā)展面臨的主要挑
戰(zhàn)。
第二部分:對(duì)冷板液冷的工程標(biāo)準(zhǔn)化進(jìn)行分析,從標(biāo)準(zhǔn)化的現(xiàn)
狀,到標(biāo)準(zhǔn)化的需求,并指出設(shè)計(jì)和功能要求,最后分享一些典型
數(shù)據(jù)中心案例。
第三部分:通過接液材料的詳細(xì)描述,為讀者呈現(xiàn)除傳統(tǒng)材料
外,其他行業(yè)領(lǐng)域和國內(nèi)外數(shù)據(jù)中心對(duì)新材料的應(yīng)用情況分享。
第四部分:對(duì)近幾年冷板液冷出現(xiàn)的新技術(shù)進(jìn)行介紹和展望。
二、術(shù)語、定義和縮略語
AsahiGlassFluoroelastomer的簡(jiǎn)寫。它是由日本旭硝子株式
會(huì)社(AsahiGlassCo.,Ltd.)開發(fā)的一種特殊的氟橡膠材
AFLAS
料,學(xué)名是聚四氟乙烯-聚丙烯共聚物,它具有優(yōu)異的耐化學(xué)
性、耐高溫性、耐油性和耐候性,常用于制造密封件。
CDA銅發(fā)展協(xié)會(huì)(CopperDevelopmentAssociation)。
CDU冷量分配單元(CoolantDistributionUnit)用于實(shí)現(xiàn)液冷系
統(tǒng)的二次側(cè)冷卻環(huán)路驅(qū)動(dòng)、穩(wěn)壓和自動(dòng)配流,同時(shí)實(shí)現(xiàn)一二次
1
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
側(cè)循環(huán)系統(tǒng)熱量交換、物理隔離等功能的單元。
制冷負(fù)載系數(shù)(CoolingLoadFactor),一般定義為數(shù)據(jù)中心
CLF制冷設(shè)備耗電與IT設(shè)備耗電的比值。本文提到的冷板液冷CLF指
的是冷板液冷系統(tǒng)的耗電與對(duì)應(yīng)液冷部分IT設(shè)備耗電的比值。
中央處理器(CentralProcessingUnit),它是服務(wù)器的核心
CPU
組件之一。
氯化聚氯乙烯(ChlorinatedPolyvinylChloride),是一種
特殊的塑料材料,是PVC經(jīng)過氯化處理而制成的。它具有出色的
CPVC
阻燃性能和耐化學(xué)腐蝕性能,廣泛應(yīng)用于管道系統(tǒng)、化工設(shè)
備、火災(zāi)噴淋系統(tǒng)、電力線路絕緣和建筑材料等領(lǐng)域。
計(jì)算機(jī)房空調(diào)器(ComputerRoomAirConditioner),其主要
CRAC是指帶壓縮機(jī)的蒸汽壓縮制冷循環(huán)系統(tǒng),通過制冷劑蒸發(fā)將機(jī)
房空氣熱量帶到室外的空調(diào)。
計(jì)算機(jī)房空氣處理器(ComputerRoomAirHandler),其主要
CRAH
是指通過冷凍水將機(jī)房空氣熱量帶走的冷凍水末端空調(diào)。
氯磺化聚乙烯(ChlorosulfonatedPolyethylene),也被稱為
海普隆Hypalon?。它是一種通過將聚乙烯與氯和硫進(jìn)行反應(yīng)而
CSPE
制得的合成橡膠,其特性包括耐候性、耐輻射、抗化學(xué)腐蝕和
電絕緣性能。
直接接觸式液體冷卻(DirectContactLiquidCooling),
DCLCDCLCTM被CoolIT公司注冊(cè),特指冷板液冷的間接式液冷,直接接
觸指的是冷板(而非工藝?yán)涿剑┡cCPU等發(fā)熱源的直接接觸。
三元乙丙橡膠(EthylenePropyleneDieneMonomer),是一
EPDM
種合成橡膠。
乙烯丙烯橡膠(EthylenePropyleneRubber),是一種合成橡
EPR
膠。
它是由乙烯(Ethylene)、四氟乙烯(Tetrafluoroethylene)
和丙烯(Propylene)通過共聚反應(yīng)制得的共聚物,ETP型氟橡
ETP
膠是一種高性能的氟橡膠材料,具有出色的化學(xué)穩(wěn)定性、耐熱
性和耐油性。
FEP聚全氟乙丙烯(FluorinatedEthylenePropylene),是一種
熱塑性聚合物,由四氟乙烯和含氟單體(如四氟乙烯醚)共聚
2
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
而成。它具有類似于PTFE的出色耐化學(xué)腐蝕性、低摩擦系數(shù)和
優(yōu)異的耐高溫性能。相比于PTFE,F(xiàn)EP具有更低的熔融溫度,更
容易地加工成各種形狀。
含氟彈性橡膠(Fluoroelastomer),也稱氟碳橡膠
FKM(FluorocarbonRubber),是一種特殊的橡膠材料,具有出色
的耐化學(xué)腐蝕性能和高溫穩(wěn)定性。
設(shè)施水系統(tǒng)(FacilitiesWaterSystem),冷源與CDU之間的水
FWS
系統(tǒng),即一次側(cè)冷凍或冷卻水系統(tǒng)。
GF型氟橡膠是由氟化碳單體聚合而成,添加了玻璃纖維(Glass
GFFiber)增強(qiáng)劑的氟橡膠材料,玻璃纖維的添加可以增強(qiáng)氟橡膠
的強(qiáng)度和剛度,提高其耐磨損性和耐沖擊性。
圖形處理器(GraphicsProcessingUnit),是一種專門用于
GPU處理圖形和圖像的處理器。與CPU相比,GPU在圖形處理方面有
著更強(qiáng)大的計(jì)算和并行處理能力。
高密度聚乙烯(HighDensityPolyethylene),是一種常見的
HDPE
塑料材料。
氫化丁晴橡膠(HydrogenatedNitrileButadieneRubber),
是一種耐油性較高的橡膠材料,通過氫化處理增加了耐熱性和
HNBR
抗臭氧性能,被廣泛應(yīng)用于涉及高溫、高壓和化學(xué)腐蝕環(huán)境下
的密封和橡膠制品。
環(huán)路工藝?yán)涿焦┗仄绻埽↙oopCoolantManifold)用于向環(huán)路
LCM
內(nèi)各支路分配工藝?yán)涿降难b置。
熔融指數(shù)(MeltFlowIndex),指熱塑性塑料在一定溫度和壓
MFI力下,熔體在10分鐘時(shí)間內(nèi)通過測(cè)試器的小孔所流出的熔料重
量,單位是以克/10分鐘表示。
熔體質(zhì)量流動(dòng)速率(Melt-massFlowRate),指熱塑性樹脂材料
MFR
分子平均尺寸和流動(dòng)性能的一項(xiàng)指標(biāo)。
丁晴橡膠(NitrileButadieneRubber),是一種常見的合成
NBR
橡膠材料。
開放計(jì)算項(xiàng)目(OpenComputerProject),它是由Facebook
OCP(更名為Meta)在2011年發(fā)起的,旨在通過共享設(shè)計(jì)和創(chuàng)新
來構(gòu)建高效、節(jié)能的數(shù)據(jù)中心設(shè)備和硬件基礎(chǔ)架構(gòu)。目前,OCP
3
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
同ODCC、OPEN19并稱為全球三大開放計(jì)算組織。
聚酰胺塑料(Polyamide),具有良好的綜合性能,包括力學(xué)性
PA能、耐熱性、耐磨損性、耐化學(xué)藥品性和自潤滑性,且摩擦系
數(shù)低,有一定的阻燃性,易于加工。
PE聚乙烯(Polyethylene),是一種常見的塑料材料。
聚醚醚酮(PolyetherEtherKetone),是一種高性能工程塑
PEEK
料,具有極高的熱穩(wěn)定性、耐化學(xué)腐蝕性和機(jī)械強(qiáng)度。
交聯(lián)聚乙烯(Cross-LinkedPolyethylene),由聚乙烯分子經(jīng)
PEX過交聯(lián)處理生成,交聯(lián)可以提高材料的強(qiáng)度、耐熱性和耐化學(xué)
腐蝕性,是一種常用的供水管道材料。
聚全氟丙烯(PerfluoroAlkoxy),是一種氟塑料,屬于全氟
聚合物的一種類型。它具有出色的化學(xué)穩(wěn)定性、高溫耐性、電
PFA絕緣性和耐腐蝕性。它具有與PTFE類似的特性,但其可加工性
更好,通過熱塑性加工方法(如注塑或擠出)加工成管材、薄
膜、塊材和各種形狀的制品。
全氟聚醚(Perfluoropolyether),是一種特殊的氟化合物材
PFPE
料,具有出色的化學(xué)穩(wěn)定性、熱穩(wěn)定性和潤滑性能。
全氟甲基乙烯基醚(Perfluoromethylvinylether),是一種全
PMVE氟聚合物,具有出色的化學(xué)穩(wěn)定性、高溫穩(wěn)定性和電氣絕緣性
能。
PP聚丙烯(Polypropylene),是一種常見的熱塑性聚合物。
均聚聚丙烯(PolypropyleneHomopolymer),相比PPR,具有
PPH
更高的剛性和強(qiáng)度,廣泛用于各種工業(yè)和建筑材料。
聚苯氧化物(PolyphenyleneOxide),是一種高性能工程塑
PPO料。它具有優(yōu)異的耐熱性、電絕緣性、機(jī)械性能和化學(xué)穩(wěn)定
性。
無規(guī)共聚聚丙烯(PolypropyleneRandom),相比PVC,具有
PPR
更高的耐熱性和耐化學(xué)腐蝕性能,廣泛用于家庭水管系統(tǒng)。
聚苯硫醚(PolyphenyleneSulfide),是一種高性能工程塑
PPS料。它具有優(yōu)異的耐熱性、耐化學(xué)腐蝕性、機(jī)械強(qiáng)度和電絕緣
性能。
4
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
聚苯砜(Polyphenylsulfone),一種無定形的熱塑性工程塑料,
具有高度透明性、高水解穩(wěn)定性,是所有高性能熱塑性塑膠中
PPSU最牢固的材料之一。該材料兼具強(qiáng)大的機(jī)械特性與耐熱和耐化
學(xué)性,因此非常適于通常負(fù)載較高和需接觸化學(xué)品的各種要求
嚴(yán)苛的應(yīng)用。
聚砜(Polysulfone),是一種特定的高性能工程塑料,它具有
PSU高溫穩(wěn)定性、機(jī)械強(qiáng)度、耐化學(xué)腐蝕性、電絕緣性和耐磨性等
特殊性能。
聚四氟乙烯(Polytetrafluoroethylene),也稱為特氟龍
TeflonTM,具有強(qiáng)抗腐蝕性,可以耐受包括王水在內(nèi)的強(qiáng)酸強(qiáng)堿
PTFE
溶液;低摩擦系數(shù),可用于軸承、墊片和密封環(huán)等高摩擦部
件;電絕緣性,可作為電纜絕緣材料。
能源利用效率(PowerUsageEffectiveness),是數(shù)據(jù)中心最
PUE重要的評(píng)價(jià)指標(biāo)之一,定義為數(shù)據(jù)中心總耗電與IT設(shè)備耗電之
比。
聚氯乙烯(PolyvinylChloride),是一種普遍使用的塑料,可
PVC以用于管道、電纜、地板、窗框等,但其耐高溫性能較差,會(huì)
釋放出揮發(fā)性化合物危害人類健康。
聚偏二氟乙烯(PolyvinylideneFluoride),相比PTEF,其
PVDF剛性、硬度、電絕緣性、抗蠕變性能尤為突出,是最強(qiáng)韌的氟
材料。
快速接頭(QuickDisconnectCoupling),包括自鎖式快速接
QDC
頭(手插和盲插)、球閥式快速接頭。
機(jī)柜工藝?yán)涿焦┗仄绻埽≧ackCoolantManifold)用于向機(jī)柜
RCM
內(nèi)各液冷冷板分配工藝?yán)涿降难b置。
二次側(cè)流體管路(SecondaryFluidNetworks),加拿大液冷
SFN
廠商CoolIT的命名方式,同LCM。
SUS是日本JIS(日本工業(yè)標(biāo)準(zhǔn))中使用的不銹鋼材料標(biāo)準(zhǔn)的簡(jiǎn)
SUS稱。在過去,日本的不銹鋼材料常常使用SUS作為牌號(hào)的前綴,
例如SUS304代表符合JISG4303標(biāo)準(zhǔn)的304不銹鋼。
靜止無功補(bǔ)償裝置(StaticVarCompensator),由電容器及
SVC各種電抗元件構(gòu)成與系統(tǒng)并聯(lián)并向系統(tǒng)供應(yīng)或從系統(tǒng)吸收無功
功率的裝置。
5
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
工藝?yán)涿较到y(tǒng)(TechnolgyCoolingSystem),冷板組件與CDU
TCS
之間的系統(tǒng),即二次側(cè)系統(tǒng)。
熱設(shè)計(jì)功率(ThermalDesignPower),是處理器或顯卡等計(jì)
算機(jī)硬件熱設(shè)計(jì)的一個(gè)主要參數(shù)。TDP是指處理器或其他硬件在
TDP滿負(fù)荷工作情況下的最大熱量產(chǎn)生值,代表了CPU或其他實(shí)際使
用時(shí)的預(yù)計(jì)功耗極限,是散熱器的設(shè)計(jì)和選擇的重要參考依
據(jù)。
四氟乙烯(Tetrafluoroethylene),是一種無色、無味且具有
TFE
高度穩(wěn)定性的氣體。
超高分子量聚乙烯(Ultra-HighMolecularWeight
Polyethylene),是一種特殊類型的聚乙烯,其分子量非常
UHMWPE高,通常達(dá)到數(shù)百萬至數(shù)千萬克/摩爾。它具有許多優(yōu)異的性
能:高強(qiáng)度、高耐磨性、低摩擦系數(shù)、優(yōu)異的耐化學(xué)性、良好
的電絕緣性和優(yōu)異的高溫性能。
統(tǒng)一編號(hào)系統(tǒng)(UnifiedNumberingSystem),它是一種用于
材料和金屬標(biāo)準(zhǔn)化命名的編碼系統(tǒng)。它由SAE(Societyof
AutomotiveEngineers)、ASTM(AmericanSocietyfor
TestingandMaterials)和ASME(AmericanSocietyof
UNSMechanicalEngineers)等多個(gè)工程組織共同制定和管理的,
不受國籍、材料種類、制造方式、化學(xué)成分等因素限制的開放
式系統(tǒng),在全球廣泛應(yīng)用。它由一個(gè)字母和五個(gè)數(shù)字組成,字
母表示材料類型,數(shù)字表示材料化學(xué)成分、機(jī)械性能等相關(guān)參
數(shù),便于跨國貿(mào)易。
用水效率(WaterUsageEffectiveness),是數(shù)據(jù)中心重要的
WUE評(píng)價(jià)指標(biāo)之一,定義為數(shù)據(jù)中心總用水量與IT設(shè)備耗電量之
比,單位為L/kW·h。
AirCooling,與液冷相對(duì)應(yīng),以空氣為冷卻介質(zhì),通過CRAC或
空氣冷卻CRAH設(shè)備將機(jī)房內(nèi)的空氣降溫至18~30℃左右的冷空氣,將服
務(wù)器產(chǎn)生的熱量轉(zhuǎn)移的過程。業(yè)內(nèi)常被稱為“風(fēng)冷”。
LiquidCooling或DirectLiquidCooling,液體冷卻的簡(jiǎn)稱,
以液體為冷卻介質(zhì),通過CDU設(shè)備將進(jìn)入服務(wù)器的工藝?yán)涿揭后w
降溫至17~45℃左右,將服務(wù)器產(chǎn)生的熱量全部或部分轉(zhuǎn)移的
液冷
過程。根據(jù)工藝?yán)涿绞欠衽c服務(wù)器接觸分為直接液冷和間接液
冷兩大類。直接液冷的液體一般是不導(dǎo)電的油類或者氟化物;
間接液冷的液體一般是去離子水,醇類溶液,還有氟化物。
6
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
空氣冷卻和液體冷卻混合布置的機(jī)房或者機(jī)柜,空氣冷卻和液
氣液比冷功率(或發(fā)熱量)的大致設(shè)計(jì)比例,一般指冷板液冷服務(wù)
器。業(yè)內(nèi)常被稱為“風(fēng)液比”。
風(fēng)冷冷卻(AirCooled)或風(fēng)冷冷凝(AirCooled
風(fēng)冷Condensation)的簡(jiǎn)稱,一般指冷卻介質(zhì)向空氣尤其室外空氣
轉(zhuǎn)移熱量的過程。
水冷冷凝(WaterCooledCondensation)的簡(jiǎn)稱,一般指冷卻
水冷
介質(zhì)通過冷卻水轉(zhuǎn)移熱量的過程。
PrimarySide,是指在間接熱交換過程中,提供熱量或冷量的
一次側(cè)一側(cè)。在液冷領(lǐng)域,以CDU的板式換熱器為界限,冷源側(cè)為一次
側(cè)。
SecondarySide,是指在間接熱交換過程中,熱量或冷量傳遞
二次側(cè)給待調(diào)節(jié)區(qū)域的一側(cè)。在液冷領(lǐng)域,以CDU的板式換熱器為界
限,服務(wù)器側(cè)為二次側(cè)。
TechnologyCoolingSystem,簡(jiǎn)稱TCS,是指用于冷卻和保持
工藝?yán)涿较到y(tǒng)電子設(shè)備運(yùn)行溫度在可接受范圍內(nèi)的系統(tǒng)。該系統(tǒng)即為二次側(cè)
所在系統(tǒng),工藝?yán)涿郊炊蝹?cè)冷卻液。
ApproachTemperature或MinimumDifferential
逼近溫度
Temperature,是指二次側(cè)供液溫度與一次側(cè)進(jìn)水溫度之差。
模塊化數(shù)據(jù)中心的簡(jiǎn)稱,ModularDataCenter(MDC),是指
完全按照模塊化設(shè)計(jì)思路搭建的可快速部署的數(shù)據(jù)中心模型,
數(shù)據(jù)中心內(nèi)部由多個(gè)完全相同的微模塊(MicroModule)組
微模塊
成;微模塊則是以若干機(jī)架為基本單位,包含制冷模塊、供配
電模塊及網(wǎng)絡(luò)、布線、監(jiān)控在內(nèi)的獨(dú)立的運(yùn)行單元,全部組件
可在工廠預(yù)制,并可靈活拆卸,快速組裝。
接液材料是指其表面與工藝?yán)涿街苯咏佑|的材料,必須和工藝
接液材料冷媒具備兼容性,以將冷卻回路中潛在的腐蝕風(fēng)險(xiǎn)和泄漏風(fēng)險(xiǎn)
降至最低。
7
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
三、冷板液冷介紹
(一)冷板液冷技術(shù)介紹
1.冷板液冷發(fā)展歷程
雖然液冷這個(gè)技術(shù)名詞是近代才出現(xiàn)的,但是液冷或者說用水
降溫這種生活方式,卻是與人類發(fā)展史緊密相伴的。用水降溫是動(dòng)
物與生俱來的本領(lǐng),人類還進(jìn)一步利用液冷原理建造自然水冷建筑
“含涼殿”。
液冷技術(shù)并非從數(shù)據(jù)中心行業(yè)發(fā)展應(yīng)用起來的,其最初的應(yīng)用
是在機(jī)械加工行業(yè),也就是18世紀(jì)第一次工業(yè)革命發(fā)明的機(jī)械加工
設(shè)備,使用水和油作為金屬加工液進(jìn)行降溫。之后,19世紀(jì)第二次
工業(yè)革命將人類社會(huì)帶入電氣時(shí)代,尼古拉·特斯拉首次將液冷應(yīng)
用于變壓器冷卻。20世紀(jì)開始進(jìn)入電子時(shí)代,隨著科技的進(jìn)步和制
作工藝的發(fā)展,高性能、高功率的電子元器件的冷卻要求不斷提高,
就需要選擇效率更高的液冷技術(shù),理論上沸騰的熱水可以帶走的極
限熱量是2MW/cm2。1944年美國人高格勒提出熱管換熱器概念,它是
一種不附加任何動(dòng)力,可以使冷凝的液體依靠吸液芯克服重力再回
到上方,達(dá)到熱量從一個(gè)地點(diǎn)傳動(dòng)到另一個(gè)地點(diǎn)目的的傳熱器件。
經(jīng)過熱管技術(shù)的演進(jìn),閉合管路的冷板始于航天設(shè)備的應(yīng)用,冷板
的叫法據(jù)說來自20世紀(jì)60年代的美國阿波羅登月計(jì)劃,登月設(shè)備中
液冷已經(jīng)廣泛應(yīng)用于高精度電子器件的冷卻。[1]
8
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
液冷技術(shù)首次在計(jì)算機(jī)上得到正式使用是在1951年,人類歷史
上第一臺(tái)商用電子計(jì)算機(jī)UNIVACI采用了水冷裝置。之后的幾十年,
液冷技術(shù)的發(fā)展應(yīng)用是曲折的,主要跟計(jì)算機(jī)性能需求和芯片技術(shù)
發(fā)展緊密相關(guān)。1966年,IBM推出了System360大型計(jì)算機(jī),這款計(jì)
算機(jī)是當(dāng)時(shí)運(yùn)算速度最快、性能最強(qiáng)的機(jī)器,主要用于科學(xué)應(yīng)用領(lǐng)
域的高速數(shù)據(jù)處理(比如太空探索、亞原子物理學(xué)、全球氣候預(yù)測(cè)
等)。為確保該大型機(jī)在高速運(yùn)算中不會(huì)發(fā)生過熱宕機(jī),IBM首度開
發(fā)了用水冷卻的液冷系統(tǒng)。但在隨后的幾十年,由于在較低熱負(fù)荷
時(shí)空氣冷卻成本更低、安裝部署更為簡(jiǎn)單,液冷技術(shù)并未被重視。
直到20世紀(jì)80年代,計(jì)算機(jī)性能飛速提升,為了滿足散熱的需要,
空氣冷卻和液冷融合的氣液混合系統(tǒng)開始出現(xiàn),甚至有一段時(shí)間多
種芯片級(jí)液冷技術(shù)得到深度應(yīng)用并走向成熟。20世紀(jì)90年代,晶體
管新技術(shù)的應(yīng)用,推動(dòng)著大型計(jì)算機(jī)和超級(jí)計(jì)算機(jī)芯片的功耗和熱
量斷崖式下跌,散熱又重新回到空氣冷卻的模式。21世紀(jì)初,隨著
數(shù)據(jù)中心應(yīng)用規(guī)模的快速提升,液冷技術(shù)又一次步入發(fā)展的快車道。
2008年,IBM對(duì)外發(fā)布基于Power6處理器的液冷超級(jí)計(jì)算機(jī)節(jié)點(diǎn)
Power575,其在微處理器模塊上使用了冷板液冷,使服務(wù)器工作溫
度降低了至少20℃。Power575液冷系統(tǒng)通過采用模塊化的設(shè)計(jì)和快
速連接接頭的應(yīng)用,尤其在系統(tǒng)側(cè)和設(shè)備側(cè)采用全流量互鎖式快接,
可以實(shí)現(xiàn)快速簡(jiǎn)單的連接和斷開。
國內(nèi)隨著信息技術(shù)賦能千行百業(yè),數(shù)據(jù)中心能耗和芯片散熱問
題也得到重視,國家和地方出臺(tái)了一系列數(shù)據(jù)中心能效水平限值要
9
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
求,如國家工信部規(guī)定新建大型、超大型數(shù)據(jù)中心PUE不超過1.3。
液冷技術(shù)在國內(nèi)有了迅速成長壯大的土壤,國內(nèi)如曙光、華為、浪
潮、聯(lián)想、新華三和中興通訊等代表性廠商已經(jīng)紛紛推出了系列液
冷產(chǎn)品。中科曙光最早于2015年推出國內(nèi)首款標(biāo)準(zhǔn)化量產(chǎn)的冷板液
冷服務(wù)器,同年,中科院大氣物理研究所的“地球數(shù)值模擬裝置原
型系統(tǒng)”率先使用冷板液冷服務(wù)器,大大提高散熱效率,也成為國
內(nèi)液冷服務(wù)器大規(guī)模使用的第一個(gè)公開案例,該系統(tǒng)并于2017年上
榜當(dāng)年全球高性能計(jì)算機(jī)(HPC)TOP500榜單。冷板液冷因?qū)ΜF(xiàn)有服
務(wù)器芯片組件及附屬部件改動(dòng)量較小,可操作性更強(qiáng),成為目前國
內(nèi)成熟度最高、應(yīng)用最廣泛的液冷散熱方案。隨著國內(nèi)主流服務(wù)器
廠商紛紛推出冷板液冷服務(wù)器產(chǎn)品,液冷技術(shù)開始逐步走向成熟并
開始批量化、規(guī)?;褂?。
2.冷板液冷技術(shù)原理
傳統(tǒng)空氣冷卻方式以空氣為介質(zhì)進(jìn)行散熱,通過送入低溫空氣、
經(jīng)與電子器件進(jìn)行熱交換后,將其熱量帶走。液冷方式則以液體為
介質(zhì)進(jìn)行散熱,只需提供中溫液體即可滿足元器件散熱需求,比空
氣冷卻方式散熱效率更高,也更加節(jié)能(如圖3-1所示)。
10
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
圖3-1空氣冷卻及液冷工作原理
冷板液冷技術(shù)是目前最為成熟、應(yīng)用最為廣泛的液冷散熱方式。
冷板液冷技術(shù)是指通過冷板(通常為銅、鋁等導(dǎo)熱金屬構(gòu)成的封閉
腔體)將發(fā)熱器件的熱量間接傳遞給在封閉的循環(huán)管路中的冷卻液
體,通過冷卻液體將熱量帶走的冷卻形式[2]。冷板液冷技術(shù)利用工
藝?yán)涿阶鳛橹虚g熱量傳輸?shù)拿浇?,將熱量由熱區(qū)傳遞到遠(yuǎn)端后再進(jìn)
行冷卻。在該技術(shù)中,工藝?yán)涿脚c被冷卻對(duì)象分離,工藝?yán)涿讲慌c
電子器件直接接觸,而是通過冷板等高效熱傳導(dǎo)部件將冷卻對(duì)象的
熱量傳遞到工藝?yán)涿街?,因此冷板液冷技術(shù)又稱為間接液冷技術(shù)。
冷板液冷技術(shù)相較于傳統(tǒng)空氣冷卻技術(shù),不需改變現(xiàn)有服務(wù)器
的形態(tài),使用、維護(hù)等方面與現(xiàn)有服務(wù)器也較為接近。冷板液冷系
統(tǒng)工作原理如圖3-2所示,冷板液冷是將服務(wù)器內(nèi)的主要散熱元器件
CPU、GPU、內(nèi)存等產(chǎn)生的熱量通過與冷板內(nèi)的液體進(jìn)行熱交換并帶
出服務(wù)器,這一部分的熱量占服務(wù)器總熱量的50%-80%,剩余少部分
的熱量采用空氣冷卻,通過空氣與服務(wù)器進(jìn)行熱交換。冷板液冷系
統(tǒng)中的二次側(cè)的中高溫液體帶走服務(wù)器的熱量,流經(jīng)CDU,傳遞給一
11
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
次側(cè)冷卻水,并通過冷源設(shè)備將熱量傳遞到室外空氣,這一過程中
的主要?jiǎng)恿ρb置為循環(huán)水泵以及冷源設(shè)備的風(fēng)機(jī)。
圖3-2冷板液冷系統(tǒng)原理示意圖
3.冷板液冷技術(shù)特點(diǎn)
冷板液冷方案一般具備以下特點(diǎn):
(1)高效散熱:液體的體積比熱容是空氣的1000-3500倍,意
味著冷卻液體可以吸收大量熱量而不會(huì)顯著升高溫度;液體的對(duì)流
換熱系數(shù)是空氣的10-40倍,同等空間情況液冷的冷卻能力遠(yuǎn)高于空
氣;由液冷冷板套件替代CPU原散熱套件,通過工藝?yán)涿皆诶浒逯械?/p>
強(qiáng)制對(duì)流,有效地將熱量從設(shè)備中快速地帶走,散熱效率得到大幅
提升。
(2)高TDP方案:當(dāng)CPU芯片TDP超過350W時(shí),冷板液冷成為少
數(shù)的解決方案(圖3-3)。
12
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
圖3-3TDP變化與冷卻方式的演進(jìn)[3]
(3)精確制冷:冷板套件直達(dá)服務(wù)器內(nèi)部,實(shí)現(xiàn)更為高效的部
件級(jí)精確制冷,CPU核溫低至65℃左右,使元器件在更穩(wěn)定更合適的
溫度下工作,可靠性更高。
(4)支持高功率部署:冷板液冷技術(shù)散熱效率更高,可支持單
機(jī)柜功率高達(dá)60kW的部署需求,同時(shí)降低占地成本。
(5)兼容性優(yōu):在不改變目前服務(wù)器主板的情況下即可實(shí)現(xiàn),
拆卸簡(jiǎn)單,安裝方便。相比其他液冷技術(shù),對(duì)機(jī)房的要求較低,與
現(xiàn)有機(jī)房的兼容性優(yōu)。冷板液冷可實(shí)現(xiàn)液冷微模塊的形式,可實(shí)現(xiàn)
與現(xiàn)有空氣冷卻服務(wù)器的兼容使用。在系統(tǒng)上,相比其他液冷技術(shù),
空氣冷卻改造液冷更為方便,可參見本文第六章第(三)節(jié)第1小節(jié)。
(6)維護(hù)簡(jiǎn)便:服務(wù)器與機(jī)柜的連接采用快速接頭,服務(wù)器上
下架可實(shí)現(xiàn)冷卻系統(tǒng)在線插拔,不影響其他服務(wù)器正常運(yùn)行。另外,
保留了原有服務(wù)器的形態(tài)及維護(hù)方式,不影響客戶使用習(xí)慣。
(7)生態(tài)更成熟:冷板液冷是液冷技術(shù)中應(yīng)用最早,也是最為
成熟的技術(shù),同時(shí),其產(chǎn)業(yè)鏈生態(tài)更成熟。
13
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
(8)支持定制:可根據(jù)特定的電子元件,考慮組件的尺寸、形
狀和散熱要求,可優(yōu)化工藝?yán)涿酵ㄟ^冷板的流動(dòng)路徑、增加翅片等
手段以降低熱阻(圖3-4)。
圖3-4某強(qiáng)化對(duì)流換熱定制開發(fā)冷板CFD分析
(9)支持超頻:由于服務(wù)器的運(yùn)行溫度更低,可允許服務(wù)器超
頻運(yùn)行,提升服務(wù)器算力挖潛。
(10)更加節(jié)能:整個(gè)冷卻系統(tǒng)采用中高溫水作為冷卻介質(zhì),
不同于靠低溫水或空氣進(jìn)行散熱,從而大大降低了冷卻系統(tǒng)能耗,
可充分利用自然冷源,冷板液冷CLF可低至0.1以下,比傳統(tǒng)空氣冷
卻機(jī)房節(jié)能20%以上。
(11)支持余熱回收:一次側(cè)回水溫度約為38℃-45℃,雖屬于
低品位余熱,但考慮到數(shù)據(jù)中心規(guī)模體量巨大,其產(chǎn)生的余熱量可
觀且穩(wěn)定、持續(xù)。因此可依據(jù)余熱利用場(chǎng)景靈活選擇設(shè)置,如辦公
及生活供暖、泳池加熱、設(shè)施農(nóng)業(yè)溫室供熱等方式就近消納余熱資
源。
(12)冷媒易獲得:相比其它液冷技術(shù),冷板液冷通常采用乙
二醇或丙二醇等水基溶液作為工藝?yán)涿?,具有容易獲取的優(yōu)點(diǎn)。
14
冷板液冷標(biāo)準(zhǔn)化及技術(shù)優(yōu)化白皮書ODCC-2023-02004
4.冷板液冷關(guān)鍵技術(shù)
冷板液冷技術(shù)的關(guān)鍵技術(shù)包括以下幾點(diǎn):
(1)冷板設(shè)計(jì):冷板的設(shè)計(jì)對(duì)冷卻系統(tǒng)至關(guān)重要。冷板必須與
電子元器件保持良好的熱接觸,這樣熱量才能快速有效地從元器件
傳遞到冷板。冷板流道通過機(jī)械加工、鏟齒、擠壓、鍛壓等工藝加
工,密封采用攪拌摩擦焊、真空釬焊、氣體保護(hù)焊等工藝焊接,需
要具有良好的密封性。此外,冷板內(nèi)通道流量大小、水阻和布局方
式對(duì)散熱效果起著至關(guān)重要的作用。
(2)工藝?yán)涿降倪x擇和水質(zhì)管理:冷板液冷系統(tǒng)中使用的液體
冷卻劑通常是去離子水、乙二醇或丙二醇等水基溶液。去離子水會(huì)
添加適當(dāng)?shù)乃巹﹣硪种萍?xì)菌滋生并減緩金屬腐蝕。工藝?yán)涿巾毶髦?/p>
選擇,以保證與接液材料的兼容性。工藝?yán)涿奖仨毦哂辛己玫谋葻?/p>
容、流動(dòng)特性和低粘度,以確保有效的熱傳遞。同時(shí),需要對(duì)水基
的工藝?yán)涿竭M(jìn)行定期的水質(zhì)監(jiān)測(cè)和分析。近兩年,陸續(xù)出現(xiàn)了氟化
物代替水基溶液作為工藝?yán)涿竭M(jìn)行冷卻,詳見本文6.2。除6.2外,
本文其它章節(jié)所涉及工藝?yán)涿骄谒芤哼M(jìn)行設(shè)計(jì)和介紹,特
此說明。
(3)RC
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 遼寧省遼西部分高中協(xié)作體2025-2026學(xué)年高一上學(xué)期期中考試政治試卷(解析版)
- 2026年國家電網(wǎng)招聘之人力資源類考試題庫300道及完整答案(名師系列)
- 2026年二級(jí)建造師之二建礦業(yè)工程實(shí)務(wù)考試題庫300道及完整答案【易錯(cuò)題】
- 2026年一級(jí)建造師之一建市政公用工程實(shí)務(wù)考試題庫500道含答案(黃金題型)
- 2026年中國歷史文化知識(shí)競(jìng)賽考試題庫及完整答案【名校卷】
- 2025年注冊(cè)會(huì)計(jì)師考試題庫500道含完整答案【歷年真題】
- 2026年一級(jí)建造師之一建礦業(yè)工程實(shí)務(wù)考試題庫300道附參考答案(精練)
- 2026年國家電網(wǎng)招聘之文學(xué)哲學(xué)類考試題庫300道含答案【培優(yōu)a卷】
- (新版)2026年導(dǎo)游資格證考試題庫附答案【黃金題型】
- 2026年咨詢工程師之宏觀經(jīng)濟(jì)政策與發(fā)展規(guī)劃考試題庫500道帶答案(黃金題型)
- 婚介所紅娘技能培訓(xùn)資料匯編
- 人教版(2024)三年級(jí)上冊(cè)數(shù)學(xué)總復(fù)習(xí)第4課時(shí) 圖形的認(rèn)識(shí)與測(cè)量課件
- 2025年汽車維修行業(yè)汽車維修行業(yè)維修企業(yè)應(yīng)對(duì)市場(chǎng)變化的策略可行性研究報(bào)告
- 服裝導(dǎo)購培訓(xùn)專業(yè)知識(shí)內(nèi)容課件
- 基于IEC61850協(xié)議解析的變電站流量異常檢測(cè):技術(shù)、挑戰(zhàn)與實(shí)踐
- 江蘇省蘇州工業(yè)園區(qū)星澄學(xué)校2026屆數(shù)學(xué)九上期末統(tǒng)考試題含解析
- 中國法制史試題題庫(附答案)
- 醫(yī)院保潔人員院感培訓(xùn)
- (高清版)DB44∕T 1031-2012 《制漿廢液中甲醇含量的測(cè)定 頂空氣相色譜法》
- 鶴顏堂中醫(yī)蘇子老師課件
- 人工智能在藝術(shù)史研究中的應(yīng)用與創(chuàng)新-洞察及研究
評(píng)論
0/150
提交評(píng)論