浸沒式冷卻液關(guān)鍵電性參數(shù)標定方法研究開放數(shù)據(jù)中心標準推進委員會2024.12發(fā)布浸沒式冷卻液關(guān)鍵電性參數(shù)標定方法研究CCH202-05oci版權(quán)聲明改編、匯編和翻譯出版等侵權(quán)行為，ODCC及有關(guān)單位將追究其法浸沒式冷卻液關(guān)鍵電性參數(shù)標定方法研究CCH202-05oci編寫組劉宜龍聯(lián)想（北京）信息技術(shù)有限公司郭亮郭亮溫小振中國信陳兵李博洋聯(lián)想（北京）信息技術(shù)有限公司羅來龍李淵北京經(jīng)海張海民北京經(jīng)海科技有限公司王朋王鑫安似科技（上海朱泳名廣東生益科技劉洋版權(quán)聲明 2編寫組 3前言 1第一章液體電性參數(shù)標定方法綜述 2第1.1節(jié)浸沒式液冷應用概述 2第1.2節(jié)現(xiàn)有測試方法介紹 4第1.3節(jié)微帶線標定法介紹 61.3.1標定原理 71.3.2標定步驟 7第二章標定測試工具板開發(fā)及標定測試介紹 9第2.1節(jié)測試工具板主要技術(shù)指標分解 9第2.2節(jié)工具板CCL選擇 10第2.3節(jié)單點阻抗優(yōu)化 第2.4節(jié)工具板PCB加工難點 第2.5節(jié)測試系統(tǒng)說明 2.5.1工具板物理結(jié)構(gòu)測試系統(tǒng)說明 2.5.2工具板電性特征測試系統(tǒng)說明 24第2.6節(jié)標定測試關(guān)鍵過程說明 252.6.1測試coupon選擇 2.6.2測試環(huán)境架設(shè) 2.6.3擬合仿真設(shè)置 302.6.4與N1501A方法測試結(jié)果比較 37第三章液體參數(shù)標定 38第3.1節(jié)液體A（EC160）電性參數(shù)標定 38第3.2節(jié)液體B（SHW300X）電性參數(shù)標定 38第3.3節(jié)液體C（DOWSILTMICL-1100）電性參數(shù)標定 39第3.4節(jié)液體D（HXL-9104）電性參數(shù)標定 40第3.5節(jié)液體E（HXL-9098）電性參數(shù)標定 40第3.6節(jié)液體F（HXL-9119）電性參數(shù)標定 40第3.7節(jié)液體G（LC-50）電性參數(shù)標定 41第3.8節(jié)液體H（LC-100）電性參數(shù)標定 42第3.9節(jié)液體I（AD40）電性參數(shù)標定 43第3.10節(jié)液體J（S3X）電性參數(shù)標定 44第3.11節(jié)液體K（S5LV）電性參數(shù)標定 44參考文檔 46 47A所用仿真及測試工具、設(shè)備參考廠商及型號列表 47B所有已完成標定的液體廠商、型號及標定結(jié)果匯總列表 481前言隨著數(shù)據(jù)中心XPU芯片的功耗逐年攀2第一章液體電性參數(shù)標定方法綜述浸沒式液冷是將IT設(shè)備浸入比熱容和導熱系數(shù)高的絕緣液體中用自然或強制對流將IT系統(tǒng)運行過程中產(chǎn)生的熱量從熱部件傳遞到較高，而兩相液體的沸點較低，適合用于IT設(shè)備冷卻。通常用于兩3圖1-1浸沒式液冷環(huán)境對系統(tǒng)裕量影響4圖1-2浸沒式冷卻液DK/DF數(shù)值對互連部件阻抗和插損的影響曲線數(shù)值，對于IT系統(tǒng)在浸沒式液冷環(huán)境中的應用時電氣行為的變化影響評估是一個非常重要的前提條件，直接影響到后續(xù)IT系統(tǒng)的應用容變化和材料發(fā)熱的能量損耗，進而計算出液體的DK/DF數(shù)值；[1]5測試方法原理為在試驗池上施加交變方波電壓的情況下來測量電容種和第二方法測得的DK/DF數(shù)值明顯不適用于目前的浸沒式冷卻液還無法覆蓋到浸沒式冷卻液的DF數(shù)值（業(yè)內(nèi)主流浸沒式冷卻液的0.0015的水平上，PCB走線的插損變化達到了206圖1-3冷卻液不同DF數(shù)值對互連線單位長度插損影響微帶線標定法針對浸沒式冷卻液的標定邏輯為通過在不同外部到與實測插損特性曲線匹配最佳的外部環(huán)境的DK/DF數(shù)值，進而實71.3.1標定原理同決定了微帶線頻域中的插損特性表現(xiàn)；與之對應，在EDA仿真工具中，只要給定了微帶線的物理結(jié)構(gòu)參數(shù)（包括導體/外圍介質(zhì)的厚微帶線標定法的原理就是利用實測得到的一組微帶線插損曲線外圍介質(zhì)的DK/DF數(shù)值來得到不同的仿真插損曲線，當仿真插損曲線與比較基準曲線基本重合的時候，此時仿真所用的DK/DF數(shù)值即圖1-4微帶線標定法標定原理示意圖1.3.2標定步驟84.基于多組設(shè)計的物理結(jié)構(gòu)尺寸和空氣環(huán)境下和測試擬合，得到最貼近實測的各CCL的電性參數(shù),利用預留5.至此，確定了綠油層和PP層這基準，測試板卡的DK和DF數(shù)值作為已知量并設(shè)定為前期得圖1-5擬合仿真過程示意圖9第二章標定測試工具板開發(fā)及標定測試介紹的流動性的特點，為了滿足油類冷卻液樣品的實驗時需要將液面位置范圍擴大，這就要求計中間core/pp時選擇了較厚的CCL來滿足板厚的需求，建議總板厚控制在3mm以上；3.在以往的項目中，我們發(fā)現(xiàn)在實際測試中，在高頻段存振峰，這嚴重影響了高頻環(huán)境下的測試，此諧振峰由PCB板材旋轉(zhuǎn)1度諧振頻率大約會藍移3GHz，因此為了進一步4.不匹配的阻抗會加重反射損耗以及信號衰減，為了進一步降低阻抗失配的影響，首先建議將工具板的整板阻抗控制在±7%以內(nèi)，連接器區(qū)域，建議通過修改SMA部分拓撲，優(yōu)化單點阻抗至5%的選擇上也建議盡量選用IT設(shè)備主流應用的CCL材質(zhì)。本應用案例中標定測試工具板所用的CCL材料為廣東生益科技LowCTE特性，以滿足終端產(chǎn)品PCBA焊點可靠性及PCB板面平整優(yōu)化單點阻抗的目的主要在于提高信號傳輸?shù)男屎唾|(zhì)量，減少信號反射，減少電磁場的不均勻性和局部集中的現(xiàn)象，優(yōu)化目標為到的阻抗優(yōu)化效果如圖2-1所示。圖2-1單點阻抗優(yōu)化模型及優(yōu)化效果2.4.1針對標定測試工具板，主要技術(shù)指標為對阻抗控制的高要求，有以下幾點：-同一個DeltaL4.0模組內(nèi)的2/5/10inc2.4.2加工難點分析及解決方案阻抗控制范圍樣品能力為±5.95ohm，均不足以達到±4.25ohm(±5%)厚公差需要控制在±5μm，線寬公差控制在±10μm，銅厚公差控制在2.4.2.1關(guān)鍵因子管控解決方案4）首件檢驗方面：外層阻抗線，測量最小/最大阻抗線寬，5點壓，填充線路的PP膠會呈現(xiàn)四周薄中間厚的問題圖2-2層壓流膠示意圖圖2-3引用測試介厚分布圖1）在產(chǎn)品設(shè)計時，通過優(yōu)化板內(nèi)和板邊的圖形鋪圓銅點使其流膠均勻，外圍鋪全銅塊割流膠槽進行阻膠，降低PP圖2-4常規(guī)板框設(shè)計圖2-5優(yōu)化板框設(shè)計2）產(chǎn)品加工時優(yōu)化壓合參數(shù)（降低升溫速率）以降低PP流膠影響，提升介厚均勻性。圖2-6銅缸內(nèi)部結(jié)構(gòu)示意圖圖2-7電鍍夾點深度不一致分布圖圖2-8電鍍板間距不一致分布圖2.4.3打板生產(chǎn)后的實測效果基于以上管控措施，打板生產(chǎn)以后的阻抗控圖2-9測試工具板實物照片及阻抗實測結(jié)果示例2.5.1工具板物理結(jié)構(gòu)測試系統(tǒng)說明切片量測系統(tǒng)是一套通過光學顯微鏡觀測提前制備的PCB板卡真空鑲嵌機冷鑲嵌樣品圖2-11真空鑲嵌機及冷鑲嵌樣品圖2-12研磨拋光機圖2-12金相顯微鏡圖2-13透射照明方式和落射照明方式光路圖圖2-14暗場照明方式的光源光路圖(a)低照度（b）高照度圖2-15PCB板卡截面明場照明(5X物鏡，磨拋粒度P2400)(a)低照度（b）高照度圖2-16PCB板卡截面明場照明(10X物鏡，磨拋粒度P2400)(a)低照度（b）高照度圖2-17PCB板卡截面明場照明(5X物鏡，磨拋粒度3um)(a)低照度（b）高照度圖2-18PCB板卡截面明場照明(10X物鏡，磨拋粒度3um)從上面的照片中可以看出，磨拋粒度達到P2400圖2-19PCB板卡截面暗場照明(5X物鏡，磨拋粒度P2400和3um)圖2-20PCB板卡截面暗場照明(10X物鏡，磨拋粒度P2400和3um)圖2-21混合照明模式（10X物鏡，磨拋粒度P2400）無損檢測（NDT：NonDestructiveTesting）就是指在檢查機械材料內(nèi)部不損害或不影響被檢測對象使用性能，圖2-22工業(yè)CT機原理示意圖2.5.2工具板電性特征測試系統(tǒng)說明PCB板卡電性特征（主要是阻抗和插損）測試系統(tǒng)主要由PNAPNA矢量網(wǎng)絡(luò)分析儀提供全頻掃描、列表在測試過程中，首先將PNA矢量網(wǎng)絡(luò)分析儀連接到計算機，設(shè)圖2-23工具板電性特征測試系統(tǒng)示例圖2.6.1測試coupon選擇計了多組coupon，而且表底層的介質(zhì)厚度也做了區(qū)別，在測試開始在本應用案例中使用的工具板，表層的介厚設(shè)定厚度為5mil，底層的介厚設(shè)定為常規(guī)的2.7mil，因此同樣一種阻抗類型，表層的線寬要明顯大于底層的線寬，以寬pitch的差分85ohm微線寬越大，阻抗公差更好控制（如下圖所示介厚越大，散射在PCB工具板外部環(huán)境的電場線越多，受到外部環(huán)境變化的影響相對越大，對液體參數(shù)的標定測試更加有有利，因此在本應用案例中選用的圖2-24工具板不同層面coupon實則阻抗均值柱狀圖在本應用案例中使用的工具板上，分別設(shè)計了不同類型（單端/差分）、不同差分pitch（寬/窄）、不同綠油覆蓋場景圖2-25不同設(shè)計pitch、長度及綠油覆蓋場景coupon實物照片表2-1測試coupon匯總表2.6.2測試環(huán)境架設(shè)/電子校準儀等）和標定測試工具板在實驗圖2-26測試用工具2.為了節(jié)約測試時間，測試液體需要提前通過揚水泵抽送到常溫測圖2-27測試用液體液面高度控制示意3.為了避免不同液體之間的交叉誤差，每種液體均需要配套使用獨圖2-28水泵使用場景4.在校準和測試過程中，為了盡量減少測試系統(tǒng)變異對測試結(jié)果的圖2-29校準及實測場景對比5.為了盡量減少測試測試系統(tǒng)變異對現(xiàn)場測試結(jié)果的影響，需要盡圖2-30液體批量測試場景2.6.3擬合仿真設(shè)置據(jù)處理軟件，在本應用案例中使用的工具軟件為業(yè)界金標準軟件在HFSS工具中，將介質(zhì)的DK/DF設(shè)置為隨頻率變化的因果性Djordjevic-Sarkar模型是一種因果、頻率相關(guān)的介電模型，專門用于模擬印刷電路板中常用的FR-4Djordjevic-Sarkar模型的有效相對介電常數(shù)和電導率可以從上圖2-31相對介電常數(shù)和損耗角正切的頻率變化曲線則在此頻率范圍之外它會迅速降至零（如果直流電導率不為零，假設(shè)相對介電常數(shù)ε1和損耗角正切tanδ(ω1)在拐角頻率之間的實踐中未觀察到上轉(zhuǎn)角頻率，因此將其設(shè)置為非常高的值基于以上分析，在本應用中，統(tǒng)一選用1GHz下的DK/DF數(shù)值Djordjevic-Sarkar模塊中進行仿真，可以獲得初始插損、相位圖2-32circuit中模塊將基板的Dk/Df、綠油層的Dk/Df以及銅箔粗糙度的兩個參數(shù)設(shè)置為一一個優(yōu)化目標，此優(yōu)化目標利用權(quán)重法，將3個c圖2-33optiSLang中優(yōu)化目標設(shè)置可以在第一次靈敏度分析的基礎(chǔ)上選取第一次分析的最優(yōu)結(jié)果作為圖2-34optiSLang界面示例圖2-35optiSLang優(yōu)化結(jié)果示例在獲得最優(yōu)case之后，使用預留的一種測試場景，對提取的最圖2-36回歸驗證結(jié)果示例行擬合，即可得到一組冷卻液的Dk/Df值。圖2-37液體DK/DF數(shù)值擬合結(jié)果示例圖2-38液體DK/DF擬合結(jié)果回歸驗證示例2.6.4與N1501A方法測試結(jié)果比較針對相同的多款液體樣品，分別使用微帶線標定法和是德示。圖2-39微帶線標定法和N1501A方法實測結(jié)果對比第三章液體參數(shù)標定EC160是一款由中石油克拉瑪依石化公司提供的碳氫礦物油類），EC160經(jīng)過微帶線法標定的液體關(guān)鍵SHW300X是根據(jù)服務(wù)器液冷系統(tǒng)要求開發(fā)的合成油型冷卻液，揮發(fā)性極小，與服務(wù)器組件材料具有良好的兼容性，可保護IT設(shè)備不受環(huán)境濕度、灰塵和振動影響，有效提高IT設(shè)備的可靠性和使用TM傳導熱量，適用于需要高效散熱的液冷應用場景；此外，ICL-1100ICL-1100經(jīng)過微帶線法標定的液體關(guān)鍵電性參LC-50是一款由浙江永太氟樂科技有限公司提供的低沸點有機發(fā)熱單元，在發(fā)熱單元溫度達到47℃時液體即可沸騰蒸發(fā)，利用液冷循環(huán)完成冷凝，無需空調(diào)制冷，大大降低機LC-50經(jīng)過微帶線法標定的液體關(guān)鍵電性參數(shù)結(jié)果如下：DK@LC-100是一款由浙江永太氟樂科技有限公司提供的中沸點有機LC-100主要應用于服務(wù)器的單相浸沒式冷卻，將服務(wù)器直接浸劑中的熱量。相比于傳統(tǒng)冷卻方式，LC-100單相浸(1)節(jié)能降耗，相對于傳統(tǒng)風冷數(shù)據(jù)中心能耗降低90%-95%，降種熱管理系統(tǒng)提供了靈活性。使用AD-40后可以極大提升熱管理效環(huán)保法規(guī)的同時，也降低了企業(yè)在環(huán)境