高性能計算機系統能效測試方法2022-10-12發(fā)布IGB/T41779—2022本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內容可能涉及專利。本文件的發(fā)布機構不承擔識別專利的責任。本文件由全國信息技術標準化技術委員會(SAC/TC28)提出并歸口。本文件起草單位：曙光信息產業(yè)(北京)有限公司、曙光數據基礎設施創(chuàng)新技術(北京)股份有限公司、中國計量科學研究院、蘭州理工大學、中國電子技術標準化研究院、北京工翔科技有限公司、國家節(jié)能中心、北京亦莊智能城市協同創(chuàng)新研究院有限公司、國家電網公司信息通信分公司、阿里云計算有限公司、清華大學、中通服建設有限公司、山東省計算中心、北京大學、杭州萬泰認證有限公司、國家發(fā)展和改革委員會能源研究所、中國石油天然氣股份有限公司勘探開發(fā)研究院、中科賽能(北京)科技有限公司、北京節(jié)能環(huán)保中心、中國科學院電工研究所、中國科學院計算機網絡信息中心、北京金茂綠建科技有限公司、北京科計通電子工程有限公司、北京領智信通節(jié)能技術研究院、潤和世聯數據科技有限公司、中國石油天然氣股份有限公司吉林石化數據中心分公司、中國建設銀行股份有限公司、北京納源豐科技發(fā)展有限公司、聯想(北京)信息技術有限公司、曙光數創(chuàng)電子設備科技發(fā)展(青島)有限公司、北京通和實益電信科學技術研究所有限公司、建信金融科技公司、山東正云信息科技有限公司、北京林業(yè)大學。1高性能計算機系統能效測試方法本文件給出了高性能計算機系統能效的計算公式，描述了高性能計算機系統能效測試的方法。本文件適用于高性能計算機系統能效測試，可用于分析高性能計算機系統的能效狀況，供高性能計算機系統的研發(fā)、測試、生產等參考使用。本文件提出的高性能計算機系統能效值可作為評價高性能計算機系統能效水平的參數。2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T32910.3—2016數據中心資源利用第3部分：電能能效要求和測量方法3術語和定義下列術語和定義適用于本文件。同時使用多個計算節(jié)點，用于處理大量數據或解決大規(guī)模數值計算問題的計算機系統。注：高性能計算系統由計算子系統、存儲子系統、網絡子系統以及冷卻子系統等組成。計算子系統computingsubsystem高性能計算機系統(3.1)中由若干管理節(jié)點(3.3)、計算節(jié)點(3.4)組成負責數值運算的子系統。管理節(jié)點managementnode負責管理軟件運算的基礎計算單元。計算節(jié)點computingnode負責浮點數值運算的基礎計算單元。網絡子系統networksubsystem高性能計算機系統(3.1)中負責通信的子系統。存儲子系統storagesubsystem高性能計算機系統(3.1)中負責數據存儲的子系統。冷卻子系統coolingsubsystem高性能計算機系統(3.1)中負責提供計算機工作環(huán)境制冷的子系統。2FLOPS每秒所執(zhí)行的浮點運算次數。注：用于評價高性能計算機系統計算能力。tion維持高性能計算機系統(3.1)正常運行所消耗的所有電能總和。高性能計算機系統能源使用效率highperformancecomputersystemenergyefficiency高性能計算機系統能效HPCEE高性能計算機系統(3.1)的實測每秒浮點運算次數(3.8)與同一時段內系統相應總電能消耗量之比。LU分解LUfactorization在線性代數中矩陣分解的一種，將一個矩陣A分解為一個單位下三角矩陣L和一個上三角矩陣U下列縮略語適用于本文件。GPU:圖形處理器(GraphicsProcessingUnit)MIC:多重整合核心架構(ManyIntegratedCore)5HPCEE高性能計算機系統一般由計算子系統、存儲子系統、網絡子系統以及冷卻子系統等組成。計算子系統一般由管理節(jié)點、計算節(jié)點組成。計算節(jié)點包括普通計算節(jié)點(如刀片式服務器)和加速計算節(jié)點(如含GPU、MIC等的服務器)。高性能計算機節(jié)點數應大于或等于10個節(jié)點，宜在50個節(jié)點以上，節(jié)點總數無上限。高性能計算機系統能效測試應包括該系統的計算能力測試和相應系統耗電量測試兩部分。高性能計算機系統計算能力通過FLOPS來衡量。計算能力應選取適當的軟件測試程序對高性能計算機系統的整體浮點運算性能進行測試。高性能計算機系統能效通過HPCEE來衡量，HPCEE為系統計算能力與相應耗電量之比，其計算公式見公式(1):HPCEE=R/P……(1)R——實測每秒浮點運算次數的值；P——平均功率，單位為瓦特(W);HPCEE——高性能計算機系統能效。在測量高性能計算機系統能效時，耗電量的測量應包括測試同期內所有運行子系統的能耗。36測試環(huán)境高性能計算機系統在進行能效測試時，應滿足如下環(huán)境條件：a)溫度：18℃~40℃;b)相對濕度：35%～80%(不應結露);7計算能力測試框架7.1測試方案設計高性能計算機系統的計算能力應通過采用高斯消元法求解一元N次稠密線性代數方程組的方法進行測試。應選取適當的軟件測試程序對高性能計算機系統的整體浮點運算性能進行測試。軟件測試程序應通過采用高斯消元法求解一元N次稠密線性代數方程組以評估整體浮點運算性能。具體測試方案如下：a)使用隨機數初始化得到一元N次稠密線性代數方程組Ax=b;b)指定方程組按公式(2)計算得出求解方程組總浮點運算次數； (2)式中：N——一元N次稠密線性代數方程組的次數；M——該方程組的總浮點運算次數。c)按照7.2的架構設計要求編寫程序對方程組求解，并記錄總求解時間t;d)用總浮點運算次數M除以總求解時間t,即可得到系統的FLOPS。7.2求解程序架構設計高性能計算機系統計算能力測試程序可按照此框架設計要求自行編寫。測試程序應包含如卜內容：a)初始化測試程序應使用隨機數初始化得到一元N次稠密線性代數方程組Ax=b,依據公式(2)計算得到總浮點運算次數M并記錄。b)方程組求解測試程序應采用高斯消元法，求解初始化后的一元N次稠密線性代數方程組Ax=b。求解過程應分為兩個步驟，分別是：將維度為N的矩陣A進行LU分解和求解三角系統。1)LU分解應分為以下步驟：●將矩陣A分解如公式(3):NB),Lu和Lz?為下三角矩陣，U?和U??為上三角矩陣?！駥⒐?3)進行分解計算得：4●將公式(5)變換得到：L??=A??×U-l………………………●將公式(6)變換得到：●將公式(7)變換得到：A??-L??×U??=Lz?×U2?……………(10)重復執(zhí)行上述分解步驟，直至整個矩陣A全部完成LU分解。注：測試程序設計可將矩陣A進行適當分塊，并分布至高性能計算機系統的不同的計算節(jié)點，進行分布式LU分解。2)求解三角系統應分為以下步驟：●矩陣A的LU分解完成之后，得到公式(11):設y=Ux帶入公式(11),得到公式(12):設y=Ux帶入公式(11),得到公式(12):求解三角系統公式(12),得到線性代數方程組的解x,即完成一元N次稠密線性代數求解三角系統公式(12),得到線性代數方程組的解x,即完成一元N次稠密線性代數方程組Ax=b的整體求解過程。c)測試時間記錄與FLOPS結果輸出測試程序應記錄高性能計算機系統對方程組求解的總時間t,用總浮點運算次數M除以總求解時間t計算得到系統的FLOPS并輸出。7.3測試運行要求測試運行要求如下：a)進行高性能計算機系統能效測試應采用雙精度浮點進行計算；b)計算能力測試應連續(xù)進行5輪，每輪測試結果及相關信息應按照8.2的要求進行記錄；c)一元N次稠密線性代數方程組計算規(guī)模N應使得每輪測試實際求解計算時間≥30min。注：高性能計算機系統計算能力測試程序亦可選用TOP500高性能計算機排名所使用的線性系統軟件包(Lin-pack)。8測試實施8.1概述高性能計算機系統能效測試是在系統運行計算能力測試程序的同時，使用電能計量儀表對高性能計算機系統的能耗進行同步測量和記錄。HPCEE測試方法含測試設備、測試點的選擇、測試過程、測試結果記錄4個部分。58.2測試設備測試設備要求如下：a)電能測試儀表精度要求應符合GB/T32910.3—2016中7.2的要求；b)溫度計的測試精度不大于0.5℃,測試范圍為一50℃~100℃;c)濕度計的測試精度不大于2%,測試范圍為0%～100%。8.3電能消耗測試點高性能計算機系統總電能消耗測試點應位于圖1中測試點A。計算子系統計算子系統網絡了系統存儲子系統切換開關管理子系統冷卻子系統其他輔助設備備用發(fā)電機配電系統市電A圖1高性能計算機系統電能消耗測試點8.4電能消耗測試過程高性能計算機系統電能消耗測試過程如下。a)測試準備階段：調試電能表，啟動高性能計算機系統，測量系統所在地室外大氣環(huán)境溫度和濕度。判斷測試環(huán)境是否滿足測試條件。按照9.1的要求記錄空載能耗。b)計算能力測試：設定求解計算過程所需的方程組規(guī)模N并記錄，執(zhí)行計算能力測試程序對高性能計算機系統FLOPS進行測量，記錄測試開始及結束時間以及該時段內系統所消耗的電能。c)重復進行步驟b)計算能力測試5次，記錄每輪相應測試結果。8.5HPCEE測試結果記錄在HPCEE測試過程中，記錄系統進行計算能力測試的計算時長和相應系統電能消耗。記錄的示例見表A.1。高性能計算機系統的公式(1)中參數R應為計算能力測試程序輸出結果。通過表B.1中平均功率P和實測值R,按照公式(1)計算可得HPCEE數值。注：HPCEE測試記錄表見附錄A,HPCEE的能效分級見附錄B。9披露要求9.1空載能耗披露HPCEE時應同時包含系統空載能耗信息，即系統開展計算能力測試前以及測試完成后，各進6行一次時長為30min的系統空載能耗測試，空載功率記錄表參照附錄A進行記錄。注：空載待機狀態(tài)是指參與計算能力測試的所有子系統都已全部開機，但不運行計算能力測試程序的狀態(tài)。采用命令Qstat或者Sinfo可查詢到所有節(jié)點狀態(tài)標識為idle。9.2測試效率測試效率為實測值R與理論峰值Rmx之比，其中理論峰值按公式(13)計算：Rmx=芯片主頻×單指令周期浮點操作數×核心數 計算性能測試效率記錄表參照附錄A進行記錄。7GB/T41779—2022(資料性)測試記錄表格示例HPCEE測試記錄表、空載功率記錄表、計算性能測試效率記錄表示例見表A.1、表A.2和表A.3。表A.1HPCEE測試記錄表測試次序測試程序計算規(guī)模N開始時間點結