高性能計(jì)算設(shè)備安裝調(diào)試操作手冊(cè)前言本手冊(cè)旨在為高性能計(jì)算（HPC）設(shè)備的安裝、調(diào)試與初始配置提供一套系統(tǒng)、規(guī)范的操作指引。無論是新建集群的部署，還是現(xiàn)有系統(tǒng)的擴(kuò)容與升級(jí)，本手冊(cè)所闡述的流程與要點(diǎn)都將為技術(shù)人員提供重要參考。HPC系統(tǒng)結(jié)構(gòu)復(fù)雜，涉及硬件種類繁多，軟件層次豐富，其安裝調(diào)試工作對(duì)專業(yè)性、嚴(yán)謹(jǐn)性和細(xì)致程度均有極高要求。操作人員在執(zhí)行本手冊(cè)中的任何步驟前，應(yīng)確保已充分理解相關(guān)原理和操作風(fēng)險(xiǎn)，并嚴(yán)格遵守設(shè)備制造商的技術(shù)規(guī)范及現(xiàn)場(chǎng)安全規(guī)程。一、安裝前準(zhǔn)備1.1場(chǎng)地環(huán)境檢查在設(shè)備進(jìn)場(chǎng)前，必須對(duì)安裝場(chǎng)地的各項(xiàng)環(huán)境指標(biāo)進(jìn)行嚴(yán)格核查，確保其滿足HPC設(shè)備的運(yùn)行要求：*電源供應(yīng)：確認(rèn)供電容量是否滿足整個(gè)HPC系統(tǒng)的峰值功耗需求，包括主路電源及備用電源（如UPS）的配置。檢查供電制式、電壓等級(jí)是否與設(shè)備要求相符。配電箱、PDU（電源分配單元）的接口類型、數(shù)量及額定電流是否匹配。*空調(diào)與散熱：評(píng)估機(jī)房空調(diào)系統(tǒng)的制冷量是否足以帶走HPC集群產(chǎn)生的巨大熱量。檢查空調(diào)的出風(fēng)口、回風(fēng)口布局，確保機(jī)柜級(jí)的氣流組織合理，避免局部熱點(diǎn)。確認(rèn)環(huán)境溫度、濕度是否在設(shè)備允許的范圍內(nèi)。*機(jī)柜與空間：檢查機(jī)柜的尺寸、承重能力、安裝孔位是否符合設(shè)備上架要求。機(jī)柜的排列間距、與墻面的距離應(yīng)滿足操作維護(hù)及散熱需求。確認(rèn)機(jī)房地面的承重能力，特別是對(duì)于高密度計(jì)算節(jié)點(diǎn)區(qū)域。*網(wǎng)絡(luò)基礎(chǔ)設(shè)施：檢查網(wǎng)絡(luò)布線槽道、橋架的容量及走向是否合理。確認(rèn)機(jī)房?jī)?nèi)是否已布放滿足帶寬需求的主干網(wǎng)絡(luò)線纜（如光纖），以及到各機(jī)柜的水平布線。*接地與防雷：測(cè)量機(jī)房接地電阻，確保其符合國(guó)家標(biāo)準(zhǔn)及設(shè)備要求。檢查防雷設(shè)施是否完善。*消防與安防：確認(rèn)機(jī)房消防系統(tǒng)（如煙感、溫感、氣體滅火裝置）工作正常。安防措施（如門禁、監(jiān)控）是否到位。1.2工具與材料準(zhǔn)備準(zhǔn)備齊全所需的工具和輔助材料，避免因工具缺失導(dǎo)致安裝中斷：*常用工具：螺絲刀套裝（一字、十字，不同規(guī)格）、扳手（開口、梅花）、剝線鉗、打線刀、網(wǎng)線測(cè)試儀、光纖清潔工具（擦纖紙、清潔劑）、標(biāo)簽機(jī)、扎帶、卷尺、水平儀、手電筒。*專用工具：根據(jù)設(shè)備特性，可能需要特定規(guī)格的扳手或安裝工具，可參考設(shè)備手冊(cè)。*輔助材料：防靜電手環(huán)/防靜電手套、絕緣膠帶、記號(hào)筆、臨時(shí)線纜標(biāo)簽、清潔抹布、絕緣墊。*文檔資料：設(shè)備裝箱清單、硬件安裝手冊(cè)、用戶指南、拓?fù)浣Y(jié)構(gòu)圖、網(wǎng)絡(luò)規(guī)劃文檔、IP地址分配表。1.3設(shè)備到貨驗(yàn)收設(shè)備到貨后，應(yīng)會(huì)同相關(guān)方（如供應(yīng)商、采購(gòu)方）共同進(jìn)行開箱驗(yàn)收：*外包裝檢查：檢查設(shè)備包裝箱是否有破損、水漬、變形等情況。如有明顯損壞，應(yīng)拍照記錄并及時(shí)與供應(yīng)商溝通。*開箱清點(diǎn)：按照裝箱清單，仔細(xì)核對(duì)設(shè)備型號(hào)、數(shù)量、序列號(hào)是否與訂單及送貨單一致。包括計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)、網(wǎng)絡(luò)交換機(jī)、服務(wù)器、存儲(chǔ)陣列、線纜、導(dǎo)軌、說明書、保修卡等。*設(shè)備外觀檢查：檢查設(shè)備外殼、面板、接口是否有物理損傷、劃痕、變形，指示燈是否完好。對(duì)于計(jì)算節(jié)點(diǎn)、存儲(chǔ)盤柜等，可抽出部分節(jié)點(diǎn)或硬盤托架檢查內(nèi)部。*隨機(jī)附件檢查：確認(rèn)電源線、數(shù)據(jù)線、導(dǎo)軌、螺絲等隨機(jī)附件是否齊全。1.4技術(shù)文檔準(zhǔn)備與研讀組織技術(shù)人員提前研讀相關(guān)技術(shù)文檔，為安裝調(diào)試工作奠定理論基礎(chǔ)：*收集文檔：收集所有相關(guān)設(shè)備的硬件安裝手冊(cè)、固件更新指南、軟件配置手冊(cè)、用戶手冊(cè)等。*重點(diǎn)研讀：特別關(guān)注設(shè)備的安裝步驟、注意事項(xiàng)、兼容性列表、推薦配置參數(shù)等關(guān)鍵信息。對(duì)于復(fù)雜的網(wǎng)絡(luò)拓?fù)浜痛鎯?chǔ)架構(gòu)，應(yīng)提前進(jìn)行方案消化。*制定方案：根據(jù)HPC系統(tǒng)的整體設(shè)計(jì)目標(biāo)和現(xiàn)場(chǎng)實(shí)際情況，結(jié)合技術(shù)文檔，制定詳細(xì)的安裝調(diào)試方案和應(yīng)急預(yù)案。二、硬件安裝2.1機(jī)柜安裝與固定機(jī)柜是HPC設(shè)備的物理載體，其安裝質(zhì)量直接影響系統(tǒng)的穩(wěn)定性和安全性：*機(jī)柜定位：根據(jù)機(jī)房規(guī)劃圖紙，精確確定每個(gè)機(jī)柜的安裝位置。使用水平儀調(diào)整機(jī)柜的水平度和垂直度，確保機(jī)柜穩(wěn)固。*機(jī)柜固定：對(duì)于需要固定的機(jī)柜，使用膨脹螺栓將其牢固地固定在地面或防靜電地板上，防止傾倒。*PDU安裝：將PDU按照設(shè)計(jì)位置安裝在機(jī)柜內(nèi)部的合適高度，確保其插頭類型和數(shù)量滿足后續(xù)設(shè)備的供電需求。PDU的安裝應(yīng)便于操作和管理。2.2計(jì)算節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)上架計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)是HPC系統(tǒng)的核心硬件，其上架過程需規(guī)范操作：*導(dǎo)軌安裝：根據(jù)節(jié)點(diǎn)服務(wù)器或存儲(chǔ)設(shè)備的尺寸及重量，選擇匹配的導(dǎo)軌。按照導(dǎo)軌安裝說明書，將導(dǎo)軌正確固定在機(jī)柜的立柱上。確保導(dǎo)軌安裝牢固、水平，且前后對(duì)齊。*設(shè)備上架：*對(duì)于較重的設(shè)備，建議兩人或多人協(xié)同操作，或使用專用的上架工具，防止設(shè)備損壞或人員受傷。*將設(shè)備平穩(wěn)地滑入已安裝好的導(dǎo)軌，直至設(shè)備完全就位。*確認(rèn)設(shè)備與導(dǎo)軌鎖定機(jī)構(gòu)扣合緊密，無松動(dòng)現(xiàn)象。*按照設(shè)計(jì)的節(jié)點(diǎn)布局圖，將不同類型的節(jié)點(diǎn)（如計(jì)算節(jié)點(diǎn)、管理節(jié)點(diǎn)、IO節(jié)點(diǎn)、存儲(chǔ)控制器節(jié)點(diǎn)、硬盤框）安裝到指定的機(jī)柜U位。注意設(shè)備間的散熱空間，遵循設(shè)備手冊(cè)推薦的安裝密度。2.3網(wǎng)絡(luò)設(shè)備安裝網(wǎng)絡(luò)設(shè)備（如交換機(jī)、路由器、防火墻）是HPC系統(tǒng)內(nèi)部及對(duì)外通信的關(guān)鍵：*設(shè)備檢查：同計(jì)算節(jié)點(diǎn)一樣，檢查網(wǎng)絡(luò)設(shè)備的外觀及附件。*上架固定：根據(jù)網(wǎng)絡(luò)設(shè)備的尺寸，選擇合適的機(jī)柜空間進(jìn)行安裝。部分小型網(wǎng)絡(luò)設(shè)備可直接安裝在機(jī)柜托盤上或使用耳朵支架固定在機(jī)柜立柱上。確保安裝穩(wěn)固。*堆疊模塊/冗余電源安裝：如交換機(jī)支持堆疊或冗余電源，按照手冊(cè)說明安裝相應(yīng)模塊。2.4存儲(chǔ)設(shè)備安裝（如磁盤陣列、磁帶庫）存儲(chǔ)設(shè)備的安裝需特別注意其重量及連接的精密性：*重型設(shè)備處理：磁盤陣列柜、磁帶庫等通常重量較大，必須使用叉車或液壓升降平臺(tái)輔助搬運(yùn)和上架，并確保安裝在承重能力最強(qiáng)的機(jī)柜或地面位置。*擴(kuò)展柜連接：對(duì)于需要級(jí)聯(lián)的存儲(chǔ)擴(kuò)展柜，需按照存儲(chǔ)廠商的指導(dǎo)，正確連接擴(kuò)展線纜（如SAS線纜、FC線纜），注意連接順序和端口對(duì)應(yīng)關(guān)系。*磁帶庫機(jī)械部分檢查：如安裝磁帶庫，需檢查機(jī)械臂、磁帶槽位等是否正常。2.5線纜連接線纜連接是硬件安裝中最繁瑣也最容易出錯(cuò)的環(huán)節(jié)，必須細(xì)致入微：*線纜規(guī)劃：根據(jù)網(wǎng)絡(luò)拓?fù)鋱D和設(shè)備端口分配表，規(guī)劃好每根線纜的走向、連接關(guān)系和標(biāo)簽。*電源線連接：*先連接設(shè)備端的電源接口，再連接PDU端。確保電源接口插緊，聽到“咔噠”聲。*對(duì)于雙電源冗余設(shè)計(jì)的設(shè)備，應(yīng)將其兩個(gè)電源模塊連接至不同的PDU或不同的供電回路，以實(shí)現(xiàn)電源冗余。*注意區(qū)分交流電源和直流電源（如適用），嚴(yán)禁混接。*數(shù)據(jù)線纜連接：*以太網(wǎng)連接：根據(jù)網(wǎng)絡(luò)規(guī)劃，將計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)、管理節(jié)點(diǎn)等設(shè)備的以太網(wǎng)端口與對(duì)應(yīng)交換機(jī)的端口通過網(wǎng)線連接。網(wǎng)線類型（如Cat6a、Cat7）應(yīng)滿足網(wǎng)絡(luò)帶寬需求。*高速互聯(lián)網(wǎng)絡(luò)連接：對(duì)于采用InfiniBand或Omni-Path等高速互聯(lián)的HPC集群，需將計(jì)算節(jié)點(diǎn)、IO節(jié)點(diǎn)上的HCA卡（主機(jī)通道適配器）與對(duì)應(yīng)的InfiniBand交換機(jī)端口通過專用的高速線纜（如銅纜或光纖）連接。連接光纖時(shí)，注意光纖接頭類型（如LC、QSFP）的匹配，并保持光纖接頭的清潔。*存儲(chǔ)網(wǎng)絡(luò)連接：對(duì)于FCSAN存儲(chǔ)，將存儲(chǔ)控制器的FC端口與FC交換機(jī)端口、服務(wù)器HBA卡端口與FC交換機(jī)端口通過FC線纜連接。*管理線纜連接：連接各設(shè)備的管理網(wǎng)口至管理交換機(jī)，以便進(jìn)行遠(yuǎn)程管理和監(jiān)控。*線纜整理：*所有線纜在連接完成后，應(yīng)進(jìn)行梳理和綁扎。使用扎帶在機(jī)柜內(nèi)部的理線架或立柱上固定線纜，保持線纜走向橫平豎直，避免交叉纏繞。*預(yù)留適當(dāng)長(zhǎng)度的線纜，以方便設(shè)備的維護(hù)和更換。*確保線纜不會(huì)阻礙機(jī)柜門板的正常開關(guān)，不影響設(shè)備的散熱通風(fēng)。三、加電前檢查在正式加電前，對(duì)整個(gè)硬件系統(tǒng)進(jìn)行全面細(xì)致的檢查，是避免設(shè)備損壞和保障系統(tǒng)安全啟動(dòng)的關(guān)鍵步驟。3.1電源系統(tǒng)檢查*再次確認(rèn)所有設(shè)備的電源開關(guān)均處于“關(guān)閉”狀態(tài)。*檢查PDU的輸入電源連接是否正確、牢固。*使用萬用表測(cè)量PDU輸出端口的電壓，確認(rèn)其符合設(shè)備的額定電壓要求（如AC220V或DC12V等）。*檢查所有設(shè)備的電源線連接是否牢固，無松動(dòng)、脫落現(xiàn)象。確認(rèn)冗余電源的線纜分別連接至不同的PDU。3.2信號(hào)線纜連接檢查*全面檢查：逐條檢查所有數(shù)據(jù)信號(hào)線（網(wǎng)線、光纖、FC線等）的連接是否正確、牢固。特別注意端口號(hào)是否與網(wǎng)絡(luò)拓?fù)鋱D一致。*標(biāo)簽核對(duì)：如已提前貼好標(biāo)簽，核對(duì)標(biāo)簽信息與實(shí)際連接是否相符。*光纖檢查：對(duì)于光纖連接，檢查光纖連接器是否插緊，防塵帽是否已取下?？赏ㄟ^目視檢查光纖接頭端面是否有明顯的污漬或劃痕（必要時(shí)使用光纖顯微鏡檢查）。3.3設(shè)備狀態(tài)檢查*檢查所有已上架設(shè)備是否安裝牢固，無晃動(dòng)。*檢查設(shè)備的散熱通風(fēng)口是否有異物遮擋。*確認(rèn)機(jī)柜前門、后門（如有）均可正常關(guān)閉，且不擠壓線纜。*對(duì)于存儲(chǔ)設(shè)備，檢查硬盤框內(nèi)的硬盤是否安裝到位，有無松動(dòng)。3.4散熱系統(tǒng)檢查*確認(rèn)機(jī)柜內(nèi)部的風(fēng)扇模塊、設(shè)備自帶的散熱風(fēng)扇是否安裝正確，無堵塞。*檢查機(jī)房空調(diào)系統(tǒng)是否已開啟并運(yùn)行正常，設(shè)定溫度是否合理。*確認(rèn)機(jī)柜間的冷熱通道隔離是否符合設(shè)計(jì)要求。四、系統(tǒng)加電與初始化在完成加電前的所有檢查并確認(rèn)無誤后，方可進(jìn)行系統(tǒng)加電操作。加電過程應(yīng)遵循一定的順序，逐步進(jìn)行。4.1加電順序HPC系統(tǒng)加電通常遵循“從外到內(nèi)，從下到上”或“先基礎(chǔ)設(shè)施，后核心設(shè)備”的原則，具體順序可參考系統(tǒng)設(shè)計(jì)方案，一般建議如下：1.開啟機(jī)房輔助設(shè)施：先開啟UPS電源（如有），待其穩(wěn)定后，開啟機(jī)房空調(diào)系統(tǒng)。2.開啟存儲(chǔ)設(shè)備：對(duì)于獨(dú)立的存儲(chǔ)陣列，通常先于計(jì)算節(jié)點(diǎn)加電。先開啟存儲(chǔ)擴(kuò)展柜，再開啟存儲(chǔ)控制器柜。3.開啟網(wǎng)絡(luò)設(shè)備：先開啟核心交換機(jī)、匯聚交換機(jī)，再開啟接入層交換機(jī)、路由器等。等待網(wǎng)絡(luò)設(shè)備完成自檢并正常啟動(dòng)。4.開啟管理節(jié)點(diǎn)/服務(wù)節(jié)點(diǎn)：這類節(jié)點(diǎn)通常為其他節(jié)點(diǎn)提供服務(wù)（如DHCP、NFS），應(yīng)優(yōu)先啟動(dòng)。5.開啟計(jì)算節(jié)點(diǎn)：可分批開啟計(jì)算節(jié)點(diǎn)，避免瞬間電流過大對(duì)供電系統(tǒng)造成沖擊。4.2設(shè)備加電與初步自檢*單設(shè)備加電：在按順序加電時(shí)，對(duì)每一類或每一臺(tái)設(shè)備加電后，觀察其前面板指示燈的狀態(tài)。通常，電源指示燈、硬盤指示燈、網(wǎng)絡(luò)指示燈等會(huì)有相應(yīng)的狀態(tài)指示（如綠色常亮或閃爍表示正常，紅色表示故障）。*設(shè)備自檢：大部分設(shè)備在加電后會(huì)進(jìn)行POST（加電自檢）。觀察設(shè)備的控制臺(tái)輸出（可通過臨時(shí)連接顯示器和鍵盤，或通過遠(yuǎn)程管理口），確認(rèn)POST過程中無致命錯(cuò)誤提示。*故障排查：如發(fā)現(xiàn)某臺(tái)設(shè)備加電后無任何反應(yīng)，或指示燈異常，應(yīng)立即斷電檢查?？赡艿脑虬娫淳€接觸不良、電源模塊故障、設(shè)備內(nèi)部短路等。排除故障后，方可重新嘗試加電。4.3BIOS/UEFI設(shè)置檢查與調(diào)整對(duì)于每臺(tái)服務(wù)器節(jié)點(diǎn)，在首次啟動(dòng)時(shí)，通常需要進(jìn)入BIOS/UEFI界面進(jìn)行必要的檢查和配置：*進(jìn)入BIOS/UEFI：在服務(wù)器啟動(dòng)過程中，根據(jù)屏幕提示按下相應(yīng)的快捷鍵（如Del、F2、F10等）進(jìn)入BIOS/UEFI設(shè)置界面。*基本信息查看：查看BIOS/UEFI版本、處理器型號(hào)、內(nèi)存容量及識(shí)別情況、硬盤信息等，確認(rèn)與配置清單一致。*啟動(dòng)順序設(shè)置：根據(jù)系統(tǒng)部署需求，設(shè)置從硬盤、光驅(qū)、USB設(shè)備或網(wǎng)絡(luò)（PXE）啟動(dòng)。*高級(jí)設(shè)置：根據(jù)需要配置CPU特性（如超線程、虛擬化技術(shù)）、內(nèi)存參數(shù)、SATA/SAS控制器模式（如RAID配置）、網(wǎng)絡(luò)控制器啟用狀態(tài)等。*保存退出：完成必要的設(shè)置后，保存配置并退出BIOS/UEFI，讓服務(wù)器繼續(xù)啟動(dòng)。4.4存儲(chǔ)系統(tǒng)初始化（如RAID配置）對(duì)于服務(wù)器內(nèi)置硬盤或獨(dú)立存儲(chǔ)陣列，在安裝操作系統(tǒng)前，通常需要進(jìn)行RAID（磁盤冗余陣列）配置，以提高數(shù)據(jù)可靠性或性能：*服務(wù)器內(nèi)置RAID：進(jìn)入服務(wù)器主板集成的RAID控制器配置界面（通常在POST過程中按特定快捷鍵，如Ctrl+R、Ctrl+I等），或通過獨(dú)立RAID卡的配置工具。根據(jù)數(shù)據(jù)安全和性能需求，創(chuàng)建相應(yīng)的RAID級(jí)別（如RAID0,1,5,6,10等），指定成員磁盤，設(shè)置熱備盤等。*獨(dú)立存儲(chǔ)陣列初始化：通過存儲(chǔ)陣列的管理口（通常是以太網(wǎng)口）連接到存儲(chǔ)管理界面（可能是WebGUI或?qū)Ｓ霉芾碥浖?。按照存?chǔ)廠商提供的指導(dǎo)手冊(cè)，進(jìn)行初始化配置，包括創(chuàng)建磁盤組（RG）、邏輯卷（LV/VD），配置RAID級(jí)別，設(shè)置LUN映射等。確保存儲(chǔ)系統(tǒng)能夠被相應(yīng)的服務(wù)器節(jié)點(diǎn)識(shí)別。五、系統(tǒng)軟件部署硬件平臺(tái)搭建完成后，需部署操作系統(tǒng)及HPC相關(guān)的系統(tǒng)軟件棧。5.1操作系統(tǒng)安裝根據(jù)HPC集群的設(shè)計(jì)需求，選擇合適的操作系統(tǒng)（如特定版本的Linux發(fā)行版）：*安裝方式選擇：*本地安裝：對(duì)于少量節(jié)點(diǎn)，可使用光盤或USB啟動(dòng)盤進(jìn)行本地安裝。*安裝過程：*啟動(dòng)節(jié)點(diǎn)，設(shè)置從PXE或本地安裝介質(zhì)啟動(dòng)。*按照安裝向?qū)Щ蜃詣?dòng)化腳本的配置，選擇安裝語言、時(shí)區(qū)、鍵盤布局，分區(qū)（注意swap分區(qū)、/boot分區(qū)、/分區(qū)的規(guī)劃，以及LVM的使用），選擇需要安裝的軟件包組（如開發(fā)工具、