知識(shí)水壩（豆丁網(wǎng) pologoogle）為您傾心整理（下載后雙擊刪除） 百度一下 知識(shí)水壩 高性能計(jì)算系統(tǒng) 技術(shù)方案建議書(shū) 中國(guó)惠普有限公司 2015/5/21 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 2 目錄 第一章 概述 . 3 1.1 高性能計(jì)算環(huán)境發(fā)展的趨勢(shì) . 3 1.1.1 更高、更全面的性能要求 .3 1.1.2 向通用化方向發(fā)展 .4 1.1.3 更加嚴(yán)格的預(yù)算約束 .4 1.1.4 使用商品化部件 .5 1.2 高性能計(jì)算應(yīng)用的特點(diǎn) . 5 1.3 高性能計(jì)算主機(jī)性能評(píng)價(jià)體系 . 6 第二章 設(shè)計(jì) 方案 . 9 2.1 系統(tǒng)設(shè)計(jì)原則 . 9 2.2 總體方案結(jié)構(gòu) . 10 2.3 SMP 計(jì)算服務(wù)器方案 . 12 2.3.1 CPU 內(nèi)存配置數(shù)量計(jì)算 . 12 2.3.2 SMP 計(jì)算服務(wù)器型號(hào)及配置 . 13 2.3.3 基于 EPIC的安騰芯片技術(shù) . 15 2.3.4 高性能計(jì)算環(huán)境 HP-UX 11i TCOE. 19 2.3.5 計(jì)算任務(wù)提交及管理 . 19 2.3.6 HP rx8620 計(jì)算服務(wù)器的特點(diǎn)和優(yōu)勢(shì) . 21 2.4 CLUSTER 計(jì)算集群方案 . 22 2.4.1 HP Cluster 計(jì)算集群結(jié)構(gòu) . 22 2.4.2 Cluster 節(jié)點(diǎn)系統(tǒng)配置 . 24 2.4.3 節(jié)點(diǎn)互連、管理和用戶網(wǎng)絡(luò) . 26 2.4.4 Cluster 計(jì)算集群節(jié)點(diǎn)管理 . 28 2.4.5 Cluster 計(jì)算集群作業(yè)管理 . 29 2.4.6 HP Cluster 計(jì)算集群的特點(diǎn)和優(yōu)勢(shì) . 30 2.5 高性能計(jì)算外接存儲(chǔ)需求分析 . 30 2.6 HP方案的優(yōu)勢(shì) . 32 附件 HP 的 HPC 應(yīng)用及成功案例 . 34 1 HP的基礎(chǔ)研究和國(guó)防研究 HPC 解決方案 . 36 2 HP面向計(jì)算機(jī)輔助工程 (CAE)的 HPC 解決方案 . 39 2.1 HP 基于網(wǎng)絡(luò)的一體化和虛擬化 CAE解決方案 . 39 2.2 HP 全面和豐富的 CAE應(yīng)用軟件 . 41 2.3 HP 面向 CAE的 HPC解決方案在中國(guó)國(guó)內(nèi)的應(yīng)用 . 43 2.4 HP 面向 CAE的 HPC解決方案的成功應(yīng)用實(shí)例 . 44 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 3 第一章 概述 HP 公司非常榮幸能為高性能計(jì)算中心系統(tǒng)建設(shè)提出建議。作為全球最大的計(jì)算機(jī)廠商之一， HP 公司具有一流的產(chǎn)品、技術(shù)和服務(wù)。在本方案建議書(shū)中， HP 公司推薦了先進(jìn)的系統(tǒng)建設(shè)方案，考慮了系統(tǒng)的實(shí)用性、高可用性、安全性、可管理性以及靈活擴(kuò)展能力。 HP 公司憑借先進(jìn)的技術(shù)和出色的支持服務(wù)，相信通過(guò)雙方的合作，可使高性能計(jì)算中心系統(tǒng)項(xiàng)目順利實(shí)施，從而為用戶提供一個(gè)健壯、安全、高可用的運(yùn)行環(huán)境，并進(jìn)一步建立長(zhǎng)期的友好合作關(guān)系。 高性能計(jì)算系統(tǒng)是提高一個(gè)科研機(jī)構(gòu)研究水平的重要基礎(chǔ)設(shè)施，也是一個(gè)國(guó)家科技與經(jīng)濟(jì)實(shí)力的標(biāo)志。它不僅是一個(gè)高速處理的計(jì)算機(jī)系統(tǒng)、更重要的是在其之上運(yùn)行的各種應(yīng)用對(duì)科學(xué)領(lǐng)域產(chǎn)生非常深遠(yuǎn)的影響。 20世紀(jì) 90 年代中后期以來(lái)，許多高性能計(jì)算應(yīng)用領(lǐng)域越來(lái)越多地希望利用半導(dǎo)體和計(jì)算機(jī)技術(shù)發(fā)展的新成果通過(guò)更大規(guī)模、更精確的數(shù)值模擬和數(shù)字計(jì)算來(lái) 進(jìn)行新產(chǎn)品設(shè)計(jì)和科學(xué)研究，提高科學(xué)研究水平、廠商市場(chǎng)競(jìng)爭(zhēng)力以至國(guó)家的綜合國(guó)力。另一方面，人們也要求利用工業(yè)標(biāo)準(zhǔn)芯片等開(kāi)放性的技術(shù)降低投資、加速開(kāi)發(fā)，在規(guī)定經(jīng)費(fèi)預(yù)算和時(shí)間框架內(nèi)完成規(guī)模越來(lái)越大的計(jì)算任務(wù)。高性能和高經(jīng)濟(jì)效益相結(jié)合已經(jīng)成為高性能計(jì)算領(lǐng)域最引人注目的發(fā)展趨勢(shì)。 1.1 高性能計(jì)算環(huán)境發(fā)展的趨勢(shì) 1.1.1 更高、更全面的性能要求 高性能技術(shù)計(jì)算是利用數(shù)值模擬和數(shù)字技術(shù)方法探索和預(yù)測(cè)未知世界的技術(shù)。這一技術(shù)廣泛應(yīng)用于核武器研究和核材料儲(chǔ)存仿真、生物信息技術(shù)、醫(yī)療和新藥研究、計(jì)算化學(xué)、 GIS、 CAE、全球性長(zhǎng)期氣象、天氣和災(zāi)害預(yù)報(bào)、工藝過(guò)程改進(jìn)和環(huán)境保護(hù)等許多領(lǐng)域。近年來(lái)，隨著研究的深入和競(jìng)爭(zhēng)的加劇，各個(gè)領(lǐng)域越來(lái)越多地使用模擬的方法來(lái)解決科研和生產(chǎn)中的實(shí)際問(wèn)題。模擬的模型越來(lái)越 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 4 大、計(jì)算的精度越來(lái)越高、對(duì)超級(jí)計(jì)算機(jī)性能要求也越來(lái)越高。例如，在一個(gè) 3維模型中，如果把從每個(gè)方向取 100 個(gè)分點(diǎn)增加取到 1000 個(gè)分點(diǎn)，對(duì)計(jì)算機(jī)資源的需求將增加 1000 倍以上。高性能計(jì)算應(yīng)用不僅規(guī)模越來(lái)越大，而且往往必須在規(guī)定的時(shí)間內(nèi)完成任務(wù)否則就失去了計(jì)算的價(jià)值（如天氣預(yù)報(bào)、傳染病防治）。這就對(duì)計(jì)算機(jī)系統(tǒng)的計(jì)算能力、系統(tǒng)帶寬、內(nèi) 存容量、存儲(chǔ)設(shè)備和 I/O 吞吐能力以及應(yīng)用軟件的開(kāi)發(fā)技術(shù)都提出了更高、更全面的要求。 1.1.2 向通用化方向發(fā)展 過(guò)去人們一般把計(jì)算機(jī)應(yīng)用分為科學(xué)計(jì)算、信息處理和自動(dòng)控制等類(lèi)型。其中，以信息處理為主的應(yīng)用統(tǒng)稱(chēng)企業(yè)應(yīng)用，是市場(chǎng)容量最大的應(yīng)用領(lǐng)域。早期的企業(yè)應(yīng)用與高性能計(jì)算應(yīng)用有很大的差別，涉及的計(jì)算比較簡(jiǎn)單、使用的數(shù)據(jù)量也不大，對(duì)計(jì)算機(jī)系統(tǒng)的主要要求是能夠支持大量用戶（包括網(wǎng)上用戶）進(jìn)行事務(wù)處理如信息輸入、查詢(xún)和統(tǒng)計(jì)等，而對(duì)于計(jì)算能力、存儲(chǔ)容量要求也不高。因此，高性能計(jì)算應(yīng)用往往使用與企業(yè)應(yīng)用不同的系統(tǒng)，影 響了產(chǎn)品批量的擴(kuò)大。當(dāng)前，人類(lèi)正在從工業(yè)化社會(huì)進(jìn)入信息社會(huì)，技術(shù)的持續(xù)創(chuàng)新、市場(chǎng)需求的瞬息萬(wàn)變、競(jìng)爭(zhēng)空間的迅速擴(kuò)大，要求企業(yè)采用 Internet、電子商務(wù)、電子商務(wù)企業(yè)等現(xiàn)代化手段，來(lái)適應(yīng)時(shí)代的發(fā)展。許多新型的企業(yè)應(yīng)用對(duì)計(jì)算能力、存儲(chǔ)容量和系統(tǒng)帶寬的要求都越來(lái)越高、越來(lái)越迫切，高性能計(jì)算 應(yīng)用和其他類(lèi)型應(yīng)用的界限也日益淡化。當(dāng)前，幾乎所有應(yīng)用領(lǐng)域都需要使用能夠提供高計(jì)算能力、系統(tǒng)帶寬和存儲(chǔ)容量的計(jì)算機(jī)系統(tǒng)，促使用戶選擇相同的系統(tǒng)滿足各種類(lèi)型的需求，為利用大批量、低成本的通用產(chǎn)品滿足高性能計(jì)算應(yīng)用需求創(chuàng)造了有 利的條件。 1.1.3 更加嚴(yán)格的預(yù)算約束 隨著競(jìng)爭(zhēng)的加劇和應(yīng)用的普及，高性能計(jì)算不再是一個(gè)不惜工本的應(yīng)用領(lǐng)域，許多項(xiàng)目的預(yù)算約束越來(lái)越嚴(yán)格。這就要求廠商生產(chǎn)全系列的產(chǎn)品滿足不同規(guī)模應(yīng)用的需求、更加可靠地保護(hù)用戶原有投資、加速 IT 投資回報(bào)，而且也要求實(shí)現(xiàn)資源按需供應(yīng)和更大范圍的資源共享，推動(dòng)了網(wǎng)格和公用服務(wù)等新的計(jì)算模式的發(fā)展。 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 5 1.1.4 使用商品化部件 為了促進(jìn)高性能計(jì)算廣泛應(yīng)用必須降低成本，否則很難為更多的用戶所接受。由于高端的高性能計(jì)算系統(tǒng)（特別是超級(jí)計(jì)算機(jī)）需要使用許多計(jì)算節(jié)點(diǎn)和互聯(lián)設(shè)備等部件，因 此必須保持每個(gè)部件的低成本。早期的超級(jí)計(jì)算機(jī)系統(tǒng)使用專(zhuān)門(mén)定制的處理器和互聯(lián)設(shè)備等部件價(jià)格非常昂貴。以后， Cray Research 公司的 T3D 和 CRAY T3E 開(kāi)始使用商品化的 Alpha 處理器。當(dāng)前商品化處理器和服務(wù)器性能日益提高、價(jià)格也日趨下降，為利用它們建立高端和超級(jí)計(jì)算機(jī)系統(tǒng)提供了良好的基礎(chǔ)。為此，美國(guó)政府還推出了 ASCI 計(jì)劃，力圖降低超級(jí)計(jì)算機(jī)系統(tǒng)的成本，其主要途徑是盡可能采用商品化市售 (COTS)硬件和軟件部件，把力量集中在發(fā)展主流計(jì)算機(jī)工業(yè)不能有效地提供的專(zhuān)門(mén)技術(shù)。目前已經(jīng)很少再有 廠商使用專(zhuān)門(mén)的部件如向量處理器來(lái)建立超級(jí)計(jì)算機(jī)系統(tǒng)。今后的發(fā)展趨勢(shì)是在高端和超級(jí)計(jì)算機(jī)系統(tǒng)中盡可能普遍地采用商品化和大批量的工業(yè)標(biāo)準(zhǔn)部件，包括處理器、互聯(lián)設(shè)備、 I/O、存儲(chǔ)、操作系統(tǒng)、語(yǔ)言、編譯程序、編程工具和應(yīng)用軟件。人們注意到，基于開(kāi)放性 IA 32 體系結(jié)構(gòu)的 Xeon 和 Pentium 4 處理器的超級(jí)計(jì)算機(jī)已經(jīng)在 TOP500 占有重要地位。新興的 Itanium 處理器系列（ IPF）必將以其開(kāi)放性、大批量和 64 位尋址和處理能力，對(duì)超級(jí)計(jì)算機(jī)水平的提高產(chǎn)生劃時(shí)代的影響，以遠(yuǎn)比 32 位體系結(jié)構(gòu)時(shí)代高的性能和性?xún)r(jià)比來(lái)滿足 日益增長(zhǎng)的需求。 我們深信，通過(guò)采用 HP 的高性能計(jì)算系統(tǒng) ，必將加速在高性能計(jì)算領(lǐng)域取得更加豐碩的科研成果。 1.2 高性能計(jì)算應(yīng)用的特點(diǎn) 在傳統(tǒng)意義上高性能計(jì)算應(yīng)用是屬于 CPU 和內(nèi)存密集型的應(yīng)用 ,它對(duì)所運(yùn)行的計(jì)算機(jī)體系結(jié)構(gòu) (超級(jí)計(jì)算機(jī)體系結(jié)構(gòu) )提出了幾個(gè)主要的要求 : 浮點(diǎn)計(jì)算能力 (尤其是 64 位雙精度浮點(diǎn)運(yùn)算 ),內(nèi)存帶寬和內(nèi)存容量及體系框架。 所有這些因素都是相互關(guān)聯(lián)的。高性能計(jì)算通常利用各種數(shù)學(xué)方程式來(lái)建立模型和模擬物理現(xiàn)象。隨著各種模型越來(lái)越大，越來(lái)越復(fù)雜，數(shù)據(jù)集的規(guī)模也急 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 6 劇增長(zhǎng)。例如，一個(gè) 100*100*100 的柵格包含 100 萬(wàn)個(gè)元素，該模型僅占用 32MB內(nèi)存，如果此柵格的分辨率提高 10 倍，這一模型就變?yōu)?1000*1000*1000，包含10億個(gè)元素，此模型的原始數(shù)據(jù)將占用 32GB 的內(nèi)存！因此不論是分布式內(nèi)存還是共享式內(nèi)存，要將此數(shù)據(jù)傳輸至內(nèi)存中，由 CPU 處理，就需要高帶寬，高容量，低延遲的體系結(jié)構(gòu)，當(dāng)然還需要強(qiáng)大的 CPU 進(jìn)行計(jì)算。 而超級(jí)計(jì)算機(jī)主要用來(lái)處理這樣龐大的工作負(fù)載。這樣的負(fù)載所要求的超級(jí)計(jì)算機(jī)一定是采用快速的 CPU，高性能的內(nèi)存和 I/O 子系統(tǒng)，旨在實(shí)現(xiàn)最高的運(yùn)算速度。同樣這樣的負(fù)載 所要求的超級(jí)計(jì)算機(jī)還必須采用多級(jí)別并行處理技術(shù)，能夠利用幾十個(gè)甚至幾千個(gè)處理器來(lái)處理一項(xiàng)任務(wù)；這樣的并行處理技術(shù)也需要超級(jí)計(jì)算機(jī)要采用高性能的互連設(shè)備和系統(tǒng)設(shè)計(jì)，以較高的成本去換取最高的性能。 1.3 高性能計(jì)算主機(jī)性能評(píng)價(jià)體系 衡量主機(jī)系統(tǒng)或處理器計(jì)算處理能力的測(cè)試體系 (BenchMark)也有多種，如SPEC、 Linpack 等 , 尤其是通過(guò) Linpack 值更可以衡量一個(gè)主機(jī)系統(tǒng)或一個(gè)處理器芯片的實(shí)際運(yùn)算能力 , 而不僅僅是虛的理論峰值能力。 過(guò)去，人們使用系統(tǒng)能夠達(dá)到的執(zhí)行指令最大速率如每秒執(zhí)行百萬(wàn)指令 數(shù) /浮點(diǎn)操作數(shù) (MIPS/MFLOPS)來(lái)量度計(jì)算機(jī)硬件性能。但是，這些量度指標(biāo)的實(shí)用價(jià)值十分有限，它們只能給出理論上最大的性能，并沒(méi)有全面反映計(jì)算機(jī)系統(tǒng)的實(shí)際性能如內(nèi)存帶寬、內(nèi)存延遲和 I/O 性能等。此外，硬件性能量度和系統(tǒng)體系結(jié)構(gòu)都是非標(biāo)準(zhǔn)的，使得人們很難使用它們作為服務(wù)器選型的性能指標(biāo)。因此，出現(xiàn)了計(jì)算機(jī)系統(tǒng)性能基準(zhǔn)測(cè)試的概念，即由某些中立的非盈利機(jī)構(gòu)開(kāi)發(fā)出一組經(jīng)過(guò)精心統(tǒng)籌設(shè)計(jì)和組合的程序，來(lái)量度計(jì)算機(jī)系統(tǒng)運(yùn)行這組程序的性能指標(biāo)。此類(lèi)程序一般稱(chēng)為基準(zhǔn)測(cè)試程序。不同的計(jì)算機(jī)系統(tǒng)都運(yùn)行同一組基準(zhǔn)測(cè)試程序，就 可以相對(duì)客觀地比較計(jì)算機(jī)系統(tǒng)的性能。目前有許多專(zhuān)門(mén)設(shè)計(jì)基準(zhǔn)測(cè)試程序和管理各種計(jì)算機(jī)系統(tǒng)基準(zhǔn)測(cè)試指標(biāo)的機(jī)構(gòu)，其中最著名的是 SPEC 和 TPC。 基準(zhǔn)測(cè)試可以分為三類(lèi)： 1) 系統(tǒng)基準(zhǔn)測(cè)試指標(biāo)：用于測(cè)試計(jì)算機(jī)各子系統(tǒng)的性能，其中主要有： *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 7 SPEC CPU2000 用于處理器子系統(tǒng)的指標(biāo)； McCaplin Stream 用于測(cè)試內(nèi)存帶寬指標(biāo)； TPC-C 用于測(cè)試在線事務(wù)處理指標(biāo)性能指標(biāo)； 2) 標(biāo)準(zhǔn)應(yīng)用基準(zhǔn)測(cè)試指標(biāo)：用于測(cè)試計(jì)算機(jī)系統(tǒng)執(zhí)行某種標(biāo)準(zhǔn)的應(yīng)用的性能指標(biāo)，其中主要有： SPEC WEB 99 用于測(cè) 量計(jì)算機(jī)執(zhí)行 Web 應(yīng)用的性能指標(biāo)； SPEC MAIL2000 用于測(cè)量計(jì)算機(jī)執(zhí)行電子郵件應(yīng)用的性能指標(biāo)； SPEC JBB2000， SPEC JVM98 用于測(cè)量計(jì)算機(jī)執(zhí)行 JAVA 應(yīng)用性能指標(biāo)； Linpack 用于測(cè)量計(jì)算機(jī)進(jìn)行線性代數(shù)計(jì)算的性能指標(biāo)（也常作為測(cè)量計(jì)算機(jī)浮點(diǎn)計(jì)算速度的基準(zhǔn)測(cè)試指標(biāo)）； SPEC HPC96 用于測(cè)量計(jì)算機(jī)執(zhí)行高性能計(jì)算應(yīng)用的性能指標(biāo)； SPEC SFS97 用于測(cè)量計(jì)算機(jī)執(zhí)行網(wǎng)絡(luò)文件系統(tǒng)應(yīng)用的性能指標(biāo)； TPC-D 專(zhuān)門(mén)用于測(cè)量計(jì)算機(jī)執(zhí)行數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的性能指標(biāo)； SPEC glperf 和 SPEC viewperf 專(zhuān)門(mén)用于測(cè)量計(jì)算機(jī)執(zhí)行圖形和圖象顯示方面應(yīng)用的性能指標(biāo)； 3) 實(shí)際應(yīng)用基準(zhǔn)測(cè)試指標(biāo)：許多重要的獨(dú)立軟件開(kāi)發(fā)商 (ISV)都制訂了計(jì)算機(jī)系統(tǒng)運(yùn)行本公司開(kāi)發(fā)的軟件產(chǎn)品的基準(zhǔn)測(cè)試指標(biāo)。例如，在數(shù)據(jù)庫(kù)應(yīng)用方面 Oracle、 Informix、 Sybase 公司的基準(zhǔn)測(cè)試指標(biāo)；在企業(yè)應(yīng)用方面 SAP、 SAS、 PeopleSoft、 Baan 等公司的基準(zhǔn)測(cè)試指標(biāo)；在高性能計(jì)算方面運(yùn)行 Amber、 CHARMm、 Fluent、 LS-DYNA、 MARC、 ANSYS 等著名應(yīng)用軟件 的指標(biāo)等； 一般地說(shuō)，系統(tǒng)基準(zhǔn)測(cè)試指標(biāo)測(cè)試的計(jì)算機(jī)子系統(tǒng)的性能，而其他兩類(lèi)基準(zhǔn)測(cè)試指標(biāo)則主要測(cè)試計(jì)算機(jī)執(zhí)行某種或某個(gè)特殊應(yīng)用的性能?；鶞?zhǔn)測(cè)試指標(biāo)在用 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 8 戶服務(wù)器選型工作中具有重要的作用，許多用戶都根據(jù)它們來(lái)決定設(shè)備選型。但是“全信書(shū)不如無(wú)書(shū)”。對(duì)基準(zhǔn)測(cè)試必須持一分為二的觀點(diǎn)。一方面，雖然基準(zhǔn)測(cè)試的環(huán)境和用戶的實(shí)際應(yīng)用環(huán)境不完全相同，但是它們畢竟比較客觀地反映了計(jì)算機(jī)系統(tǒng)某一方面的性能，對(duì)性能評(píng)估和搞好服務(wù)器選型工作都有相當(dāng)大的參考價(jià)值；另一方面，任何基準(zhǔn)測(cè)試指標(biāo)都是在人為設(shè)定的特殊條件下得到的。雖然，設(shè)計(jì)基準(zhǔn) 測(cè)試的機(jī)構(gòu)盡了很大的努力使得基準(zhǔn)測(cè)試條件盡可能符合實(shí)際、具有代表性，但真實(shí)的應(yīng)用環(huán)境規(guī)模大、軟件類(lèi)型多其組合更是千變?nèi)f化?；鶞?zhǔn)測(cè)試的條件不可能完全反映實(shí)際應(yīng)用的復(fù)雜性，基準(zhǔn)測(cè)試指標(biāo)不可避免地具有某種片面性。因此，在進(jìn)行設(shè)備選型時(shí)必須盡可能了解所使用的各項(xiàng)基準(zhǔn)測(cè)試指標(biāo)的實(shí)際含義，包含產(chǎn)生它們的環(huán)境和測(cè)試方法等。為了避免片面性，對(duì)服務(wù)器系統(tǒng)的性能指標(biāo)、特性和廠商進(jìn)行全面考察，將是搞好服務(wù)器選型工作比較科學(xué)和可靠的方法。 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 9 第二章 設(shè)計(jì)方案 2.1 系統(tǒng)設(shè)計(jì)原則 幫助用戶建立一套既能最大限度地滿足用戶實(shí)際需要且技 術(shù)又處于領(lǐng)先地位的高性能計(jì)算環(huán)境是 HP 公司為高性能計(jì)算用戶設(shè)計(jì)方案的基本出發(fā)點(diǎn)。 HP 認(rèn)為，高性能計(jì)算系統(tǒng)應(yīng)具有處理大規(guī)模的復(fù)雜運(yùn)算，尤其是浮點(diǎn)運(yùn)算的能力 。它將為提供優(yōu)化工程設(shè)計(jì)、分析、驗(yàn)證的手段，最終實(shí)現(xiàn)提高設(shè)計(jì)質(zhì)量、縮短開(kāi)發(fā)周期、降低開(kāi)發(fā)成本。 方案設(shè)計(jì)以用戶現(xiàn)場(chǎng)測(cè)試結(jié)果為基礎(chǔ)，根據(jù)用戶對(duì)未來(lái)應(yīng)用模式及業(yè)務(wù)量需求預(yù)測(cè)為前提，強(qiáng)調(diào)高性能以及可行、合理和低風(fēng)險(xiǎn)。架構(gòu)設(shè)計(jì)和系統(tǒng)選型遵循以下原則： 1先進(jìn)性 本系統(tǒng)方案所采用的技術(shù)既要符合業(yè)界的發(fā)展方向 ,又要在未來(lái)幾年內(nèi)仍具有很高的技術(shù)先進(jìn)性，保持 在同類(lèi)系統(tǒng)中的領(lǐng)先地位。這樣有利于提高整個(gè)系統(tǒng)的計(jì)算與處理能力 。 2. 有限投資獲取最大計(jì)算性能 在有限的投資前提下，高性能計(jì)算系統(tǒng)應(yīng)具有優(yōu)秀的處理能力，它不僅具有符合要求的峰值性能 (Peak Performance)， 更重要的是應(yīng)具有穩(wěn)定的應(yīng)用性能（ sustained performance） 。各種復(fù)雜的研究課題在本系統(tǒng)中能夠得到準(zhǔn)確，快速的計(jì)算結(jié)果 。 3. 可擴(kuò)展性 系統(tǒng)應(yīng)具有很強(qiáng)的擴(kuò)展能力 。 隨著對(duì)計(jì)算機(jī)系統(tǒng)性能的要求不斷提高， 該計(jì)算機(jī)系統(tǒng)應(yīng)具有擴(kuò)展能力， 并且容易實(shí)現(xiàn) 。 4. 開(kāi)放 性和兼容性 本計(jì)算機(jī)系統(tǒng)應(yīng)符合公認(rèn)的工業(yè)標(biāo)準(zhǔn)， 包括體系結(jié)構(gòu)，硬件， I/O, 網(wǎng)絡(luò)，操作系統(tǒng)，開(kāi)發(fā)環(huán)境和開(kāi)發(fā)工具等 。這樣，便于和其他平臺(tái)上的系統(tǒng)互操作 。 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 10 5應(yīng)用軟件豐富 本系統(tǒng)的平臺(tái)上應(yīng)具有豐富的軟件資源， 能夠提供研究課題的解決方案和相應(yīng)的軟件系統(tǒng) 。 HP公司與高性能計(jì)算方面的獨(dú)立軟件開(kāi)發(fā)商緊密合作，例如：Fluent,ANSYS 等專(zhuān)業(yè)工程軟件商 ,Red Hat,Etnus,Pallas,Platform 等專(zhuān)業(yè)平臺(tái)軟件商 , 不僅提供處理節(jié)點(diǎn)間的協(xié)調(diào)和通信的中間件，使整個(gè)系統(tǒng)節(jié)點(diǎn)能夠真正實(shí)現(xiàn)合作，負(fù) 載均衡，還能針對(duì)不同應(yīng)用需求，提供一系列并行計(jì)算應(yīng)用。 6. 良好的技術(shù)支持 由于本系統(tǒng)是比較復(fù)雜的計(jì)算機(jī)環(huán)境， 在使用過(guò)程中不可避免的會(huì)遇到一些技術(shù)問(wèn)題。 當(dāng)遇到這些問(wèn)題時(shí)能夠得到有效的支持， 使問(wèn)題得以圓滿的解決 。 7性能價(jià)格比優(yōu)越 由于本系統(tǒng)比較龐大，價(jià)格因素也比較重要。 本系統(tǒng)在性能價(jià)格比方面在同類(lèi)系統(tǒng)中應(yīng)具有明顯的優(yōu)勢(shì)，對(duì)于三院三部來(lái)說(shuō)在采購(gòu)大型系統(tǒng)中應(yīng)該考慮的重要因素。 8管理簡(jiǎn)單 盡量減少數(shù)據(jù)中心的設(shè)備管理難度。 2.2 總體方案結(jié)構(gòu) 針對(duì)系統(tǒng)高性能計(jì)算應(yīng)用的特點(diǎn) ,結(jié)合與相關(guān)業(yè)務(wù) 處室的溝通。從滿足應(yīng)用需求的角度出發(fā)，我們建議建立一個(gè)高可擴(kuò)展、易管理的混合 SMP 與Cluster 結(jié)構(gòu)的高性能計(jì)算環(huán)境，整體方案架構(gòu)如下： *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 11 我們推薦采用 1臺(tái) HP 高檔 UNIX 服務(wù)器 HP Integrity rx8620作為 SMP 計(jì)算服務(wù)器，主要運(yùn)行 Ansys、 Nastran、 Marc 計(jì)算應(yīng)用。 SMP 計(jì)算服務(wù)器采用高性能 HP-UX 11i TCOE 高性能計(jì)算操作系統(tǒng)環(huán)境，并運(yùn)行 HP WorkLoad Manager(WLM)動(dòng)態(tài)資源管理工具對(duì)任務(wù)的資源分配進(jìn)行管理和調(diào)度。 另外，采用 64節(jié)點(diǎn)、通過(guò) Infiniband高速互連的 Linux高性能計(jì)算集群（ 128顆 CPU， 512G 內(nèi)存），主要運(yùn)行 Fluent、 Fastran 或 LS-Dyna 計(jì)算應(yīng)用。高性能計(jì)算集群配置 1 個(gè)管理節(jié)點(diǎn)及 2個(gè) I/O 節(jié)點(diǎn)，并通過(guò)用戶網(wǎng)絡(luò)和管理網(wǎng)絡(luò)進(jìn)行互聯(lián)。 Cluster 管理節(jié)點(diǎn)運(yùn)行 Cluster Management Utility(CMU)管理軟件實(shí)現(xiàn)Cluster 中所有節(jié)點(diǎn)的集中管理、配置、激活 /關(guān)閉等，并通過(guò) OpenPBS 軟件對(duì)用戶提交的任務(wù)進(jìn)行作業(yè)管理。 SMP 計(jì)算服務(wù)器和 Cluster 管理節(jié)點(diǎn)通過(guò) 1000Base-T 千兆以太網(wǎng)連 接到三部的骨干網(wǎng)中，各室工作組通過(guò)該網(wǎng)絡(luò)申請(qǐng)計(jì)算資源和提交任務(wù)。 待三院三部存儲(chǔ)區(qū)域網(wǎng)絡(luò)（ SAN）建成后， SMP 計(jì)算服務(wù)器和 Cluster I/O *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 12 節(jié)點(diǎn)可通過(guò)擴(kuò)展的光纖通道卡連接到 SAN 中，滿足高性能計(jì)算環(huán)境對(duì)存儲(chǔ)性能和空間的巨大需求。 2.3 SMP 計(jì)算服務(wù)器方案 2.3.1 CPU 內(nèi)存配置數(shù)量計(jì)算 根據(jù)以上分析， SMP 計(jì)算服務(wù)器主要用于結(jié)構(gòu)類(lèi)計(jì)算任務(wù)，包括結(jié)構(gòu)的設(shè)計(jì)、分析和仿真等。 SMP 服務(wù)器的選型應(yīng)與用戶現(xiàn)場(chǎng)測(cè)試服務(wù)器具有相同的結(jié)構(gòu)和相同的產(chǎn)品系列機(jī)型，即采用基于 Itanium2 芯片的 HP Integrity（安騰）服務(wù)器系列產(chǎn)品，并根據(jù)未來(lái)幾年內(nèi)三院三部的計(jì)算需求配置適當(dāng)?shù)男吞?hào)和 CPU 內(nèi)存數(shù)量。 從測(cè)試結(jié)果上看， ANSYS 類(lèi)應(yīng)用對(duì)系統(tǒng)資源和開(kāi)銷(xiāo)是最大的，而用戶使用ANSYS 來(lái)進(jìn)行部件和系統(tǒng)設(shè)計(jì)也是最多的，因此按此類(lèi)應(yīng)用的峰值性能需求來(lái)計(jì)算出系統(tǒng)的配置，當(dāng)然還應(yīng)根據(jù)任務(wù)的并發(fā)情況來(lái)適當(dāng)調(diào)整。根據(jù)用戶計(jì)算需求的預(yù)測(cè)，該 SMP 計(jì)算服務(wù)器應(yīng)至少達(dá)到以下性能： 1) 同時(shí)運(yùn)行 5-6 個(gè) ANSYS 系統(tǒng)級(jí)任務(wù)（每個(gè) 600 萬(wàn)單元），計(jì)算時(shí)間不超過(guò) 12小時(shí)（夜間運(yùn)行）； 2) 部件級(jí) ANSYS 任務(wù)（每個(gè) 200 萬(wàn)單元）的計(jì)算時(shí)間在 1-2小時(shí)內(nèi)（白天運(yùn)行）； 用戶目前此類(lèi)應(yīng)用用戶有 5人，按未來(lái) 10 人來(lái)規(guī)劃。白天考慮 4-5 個(gè)部件級(jí)的并發(fā)。 計(jì)算依據(jù)上述要求和實(shí)測(cè)數(shù)據(jù)： ANSYS 實(shí)際測(cè)試結(jié)果： 1個(gè) 7萬(wàn)單元任務(wù)， 4 個(gè) 1.3GHz CPU， 8GB RAM，運(yùn)行時(shí)間： 2分 15 秒； 本次選擇 1.5GHz 的芯片，性能比測(cè)試機(jī)配置芯片性能高； ANSYS 提供標(biāo)準(zhǔn)題的計(jì)算要求： 600 萬(wàn)單元的任務(wù)，要求 20GB 內(nèi)存； *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 13 系統(tǒng)級(jí)并發(fā)任務(wù)對(duì) CPU 數(shù)目要求如下： 6任務(wù) *(600 萬(wàn) /7 萬(wàn) )*(1.3GHz/1.5GHz)*(2 分鐘 /720 分鐘 )*4CPU=4.95CPU 結(jié)論：對(duì)于在 12 小時(shí)內(nèi)完成 6 個(gè)系統(tǒng)級(jí)任務(wù)，按每個(gè)任務(wù)分配 1 個(gè) CPU，共需 6個(gè) 1.5GHz CPU 即可實(shí)現(xiàn)。如果每個(gè)系統(tǒng)級(jí)任務(wù)分配 2 個(gè) CPU，共占用 12顆 CPU，只需不到 6 個(gè)小時(shí)即可完成計(jì)算。 部件級(jí)并發(fā)任務(wù)對(duì) CPU 數(shù)目要求如下： 5任務(wù) *(200 萬(wàn) /7 萬(wàn) )*(1.3GHz/1.5GHz)*(2 分鐘 /90 分鐘 )*4CPU=11CPU 按每個(gè)任務(wù)分配 2-3個(gè) CPU，共需 11 個(gè) 1.5GHz CPU。 結(jié)論：對(duì)于在 1.5 小時(shí)內(nèi)完成 5個(gè)系統(tǒng)級(jí)任務(wù)，共需 11 個(gè) 1.5GHz CPU 即可實(shí)現(xiàn)。 整個(gè)系統(tǒng)配置 CPU 數(shù)目如下： 按照白天在 1.5 個(gè)小時(shí)內(nèi)完成 5 個(gè)并發(fā)部件級(jí)任務(wù)和晚上并發(fā) 6 個(gè)系統(tǒng)級(jí)人物的最大要求，考慮其他應(yīng)用如 Nastran、 Marc、 LS-Dyna 任務(wù)的并發(fā)計(jì)算要求，建議本次 SMP 系統(tǒng)的 CPU 配置總數(shù)為 12個(gè)。 系統(tǒng)對(duì)內(nèi)存的要求如下： 我們以 ANSYS 應(yīng)用對(duì)內(nèi)存的要求作為估算標(biāo)準(zhǔn)。 1700 萬(wàn)單元 ANSYS 標(biāo)準(zhǔn)題的內(nèi)存要求約為 60GB。對(duì)于本系統(tǒng)來(lái)說(shuō)，系統(tǒng)最大負(fù)荷時(shí)的并發(fā)任務(wù)量總計(jì)最大為 6 x 600 萬(wàn)單元，因此，我們建議本次 SMP 系統(tǒng)內(nèi)存配置為 128GB。 2.3.2 SMP 計(jì)算服務(wù)器型號(hào)及配置 根據(jù)以上分析，我們配置 16CPU 和 128GB 內(nèi)存的 HP Integrity rx8620 安騰 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 14 服務(wù)器作為 SMP 計(jì)算服務(wù)器，并安裝在 2 米高機(jī)柜內(nèi)。 HP Integrity rx8620 具有 51.2GB/s 系統(tǒng)帶寬、 64GB/s 內(nèi)存帶寬和 8.5GB/s的 I/O 總線帶寬，非常適合做高性能計(jì)算服務(wù)器，并最多可支持 32 個(gè) CPU 及擴(kuò)展至 256GB 內(nèi)存。 HP Integrity rx8620 如下圖所示： 除了滿足上述用戶的計(jì)算要求外，配置 16CPU 和 128GB 內(nèi)存的 rx8620 計(jì)算服務(wù)器還可勝任超過(guò)單任務(wù) 3000 萬(wàn)以上單元的系統(tǒng)部件的計(jì)算，并在 4-12小時(shí)內(nèi)得到計(jì)算結(jié)果。 HP Integrity rx8620 計(jì)算服務(wù)器的配置如下： 服務(wù)器型號(hào) HP Integrity rx8620-32 處理器 12*Itanium2 1.5GHz/4MB 內(nèi)存 128GB HD SyncDRAM 內(nèi)存 硬盤(pán) 4*146GB 硬盤(pán) 網(wǎng)絡(luò)接口（內(nèi)置） 1*10/100/1000Base-T，接用戶網(wǎng)絡(luò) 1*10/100/1000Base-T，接管理網(wǎng)絡(luò) 擴(kuò)展網(wǎng)卡 1*10/100/1000Base-T，接所骨干網(wǎng) DVD-ROM 1*DVD+RW *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 15 機(jī)柜 1*Rack System/E 41U， PDU 電源風(fēng)扇 N+1 熱拔插電源風(fēng)扇 軟件配置 - HP-UX 11i v2 TCOE 操作系統(tǒng)（無(wú)限用戶許可） - HP WorkLoad Manager(WLM)動(dòng)態(tài)資源管理器 - HP MirrorDisk/UX 磁盤(pán)鏡像軟件 - C/C+/Fortran 編譯器 配置的 HP Integrity rx8620 還有 13 個(gè)可擴(kuò)展的 PCI-X 插槽，未來(lái)可配置2塊 Fiber Channel 2Gb適配器分別連接至 SAN(存儲(chǔ)區(qū) 域網(wǎng)絡(luò) )上，以獲得高性能的數(shù)據(jù)訪問(wèn)及所需的及可擴(kuò)展的存儲(chǔ)空間。 HP Integrity rx8620 最多可擴(kuò)展 32 個(gè) PCI-X插槽，滿足 I/O 擴(kuò)展的需要。 2.3.3 基于 EPIC 的安騰芯片技術(shù) 針對(duì)高性能計(jì)算應(yīng)用對(duì)高性能的需求， HP 在系統(tǒng)設(shè)計(jì)上允許通過(guò)使用不斷更新的 IPF 系列產(chǎn)品、采用先進(jìn)的芯片組、使用更高性能的基礎(chǔ)節(jié)點(diǎn)、支持更多的節(jié)點(diǎn)和提供更高的帶寬等多種途徑擴(kuò)展系統(tǒng)的規(guī)模，提供高性能和最大的性能擴(kuò)展空間，滿足當(dāng)前和為適應(yīng)當(dāng)前飛速發(fā)展的計(jì)算需要 , 一個(gè)高性能計(jì)算的全新時(shí)代應(yīng)運(yùn)而生 , 而 HP正是以其基 于第二代 Itanium2處理器的安騰服務(wù)器執(zhí)業(yè)界之牛耳。未來(lái)各種高端應(yīng)用的需要。 具有革命意義的安騰處理器家族架構(gòu)由 HP 與 Intel 共同研制開(kāi)發(fā) , 它基于全新的 EPIC 體系結(jié)構(gòu) , 降低了平臺(tái)的成本 , 提高了其性能和可擴(kuò)展性 . 基于Itanium2 的 HP 系統(tǒng)的速度比上一代產(chǎn)品快兩倍 , 輕松超越 IA-32 和基于標(biāo)準(zhǔn)RSIC的系統(tǒng)的性能 . 基于 Itanium2的惠普服務(wù)器能夠提供更強(qiáng)大的功能 , 更多的應(yīng)用 , 附加的特性 , 以及更廣泛的解決方案。 IA 64 體系結(jié)構(gòu)在吸收 RISC 體系結(jié)構(gòu)經(jīng)驗(yàn)教訓(xùn)基礎(chǔ)上另辟蹊徑，一開(kāi) 始就走開(kāi)放性的道路，充分利用現(xiàn)代芯片制造工藝發(fā)展成果、提供足夠的資源；同時(shí)， *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 16 通過(guò)力爭(zhēng)成為新的高端工業(yè)標(biāo)準(zhǔn)、擴(kuò)大批量來(lái)降低成本。它的基本設(shè)計(jì)思想是：提供一種新的機(jī)制、充分利用硬軟件協(xié)同能力來(lái)提高指令并行度：一方面大力開(kāi)發(fā)先進(jìn)的編譯程序，消除程序中的條件轉(zhuǎn)移指令、并基于猜測(cè)機(jī)制越過(guò)轉(zhuǎn)移和存儲(chǔ)指令界限調(diào)度指令的執(zhí)行次序，把程序員利用串行語(yǔ)義編寫(xiě)的源程序轉(zhuǎn)換成由可并行執(zhí)行指令段序列組成的目標(biāo)程序；另一方面使得處理器具有足夠資源和智能，來(lái)紀(jì)錄編譯程序所發(fā)現(xiàn)的程序中可并行執(zhí)行指令段之間的劃分信息，并保證在程序運(yùn)行過(guò)程中 發(fā)現(xiàn)猜測(cè)和調(diào)度有錯(cuò)時(shí)仍然給出正確結(jié)果。對(duì) IA 64 體系結(jié)構(gòu)處理器來(lái)說(shuō)，所執(zhí)行的目標(biāo)程序中可并行執(zhí)行的指令段已經(jīng)由編譯程序顯性地標(biāo)識(shí)出來(lái)了、指令間的數(shù)據(jù)相關(guān)性和過(guò)程相關(guān)性也已經(jīng)由編譯程序消除了，使得處理器只需使用相對(duì)簡(jiǎn)單的邏輯來(lái)實(shí)現(xiàn)很高的指令級(jí)并行度（ ILP）。相反，傳統(tǒng)的 RISC 處理器沒(méi)有足夠的資源來(lái)紀(jì)錄編譯程序所產(chǎn)生許多有用的信息，也沒(méi)有充分利用現(xiàn)代編譯程序強(qiáng)大的對(duì)程序執(zhí)行過(guò)程的調(diào)度能力。雖然在 RISC 體系結(jié)構(gòu)下，設(shè)計(jì)師們也使用編譯程序來(lái)優(yōu)化目標(biāo)程序、為處理器提高 ILP 創(chuàng)造條件。但是，處理器所執(zhí)行的基本上 是隱性并行和包含大量相關(guān)性的目標(biāo)程序，發(fā)現(xiàn)并行、線路預(yù)測(cè)、動(dòng)態(tài)調(diào)度等提高 ILP 的無(wú)序執(zhí)行技術(shù)、完全是由處理器硬件利用復(fù)雜的芯片邏輯來(lái)實(shí)現(xiàn)的。盡管兩種體系結(jié)構(gòu)之間存在著許多差別，但是執(zhí)行顯性并行或者隱性并行目標(biāo)程序是其中最主要的本質(zhì)差別。所以最初發(fā)明這種新體系結(jié)構(gòu)的惠普公司把它稱(chēng)為顯性并行指令計(jì)算（ EPIC）體系結(jié)構(gòu)。 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 17 除了強(qiáng)有力的編譯程序外， IA 64 體系結(jié)構(gòu)微處理器必須提供足夠的資源來(lái)實(shí)現(xiàn) EPIC 設(shè)計(jì)思想、提高并行度和實(shí)現(xiàn)高性能，包括： 新穎的指 令集：允許編譯程序產(chǎn)生由并行指令段組成的目標(biāo)程序，并紀(jì)錄指令段間的劃分； 大寄存器空間：為編譯程序通過(guò)寄存器換名等技術(shù)消除相關(guān)性、產(chǎn)生盡可能在寄存器中進(jìn)行運(yùn)算的優(yōu)質(zhì)目標(biāo)程序提供充分的余地； 具有足夠長(zhǎng)度的指令：便于在指令中訪問(wèn)大寄存器空間中多個(gè)寄存器和消除程序中轉(zhuǎn)移指令； 足夠的指令發(fā)送端口和派送網(wǎng)絡(luò)：用于提高每個(gè)時(shí)鐘周期發(fā)送到指令數(shù)和提高發(fā)送到速度和效率； 多種類(lèi)型的新型寄存器：允許編譯程序越過(guò)條件轉(zhuǎn)移和存儲(chǔ)指令的界限調(diào)度目標(biāo)程序中訪問(wèn)內(nèi)存指令的位置、消除相關(guān)性，并彌補(bǔ)調(diào)整位置所產(chǎn)生的錯(cuò)誤； 更多的浮點(diǎn)執(zhí) 行部件：有利于處理器實(shí)現(xiàn)高并行度的浮點(diǎn)計(jì)算； 更多的整數(shù)和多媒體運(yùn)算執(zhí)行部件：有利于處理器實(shí)現(xiàn)高并行度的整數(shù)和多 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 18 媒體信息處理； 更多的芯片上高速緩存：有利于提高緩存命中率、降低內(nèi)存延遲； EPIC 體系結(jié)構(gòu)處理器提供的寄存器資源 IA 64 的EPIC 體 系結(jié)構(gòu)是 對(duì)傳統(tǒng)RISC 體 系結(jié)構(gòu)的 重大革新， 許多方面 突破了 RISC 體系結(jié)構(gòu)的局限、發(fā)展了 RISC 體系結(jié)構(gòu)，為利用新制造工藝和技術(shù)、按照摩爾定律預(yù)示的速度提高處理器性能提供了可靠的保證。 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 19 2.3.4 高性能計(jì)算環(huán)境 HP-UX 11i TCOE HP Integrity rx8620 采用 HP_UX 11i V2(現(xiàn)在成為唯一可支持安騰芯片的64位 UNIX操作系統(tǒng) )操作系統(tǒng) (TCOE)提供高性能計(jì)算環(huán)境的基礎(chǔ) ,并配合相應(yīng)的系統(tǒng)管理軟件、語(yǔ)言編譯器、并行模式、相關(guān)數(shù)學(xué)庫(kù) ,還可支持目前流行的各種第三方高性能計(jì)算商業(yè)軟件包和應(yīng)用軟件包 ,例如 Platform 的 LSF(負(fù)載平衡軟件 )和 checkpoint, Etnus 的 TotalView, Pallas 的 Vampir 及 Gaussian 等等 ,這些可根據(jù)實(shí)際要求靈活 配置 , 以運(yùn)行高性能計(jì)算應(yīng)用程序和商業(yè)軟件 (含數(shù)據(jù)庫(kù)軟件 )。 HP_UX11i系統(tǒng)下的 C,C+和 Fortran編譯器展示出卓越的實(shí)際應(yīng)用性能 , 操作系統(tǒng)庫(kù)充分利用了 Itanium2 架構(gòu)的先進(jìn)技術(shù) ,其中包括 : MLIB。 一系列子程序 , 為科學(xué)和技術(shù)計(jì)算提供了常用數(shù)學(xué)軟件 , 并針對(duì)Itanium2 架構(gòu)進(jìn)行了優(yōu)化 ； HP MPI。 實(shí)現(xiàn)對(duì) Itanium2 架構(gòu)信息傳遞接口的高性能 , 為開(kāi)發(fā)人員提供了API 和軟件庫(kù)來(lái)支持下有效 ,可移植的并行信息傳遞的應(yīng)用 , 是分布式計(jì)算的理想選擇。 2.3.5 計(jì)算任務(wù)提交及管理 所有向 HP Integrity rx8620 計(jì)算服務(wù)器提交的任務(wù)其所需的 CPU 內(nèi)存等系統(tǒng)資源是通過(guò) HP Workload Manager(WLM)動(dòng)態(tài)資源管理工具來(lái)進(jìn)行管理的。 HP Workload Manager(WLM)是一個(gè)非常簡(jiǎn)單、高效、易用的資源分區(qū)和管理工具，通過(guò)它，系統(tǒng)管理員可根據(jù)計(jì)算服務(wù)器的資源情況及提交任務(wù)的優(yōu)先級(jí)給使用用戶靈活分配和調(diào)度 CPU、內(nèi)存及 I/O 等系統(tǒng)資源，當(dāng)更高優(yōu)先級(jí)的任務(wù)提交后， HP WLM 可動(dòng)態(tài)調(diào)整系統(tǒng)資源的分配，保證高優(yōu)先級(jí)的任務(wù)獲得所需的資源。 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 20 HP WLM 動(dòng)態(tài)資源管理可通過(guò)本地或遠(yuǎn)程終端進(jìn)行管理，其界面如下圖所示。 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 21 2.3.6 HP rx8620 計(jì)算服務(wù)器的特點(diǎn)和優(yōu)勢(shì) HP Integrity rx8620 是具有非常高性能價(jià)格比的 SMP 計(jì)算服務(wù)器，非常適合三院三部的結(jié)構(gòu)類(lèi)計(jì)算任務(wù)的運(yùn)算。其特點(diǎn)和優(yōu)勢(shì)如下： 1) 業(yè)已經(jīng)測(cè)試證明的結(jié)構(gòu)類(lèi)高性能計(jì)算架構(gòu) 用戶現(xiàn)場(chǎng)測(cè)試結(jié)果表明， HP Integrity安騰服務(wù)器的架構(gòu)最適合作為 Ansys、Nastran、 Marc 等應(yīng)用的計(jì)算平臺(tái)。 2) 優(yōu)越的系統(tǒng)架構(gòu)和 CPU 芯片技術(shù)優(yōu)勢(shì) 與用戶現(xiàn)場(chǎng)測(cè)試服務(wù)器的架構(gòu)相同的 HP Integrity rx8620高端 SMP服務(wù)器，提供更高的系統(tǒng)帶寬、內(nèi)存總線帶寬和 I/O 總線帶寬?；谶@樣的架構(gòu)， HP Integrity rx8620 可為計(jì)算應(yīng)用帶來(lái)更高的性能和更好的加速比。 另外， HP Integrity rx8620 采用基于 EPIC（顯式并行指令計(jì)算）技術(shù)的Itanium2 MP 芯片（注：非 Itanium2 DP 芯片），擁有更大的內(nèi)存帶寬和系統(tǒng)帶寬。與 RISC 和超標(biāo)量技術(shù)不同， EPIC 技術(shù)是在程序編譯階段即實(shí)現(xiàn)指令的并行，這為強(qiáng)調(diào)并行的高性能任務(wù)實(shí)現(xiàn)更高的計(jì)算性能提供了基礎(chǔ)。 3) 多操作系統(tǒng)支持 以及硬件分區(qū)技術(shù)給用戶更多的靈活性 HP Integrity rx8620 可支持 HP-UX、 Linux 和 Windows 等操作系統(tǒng)，并支持在同一機(jī)箱內(nèi)劃分成 1至 4個(gè)完全電隔離的硬件分區(qū)（ nPars）。這樣，在需要的情況下，用戶可靈活配置不同大小的硬分區(qū)及分別運(yùn)行相同或不同的操作系統(tǒng)，從而給與用戶最大的系統(tǒng)使用靈活性。 4) 易管理的高性能計(jì)算環(huán)境 HP-UX 11i TCOE HP-UX 11i TCOE 提供高性能、高可靠及安全的 UNIX 操作系統(tǒng)基礎(chǔ)環(huán)境，并提供 HP 高性能 C/C+和 Fortran 編譯器、數(shù)學(xué)庫(kù) MLIB和 MPI 工具。 通過(guò) HP Workload Manager(WLM)動(dòng)態(tài)資源管理工具，管理員可根據(jù) SMP 計(jì)算服務(wù)器的資源情況及任務(wù)的優(yōu)先級(jí)給不同使用用戶靈活分配和調(diào)度 CPU、內(nèi)存及 I/O 等系統(tǒng)資源， HP WLM 動(dòng)態(tài)資源管理工具簡(jiǎn)單、高效、易用。 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 22 5) 投資保護(hù)優(yōu)勢(shì) HP Integrity rx8620 基于工業(yè)標(biāo)準(zhǔn)架構(gòu)，擁有良好的可擴(kuò)展能力（其中內(nèi)存可最大擴(kuò)展到 256GB），并支持在機(jī)箱內(nèi)升級(jí)到下一代 Itanium2 芯片，最大可容納 32 顆 CPU，可實(shí)現(xiàn)最大程度的投資保護(hù)。 2.4 Cluster 計(jì)算集群方案 2.4.1 HP Cluster 計(jì)算集群結(jié)構(gòu) HP 公司作為高性能科學(xué)計(jì)算集群技術(shù)的領(lǐng)導(dǎo)者，可提供最強(qiáng)大的、易于管理的一系列現(xiàn)有的 Linux 集群解決方案。 惠普 結(jié)合了 Linux 的優(yōu)勢(shì)、最好的軟件、內(nèi)部互連、工業(yè)標(biāo)準(zhǔn)的計(jì)算機(jī)平臺(tái)、 惠普 集群技術(shù)專(zhuān)家、支持和服務(wù)向用戶提供具有增加容量和能力的 Linux 集群系統(tǒng)。 Linux 集群系統(tǒng)也叫做 Beowulf Cluster 集群系統(tǒng)。 HP Beowulf 集群的邏輯架構(gòu)如下： B e o w u l f 機(jī)群定義計(jì) 算 節(jié) 點(diǎn) 1計(jì) 算 節(jié) 點(diǎn) 2計(jì) 算 節(jié) 點(diǎn) 3計(jì) 算 節(jié) 點(diǎn) 4計(jì) 算 節(jié) 點(diǎn) 5計(jì) 算 節(jié) 點(diǎn) n內(nèi)部互連管 理 工 作 站開(kāi) 發(fā) 環(huán) 境編譯器工具調(diào) 試 工 具管 理 工 具批 處 理 系統(tǒng)作 業(yè) 調(diào) 度文件系統(tǒng)客 戶 應(yīng) 用 標(biāo) 準(zhǔn) 應(yīng) 用數(shù)學(xué)庫(kù) 并行庫(kù)操 作 系 統(tǒng) / 設(shè) 備 驅(qū) 動(dòng)網(wǎng)格軟件硬件硬件部分應(yīng)包括： *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 23 計(jì)算節(jié)點(diǎn) 管理節(jié)點(diǎn) I/O 節(jié)點(diǎn) 互連系統(tǒng) 軟件部分應(yīng)包括： 操作系統(tǒng) 集群管理軟件 開(kāi)發(fā)環(huán)境 數(shù)學(xué)庫(kù)、并行庫(kù) 作業(yè)管理系統(tǒng) 文件系統(tǒng) 和 客戶應(yīng)用軟件 標(biāo)準(zhǔn)應(yīng)用軟件 根據(jù)用戶的需求分析，按 HP Beowulf 集群的邏輯架構(gòu)，我們?yōu)楸卷?xiàng)目設(shè)計(jì)的 Cluster 計(jì)算集群方案如下： *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 24 上述 Cluster 高性能集群主要為 Fluent、 Fastran 等流體類(lèi)應(yīng)用提供計(jì)算環(huán)境，另外，根據(jù)用戶現(xiàn)場(chǎng)測(cè)試的結(jié)果， LS-Dyna 應(yīng)用在此 SMP 和 Cluster 架構(gòu)上均有非常出色的表現(xiàn)，用戶也可選擇在此 Cluster 計(jì)算集群中來(lái)運(yùn)行此類(lèi)應(yīng)用。 2.4.2 Cluster 節(jié)點(diǎn)系統(tǒng)配置 根據(jù)用戶需求，配置高性能 計(jì)算節(jié)點(diǎn)配置 配置 64 臺(tái)計(jì)算節(jié)點(diǎn)。每臺(tái)配置如下： 計(jì)算結(jié)點(diǎn) 處理器 2*Opteron 2.6GHz 內(nèi)存 4GB 內(nèi)存 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 25 硬盤(pán) 1*60GB SATA 硬盤(pán) 網(wǎng)絡(luò)接口（內(nèi)置） 1*10/100/1000Base-T，接用戶網(wǎng)絡(luò) 1*10/100/1000Base-T，接管理網(wǎng)絡(luò) 網(wǎng)絡(luò)互連接口 1*Infiniband Adapter 遠(yuǎn)程管理 Integrated lights out (iLO) 軟件配置 RedHat EL3 U2 X86-64 WS I/O 節(jié)點(diǎn)配置 配置 2 臺(tái) I/O 節(jié)點(diǎn)，每臺(tái)配置如下： I/O 節(jié)點(diǎn) 處理器 2*Opteron 2.6 GHz 內(nèi)存 4GB 內(nèi)存 硬盤(pán) 2*146GB SCSI Ultra320 硬盤(pán) 網(wǎng)絡(luò)接口（內(nèi)置） 1*10/100/1000Base-T，接用戶網(wǎng)絡(luò) 1*10/100/1000Base-T，接管理網(wǎng)絡(luò) 擴(kuò)展網(wǎng)卡 1*10/100/1000Base-T，接所骨干網(wǎng) 遠(yuǎn)程管理 Integrated lights out (iLO) 軟件配置 RedHat EL3 U2 X86-64 ES 用戶數(shù)據(jù)中心建立以前，用戶數(shù)據(jù)及應(yīng)用程序臨時(shí)存放在 4個(gè) 146GB硬盤(pán)中。用戶數(shù)據(jù)中心建立后，可擴(kuò)展配置 2 個(gè) 2GB 光纖通道卡接到 SAN 存儲(chǔ)網(wǎng)絡(luò)中，屆時(shí)，所有 Cluster 計(jì)算集群的用戶數(shù)據(jù)、應(yīng)用等均放到 SAN 里。 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 26 管理節(jié)點(diǎn)配置 采用 1 臺(tái)管理節(jié)點(diǎn)，配置如下： 管理節(jié)點(diǎn) 處理器 2*Opteron 2.6 GHz 內(nèi)存 8GB 內(nèi)存 硬盤(pán) 2*146GB SCSI Ultra320 硬盤(pán) 網(wǎng)絡(luò)接口（內(nèi)置） 1*10/100/1000Base-T，接用戶網(wǎng)絡(luò) 1*10/100/1000Base-T，接管理網(wǎng)絡(luò) 擴(kuò)展網(wǎng)卡 1*10/100/1000Base-T，接所骨干網(wǎng) 高速通訊網(wǎng)絡(luò) Infiniband 遠(yuǎn)程管理 Integrated lights out (iLO) 軟件配置 - Cluster Management Utility (CMU) - OpenPBS - MPI,PVM - C/C+/Fortran Compilers and Mlib for AMD - RedHat EL3 U2 X86-64 ES 管理節(jié)點(diǎn)通過(guò) CMU 管理計(jì)算節(jié)點(diǎn)，并通 過(guò) OpenPBS 進(jìn)行作業(yè)的調(diào)度管理。 2.4.3 節(jié)點(diǎn)互連、管理和用戶網(wǎng)絡(luò) HP Cluster 高性能集群系統(tǒng)的計(jì)算節(jié)點(diǎn)通過(guò)高速的 Infiniband 互連技術(shù)實(shí)現(xiàn)互聯(lián)，高速的 Infiniband 互連網(wǎng)絡(luò)主要用于計(jì)算節(jié)點(diǎn)之間進(jìn)行 MPI 通訊，交換節(jié)點(diǎn)應(yīng)用進(jìn)程信息和計(jì)算數(shù)據(jù)。 Infiniband 互連采用 64 端口的 Infiniband交換機(jī)。 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 27 整個(gè)高性能集群的每個(gè)節(jié)點(diǎn)連接分別連接到兩個(gè)網(wǎng)絡(luò)，管理網(wǎng)絡(luò)和用戶網(wǎng)絡(luò)。管理網(wǎng)絡(luò)主要用于節(jié)點(diǎn)管理信息的傳輸，用戶網(wǎng)絡(luò)又稱(chēng)存儲(chǔ)網(wǎng)絡(luò)，主要用于各節(jié)點(diǎn)與 I/O 節(jié)點(diǎn)之間的數(shù)據(jù)傳輸，包括應(yīng) 用程序和數(shù)據(jù)的裝載、計(jì)算結(jié)果的保存等等。 管理網(wǎng)絡(luò)和用戶網(wǎng)絡(luò)均采用 HP ProCurve 以太網(wǎng)絡(luò)產(chǎn)品搭建。管理網(wǎng)絡(luò)采用 2 臺(tái) 10/100 Mb/s HP ProCurve 2650 以太網(wǎng)交換機(jī)，用戶網(wǎng)絡(luò)（存儲(chǔ)網(wǎng)絡(luò)）采用 2臺(tái) 1Gb/s HP ProCurve 2800 系列以太網(wǎng)交換機(jī)。 網(wǎng)絡(luò)交換機(jī)配置如下： 互連交換機(jī) （ Infiniband） 64 端口 Infiniband 交換機(jī)， 以太網(wǎng)交換機(jī) （用戶網(wǎng)絡(luò)） 1*HP ProCurve Switch 2824 - 20*10/100/1000Base-T - 4*10/100/1000Base-T 或 mini-GBIC（ 雙功能定制端口 ） 1* HP ProCurve Switch 2848 - 44*10/100/1000Base-T - 4*10/100/1000Base-T 或 mini-GBIC（ 雙功能定制端口 ） 以太網(wǎng)交換機(jī) （管理網(wǎng)絡(luò)） 2*HP ProCurve Switch 2650 - 48*10/100Base-T - 2*10/100/1000Base-T 所有 Cluster 集群計(jì)算節(jié)點(diǎn)、 I/O 節(jié)點(diǎn)和管理節(jié)點(diǎn)及上述互連交換機(jī)和以太 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 28 網(wǎng)交 換機(jī)均被分別安裝在 3 個(gè) 2 米高 E42 的機(jī)柜中（含 PDU），安裝位置進(jìn)行適當(dāng)調(diào)整，以?xún)?yōu)化機(jī)柜配線。 2.4.4 Cluster 計(jì)算集群節(jié)點(diǎn)管理 為了有效的管理 HP Cluster 計(jì)算 集群 系統(tǒng)，管理節(jié)點(diǎn)配置了管理能力很強(qiáng)的管理軟件 CMU(Cluster Management Utility)。 CMU 是一個(gè)非常出色的 Beowulf 集群 系統(tǒng)環(huán)境下的管理軟件，它負(fù)責(zé)系統(tǒng)的診斷、軟件安裝、性能監(jiān)控、系統(tǒng)的克隆 (Cloning)和事件的分析與管理。 通過(guò)使用 CMU 友好的用戶界面，集群管理將變得更加高效。 CMU 也將通過(guò)減少相關(guān)的管理任務(wù)，使 HP Cluster 計(jì)算集群成為一個(gè)經(jīng)濟(jì)高效的解決方案。 CMU 使用了 RILOE 板或集成 iLO 的特性，使得所有計(jì)算節(jié)點(diǎn)的遠(yuǎn)程文本控制臺(tái)在服務(wù)器的所有狀態(tài)下（設(shè)置、啟動(dòng)、 OS 或暫停）均可使用。并借助獨(dú)立于CMU 的 WEB 瀏覽器，遠(yuǎn)程訪問(wèn)任何活動(dòng)節(jié)點(diǎn)的圖形控制臺(tái)。 通過(guò) CMU 管理程序， Cluster 集群系統(tǒng)管理員可以遠(yuǎn)程控制服務(wù)器電源，而無(wú)論服務(wù)器處于何種狀態(tài)（即使服務(wù)器關(guān)機(jī)）。另外，通過(guò) CMU 還可進(jìn)行遠(yuǎn)程 BIOS設(shè)置。 CMU 還具有將一個(gè)系統(tǒng)配置向集群中的所有計(jì)算節(jié)點(diǎn)傳播的功能。 CMU 可以 *高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠 普有限公司 29 通過(guò)網(wǎng)絡(luò)將一個(gè)映像服務(wù)器的磁盤(pán)分區(qū)內(nèi)容克隆到計(jì)算節(jié)點(diǎn)本地磁盤(pán)中。這可用于計(jì)算節(jié)點(diǎn)的首次安裝，以及向核心或當(dāng)前系統(tǒng)配置傳播更新內(nèi)容等。在目標(biāo)分區(qū)與初始映像不同的情況下， CMU 則會(huì)重點(diǎn)考慮目標(biāo)磁盤(pán)分區(qū)。 CMU 在克隆階段對(duì)目標(biāo)磁盤(pán)進(jìn)行分區(qū)，避免了在初次安裝期間對(duì)各個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行分區(qū)。 集群管理實(shí)用程序 (CMU)可以有效地管理大量計(jì)算節(jié)點(diǎn)。 CMU 帶有圖形用戶界面（ GU