1、高性能計算與高性能計算機,總結,什么是高性能計算和高性能計算機 什么是集群(Cluster)，怎么配置集群 什么樣的用戶需要高性能計算機 高性能用戶都關心哪些問題 高性能計算機銷售和一般服務器銷售的區(qū)別,提綱,高性能市場概要 曙光和高性能計算機 什么是高性能計算 什么是高性能計算機 集群系統(tǒng),高性能計算市場,IDC對08年服務器市場的預測： 08年，全球服務器產(chǎn)業(yè)預計以接近9%的速度發(fā)展，HPC產(chǎn)業(yè)預計的發(fā)展速度將會超過12% 在中國，HPC市場的發(fā)展速度將會超過20% HPC市場既是一個傳統(tǒng)的市場，又是一個新興的、高速發(fā)展的市場 高：定位高端用戶 標桿項目，影響力大 平民化趨勢 快速發(fā)展,高

2、性能計算市場,一些廠商的表現(xiàn) 例如：Intel 國家的政策 自主創(chuàng)新 ,技術的發(fā)展 CPU多核化的趨勢 多進程、多線程并行化的趨勢 其他 并行計算機上的廣泛應用 高端下移 ,高性能計算的市場正處于發(fā)展階段,提綱,高性能市場概要 曙光和高性能計算機 什么是高性能計算 什么是高性能計算機 集群系統(tǒng),計算所/曙光和高性能計算,1956年成立，我國第一個計算技術研究所，被譽為“我國計算機事業(yè)的搖籃” 第一臺電子管計算機（103機） 第一臺大型晶體管計算機（109機） 第一臺大型集成電路計算機（111機） 第一臺向量計算機（757機） 第一臺大規(guī)模并行計算機（曙光1000） 被國防部門譽為“功勛機” 1

3、09丙機，為兩彈一星做出過重要貢獻,計算所/曙光和高性能計算,1993.10 曙光一號 16個處理器，每秒6.4億次 使中國成為少數(shù)能生產(chǎn)制造MPP的國家之一,1995.5 曙光1000 36個節(jié)點機，每秒25.6億次,1998.12 曙光2000 I 68個節(jié)點機，每秒200億次,2000.1 曙光2000 II 164個CPU，每秒1117億次 中國第一個SMP集群,計算所/曙光和高性能計算,2001.10 曙光3000 每秒4032億次 SUMA標準誕生,2003.3 曙光4000L 644個CPU，每秒3萬億次,2004.6 曙光4000A 2560顆CPU，每秒10萬億次 名列世界第

4、十，成為除美日以外第一個進入世界“top500”前10名的國家,計算所/曙光和高性能計算,運算速度超過百萬億次的曙光5000，將使中國成為美國之后第二個能生產(chǎn)百萬億次超級計算機的國家 曙光5000共采用3萬顆CPU核，峰值230萬億次，Linpack效率超過70% 曙光5000計算能力超過曙光4000A十多倍，而體積、功耗與曙光4000A相同，代表了中國高性能計算機發(fā)展的最高水平,中國登峰造極的最高性能的計算機系統(tǒng),計算所/曙光和高性能計算,2005年,2006年,2007年,提綱,高性能市場概要 曙光和高性能計算機 什么是高性能計算 什么是高性能計算機 集群系統(tǒng),什么是高性能計算？,高性能計

5、算 HPC：High Performance Compute,高性能計算-并行計算 并行計算(Parallel Computing） 高端計算(High-end Parallel Computing) 高性能計算(High Performance Computing) 超級計算(Super Computing),什么是高性能計算？,計算科學與傳統(tǒng)的兩種科學，即理論科學和實驗科學，并立被認為是人類認識自然的三大支柱，他們彼此相輔相成地推動科學發(fā)展與社會進步。在許多情況下，或者是理論模型復雜甚至理論尚未建立，或者實驗費用昂貴甚至無法進行時，計算就成了求解問題的唯一或主要的手段。,為什么要做高性能計

6、算 應用需求,為什么要做高性能計算,人類對計算及性能的要求是無止境的 從系統(tǒng)的角度：集成系統(tǒng)資源，以滿足不斷增長的對性能和功能的要求 從應用的角度：適當分解應用，以實現(xiàn)更大規(guī)?；蚋氈碌挠嬎?問題: 科學和工程問題的數(shù)值模擬與仿真 計算密集 數(shù)據(jù)密集 網(wǎng)絡密集 三種混合,什么人需要高性能計算,高性能計算機都在什么地方使用？都賣到哪兒去？ 國外狀況 國內(nèi)狀況,提綱,高性能市場概要 曙光和高性能計算機 什么是高性能計算 什么是高性能計算機 集群系統(tǒng),什么是高性能計算機？,由多個計算單元組成，運算速度快、存儲容量大、可靠性高的計算機系統(tǒng)。,也稱為：巨型計算機、超級計算機 目前任何高性能計算和超級計算

7、都離不開使用并行技術，所以高性能計算機肯定是并行計算機。,其發(fā)展歷程可以簡單的分為兩個時代,專用時代包括向量機，MPP系統(tǒng)，SGI NUMA 系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國的神威，銀河，曙光1000等。之所以稱為“專用”，并不是說它們只能運行某種應用，是指它們的組成部件是專門設計的，它們的CPU板，內(nèi)存板，I/O板，操作系統(tǒng)，甚至I/O系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。 普及時代高性能計算機價格下降，應用門檻降低，應用開始普及。兩個技術趨勢起到重要作用。商品化趨勢使得大量生產(chǎn)的商品部件接近了高性能計算機專有部件標準化趨勢使得這些部件

8、之間能夠集成一個系統(tǒng)中，其中X86處理器、以太網(wǎng)、內(nèi)存部件、Linux都起到?jīng)Q定性作用。機群系統(tǒng)是高性能計算機的一種，它的技術基礎和工業(yè)基礎都是商品化和標準化。,高性能計算機系統(tǒng)架構,并行向量機 SMP DSM（NUMA） MPP，節(jié)點可以是單處理器的節(jié)點，也可以是SMP，DSM Cluster Constellation,高性能計算機的制造廠商,Cray SGI IBM,曙光 銀河 神威,并行計算機系統(tǒng)類型,Flynn分類： SISD, SIMD, MIMD, MISD 結構模型： PVP, SMP, MPP, DSM, COW 訪存模型： UMA, NUMA, COMA, CC-NUMA,

9、 NORMA,并行計算機分類,Flynn分類 Flynn(1972)提出指令流、數(shù)據(jù)流和多倍性概念，把不同的計算機分為四大類： SISD（Single-Instruction Single-Data） SIMD（Single-Instruction Multi-Data） MISD（Multi-Instruction Single-Data） MIMD（Multi-Instruction Multi-Data） 現(xiàn)代高性能計算機都屬于MIMD。MIMD從結構上和訪存方式上，又可以分為： 結構模型：PVP, SMP, MPP, DSM, COW 訪存模型：UMA, NUMA, COMA, CC-

10、NUMA, NORMA,結構模型,對稱多處理機系統(tǒng)(SMP),SMP 對稱式共享存儲:任意處理器可直接訪問任意內(nèi)存地址,且訪問延遲、帶寬、機率都是等價的; 系統(tǒng)是對稱的； 微處理器: 一般少于64個; 處理器不能太多, 總線和交叉開關的一旦作成難于擴展； 例子: IBM R50, SGI Power Challenge, SUN Enterprise, 曙光一號;,分布式共享存儲系統(tǒng)(DSM),DSM 分布共享存儲: 內(nèi)存模塊物理上局部于各個處理器內(nèi)部,但邏輯上(用戶)是共享存儲的; 這種結構也稱為基于Cache目錄的非一致內(nèi)存訪問(CC-NUMA)結構;局部與遠程內(nèi)存訪問的延遲和帶寬不一致,

11、3-10倍高性能并行程序設計注意; 與SMP的主要區(qū)別：DSM在物理上有分布在各個節(jié)點的局部內(nèi)存從而形成一個共享的存儲器； 微處理器: 16-128個,幾百到千億次; 代表: SGI Origin 2000, Cray T3D;,大規(guī)模并行計算機系統(tǒng)(MPP),MPP 物理和邏輯上均是分布內(nèi)存 能擴展至成百上千個處理器(微處理器或向量處理器) 采用高通信帶寬和低延遲的互聯(lián)網(wǎng)絡 (專門設計和定制的) 一種異步的MIMD機器；程序系由多個進程組成，每個都有其私有地址空間，進程間采用傳遞消息相互作用； 代表:CRAY T3E(2048), ASCI Red(3072), IBM SP2, 曙光100

12、0,機群系統(tǒng)(Cluster),Cluster 每個節(jié)點都是一個完整的計算機 各個節(jié)點通過高性能網(wǎng)絡相互連接 網(wǎng)絡接口和I/O總線松耦合連接 每個節(jié)點有完整的操作系統(tǒng) 曙光2000、 3000、4000, ASCI Blue Mountain,訪存模型,UMA:,NORMA:,NUMA:,多處理機（單地址空間共享存儲器） UMA: Uniform Memory Access NUMA: Nonuniform Memory Access 多計算機（多地址空間非共享存儲器） NORMA: No-Remote Memory Access,結構模型訪存模型,UMA:,NUMA:,NORMA:,多處理機

13、 & 多計算機,UMA:,NUMA:,NORMA:,多處理機 (共享存儲),多計算機 (分布式存儲),并行計算機的性能指標,衡量系統(tǒng)性能的主要指標(1),MIPS（百萬條指令每秒） 理論計算：處理器的時鐘頻率與平均每條指令所需的時鐘周期（Cycles Per Instruction）的比值 MIPS clock rate / CPI = (number of Instructions) / (CPU time) 實際數(shù)值：對于一個應用（程序），指令數(shù)目與運行時間的比值 MIPS (number of Instructions) / (execution time),衡量系統(tǒng)性能的主要指標(2)

14、,MFLOPS（百萬次浮點運算每秒） 理論計算：系統(tǒng)的浮點計算部件每秒可以做的浮點計算次數(shù)； MFLOPS = (number of Floating Point compute Unit)N N為每個浮點計算部件一個周期內(nèi)可以做的最多浮點操作數(shù)，對于目前常見的微處理器，一般為14； 實際數(shù)值：對于一個應用，浮點運算數(shù)目與運行時間的比值； MFLOPS = (number of floating operations) / (execution time),兩個指標的缺點,都不能全面表征系統(tǒng)的性能 MIPS指標比較適用于事務處理領域； 不同系統(tǒng)的指令不同，一條指令的功能和復雜度差別很大， 如I

15、BM的大型主機（Mainframe），價格達到千萬元的大型機（含配套軟件），其MIPS值一般為510，不及價值數(shù)千元的Pentium4 PC； 非計算密集型的應用（事務處理）對I/O要求高，計算密集型的應用（圖形程序）對主頻要求高。用戶對可靠性等特殊要求； 應用的需求不同，高性能計算領域也是“通才”難求，各有所長； 某些特殊類型計算機適合特定的應用。,兩個指標的缺點,理論計算和實際測試的差別 對于一個具體的應用，可獲得的實際性能與理論峰值有相當大的差距，即效率低的問題； 應用效率成為高性能計算的核心問題之一，受到普遍關注。,加速比定律,在并行計算系統(tǒng)，并行算法（并行程序）的執(zhí)行速度相對于串行算

16、法（串行程序）加快的倍數(shù)，就是該并行算法（并行程序）的加速比； 加速比是衡量“并行收益”的重要指標； Amdahl定律適用于固定計算規(guī)模的加速比性能描述，Gustafson定律適用于可擴展問題。,Amdahl定律,S = (WS+WP)/(WS+WP/p) = 1/(1/p+f(1-1/p) 顯然，當p時，S=1/f，即對于固定規(guī)模的問題，并行系統(tǒng)所能達到的加速上限為1/f 一度引發(fā)了并行界部分人士的悲觀情緒,Gustafson定律,S=（WS+pwp）/（WS+WP） =p-f（p-1）=f+p（1-f） 并行計算是為了解決大規(guī)模并行問題，可并行部分的比例是可擴大的 加速比與處理器數(shù)成斜率為

17、（1-f）的線性關系 這樣串行比例f就不再是程序擴展性的瓶頸， 當然，f越低，斜率會越大，加速性能越好。,Linpack,采用主元高斯消去法求解雙精度稠密線性代數(shù)方 程組，結果按每秒浮點運算次數(shù)（flops）表示。 包含三類測試，問題規(guī)模與優(yōu)化選擇各不相同： 100100測試 ，在該測試中，不允許對Linpack測試程序進行任何修改（包括注釋行） 10001000測試，在該測試中，允許對算法和軟件進行修改或替換，并盡量利用系統(tǒng)的硬件特點，以達到盡可能高的性能。但是所有的優(yōu)化都必須保持和標準算法如高斯消去法相同的相對精度，而且必須使用Linpack的主程序進行調(diào)用。,Linpack（續(xù)）,HPL

18、測試 針對大規(guī)模并行計算系統(tǒng)的測試，其名稱為High Performance Linpack (HPL)，是第一個標準的公開版本并行Linpack測試軟件包， 用于TOP500與國內(nèi)TOP100排名依據(jù)。 使用者可以改變問題規(guī)模。 有相當大的優(yōu)化空間。,NAS Parallel Benchmark,NPB套件由八個程序組成 每個基準測試有五類：A、B、C、D、W (工作站)。A最小，D最大 NPB套件以每秒百萬次運算為單位輸出結果。 整數(shù)排序(IS) 快速Fourier變換（FT） 多柵格基準測試（MG） 共軛梯度(CG) 基準測試 稀疏矩陣分解（LU） 五對角方程（SP）和塊狀三角(BT)求解 密集并行(EP),高性能計算機的最新發(fā)展狀況,頂天立地 高端： 低端： 從單純關注性能到綜合評價 高性能 vs 高效能 性能 vs 使用 硬件建設 vs 綜合建設,提綱,高性能市場概要 曙光和高性能計算機 什么是高性能計算 什么是高性能計算機 集群系統(tǒng),什么是機群系統(tǒng),機群系統(tǒng)（Cluster）利用標準網(wǎng)絡