高性能并行計算基礎架構高性能并行計算架構浪潮電子信息產業(yè)股份2013-11-1812并行計算及系統(tǒng)架構并行計算機基礎并行軟件環(huán)境3高性能機群4并行計算機基礎并行計算(ParallelComputing）高性能計算(HighPerformanceComputing)超級計算(SuperComputing)任何高性能計算和超級計算都離不開使用并行技術高性能計算HPC(HighPerformanceComputing)指通常使用很多處理器（作為單個機器的一部分）或者某一集群中組織的多臺計算機（作為單個計算資源操作）的計算系統(tǒng)和環(huán)境。并行計算機基礎——發(fā)展歷程專用時代

包括向量機，MPP系統(tǒng)，SGINUMA系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國的神威，銀河，曙光1000等。

之所以稱為“專用”，并不是說它們只能運行某種應用，是指它們的組成部件是專門設計的，它們的CPU板，內存板，I/O板，甚至操作系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。普及時代

高性能計算機價格下降，應用門檻降低，應用開始普及。兩個技術趨勢起到重要作用。

商品化趨勢使得大量生產的商品部件接近了高性能計算機專有部件

標準化趨勢使得這些部件之間能夠集成一個系統(tǒng)中，其中X86處理器、以太網(wǎng)、內存部件、Linux都起到決定性作用。

機群系統(tǒng)是高性能計算機的一種，它的技術基礎和工業(yè)基礎都是商品化和標準化。并行計算機基礎——TOP10nonameinformation1天河二號天河二號是由中國國防科技大學開發(fā)的超級計算機，今年以持續(xù)計算速度每秒3.39億億次的優(yōu)越性能位居榜首。天河二號有16,000個節(jié)點，每個節(jié)點兩個IntelXeonIvyBridge的處理器及合共3,120,000個計算核心的三個至強披處理器。2泰坦泰坦是安裝在美國能源部(DOE)的橡樹嶺國家實驗室CrayXK7系統(tǒng)的超級計算機。泰坦使用261,632其的NVIDIAK20x加速器核心，取得了持續(xù)計算速度每秒1.76億億次的記錄。泰坦是名單上最節(jié)能的系統(tǒng)之一，共消耗8.21兆瓦，并提供2,143MFLOPS/W。3紅杉紅杉是安裝在美國能源部勞倫斯利弗莫爾國家實驗室的一臺IBM藍色基因/Q系統(tǒng)超級計算機。紅杉與2011出世，使用1572864核心并已取得了持續(xù)計算速度每秒1.72億次的性能記錄。紅杉也是名單上最節(jié)能的系統(tǒng)之一，共消耗7.84兆瓦，提供2,031.6MFLOPS/W4K富士通的“K計算機”安裝在日本神戶的理化學研究所高級計算科學研究院(AICS)，現(xiàn)在以持續(xù)計算速度每秒1.05億億次的記錄位列第四，使用705,024SPARC64處理核心。5米拉米拉是第二個藍色基因/Q系統(tǒng)的超級計算機，現(xiàn)在安裝在阿爾貢國家實驗室，名列第五位。持續(xù)計算速度每秒8.59千萬億次，使用786,432核心。12并行計算及系統(tǒng)架構并行計算機基礎并行軟件環(huán)境3高性能機群4并行計算機系統(tǒng)架構——類型Flynn分類：SISD,SIMD,MIMD,MISD結構模型：PVP,SMP,MPP,DSM,COW訪存模型：UMA,NUMA,COMA,CC-NUMA,NORMA并行計算機系統(tǒng)架構——Flynn分類根據(jù)指令流和數(shù)據(jù)流的不同，通常把計算機系統(tǒng)分為四類：單指令流單數(shù)據(jù)流（SISD-SingleInstructionstreamSingleDatastream）單指令流多數(shù)據(jù)流（SIMD-SingleInstructionstreamMultipleDatastream）多指令流單數(shù)據(jù)流（MISD-MultipleInstructionstreamSingleDatastream）多指令流多數(shù)據(jù)流（MIMD-MultipleInstructionstreamMultipleDatastream）并行計算機系統(tǒng)架構——結構分類并行計算機系統(tǒng)架構——結構分類-SMPSMP對稱多處理機系統(tǒng)對稱共享存儲：系統(tǒng)中的任何處理機均可直接訪問任何內存模塊的存儲單元和I/O模塊連接的I/O設備，且訪問的延遲、帶寬和訪問成功率是一致的。所有內存模塊的地址單元是統(tǒng)一編碼的，各個處理機之間的地位相同。操作系統(tǒng)可以運行在任意一個處理機上。并行計算機系統(tǒng)架構——結構分類-SMP優(yōu)勢單一的操作系統(tǒng)映像：全系統(tǒng)只有一個操作系統(tǒng)，為每個處理器提供負載均衡。局部高速緩存及其數(shù)據(jù)一致性：每個處理器均有自己的高速緩存，它們可以擁有獨立的局部數(shù)據(jù)，但是這些數(shù)據(jù)必須保持與存儲器中的數(shù)據(jù)是一致的。低通信延遲：通過共享數(shù)據(jù)緩存區(qū)來完成處理器的通信，延遲遠小于網(wǎng)絡通信。共享總線的帶寬：所有處理器通過一個總線完成對內存模塊的數(shù)據(jù)和I/O設備的訪問。支持消息傳遞、共享存儲模式的并行程序設計。劣勢欠可靠：總線、存儲器或操作系統(tǒng)失效可導致系統(tǒng)全部癱瘓?？蓴U展性差：由于所有處理機共享同一個總線，而總線跟不上處理器速度和內存容量的發(fā)展步伐。因此，SMP并行計算機系統(tǒng)的處理機個數(shù)一般少于64個。并行計算機系統(tǒng)架構——結構分類-DSMDSM分布式共享存儲多處理機分布共享存儲:內存模塊物理上局部于各個處理器內部,但邏輯上(用戶)是共享存儲的；這種結構也稱為基于Cache目錄的非一致內存訪問(CC-NUMA)結構；與SMP的主要區(qū)別：DSM在物理上有分布在各個節(jié)點的局部內存從而形成一個共享的存儲器；并行計算機系統(tǒng)架構——結構分類-DSM特點并行計算機以節(jié)點為單位：每個節(jié)點由一個或多個CPU組成，每個CPU擁有自己的局部高速緩存(Cache)，并共享局部存儲器和I/O設備，所有節(jié)點通過高性能網(wǎng)絡互聯(lián)。物理上分布存儲：內存模塊分布在各節(jié)點中，并通過高性能網(wǎng)絡相互連接。單一的內存地址空間：將分布式的內存模塊統(tǒng)一編址，形成了邏輯上的共享存儲器。非一致內存訪問（NUMA）模式：遠端訪問的延遲一般是本地訪問延遲的3倍左右。單一的操作系統(tǒng)映像：類似SMP，用戶只看到一個操作系統(tǒng)，各個節(jié)點動態(tài)負載均衡?；诟咚倬彺娴臄?shù)據(jù)一致性：采用基于目錄的高速緩存一致性協(xié)議來保證各節(jié)點的局部高速緩存數(shù)據(jù)與存儲器中的數(shù)據(jù)是一致的，既CC-NUMA結構。低通信延遲與高通信帶寬：專用的高速互聯(lián)網(wǎng)絡使得節(jié)點間訪問延遲小，通信帶寬高?？蓴U展性高：DSM并行計算機可擴展到上千個節(jié)點。支持消息傳遞、共享存儲并行程序設計。并行計算機系統(tǒng)架構——結構分類-MPPMPP大規(guī)模并行處理機系統(tǒng)MPP一般是指超大型（VeryLarge-Scale）計算機系統(tǒng)，由數(shù)萬、數(shù)十萬個處理器組成的大規(guī)模并行機。并行計算機系統(tǒng)架構——結構分類-MPPMPP特點節(jié)點數(shù)量多，這些節(jié)點由局部網(wǎng)卡通過高性能互聯(lián)網(wǎng)絡連接。每個節(jié)點都相對獨立，并擁有一個或多個微處理機。這些微處理機都有局部高速緩存，并通過局部總線或互聯(lián)網(wǎng)絡與局部內存模塊和I/O設備相連接。MPP的各個節(jié)點均擁有不同的操作系統(tǒng)映像，一般情況下，用戶可以將作業(yè)提交給作業(yè)管理系統(tǒng)，由它來調度當前系統(tǒng)中有效的計算節(jié)點來執(zhí)行該作業(yè)。同時，MPP系統(tǒng)也允許用戶登錄到指定的節(jié)點，或到某些特定的節(jié)點上運行作業(yè)。各個節(jié)點上的內存模塊是相互獨立的，且不存在全局內存單元的統(tǒng)一硬件編址。一般情況下，各個節(jié)點只能直接訪問自身的局部內存模塊。如果需要直接訪問其它節(jié)點的內存模塊，則必須有操作系統(tǒng)提供特殊的軟件支持。并行計算機系統(tǒng)架構——結構分類-COWCOW工作站集群系統(tǒng)COW系統(tǒng)是由大量的PC機或者工作站通過商用網(wǎng)絡連接在一起構成的。COW可以完全使用可以買到的商用組件裝配而成，這些商用組件都是大規(guī)模生產的產品，因此能夠獲得較高的性價比。并行計算機系統(tǒng)架構——結構分類-COWCOW特點COW的每個節(jié)點都是一個完整的工作站（不包括監(jiān)視器，鍵盤，鼠標等），一個節(jié)點也可以是一臺PC或SMP；各節(jié)點通過一種低成本的商品網(wǎng)絡（如以太網(wǎng)、FDDI和ATM開關等）互連（有的商用機群也使用定做的網(wǎng)絡）；各節(jié)點內總是有本地磁盤，而MPP節(jié)點內卻沒有；節(jié)點內的網(wǎng)絡接口是松耦合到I/O總線上的，而MPP內的網(wǎng)絡接口是連到處理節(jié)點的存儲總線上的，因而可謂是緊耦合式的；一個完整的操作系統(tǒng)駐留在每個節(jié)點中，而MPP中通常只是個微核，COW的操作系統(tǒng)是工作站UNIX，加上一個附加的軟件層以支持單一系統(tǒng)映像、并行度、通信和負載平衡等。并行計算機系統(tǒng)架構——結構分類-對比屬性PVPSMPDSMMPPCOW結構類型MIMDMIMDMIMDMIMDMIMD處理器類型專用定制商用商用商用商用互連網(wǎng)絡定制交叉開關總線、交叉開關定制網(wǎng)絡定制網(wǎng)絡商用網(wǎng)絡通信機制共享變量共享變量共享變量消息傳遞消息傳遞地址空間單地址空間單地址空間單地址空間多地址空間多地址空間系統(tǒng)存儲器集中共享集中共享分布共享分布非共享分布非共享訪存模型UMAUMANUMANORMANORMA代表機器CrayC-90，CrayT-90，銀河1號IBMR50，SGIPowerChallenge，曙光1號StanfordDASH，CrayT3DIntelParagon，IBMSP2，曙光1000/2000BerkeleyNOW，AlphaFarm并行計算機系統(tǒng)架構——訪存模型并行計算機系統(tǒng)架構——訪存模型-UMAUMA（UniformMemoryAccess）模型是均勻存儲訪問模型的簡稱。其特點是：物理存儲器被所有處理器均勻共享；所有處理器訪問任何存儲字取相同的時間；每臺處理器可帶私有高速緩存；外圍設備也可以一定形式共享。并行計算機系統(tǒng)架構——訪存模型-NUMANUMA(NonuniformMemoryAccess)模型是非均勻存儲訪問模型的簡稱。特點是：被共享的存儲器在物理上是分布在所有的處理器中的，其所有本地存儲器的集合就組成了全局地址空間；處理器訪問存儲器的時間是不一樣的；訪問本地存儲器LM或群內共享存儲器CSM較快，而訪問外地的存儲器或全局共享存儲器GSM較慢(此即非均勻存儲訪問名稱的由來)；每臺處理器照例可帶私有高速緩存，外設也可以某種形式共享。

并行計算機系統(tǒng)架構——訪存模型-COMACOMA(Cache-OnlyMemoryAccess)模型是全高速緩存存儲訪問的簡稱。其特點是：各處理器節(jié)點中沒有存儲層次結構，全部高速緩存組成了全局地址空間；利用分布的高速緩存目錄D進行遠程高速緩存的訪問;COMA中的高速緩存容量一般都大于2級高速緩存容量；使用COMA時，數(shù)據(jù)開始時可任意分配，因為在運行時它最終會被遷移到要用到它們的地方。

并行計算機系統(tǒng)架構——訪存模型-CC-NUMACC-NUMA（Coherent-CacheNonuniformMemoryAccess）模型是高速緩存一致性非均勻存儲訪問模型的簡稱。其特點是：大多數(shù)使用基于目錄的高速緩存一致性協(xié)議；保留SMP結構易于編程的優(yōu)點，也改善常規(guī)SMP的可擴放性；CC-NUMA實際上是一個分布共享存儲的DSM多處理機系統(tǒng)；它最顯著的優(yōu)點是程序員無需明確地在節(jié)點上分配數(shù)據(jù)，系統(tǒng)的硬件和軟件開始時自動在各節(jié)點分配數(shù)據(jù)，在運行期間，高速緩存一致性硬件會自動地將數(shù)據(jù)遷移至要用到它的地方。

并行計算機系統(tǒng)架構——訪存模型-NORMANORMA（No-RemoteMemoryAccess）模型是非遠程存儲訪問模型的簡稱。NORMA的特點是：所有存儲器是私有的；絕大數(shù)NUMA都不支持遠程存儲器的訪問；在DSM中，NORMA就消失了。

并行計算機系統(tǒng)架構——訪存模型-系統(tǒng)架構12并行計算及系統(tǒng)架構并行計算機基礎并行軟件環(huán)境3高性能機群4并行軟件編寫指令層，非常細的粒度數(shù)據(jù)層，細粒度控制層，中粒度任務層，大粒度

前兩層大都由硬件和編譯器負責處理，程序員通常處理后兩層的并行

并行程序設計方式隱式并行程序設計：常用傳統(tǒng)的語言編程成順序源編碼，把“并行”交給編譯器實現(xiàn)自動并行程序的自動并行化是一個理想目標，存在難以克服的困難語言容易，編譯器難顯式并行程序設計：在用戶程序中出現(xiàn)“并行”的調度語句顯式的并行程序開發(fā)則是解決并行程序開發(fā)困難的切實可行的語言難，編譯器容易并行軟件環(huán)境并行程序設計模型隱式并行（ImplicitParallel）數(shù)據(jù)并行（DataParallel）共享變量（SharedVariable）消息傳遞（MessagePassing）并行軟件環(huán)境-軟件設計模型隱式并行（ImplicitParallel）

概況：程序員用熟悉的串行語言編程編譯器或運行支持系統(tǒng)自動轉化為并行代碼特點：語義簡單可移植性好單線程，易于調試和驗證正確性效率很低并行軟件環(huán)境-軟件設計模型數(shù)據(jù)并行（DataParallel）概況：SIMD的自然模型局部計算和數(shù)據(jù)選路操作特點：單線程并行操作于聚合數(shù)據(jù)結構（數(shù)組）松散同步單一地址空間隱式交互作用顯式數(shù)據(jù)分布并行軟件環(huán)境-軟件設計模型共享變量（SharedVariable）概況：PVP,SMP,DSM的自然模型特點：多線程：SPMD,MPMD異步單一地址空間顯式同步隱式數(shù)據(jù)分布隱式通信并行軟件環(huán)境——軟件設計模型消息傳遞（MessagePassing）概況：MPP,COW的自然模型特點：多線程異步多地址空間顯式同步顯式數(shù)據(jù)映射和負載分配顯式通信并行軟件環(huán)境——并行編程標準數(shù)據(jù)并行語言標準Fortran90,HPF(1992),Fortran95/2001:顯式數(shù)據(jù)分布描述,并行DO循環(huán).線程庫標準(ThreadLibrary)–Win32API.–POSIXthreads線程模型.編譯制導(CompilerDirectives)–OpenMP:portablesharedmemoryparallelism消息傳遞庫標準(MessagePassingLibraries)–MPI

:MessagePassingInterface–PVM:ParallelVirtualMachine共享變量編程消息傳遞編程數(shù)據(jù)并行編程并行軟件環(huán)境——并行編程標準所有并行編程標準可分為以下三類:數(shù)據(jù)并行HPF,Fortran90用于SMP,DSM共享編程OpenMP用于SMP,DSM消息傳遞MPI,PVM用于所有并行計算機三者可混合使用:如對以SMP為節(jié)點的Cluster來說,可以在節(jié)點間進行消息傳遞,在節(jié)點內進行共享變量編程.并行軟件環(huán)境——基于消息傳遞的并行程序設計消息傳遞并行程序設計指用戶必須通過顯式地發(fā)送和接收消息來實現(xiàn)處理機間的數(shù)據(jù)交換。在這種并行編程中，每個并行進程均有自己獨立的地址空間，相互之間訪問不能直接進行，必須通過顯式的消息傳遞來實現(xiàn)。這種編程方式是大規(guī)模并行處理機（MPP）和機群（Cluster）采用的主要編程方式。并行計算粒度大，特別適合于大規(guī)模可擴展并行算法由于消息傳遞程序設計要求用戶很好地分解問題,組織不同進程間的數(shù)據(jù)交換,并行計算粒度大,特別適合于大規(guī)?？蓴U展并行算法.消息傳遞是當前并行計算領域的一個非常重要的并行程序設計方式并行軟件環(huán)境——基于消息傳遞的并行程序設計MassagePassingInterface:是消息傳遞函數(shù)庫的標準規(guī)范，由MPI論壇開發(fā)，支持Fortran和C一種新的庫描述，不是一種語言。共有上百個函數(shù)調用接口，在Fortran和C語言中可以直接對這些函數(shù)進行調用MPI是一種標準或規(guī)范的代表，而不是特指某一個對它的具體實現(xiàn)MPI是一種消息傳遞編程模型，并成為這種編程模型的代表和事實上的標準并行軟件環(huán)境——基于消息傳遞的并行程序設計發(fā)展的兩個階段MPI1.1:1995MPICH:是MPI最流行的非專利實現(xiàn),由Argonne國家實驗室和密西西比州立大學聯(lián)合開發(fā),具有更好的可移植性.MPI1.2~2.0:動態(tài)進程,并行I/O,支持F90和C++(1997).高可移植性MPI已在IBMPC機上、MSWindows上、所有主要的Unix工作站上和所有主流的并行機上得到實現(xiàn)。使用MPI作消息傳遞的C或Fortran并行程序可不加改變地運行在IBMPC、MSWindows、Unix工作站、以及各種并行機上。并行軟件環(huán)境——基于消息傳遞的并行程序設計開發(fā)時間:始于1989年開發(fā)單位:美國橡樹嶺(OakRidge)國家實驗室、美國Tennessee大學和Emory大學聯(lián)合研制特點:具有較好的適應性、可擴展性、可移植性和易使用性等特點,源代碼可以獲取,現(xiàn)已被用戶廣泛采納?，F(xiàn)狀:目前對它的研究和開發(fā)工作仍在各大學和研究機構進行.隨著它的不斷流行,已經被移植到PVP、SMP、MPP、工作站和機群系統(tǒng)。PVM出現(xiàn)的時間較MPI早，且是一個自包含系統(tǒng)(MPI不是自包含的)，同時PVM不是一個標準(MPI是個標準)。目前，PVM和MPI正在互相靠攏。PVM（ParallelVirtualMachine）并行虛擬機并行軟件環(huán)境——基于消息傳遞的并行程序設計PVM系統(tǒng)的組成(兩部分)：PVM監(jiān)控進程(DaemonProcess),稱為pvmd,它常駐在虛擬機的每一臺節(jié)點機上。PVM可調用的庫,稱為libpvm3.a,它與用戶的應用程序鏈接,用于進程管理,消息傳遞和虛擬機管理。在PVM中,節(jié)點(anode)稱為主機(ahost).進程(aprocess)稱為任務(atask).

并行虛擬機的組成1~多臺主機(硬件)唯一1個masterpvmd,運行在稱為控制臺的主機上0~多個slavepvmdPVM（ParallelVirtualMachine）并行虛擬機并行軟件環(huán)境——共享存儲并行機模型體系結構特點:多臺處理機通過互聯(lián)網(wǎng)絡共享一個統(tǒng)一的內存空間,通過單一內存地址來實現(xiàn)處理機間的協(xié)調.內存空間也可由多個存儲器模塊構成.每臺處理機可以執(zhí)行相同或不同的指令流,每臺處理機可以直接訪問到所有數(shù)據(jù).處理機間通信是借助于共享主存來實現(xiàn)的.可擴展性差,當處理機需要同時訪問共享全局變量時,產生內存競爭現(xiàn)象而嚴重影響效率,比較適合中小規(guī)模應用問題的計算和事務處理.共享存儲并行機模型并行軟件環(huán)境——共享存儲并行機模型共享存儲器編程標準Pthreads(線程