1、第9章 機(jī)群計(jì)算機(jī) 張晨曦 劉依 www.GotoS ,9.1 機(jī)群的基本概念和結(jié)構(gòu) 9.2 機(jī)群的特點(diǎn) 9.3 機(jī)群的分類 9.4 典型機(jī)群系統(tǒng)簡介,目前流行的高性能并行計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)通?？梢苑殖?類： 并行向量處理機(jī)（PVP） 對稱多處理機(jī)（SMP） 大規(guī)模并行處理機(jī)（MPP） 分布共享存儲多處理機(jī)（DSM） 機(jī)群（Cluster） 優(yōu)勢：低廉的價(jià)格、極強(qiáng)的靈活性和可擴(kuò)縮性 成為近年來發(fā)展勢頭最為強(qiáng)勁的系統(tǒng)結(jié)構(gòu),全球Top500中機(jī)群計(jì)算機(jī)的數(shù)量和比例,機(jī)群 一種價(jià)格低廉、易于構(gòu)建、可擴(kuò)縮性極強(qiáng)的并行計(jì)算機(jī)系統(tǒng)。 由多臺同構(gòu)或異構(gòu)的獨(dú)立計(jì)算機(jī)通過高性能網(wǎng)絡(luò)或局域網(wǎng)互連在一起，協(xié)同完成特定的

2、并行計(jì)算任務(wù)。 從用戶的角度來看，機(jī)群就是一個單一、集中的計(jì)算資源。,9.1.1 機(jī)群的基本概念和結(jié)構(gòu),9.1 機(jī)群的基本概念和結(jié)構(gòu),9.1 機(jī)群的基本概念和結(jié)構(gòu),一個簡單PC機(jī)群的邏輯結(jié)構(gòu) 4臺PC機(jī)通過交換機(jī)連接在一起。 NIC表示網(wǎng)絡(luò)接口，PCI表示I/O總線。 這是一種無共享的結(jié)構(gòu)，大多數(shù)機(jī)群都采用這種結(jié)構(gòu)。 如果將下圖中的交換機(jī)換為共享磁盤，則可以得到共享磁盤的機(jī)群系統(tǒng)結(jié)構(gòu)。,9.1 機(jī)群的基本概念和結(jié)構(gòu),一個包含4個結(jié)點(diǎn)的簡單PC機(jī)群,9.1 機(jī)群的基本概念和結(jié)構(gòu),構(gòu)成機(jī)群的每臺計(jì)算機(jī)都被稱為一個結(jié)點(diǎn)。 每個結(jié)點(diǎn)都是一個完整的系統(tǒng)，擁有本地磁盤和操作系統(tǒng)，可以作為一個單獨(dú)的計(jì)算資源

3、供用戶使用。 除了PC機(jī)外，機(jī)群的結(jié)點(diǎn)還可以是工作站，甚至是規(guī)模較大的對稱多處理機(jī)。 機(jī)群的各個結(jié)點(diǎn)一般通過商品化網(wǎng)絡(luò)連接在一起。 網(wǎng)絡(luò)接口與結(jié)點(diǎn)的I/O總線以松散耦合的方式相連。,9.1 機(jī)群的基本概念和結(jié)構(gòu),機(jī)群操作系統(tǒng)：在各結(jié)點(diǎn)的操作系統(tǒng)之上建立一層操作系統(tǒng)來管理整個機(jī)群。 機(jī)群操作系統(tǒng)的功能 提供硬件管理、資源共享以及網(wǎng)絡(luò)通信 實(shí)現(xiàn)單一系統(tǒng)映象 Single System Image，SSI 一項(xiàng)重要功能 機(jī)群的一個重要特征,9.1.2 機(jī)群的軟件模型,9.1 機(jī)群的基本概念和結(jié)構(gòu),SSI包含四重含義 單一系統(tǒng) 單一控制 邏輯上，最終用戶或系統(tǒng)用戶使用的服務(wù)都來自機(jī)群中唯一的位置。 系

4、統(tǒng)管理員通過一個唯一的控制點(diǎn)配置機(jī)群的所有軟、硬件組件。 對稱性：用戶可以從任一個結(jié)點(diǎn)上獲得機(jī)群服務(wù)。 位置透明：用戶不必了解真正提供服務(wù)的物理設(shè)備的具體位置。,9.1 機(jī)群的基本概念和結(jié)構(gòu),簡單機(jī)群系統(tǒng)中的SSI至少應(yīng)該提供以下三種服務(wù)： 單一登錄 即用戶可以通過機(jī)群中的任何一個結(jié)點(diǎn)登錄，而且在整個作業(yè)執(zhí)行過程中只需登錄一次，不必因作業(yè)被分派到其他結(jié)點(diǎn)上執(zhí)行而重新登錄。 單一文件系統(tǒng) 在機(jī)群系統(tǒng)中，有一些對整個機(jī)群所有結(jié)點(diǎn)而言都相同的軟件，它們沒有必要在每一個結(jié)點(diǎn)上重復(fù)安裝。另外執(zhí)行并行作業(yè)時要求每個結(jié)點(diǎn)都可以訪問到可執(zhí)行文件，即這些軟件和可執(zhí)行文件在整個機(jī)群系統(tǒng)中應(yīng)該只有一個唯一的副本。,

5、9.1 機(jī)群的基本概念和結(jié)構(gòu),單一作業(yè)管理系統(tǒng) 用戶可以透明地從任一結(jié)點(diǎn)提交作業(yè)，作業(yè)可以以批處理、交互或并行的方式被調(diào)度執(zhí)行。 PBS、LSF、Condor和JOSS都是目前比較具有代表性的作業(yè)管理系統(tǒng)。 并行編程模型以及相關(guān)的并行編程環(huán)境 比較流行的并行編程工具： MPI、PVM、OpenMP、HPF 機(jī)群系統(tǒng)的軟件框架,9.1 機(jī)群的基本概念和結(jié)構(gòu),機(jī)群系統(tǒng)的軟件框架,機(jī)群系統(tǒng)的優(yōu)點(diǎn) 系統(tǒng)開發(fā)周期短 結(jié)點(diǎn)采用商品化的PC機(jī)、工作站，通過商用網(wǎng)絡(luò)連接。 系統(tǒng)開發(fā)的重點(diǎn)：通信子系統(tǒng)和并行編程環(huán)境 可靠性高 每個結(jié)點(diǎn)都是獨(dú)立的PC機(jī)或工作站 可擴(kuò)縮性強(qiáng) 機(jī)群的計(jì)算能力隨著結(jié)點(diǎn)數(shù)量的增加而增大

6、機(jī)群結(jié)構(gòu)靈活（結(jié)點(diǎn)之間以松耦合方式連接） 機(jī)群系統(tǒng)的硬件容易擴(kuò)充和替換，可以靈活配置。,9.2 機(jī)群的特點(diǎn),9.2 機(jī)群的特點(diǎn),性能價(jià)格比高 用戶編程方便 機(jī)群的迅猛發(fā)展還得益于微處理器技術(shù)、網(wǎng)絡(luò)技術(shù)和并行程序設(shè)計(jì)技術(shù)的進(jìn)步。 微處理器技術(shù)的進(jìn)步使得微處理器的性能不斷提高，價(jià)格不斷下降 。 機(jī)群系統(tǒng)更容易融和到已有的網(wǎng)絡(luò)系統(tǒng)中，而且隨著網(wǎng)絡(luò)技術(shù)的進(jìn)步和高性能通信協(xié)議的引入，機(jī)群結(jié)點(diǎn)間的通信帶寬進(jìn)一步提高，通信延遲進(jìn)一步縮短，逐步緩解了由于結(jié)點(diǎn)松散耦合引起的機(jī)群系統(tǒng)通信瓶頸問題。,9.2 機(jī)群的特點(diǎn),隨著PVM、MPI、HPF、OpenMP等并行編程模型的應(yīng)用與成熟，使得在機(jī)群系統(tǒng)上開發(fā)并行應(yīng)用

7、更加方便。 機(jī)群的不足之處 由于機(jī)群由多臺完整的計(jì)算機(jī)組成，它的維護(hù)相當(dāng)于要同時去管理多個計(jì)算機(jī)系統(tǒng)，因此維護(hù)工作量較大，維護(hù)費(fèi)用也較高。,根據(jù)組成機(jī)群的各個結(jié)點(diǎn)和網(wǎng)絡(luò)是否相同，分為： 同構(gòu)、異構(gòu) 根據(jù)結(jié)點(diǎn)是PC還是工作站，分為： PC機(jī)群、工作站機(jī)群 以機(jī)群系統(tǒng)的使用目的為依據(jù)，分為： 高可用性機(jī)群、負(fù)載均衡機(jī)群以及高性能機(jī)群 （最常用的分類方法 ）,9.3 機(jī)群的分類,9.3 機(jī)群的分類,高可用性機(jī)群 主要目的：當(dāng)系統(tǒng)中某些結(jié)點(diǎn)出現(xiàn)故障的情況下，仍能繼續(xù)對外提供服務(wù)。 采用冗余機(jī)制 當(dāng)系統(tǒng)中某個結(jié)點(diǎn)由于軟、硬件故障而失效時，該結(jié)點(diǎn)上的任務(wù)將在最短的時間內(nèi)被遷移到機(jī)群內(nèi)另一個具有相同功能與結(jié)

8、構(gòu)的結(jié)點(diǎn)上繼續(xù)執(zhí)行。 對于用戶而言，系統(tǒng)可以一直為其提供服務(wù)。 適用于Web服務(wù)器、醫(yī)學(xué)監(jiān)測儀、銀行POS系統(tǒng)等要求持續(xù)提供服務(wù)的應(yīng)用。,9.3 機(jī)群的分類,負(fù)載均衡機(jī)群 主要目的：提供與結(jié)點(diǎn)個數(shù)成正比的負(fù)載能力 要求：機(jī)群能夠根據(jù)系統(tǒng)中各個結(jié)點(diǎn)的負(fù)載情況實(shí)時地進(jìn)行任務(wù)分配。 專門設(shè)置了一個重要的監(jiān)控結(jié)點(diǎn)，負(fù)責(zé)監(jiān)控其余每個工作結(jié)點(diǎn)的負(fù)載和狀態(tài)，并根據(jù)監(jiān)控結(jié)果將任務(wù)分派到不同的結(jié)點(diǎn)上。 適合大規(guī)模網(wǎng)絡(luò)應(yīng)用 如Web服務(wù)器或FTP服務(wù)器、大工作量的串行或批處理作業(yè)（如數(shù)據(jù)分析）,9.3 機(jī)群的分類,負(fù)載均衡機(jī)群適用于提供靜態(tài)數(shù)據(jù)的服務(wù)；而高可用性機(jī)群既適用于提供靜態(tài)數(shù)據(jù)的服務(wù)，又適用于提供動態(tài)數(shù)據(jù)

9、的服務(wù)。 高性能計(jì)算機(jī)群 主要目的：降低高性能計(jì)算的成本 它通過高速的商用互連網(wǎng)絡(luò)，將數(shù)十臺乃至上千臺PC機(jī)或工作站連接在一起，可以提供接近甚至超過傳統(tǒng)并行計(jì)算機(jī)系統(tǒng)的計(jì)算能力，但其價(jià)格卻僅是具有相同計(jì)算能力的傳統(tǒng)并行計(jì)算機(jī)系統(tǒng)的幾十分之一。,9.3 機(jī)群的分類,按照構(gòu)建方式將機(jī)群分為： （一種比較常用的分類方法） 專用機(jī)群 吞吐率較高，響應(yīng)時間較短。 專用機(jī)群的結(jié)點(diǎn)往往是同構(gòu)的，一般采用集中控制，由一個（或一組）管理員統(tǒng)一管理，而且用戶一般需要通過一臺終端機(jī)來訪問它。 企業(yè)機(jī)群 各結(jié)點(diǎn)之間一般通過標(biāo)準(zhǔn)的LAN或WAN互連 通信開銷較大、延遲較長 企業(yè)機(jī)群的各個結(jié)點(diǎn)一般是異構(gòu)的,美國加州大學(xué)B

10、erkeley分校開發(fā) 具有很多優(yōu)點(diǎn)： 采用商用千兆以太網(wǎng)和主動消息通信協(xié)議支持有效的通信。 通過用戶級整合機(jī)群軟件GLUNIX提供單一系統(tǒng)映象、資源管理和可用性，開發(fā)了一種新的無服務(wù)器網(wǎng)絡(luò)文件系統(tǒng)xFS，以支持可擴(kuò)縮性和單一文件層次的高可用性。,9.4 典型機(jī)群系統(tǒng)簡介,9.4.1 Berkeley NOW,9.4 典型機(jī)群系統(tǒng)簡介,主動消息 實(shí)現(xiàn)低開銷通信的一種異步通信機(jī)制 基本思想 在消息頭部控制信息中攜帶一個用戶級子例程（稱作消息處理程序）的地址。 當(dāng)消息頭到達(dá)目的結(jié)點(diǎn)時，調(diào)用消息處理程序通過網(wǎng)絡(luò)獲取剩下的數(shù)據(jù)，并把它們集成到正在進(jìn)行的計(jì)算中。 主動消息相當(dāng)高效和靈活，以至于各種系統(tǒng)都

11、逐漸地用它作為基本的通信機(jī)制。,9.4 典型機(jī)群系統(tǒng)簡介,GLUNIX 運(yùn)行在工作站標(biāo)準(zhǔn)UNIX上的一個軟件層，屬于自包含軟件。 主要思想 機(jī)群操作系統(tǒng)應(yīng)由底層和高層組成。 其中底層是執(zhí)行在核模式下的結(jié)點(diǎn)商用操作系統(tǒng)，高層是能提供機(jī)群所需的一些功能的用戶級操作系統(tǒng)。 特別地，這一軟件層能夠提供機(jī)群內(nèi)結(jié)點(diǎn)的單一系統(tǒng)映象，使得所有的處理器、存儲器、網(wǎng)絡(luò)容量和磁盤帶寬均可以被分配給串行和并行應(yīng)用。,9.4 典型機(jī)群系統(tǒng)簡介,無服務(wù)器文件系統(tǒng)xFS 一個無服務(wù)器的分布式文件系統(tǒng)。 將文件服務(wù)的功能分布到機(jī)群的所有結(jié)點(diǎn)上，以提供低延遲高帶寬的文件系統(tǒng)服務(wù)功能。 主要采用廉價(jià)冗余磁盤陣列、協(xié)同文件緩存和分

12、布式管理等技術(shù)。,9.4 典型機(jī)群系統(tǒng)簡介,目標(biāo) 1G Flops的計(jì)算處理能力和10 GB的存儲容量 價(jià)格不能過高 一個具有16個結(jié)點(diǎn)的機(jī)群 （Thomas Sterling與Don Becker二人構(gòu)建） 硬件：Intel的DX4處理器以及10 Mbps的以太網(wǎng) 軟件：基于Linux系統(tǒng)以及其他一些GNU軟件,9.4.2 Beowulf,9.4 典型機(jī)群系統(tǒng)簡介,將這個系統(tǒng)命名為Beowulf 這種基于COTS（Commodity Off The Shelf）思想的技術(shù)也迅速由NASA傳播到其他科研機(jī)構(gòu)。 這類機(jī)群被稱為Beowulf機(jī)群。 （Beowulf Class Cluster C

13、omputers） Beowulf并不是一套具體的軟件包或是一種新的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，它只是一種思想。 在達(dá)到既定目標(biāo)的前提下，把注意力集中在獲取更高的性能價(jià)格比上。,9.4 典型機(jī)群系統(tǒng)簡介,使用低成本、小配置（28個處理器）的SMP來構(gòu)建機(jī)群系統(tǒng)逐漸成為主流。 這種結(jié)構(gòu)的系統(tǒng)被統(tǒng)稱為CLUMPs （CLUster of MultiProcessors） 由于SMP結(jié)點(diǎn)內(nèi)部與SMP結(jié)點(diǎn)之間通信能力往往不一致，CLUMPs一般使用專門的通信協(xié)議和通信算法。,9.4.3 LAMP,9.4 典型機(jī)群系統(tǒng)簡介,LAMP（Local Area MultiProcessor） 由NEC實(shí)驗(yàn)室構(gòu)建，基于Pen

14、tium Pro PC機(jī)、SMP機(jī)群 共有16個結(jié)點(diǎn) 每個結(jié)點(diǎn)包含兩個Pentium Pro 200 MHz的CPU以及256 MB內(nèi)存。 操作系統(tǒng)使用了支持SMP的Linux 2.0.34內(nèi)核版本，提供MPICH 1.1.0并行程序開發(fā)環(huán)境。 同一個SMP結(jié)點(diǎn)內(nèi)的兩個CPU之間采用基于共享存儲器的消息傳遞機(jī)制進(jìn)行通信，而結(jié)點(diǎn)間通信則通過Myrinet完成。,9.4 典型機(jī)群系統(tǒng)簡介,深藍(lán)：采用30個RS/6000工作站（帶有專門設(shè)計(jì)的480片國際象棋芯片）的IBM SP2機(jī)群 異步的MIMD，具有分布式存儲器系統(tǒng)結(jié)構(gòu)。,9.4.4 IBM SP2,9.4 典型機(jī)群系統(tǒng)簡介,結(jié)點(diǎn)：一臺RS/6

15、000工作站，帶有自己的存儲器和本地磁盤。 結(jié)點(diǎn)中采用的處理器：一臺6流出的超標(biāo)量處理機(jī) 每個時鐘周期可以執(zhí)行6條指令，包括2條讀數(shù)寫數(shù)指令，2條浮點(diǎn)乘或加指令，1條變址增量指令和1條分支指令。 每個結(jié)點(diǎn)配有一套完整的AIX操作系統(tǒng)（IBM的UNIX）。 結(jié)點(diǎn)間的互連網(wǎng)絡(luò)接口是松散耦合的，通過結(jié)點(diǎn)本身的I/O微通道（MCC）接到網(wǎng)絡(luò)上，而不是通過本身的存儲器總線。,9.4 典型機(jī)群系統(tǒng)簡介,SP2的結(jié)點(diǎn)數(shù)可以從2個到512個不等，除了每個結(jié)點(diǎn)采用RS/6000工作站外，整個SP2系統(tǒng)還需要配置另外一臺RS/6000工作站作為系統(tǒng)控制臺 。 SP2的結(jié)點(diǎn)可分為3類：寬結(jié)點(diǎn)、細(xì)結(jié)點(diǎn)、細(xì)2結(jié)點(diǎn) 它們都有： 1個指令Cache 1個數(shù)據(jù)Cache 1個分支指令和轉(zhuǎn)移控制部件 2個整數(shù)部件 2個浮點(diǎn)部件,9.4 典型機(jī)群系統(tǒng)簡介,但它們在存儲器容量、數(shù)據(jù)寬度和I/O總線插槽個數(shù)上有所不同。例如：