第9章機(jī)群計(jì)算機(jī)1整理ppt9.1機(jī)群的根本概念和結(jié)構(gòu)9.2機(jī)群的特點(diǎn)9.3機(jī)群的分類9.4典型機(jī)群系統(tǒng)簡介2整理ppt目前流行的高性能并行計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)通?？梢苑殖?類：并行向量處理機(jī)〔PVP〕對(duì)稱多處理機(jī)〔SMP〕大規(guī)模并行處理機(jī)〔MPP〕分布共享存儲(chǔ)多處理機(jī)〔DSM〕機(jī)群〔Cluster〕優(yōu)勢(shì)：低廉的價(jià)格、極強(qiáng)的靈活性和可擴(kuò)縮性成為近年來開展勢(shì)頭最為強(qiáng)勁的系統(tǒng)結(jié)構(gòu)3整理ppt全球Top500中機(jī)群計(jì)算機(jī)的數(shù)量和比例時(shí)間1997.61997.111998.61998.111999.61999.112000.62000.11數(shù)量1112671128比例0.2%0.2%0.2%0.4%1.2%1.4%2.2%5.6%時(shí)間2001.62001.112002.62002.112003.62003.112004.62004.11數(shù)量32438193149208289294比例6.4%8.6%16.2%18.6%29.8%41.6%57.8%58.8%時(shí)間2005.62005.112006.62006.11數(shù)量304361364361比例60.8%72.2%72.8%72.2%4整理ppt機(jī)群一種價(jià)格低廉、易于構(gòu)建、可擴(kuò)縮性極強(qiáng)的并行計(jì)算機(jī)系統(tǒng)。由多臺(tái)同構(gòu)或異構(gòu)的獨(dú)立計(jì)算機(jī)通過高性能網(wǎng)絡(luò)或局域網(wǎng)互連在一起，協(xié)同完成特定的并行計(jì)算任務(wù)。從用戶的角度來看，機(jī)群就是一個(gè)單一、集中的計(jì)算資源。9.1.1機(jī)群的根本概念和結(jié)構(gòu)9.1機(jī)群的根本概念和結(jié)構(gòu)5整理ppt一個(gè)簡單PC機(jī)群的邏輯結(jié)構(gòu)4臺(tái)PC機(jī)通過交換機(jī)連接在一起。NIC表示網(wǎng)絡(luò)接口，PCI表示I/O總線。這是一種無共享的結(jié)構(gòu)，大多數(shù)機(jī)群都采用這種結(jié)構(gòu)。如果將以下圖中的交換機(jī)換為共享磁盤，那么可以得到共享磁盤的機(jī)群系統(tǒng)結(jié)構(gòu)。6整理ppt一個(gè)包含4個(gè)結(jié)點(diǎn)的簡單PC機(jī)群7整理ppt構(gòu)成機(jī)群的每臺(tái)計(jì)算機(jī)都被稱為一個(gè)結(jié)點(diǎn)。每個(gè)結(jié)點(diǎn)都是一個(gè)完整的系統(tǒng)，擁有本地磁盤和操作系統(tǒng)，可以作為一個(gè)單獨(dú)的計(jì)算資源供用戶使用。除了PC機(jī)外，機(jī)群的結(jié)點(diǎn)還可以是工作站，甚至是規(guī)模較大的對(duì)稱多處理機(jī)。機(jī)群的各個(gè)結(jié)點(diǎn)一般通過商品化網(wǎng)絡(luò)連接在一起。網(wǎng)絡(luò)接口與結(jié)點(diǎn)的I/O總線以松散耦合的方式相連。

8整理ppt機(jī)群操作系統(tǒng)：在各結(jié)點(diǎn)的操作系統(tǒng)之上建立一層操作系統(tǒng)來管理整個(gè)機(jī)群。機(jī)群操作系統(tǒng)的功能提供硬件管理、資源共享以及網(wǎng)絡(luò)通信實(shí)現(xiàn)單一系統(tǒng)映象SingleSystemImage，SSI一項(xiàng)重要功能機(jī)群的一個(gè)重要特征9.1.2機(jī)群的軟件模型9整理pptSSI包含四重含義單一系統(tǒng)單一控制邏輯上，最終用戶或系統(tǒng)用戶使用的效勞都來自機(jī)群中唯一的位置。系統(tǒng)管理員通過一個(gè)唯一的控制點(diǎn)配置機(jī)群的所有軟、硬件組件。對(duì)稱性：用戶可以從任一個(gè)結(jié)點(diǎn)上獲得機(jī)群效勞。位置透明：用戶不必了解真正提供效勞的物理設(shè)備的具體位置。10整理ppt簡單機(jī)群系統(tǒng)中的SSI至少應(yīng)該提供以下三種效勞：單一登錄即用戶可以通過機(jī)群中的任何一個(gè)結(jié)點(diǎn)登錄，而且在整個(gè)作業(yè)執(zhí)行過程中只需登錄一次，不必因作業(yè)被分派到其他結(jié)點(diǎn)上執(zhí)行而重新登錄。單一文件系統(tǒng)在機(jī)群系統(tǒng)中，有一些對(duì)整個(gè)機(jī)群所有結(jié)點(diǎn)而言都相同的軟件，它們沒有必要在每一個(gè)結(jié)點(diǎn)上重復(fù)安裝。另外執(zhí)行并行作業(yè)時(shí)要求每個(gè)結(jié)點(diǎn)都可以訪問到可執(zhí)行文件，即這些軟件和可執(zhí)行文件在整個(gè)機(jī)群系統(tǒng)中應(yīng)該只有一個(gè)唯一的副本。11整理ppt單一作業(yè)管理系統(tǒng)用戶可以透明地從任一結(jié)點(diǎn)提交作業(yè)，作業(yè)可以以批處理、交互或并行的方式被調(diào)度執(zhí)行。PBS、LSF、Condor和JOSS都是目前比較具有代表性的作業(yè)管理系統(tǒng)。并行編程模型以及相關(guān)的并行編程環(huán)境比較流行的并行編程工具：MPI、PVM、OpenMP、HPF機(jī)群系統(tǒng)的軟件框架12整理ppt機(jī)群系統(tǒng)的軟件框架13整理ppt機(jī)群系統(tǒng)的優(yōu)點(diǎn):系統(tǒng)開發(fā)周期短結(jié)點(diǎn)采用商品化的PC機(jī)、工作站，通過商用網(wǎng)絡(luò)連接。系統(tǒng)開發(fā)的重點(diǎn)：通信子系統(tǒng)和并行編程環(huán)境可靠性高每個(gè)結(jié)點(diǎn)都是獨(dú)立的PC機(jī)或工作站可擴(kuò)縮性強(qiáng)機(jī)群的計(jì)算能力隨著結(jié)點(diǎn)數(shù)量的增加而增大機(jī)群結(jié)構(gòu)靈活〔結(jié)點(diǎn)之間以松耦合方式連接〕機(jī)群系統(tǒng)的硬件容易擴(kuò)充和替換，可以靈活配置。9.2機(jī)群的特點(diǎn)14整理ppt性能價(jià)格比高用戶編程方便機(jī)群的迅猛開展還得益于微處理器技術(shù)、網(wǎng)絡(luò)技術(shù)和并行程序設(shè)計(jì)技術(shù)的進(jìn)步。微處理器技術(shù)的進(jìn)步使得微處理器的性能不斷提高，價(jià)格不斷下降。機(jī)群系統(tǒng)更容易融和到已有的網(wǎng)絡(luò)系統(tǒng)中，而且隨著網(wǎng)絡(luò)技術(shù)的進(jìn)步和高性能通信協(xié)議的引入，機(jī)群結(jié)點(diǎn)間的通信帶寬進(jìn)一步提高，通信延遲進(jìn)一步縮短，逐步緩解了由于結(jié)點(diǎn)松散耦合引起的機(jī)群系統(tǒng)通信瓶頸問題。15整理ppt隨著PVM、MPI、HPF、OpenMP等并行編程模型的應(yīng)用與成熟，使得在機(jī)群系統(tǒng)上開發(fā)并行應(yīng)用更加方便。機(jī)群的缺乏之處由于機(jī)群由多臺(tái)完整的計(jì)算機(jī)組成，它的維護(hù)相當(dāng)于要同時(shí)去管理多個(gè)計(jì)算機(jī)系統(tǒng)，因此維護(hù)工作量較大，維護(hù)費(fèi)用也較高。16整理ppt根據(jù)組成機(jī)群的各個(gè)結(jié)點(diǎn)和網(wǎng)絡(luò)是否相同，分為：同構(gòu)、異構(gòu)根據(jù)結(jié)點(diǎn)是PC還是工作站，分為：PC機(jī)群、工作站機(jī)群以機(jī)群系統(tǒng)的使用目的為依據(jù)，分為：高可用性機(jī)群、負(fù)載均衡機(jī)群以及高性能機(jī)群〔最常用的分類方法〕9.3機(jī)群的分類17整理ppt高可用性機(jī)群主要目的：當(dāng)系統(tǒng)中某些結(jié)點(diǎn)出現(xiàn)故障的情況下，仍能繼續(xù)對(duì)外提供效勞。采用冗余機(jī)制當(dāng)系統(tǒng)中某個(gè)結(jié)點(diǎn)由于軟、硬件故障而失效時(shí)，該結(jié)點(diǎn)上的任務(wù)將在最短的時(shí)間內(nèi)被遷移到機(jī)群內(nèi)另一個(gè)具有相同功能與結(jié)構(gòu)的結(jié)點(diǎn)上繼續(xù)執(zhí)行。對(duì)于用戶而言，系統(tǒng)可以一直為其提供效勞。適用于Web效勞器、醫(yī)學(xué)監(jiān)測儀、銀行POS系統(tǒng)等要求持續(xù)提供效勞的應(yīng)用。18整理ppt負(fù)載均衡機(jī)群主要目的：提供與結(jié)點(diǎn)個(gè)數(shù)成正比的負(fù)載能力要求：機(jī)群能夠根據(jù)系統(tǒng)中各個(gè)結(jié)點(diǎn)的負(fù)載情況實(shí)時(shí)地進(jìn)行任務(wù)分配。專門設(shè)置了一個(gè)重要的監(jiān)控結(jié)點(diǎn)，負(fù)責(zé)監(jiān)控其余每個(gè)工作結(jié)點(diǎn)的負(fù)載和狀態(tài)，并根據(jù)監(jiān)控結(jié)果將任務(wù)分派到不同的結(jié)點(diǎn)上。適合大規(guī)模網(wǎng)絡(luò)應(yīng)用如Web效勞器或FTP效勞器、大工作量的串行或批處理作業(yè)〔如數(shù)據(jù)分析〕19整理ppt負(fù)載均衡機(jī)群適用于提供靜態(tài)數(shù)據(jù)的效勞；而高可用性機(jī)群既適用于提供靜態(tài)數(shù)據(jù)的效勞，又適用于提供動(dòng)態(tài)數(shù)據(jù)的效勞。高性能計(jì)算機(jī)群主要目的：降低高性能計(jì)算的本錢它通過高速的商用互連網(wǎng)絡(luò)，將數(shù)十臺(tái)乃至上千臺(tái)PC機(jī)或工作站連接在一起，可以提供接近甚至超過傳統(tǒng)并行計(jì)算機(jī)系統(tǒng)的計(jì)算能力，但其價(jià)格卻僅是具有相同計(jì)算能力的傳統(tǒng)并行計(jì)算機(jī)系統(tǒng)的幾十分之一。20整理ppt按照構(gòu)建方式將機(jī)群分為：〔一種比較常用的分類方法〕專用機(jī)群吞吐率較高，響應(yīng)時(shí)間較短。專用機(jī)群的結(jié)點(diǎn)往往是同構(gòu)的，一般采用集中控制，由一個(gè)〔或一組〕管理員統(tǒng)一管理，而且用戶一般需要通過一臺(tái)終端機(jī)來訪問它。企業(yè)機(jī)群各結(jié)點(diǎn)之間一般通過標(biāo)準(zhǔn)的LAN或WAN互連通信開銷較大、延遲較長企業(yè)機(jī)群的各個(gè)結(jié)點(diǎn)一般是異構(gòu)的21整理ppt美國加州大學(xué)Berkeley分校開發(fā)優(yōu)點(diǎn)：采用商用千兆以太網(wǎng)和主動(dòng)消息通信協(xié)議支持有效的通信。通過用戶級(jí)整合機(jī)群軟件GLUNIX提供單一系統(tǒng)映象、資源管理和可用性，開發(fā)了一種新的無效勞器網(wǎng)絡(luò)文件系統(tǒng)xFS，以支持可擴(kuò)縮性和單一文件層次的高可用性。9.4典型機(jī)群系統(tǒng)簡介9.4.1BerkeleyNOW22整理ppt主動(dòng)消息實(shí)現(xiàn)低開銷通信的一種異步通信機(jī)制根本思想在消息頭部控制信息中攜帶一個(gè)用戶級(jí)子例程〔稱作消息處理程序〕的地址。當(dāng)消息頭到達(dá)目的結(jié)點(diǎn)時(shí)，調(diào)用消息處理程序通過網(wǎng)絡(luò)獲取剩下的數(shù)據(jù)，并把它們集成到正在進(jìn)行的計(jì)算中。主動(dòng)消息相當(dāng)高效和靈活，以至于各種系統(tǒng)都逐漸地用它作為根本的通信機(jī)制。23整理pptGLUNIX

運(yùn)行在工作站標(biāo)準(zhǔn)UNIX上的一個(gè)軟件層，屬于自包含軟件。主要思想機(jī)群操作系統(tǒng)應(yīng)由底層和高層組成。其中底層是執(zhí)行在核模式下的結(jié)點(diǎn)商用操作系統(tǒng)，高層是能提供機(jī)群所需的一些功能的用戶級(jí)操作系統(tǒng)。特別地，這一軟件層能夠提供機(jī)群內(nèi)結(jié)點(diǎn)的單一系統(tǒng)映象，使得所有的處理器、存儲(chǔ)器、網(wǎng)絡(luò)容量和磁盤帶寬均可以被分配給串行和并行應(yīng)用。24整理ppt無效勞器文件系統(tǒng)xFS一個(gè)無效勞器的分布式文件系統(tǒng)。將文件效勞的功能分布到機(jī)群的所有結(jié)點(diǎn)上，以提供低延遲高帶寬的文件系統(tǒng)效勞功能。主要采用廉價(jià)冗余磁盤陣列、協(xié)同文件緩存和分布式管理等技術(shù)。25整理ppt目標(biāo)1GFlops的計(jì)算處理能力和10GB的存儲(chǔ)容量價(jià)格不能過高一個(gè)具有16個(gè)結(jié)點(diǎn)的機(jī)群〔ThomasSterling與DonBecker二人構(gòu)建〕硬件：Intel的DX4處理器以及10Mbps的以太網(wǎng)軟件：基于Linux系統(tǒng)以及其他一些GNU軟件9.4.2Beowulf26整理ppt將這個(gè)系統(tǒng)命名為Beowulf這種基于COTS〔CommodityOffTheShelf〕思想的技術(shù)也迅速由NASA傳播到其他科研機(jī)構(gòu)。這類機(jī)群被稱為Beowulf機(jī)群?！睟eowulfClassClusterComputers〕Beowulf并不是一套具體的軟件包或是一種新的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，它只是一種思想。在到達(dá)既定目標(biāo)的前提下，把注意力集中在獲取更高的性能價(jià)格比上。27整理ppt使用低本錢、小配置〔2～8個(gè)處理器〕的SMP來構(gòu)建機(jī)群系統(tǒng)逐漸成為主流。這種結(jié)構(gòu)的系統(tǒng)被統(tǒng)稱為CLUMPs〔CLUsterofMultiProcessors〕由于SMP結(jié)點(diǎn)內(nèi)部與SMP結(jié)點(diǎn)之間通信能力往往不一致，CLUMPs一般使用專門的通信協(xié)議和通信算法。9.4.3LAMP28整理pptLAMP〔LocalAreaMultiProcessor〕由NEC實(shí)驗(yàn)室構(gòu)建，基于PentiumProPC機(jī)、SMP機(jī)群共有16個(gè)結(jié)點(diǎn)每個(gè)結(jié)點(diǎn)包含兩個(gè)PentiumPro200MHz的CPU以及256MB內(nèi)存。操作系統(tǒng)使用了支持SMP的Linux2.0.34內(nèi)核版本，提供MPICH1.1.0并行程序開發(fā)環(huán)境。同一個(gè)SMP結(jié)點(diǎn)內(nèi)的兩個(gè)CPU之間采用基于共享存儲(chǔ)器的消息傳遞機(jī)制進(jìn)行通信，而結(jié)點(diǎn)間通信那么通過Myrinet完成。29整理ppt深藍(lán)：采用30個(gè)RS/6000工作站〔帶有專門設(shè)計(jì)的480片國際象棋芯片〕的IBMSP2機(jī)群異步的MIMD，具有分布式存儲(chǔ)器系統(tǒng)結(jié)構(gòu)。9.4.4IBMSP230整理ppt結(jié)點(diǎn)：一臺(tái)RS/6000工作站，帶有自己的存儲(chǔ)器和本地磁盤。結(jié)點(diǎn)中采用的處理器：一臺(tái)6流出的超標(biāo)量處理機(jī)每個(gè)時(shí)鐘周期可以執(zhí)行6條指令，包括2條讀數(shù)寫數(shù)指令，2條浮點(diǎn)乘或加指令，1條變址增量指令和1條分支指令。每個(gè)結(jié)點(diǎn)配有一套完整的AIX操作系統(tǒng)〔IBM的UNIX〕。結(jié)點(diǎn)間的互連網(wǎng)絡(luò)接口是松散耦合的，通過結(jié)點(diǎn)本身的I/O微通道〔MCC〕接到網(wǎng)絡(luò)上，而不是通過本身的存儲(chǔ)器總線。31整理pptSP2的結(jié)點(diǎn)數(shù)可以從2個(gè)到512個(gè)不等，除了每個(gè)結(jié)點(diǎn)采用RS/6000工作站外，整個(gè)SP2系統(tǒng)還需要配置另外一臺(tái)RS/6000工作站作為系統(tǒng)控制臺(tái)。SP2的結(jié)點(diǎn)可分為3類：寬結(jié)點(diǎn)、細(xì)結(jié)點(diǎn)、細(xì)2結(jié)點(diǎn)它們都有：1個(gè)指令Cache1個(gè)數(shù)據(jù)Cache1個(gè)分支指令和轉(zhuǎn)移控制部件2個(gè)整數(shù)部件2個(gè)浮點(diǎn)部件32整理ppt但它們?cè)诖鎯?chǔ)器容量、數(shù)據(jù)寬度和I/O總線插槽個(gè)數(shù)上有所不同。例如：在存儲(chǔ)器容量方面寬結(jié)點(diǎn)：64～2048M