1、計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)中多處理機(jī)技術(shù)摘要：多處理機(jī)通過(guò)共享的主存或輸入/輸出子系統(tǒng)或高速通信網(wǎng)絡(luò)進(jìn)行通信。利用多臺(tái)處理機(jī)進(jìn)行多任務(wù)處理，協(xié)同求解一個(gè)大而復(fù)雜的問(wèn)題來(lái)提高速度，或者依靠冗余的處理機(jī)及其重組能力來(lái)提高系統(tǒng)的可靠性、適應(yīng)性和可用行。該文介紹了微處理器的發(fā)展、多處理機(jī)的總線以及處理機(jī)系統(tǒng)中通信和存儲(chǔ)技術(shù)的發(fā)展和兩種特殊的多處理機(jī)系統(tǒng)結(jié)構(gòu)。關(guān)鍵詞：多處理機(jī)；體系結(jié)構(gòu)；總線微電子技術(shù)和封裝技術(shù)的進(jìn)步，使得高性能的VLSI 微處理器得以大批量生產(chǎn)，性能價(jià)格比不斷合理，這為并行多處理機(jī)的發(fā)展奠定了重要的物質(zhì)基礎(chǔ)。計(jì)算機(jī)系統(tǒng)性能增長(zhǎng)的根本因素有兩個(gè)：一是微電子技術(shù)，另一個(gè)是計(jì)算機(jī)體系結(jié)構(gòu)技術(shù)。五十年代以

2、來(lái)，人們先后采用了先行控制技術(shù)、流水線技術(shù)、增加功能部件甚至多機(jī)技術(shù)、存儲(chǔ)尋址和管理能力的擴(kuò)充、功能分布的強(qiáng)化、各種互聯(lián)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)以及支持多道、多任務(wù)的軟件技術(shù)等一系列并行處理技術(shù)，提高計(jì)算機(jī)處理速度，增強(qiáng)系統(tǒng)性能。多處理機(jī)體系結(jié)構(gòu)是計(jì)算機(jī)體系結(jié)構(gòu)發(fā)展中的一個(gè)重要內(nèi)容，已成為并行計(jì)算機(jī)發(fā)展中人們最關(guān)注的結(jié)構(gòu)。1 微處理器的發(fā)展20 世紀(jì)80 年代中期，RISC 精簡(jiǎn)指令集計(jì)算機(jī)，用20%指令的組合實(shí)現(xiàn)了CISC 計(jì)算機(jī)指令系統(tǒng)不常用的80%指令的功能。在提高性能方面，RISC 采用了超級(jí)流水線、超級(jí)標(biāo)量、超長(zhǎng)指令字并行處理結(jié)構(gòu)；多級(jí)指令Cache；編譯優(yōu)化等技術(shù)，充分利用RISC 的內(nèi)部資

3、源，發(fā)揮其內(nèi)部操作的并行性，從而提高流水線的執(zhí)行效率。20 世紀(jì)80 年代后期，RISC 處理機(jī)的性能指標(biāo)幾乎以每年翻一番的速度發(fā)展，它對(duì)于提高計(jì)算機(jī)系統(tǒng)的性能和應(yīng)用水平起著巨大的作用。目前， 由Intel 和HP 兩家公司聯(lián)合開發(fā)的基于IA64 架構(gòu)的Merced 芯片， 并由其共同定義的顯式并行指令計(jì)算技術(shù)EPIC(Explicitly Parallel Instruction Computing )，將為微處理器技術(shù)的發(fā)展帶來(lái)突破性進(jìn)展。EPIC 技術(shù)主要指編譯器在微處理器執(zhí)行指令之前就對(duì)整個(gè)程序的代碼作出優(yōu)化安排，編譯器分析指令間的依賴關(guān)系，將沒(méi)有依賴關(guān)系的指令(最多3 個(gè))組成一“組

4、”，由Merced內(nèi)置的執(zhí)行單元讀入被分成組的指令群并執(zhí)行。從理論上講，EPIC 可以并行執(zhí)行3 倍于執(zhí)行單元數(shù)的指令。64 位體系結(jié)構(gòu)的Merced 芯片還采用了指令預(yù)測(cè)、數(shù)據(jù)預(yù)裝等技術(shù)，可以顯著地減少實(shí)際執(zhí)行程序的長(zhǎng)度，同時(shí)增強(qiáng)語(yǔ)句執(zhí)行的并行性，經(jīng)過(guò)代碼的重組，程序的執(zhí)行時(shí)間比基于傳統(tǒng)體系結(jié)構(gòu)的微處理器幾乎減少了一半；更加不同凡響的是，可以消除分支預(yù)測(cè)錯(cuò)誤的三分之二。IA64 微處理器具有128 個(gè)通用寄存器以及128 個(gè)浮點(diǎn)寄存器，而目前基于RISC 的微處理器通常只有32 個(gè)寄存器。它還具有更為豐富的與大量寄存器相連的附屬功能部件，使得其應(yīng)用更為廣泛，同時(shí)內(nèi)部各功能部件之間的可伸縮性擴(kuò)

5、展了機(jī)器的“寬度”， 提高了系統(tǒng)的性能。容量更大的Cache 以及更多的讀寫端口， 使得基于IA64 微處理器的速度不再受到存儲(chǔ)延遲的限制。EPIC 設(shè)計(jì)的Merced 芯片可并行處理十幾個(gè)運(yùn)算，而當(dāng)今最優(yōu)秀的芯片也只能并行處理4 個(gè)運(yùn)算操作。EPIC 芯片用并行方式執(zhí)行任務(wù)而不用順序執(zhí)行，這將使其速度比現(xiàn)在的CISC 和RISC 芯片至少快兩倍。只有0.18 微米微小距離的跡線間寬度也使芯片時(shí)鐘能夠達(dá)到900MHZ。使用EPIC 設(shè)計(jì)的Merced 是第一個(gè)被分為三部分的芯片：一部分運(yùn)行CISC，另一部分運(yùn)行RISC，第三部分運(yùn)行EPIC。把三種體系結(jié)合于一塊芯片意味著現(xiàn)存的應(yīng)用程序?qū)⑷匀豢?/p>

6、以運(yùn)行在基于新芯片的服務(wù)器上。2 多處理機(jī)的總線目前，在多處理機(jī)系統(tǒng)中有兩種主要的連接方式：一種是共享存貯器的的多處理機(jī)系統(tǒng)，另一種是消息傳遞的分布式多處理機(jī)系統(tǒng)。由于專用信號(hào)處理系統(tǒng)一般要求結(jié)構(gòu)緊湊，在滿足實(shí)時(shí)性要求的前提下，對(duì)系統(tǒng)資源的利用率要求放在比較次要的位置上，故其操作系統(tǒng)簡(jiǎn)單實(shí)用，不具備消息傳遞的多處理機(jī)系統(tǒng)中的復(fù)雜的消息尋徑能力；另外，由于信號(hào)處理場(chǎng)合的大計(jì)算量要求，系統(tǒng)內(nèi)處理機(jī)比較多，單純的共享總線結(jié)構(gòu)效率不高。因此，共享總線結(jié)構(gòu)和分布式結(jié)構(gòu)相結(jié)合是一種發(fā)展趨勢(shì)。大多數(shù)多處理機(jī)系統(tǒng)的互連結(jié)構(gòu)可歸結(jié)為共享總線系統(tǒng)結(jié)構(gòu)，共享總線系統(tǒng)結(jié)構(gòu)為傳統(tǒng)多處理系統(tǒng)的互連形式，由于沒(méi)有通信口，處

7、理機(jī)之間交換數(shù)據(jù)必須通過(guò)共享存貯器，其處理效率隨著處理機(jī)數(shù)目增加而下降。3 通信的發(fā)展由于通信通常在芯片的外部實(shí)現(xiàn)，其速度遠(yuǎn)低于芯片內(nèi)部的計(jì)算速度，因而通信往往成為并行多處理機(jī)系統(tǒng)發(fā)展的瓶頸。通信網(wǎng)絡(luò)中，總線結(jié)構(gòu)最簡(jiǎn)單，節(jié)點(diǎn)機(jī)數(shù)目較大時(shí)，總線上的通信趨于飽和，成為并行機(jī)發(fā)展的瓶頸。采用開關(guān)網(wǎng)絡(luò)來(lái)取代總線可以增加通信通路的數(shù)目，消除通信瓶頸。交叉開關(guān)可以提供任意源節(jié)點(diǎn)到任一目的節(jié)點(diǎn)的通路，但硬件成本高。N 個(gè)部件互聯(lián)需要O(N2)交叉點(diǎn)的開關(guān)，當(dāng)N100 時(shí)，成本之高是驚人的。折衷的辦法是采用多級(jí)開關(guān)，適當(dāng)減少互連通路以降低成本，但通信性能也會(huì)隨之下降。消息傳遞是一種有效的通信方法。消息格式的改

8、進(jìn)使多計(jì)算機(jī)的尋徑由存儲(chǔ)轉(zhuǎn)發(fā)方式演進(jìn)為蟲蝕方式。第一臺(tái)多計(jì)算機(jī)系統(tǒng)采用的是存儲(chǔ)轉(zhuǎn)發(fā)(store and forword)尋徑方式。在存儲(chǔ)轉(zhuǎn)發(fā)網(wǎng)絡(luò)中，包是信息流的基本單位，每個(gè)節(jié)點(diǎn)有一個(gè)包緩沖區(qū)，包從源節(jié)點(diǎn)經(jīng)過(guò)一系列中間節(jié)點(diǎn)到達(dá)目的節(jié)點(diǎn)。包交換的尋徑方式以其較高的傳輸帶寬和較低的平均傳輸時(shí)延，更適合于具有動(dòng)態(tài)和突發(fā)特性的MMP 系統(tǒng)的數(shù)據(jù)傳送。目前的一些多計(jì)算機(jī)系統(tǒng)多采用虛擬直通的尋徑方式。其思想是：為了減少時(shí)延，沒(méi)有必要等到整個(gè)消息全部緩沖后再作路由選擇，只要接受到用作尋徑的消息頭部即可判斷。其通信時(shí)延與節(jié)點(diǎn)無(wú)關(guān)，這對(duì)于存儲(chǔ)轉(zhuǎn)發(fā)的尋徑方式來(lái)說(shuō)是一個(gè)非常大的改進(jìn)。然而，當(dāng)出現(xiàn)尋徑阻塞時(shí)，虛擬直通

9、方式只有將整個(gè)消息全部存儲(chǔ)在尋徑節(jié)點(diǎn)中，直到尋徑通道不阻塞時(shí)才能將消息發(fā)出，這就需要每個(gè)尋徑節(jié)點(diǎn)都有足夠的緩沖區(qū)來(lái)存儲(chǔ)可能出現(xiàn)的最大的信息包，在這一點(diǎn)上，虛擬直通方式與存儲(chǔ)轉(zhuǎn)發(fā)的尋徑方式是一樣的，同樣不利于VLSI 的實(shí)現(xiàn)。因此，虛擬直通方式在最壞的情況下與存儲(chǔ)轉(zhuǎn)發(fā)方式的通信時(shí)延是一樣的。新型的多計(jì)算機(jī)系統(tǒng)采用的是蟲蝕尋徑方式，它克服了上述的缺點(diǎn)。包被進(jìn)一步分成更小的片，每個(gè)片相當(dāng)于蟲的一個(gè)節(jié)，“蠕動(dòng)”是以節(jié)為單位順序地向前爬行。只有頭片知道包發(fā)往何處，所有數(shù)據(jù)片必須跟著頭片。不同的包可交替地傳送，但不同包的片不能交叉，否則它們可能被送到錯(cuò)誤的目的地。每個(gè)消息中的片以流水方式在網(wǎng)絡(luò)中向前“蠕動(dòng)

10、”。當(dāng)消息的頭片到達(dá)一個(gè)節(jié)點(diǎn)A 的尋徑器后，尋徑器根據(jù)頭片的尋徑消息立即作出路由選擇?？梢钥闯?，蟲蝕尋徑有以下優(yōu)點(diǎn)：每個(gè)節(jié)點(diǎn)的緩沖區(qū)較小，易于VLSI 實(shí)現(xiàn)；較低的網(wǎng)絡(luò)傳輸時(shí)延，所有的片以流水方式向前傳輸，采用了時(shí)間并行性，網(wǎng)絡(luò)時(shí)延正比于消息包的長(zhǎng)度，傳輸距離對(duì)于它的影響很小；通道共享性好，利用率高，對(duì)通道的預(yù)約和釋放是結(jié)合在一起的一個(gè)完整的過(guò)程，有一段新的通道后立即放棄用過(guò)的一段舊通道；易于實(shí)現(xiàn)選播廣播通信方式等。蟲蝕尋徑通信技術(shù)作為一種新型的消息通信方式，具有很好的應(yīng)用前景。4 存儲(chǔ)技術(shù)的發(fā)展與古典的馮諾依曼計(jì)算機(jī)以運(yùn)算器為中心不同，現(xiàn)代計(jì)算機(jī)系統(tǒng)以存儲(chǔ)器為中心。存儲(chǔ)技術(shù)的發(fā)展在很大程度上

11、影響著多處理機(jī)系統(tǒng)結(jié)構(gòu)的發(fā)展。Cache、主存、磁盤這三個(gè)存儲(chǔ)器可以分別構(gòu)成“Cache主存”和“主存磁盤”兩個(gè)存儲(chǔ)系統(tǒng)，也可以構(gòu)成一個(gè)“Cache主存磁盤”存儲(chǔ)系統(tǒng)?！癈ache主存”和“主存磁盤”組成的兩個(gè)存儲(chǔ)系統(tǒng)組織方式是指：當(dāng)CPU 要訪問(wèn)存儲(chǔ)器時(shí)，給出一個(gè)虛擬地址，由存儲(chǔ)管理部件MMU(Memory Management Unit)中的地址部件把CPU 發(fā)出的虛擬地址變換成主存物理地址，然后用主存物理地址訪問(wèn)Cache。如果要訪問(wèn)的數(shù)據(jù)和指令在Cache 中被找到，則Cache 命中，否則發(fā)出Cache 塊失效，用這個(gè)物理地址訪問(wèn)主存儲(chǔ)器，取出一塊數(shù)據(jù)和指令裝入Cache，也把CPU

12、 所需要的數(shù)據(jù)和指令送往CPU?！癮che主存磁盤”組成的存儲(chǔ)系統(tǒng)組織方式是指：當(dāng)CPU 要訪問(wèn)存儲(chǔ)器時(shí)，把虛擬地址直接送往存儲(chǔ)管理部件Cache。Cache能直接接受虛擬地址的訪問(wèn)，把CPU 所需的數(shù)據(jù)和指令找出來(lái)。如果Cache 發(fā)生塊失效，則用經(jīng)過(guò)MMU 變換得到的主存物理地址訪問(wèn)主存儲(chǔ)器，把讀出的一塊數(shù)據(jù)和指令裝入Cache，同時(shí)也把CPU 所需的數(shù)據(jù)和指令送入CPU。全Cache 存儲(chǔ)系統(tǒng)是一種新型系統(tǒng)，就是不用主存，只用Cache 和輔存兩種存儲(chǔ)器構(gòu)成“Cache輔存”存儲(chǔ)系統(tǒng)。這種系統(tǒng)的等效訪問(wèn)周期與Cache 很接近，等效存儲(chǔ)容量就是虛擬地址空間的容量。5 大規(guī)模并行處理機(jī)系統(tǒng)

13、MPP和群機(jī)并行系統(tǒng)MPP 是一種由成百上千乃至上萬(wàn)個(gè)微處理器所組成的、基于分布式存儲(chǔ)的大規(guī)模并行處理系統(tǒng)。其體系結(jié)構(gòu)發(fā)展特點(diǎn)是：節(jié)點(diǎn)機(jī)型選用通用高性能RISC 微處理器芯片，它具有VLSI 硅片、坤化鎵技術(shù)、高密度組裝和光技術(shù)。一般均在節(jié)點(diǎn)上設(shè)計(jì)一個(gè)功能較強(qiáng)的通信處理機(jī)構(gòu)，盡量減輕處理器的通信開銷，有的甚至在節(jié)點(diǎn)上增設(shè)一個(gè)處理器作為通信處理機(jī)。MPP 系統(tǒng)采用分布式存儲(chǔ)方式使系統(tǒng)容易擴(kuò)充，但由于每個(gè)處理機(jī)不能直接訪問(wèn)非本地存儲(chǔ)器而采用消息傳遞方式來(lái)解決這一問(wèn)題，這使得編程困難且通信開銷增大，因而廣泛使用虛擬共享存儲(chǔ)技術(shù)。這是在基于分布存儲(chǔ)器的多處理機(jī)上，實(shí)現(xiàn)物理上分布但邏輯上共享的存儲(chǔ)系統(tǒng)。

14、其思想是：將物理上分散的各個(gè)處理機(jī)使用的局部存儲(chǔ)器，在邏輯上加以統(tǒng)一編址，形成一個(gè)統(tǒng)一的虛擬地址空間來(lái)實(shí)現(xiàn)存儲(chǔ)器的共享。每個(gè)處理機(jī)可以訪問(wèn)全局存儲(chǔ)器的任一位置，用戶可以把它當(dāng)成全局共享存儲(chǔ)系統(tǒng)。虛擬共享存儲(chǔ)系統(tǒng)的優(yōu)點(diǎn)有：編程容易，系統(tǒng)結(jié)構(gòu)靈活，可擴(kuò)充性好，有較好的軟件移植性等。MPP 系統(tǒng)采用高速互聯(lián)網(wǎng)的拓?fù)浣Y(jié)構(gòu)由初期的超立方體轉(zhuǎn)向三維網(wǎng)、多級(jí)互聯(lián)網(wǎng)和交叉開關(guān)。近幾年來(lái)，隨著通信網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，使分布式計(jì)算機(jī)專用互聯(lián)網(wǎng)有逐漸轉(zhuǎn)向標(biāo)準(zhǔn)通信網(wǎng)絡(luò)的趨勢(shì)。ATM 技術(shù)是適合于B-ISDN 的標(biāo)準(zhǔn)通信協(xié)議，利用ATM網(wǎng)可將各種類型的計(jì)算機(jī)連接成分布式并行計(jì)算機(jī)系統(tǒng)。群機(jī)系統(tǒng)是利用高速通信網(wǎng)絡(luò)將一組工

15、作站、服務(wù)器、小型機(jī)甚至巨型機(jī)或MMP 系統(tǒng)連接起來(lái)，在并行程序設(shè)計(jì)及可視化人機(jī)交互集成環(huán)境(如PVM、EXPRESS 等)支持下，統(tǒng)一調(diào)度，協(xié)調(diào)處理，實(shí)現(xiàn)高效并行處理的系統(tǒng)。從結(jié)構(gòu)和節(jié)點(diǎn)間的通信方式來(lái)看，群機(jī)系統(tǒng)也屬于分布式存儲(chǔ)系統(tǒng)，主要利用消息傳遞方式實(shí)現(xiàn)各節(jié)點(diǎn)間的通信。目前已實(shí)現(xiàn)和正在研究中的群機(jī)系統(tǒng)大多采用現(xiàn)有商用工作站/PC 和通用LAN 網(wǎng)絡(luò)， 而且大多數(shù)群機(jī)系統(tǒng)的并行編程環(huán)境也建立在一般的UNIX 操作系統(tǒng)之上，這樣系統(tǒng)開發(fā)的重點(diǎn)在通信和并行編程環(huán)境上，既不用重新研制計(jì)算機(jī)節(jié)點(diǎn)，又不用重新設(shè)計(jì)操作系統(tǒng)和編譯系統(tǒng)，可以縮短開發(fā)周期、減少系統(tǒng)的開發(fā)與維護(hù)費(fèi)用，還可以利用最新的微處理器

16、技術(shù)，使得節(jié)點(diǎn)機(jī)性能保持與處理器發(fā)展的同步，而且節(jié)點(diǎn)機(jī)系統(tǒng)管理相對(duì)容易，可靠性高。網(wǎng)絡(luò)技術(shù)的進(jìn)步使得松耦合系統(tǒng)的通信瓶頸逐步得到緩解。網(wǎng)絡(luò)傳輸速度的提高，有效地提高了應(yīng)用程序間的通信帶寬，使得許多高速局域網(wǎng)與MPP 中專用互聯(lián)網(wǎng)絡(luò)的性能相當(dāng)。群機(jī)系統(tǒng)擴(kuò)展容易，對(duì)大多數(shù)中、粗粒度的并行應(yīng)用都有較高的效率，而價(jià)格相對(duì)于傳統(tǒng)巨型機(jī)或MPP 系統(tǒng)的價(jià)格要低。但與MPP 系統(tǒng)相比，主要的缺點(diǎn)是：群機(jī)系統(tǒng)的通信延遲大，并行處理的粒度大。6 小結(jié)由于微處理器新體系結(jié)構(gòu)的發(fā)展，將會(huì)出現(xiàn)在一片芯片上集成多個(gè)處理器的微處理器，因此，多處理機(jī)系統(tǒng)的節(jié)點(diǎn)本身將成為一個(gè)緊耦合多處理系統(tǒng)，然后再通過(guò)某種互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)松耦合的MPP 系統(tǒng)或群機(jī)系統(tǒng)。網(wǎng)絡(luò)技術(shù)的進(jìn)步使得松散耦合系統(tǒng)的通信瓶頸逐步得到緩解，開關(guān)技術(shù)的發(fā)展則大幅度的降低了傳輸延遲。互連技術(shù)，新的器件和算法，特別是光互連技術(shù)在并行系統(tǒng)中的應(yīng)用，將使并行系統(tǒng)中的通信開銷非常小，以至在設(shè)計(jì)并行程序時(shí)不必考慮節(jié)點(diǎn)空間的距離和系統(tǒng)的拓?fù)浣Y(jié)構(gòu)。隨著人們進(jìn)一步開發(fā)新的微處理器芯片，探索更加靈活、能適應(yīng)更多應(yīng)用的互聯(lián)網(wǎng)絡(luò)，發(fā)展新的存儲(chǔ)方式，使I/O 性能與整個(gè)計(jì)算機(jī)能力保持平衡，MPP、群機(jī)