1、基于數(shù)據(jù)分組方法的數(shù)據(jù)倉庫并行預(yù)計算和查詢一論文關(guān)鍵詞：數(shù)據(jù)倉庫并行計算消息傳遞接口商立方體論文摘要：目前很多數(shù)據(jù)倉庫的原始數(shù)據(jù)量已經(jīng)超過了t字節(jié)級，在單處理機(jī)機(jī)器上運(yùn)行數(shù)據(jù)量如此龐大的數(shù)據(jù)倉庫是非常困難。因此，并行計算技術(shù)對于數(shù)據(jù)倉庫技術(shù)的介入是無法防止的，并行計算技術(shù)為進(jìn)步運(yùn)算才能和存儲才能這影響數(shù)據(jù)倉庫性能的兩大重要因素提供了技術(shù)基矗本文詳細(xì)介紹了基于數(shù)據(jù)分組方法的數(shù)據(jù)倉庫并行預(yù)計算和查詢的方法，其主要思想是將數(shù)據(jù)倉庫基表中的數(shù)據(jù)進(jìn)展分割，分發(fā)到各臺計算機(jī)上后，并行地對數(shù)據(jù)進(jìn)展預(yù)計算，并根據(jù)預(yù)計算完成后，立方體數(shù)據(jù)存儲的分布性，并行地進(jìn)展查詢。本文首先介紹了數(shù)據(jù)倉庫和并行計算的根本概念，

2、并根據(jù)商立方體的特點(diǎn)提出了基于數(shù)據(jù)分組方法的數(shù)據(jù)倉庫并行預(yù)計算和查詢的方法。本文對該方法的詳細(xì)實(shí)現(xiàn)進(jìn)展了描繪，并分析了在刀片效勞器上運(yùn)行后得到的各項結(jié)果?；跀?shù)據(jù)分組方法的數(shù)據(jù)倉庫預(yù)計算和查詢方法的并行策略相對較簡單，但在現(xiàn)實(shí)應(yīng)用中，通過實(shí)驗(yàn)觀察和對實(shí)驗(yàn)數(shù)據(jù)的分析，證明了這種方法是可行的，數(shù)據(jù)倉庫的預(yù)計算性能于查詢性能都得到了令人滿意的進(jìn)步。第一章緒論隨著計算機(jī)應(yīng)用的普及，人們的社會活動已經(jīng)越來越多地依賴于計算機(jī)的使用。人類的各種社會活動，例如商品交易、科學(xué)實(shí)驗(yàn)都產(chǎn)生了宏大的數(shù)據(jù)量。這些常年累月積累下來的數(shù)據(jù)量極為宏大，雖然看似雜亂無章，但是里面卻隱含著社會科學(xué)和自然科學(xué)的各種規(guī)律。如何更好地

3、去利用這些數(shù)據(jù)，從數(shù)據(jù)中尋找出這些規(guī)律來造福社會，是人們面臨的另一個重要問題。傳統(tǒng)的信息處理方式，如數(shù)據(jù)庫，是以單一的數(shù)據(jù)為中心的事務(wù)處理，它可以讓人們在可以承受的時間范圍內(nèi)完成對數(shù)據(jù)的各種事務(wù)操作，但是對于開掘數(shù)據(jù)中的規(guī)律卻是無能為力。為此人們創(chuàng)造了很多新的計算機(jī)技術(shù)從這些數(shù)據(jù)中尋找出其隱含的規(guī)律，數(shù)據(jù)倉庫便是其中的一種。為了更好、更快速地執(zhí)行用戶對數(shù)據(jù)倉庫的查詢，需要對原始數(shù)據(jù)集進(jìn)展預(yù)計算。預(yù)計算就是將人們會在查詢中希望得到的，將很多記錄按照其某項屬性進(jìn)展某種聚集操作和、最大、最小等等后的結(jié)果，進(jìn)展預(yù)先的計算處理。這樣便可以進(jìn)步查詢的響應(yīng)速度，減少響應(yīng)時間，進(jìn)步人們數(shù)據(jù)倉庫的利用效率。由于

4、預(yù)計算所產(chǎn)生的數(shù)據(jù)集合必須考慮到每條記錄的聚合，所以產(chǎn)生的數(shù)據(jù)量是原始數(shù)據(jù)集的數(shù)百倍甚至千倍。人們對于預(yù)計算的計算量要求也是宏大的。目前很多數(shù)據(jù)倉庫的原始數(shù)據(jù)量已經(jīng)超過了tb級，在單臺機(jī)器上是根本支持不了數(shù)據(jù)量如此龐大的數(shù)據(jù)倉庫，因此，并行計算技術(shù)的介入是無法防止的，它為進(jìn)步運(yùn)算才能和存儲才能這兩大重要因素提供了技術(shù)基矗并行計算是唯一可以處理這么大量信息的計算技術(shù)。本文將研究如何把并行計算技術(shù)引入到數(shù)據(jù)倉庫的預(yù)計算和查詢中，并通過實(shí)驗(yàn)來支持這種做法的有效性。希望可以為數(shù)據(jù)倉庫的并行處理技術(shù)提供一種新的思路。1.1目的本文的研究目的是提出一種數(shù)據(jù)倉庫并行處理技術(shù)，它使用pi實(shí)現(xiàn)，可以在多種平臺上

5、運(yùn)行，能有效地實(shí)現(xiàn)立方體預(yù)計算加速以及查詢加速。1.2本文安排本文的余下部分將如下安排：第二章是介紹本文研究的相關(guān)背景，將描繪本文中涉及的關(guān)于數(shù)據(jù)倉庫和并行計算的概念。第三章概括性地介紹了pi，包括pi標(biāo)準(zhǔn)開展史，pi編程中經(jīng)常使用到的點(diǎn)對點(diǎn)通信原語和通信形式以及pi程序的根本構(gòu)造。第四章將介紹商立方體提出的目的，商立方體的特性，預(yù)計算算法以及查詢算法。第五章描繪了基于數(shù)據(jù)分組方法的數(shù)據(jù)倉庫并行預(yù)計算和查詢方法的根本思路與實(shí)現(xiàn)步驟，并對該方法的正確性做了初步的證明。第六章詳細(xì)描繪了并行預(yù)計算程序和并行查詢程序的詳細(xì)實(shí)現(xiàn)與工作流程。第七章通過實(shí)驗(yàn)測量的數(shù)據(jù)來說明本文提出方法的有效性和對于預(yù)計算和

6、查詢性能的進(jìn)步。第八章對本文的工作進(jìn)展了總結(jié)，說明了本文的主要成果和存在的缺乏，并為進(jìn)一步的工作進(jìn)展了展望。第二章背景自計算機(jī)創(chuàng)造后，人類文明進(jìn)入了一個前所未有的高速開展階段。計算機(jī)技術(shù)的應(yīng)用縮短了許多新技術(shù)的研發(fā)周期，新技術(shù)往往意味著更高的消費(fèi)力、更好的產(chǎn)品和更低的本錢。計算機(jī)自身也得益于這些新技術(shù)，越來越多的商業(yè)公司和個人可以負(fù)擔(dān)得起計算機(jī)的使用費(fèi)用，計算機(jī)逐漸普及。隨著計算機(jī)技術(shù)應(yīng)用的廣泛性日益增加、性能不斷地進(jìn)步，加上互聯(lián)網(wǎng)等革命性技術(shù)的出現(xiàn)，人們開場進(jìn)入信息化社會，信息已經(jīng)成為人類社會不可或缺的重要資源。社會信息化使得社會活動如：商業(yè)交易，科學(xué)實(shí)驗(yàn)，數(shù)據(jù)統(tǒng)計等所產(chǎn)生的數(shù)據(jù)急劇地增長，

7、而在這些數(shù)量宏大，看似雜亂無章的數(shù)據(jù)中，隱藏著社會活動和自然科學(xué)的規(guī)律。例如人們的購置習(xí)慣、dna的作用。分析數(shù)據(jù)，學(xué)習(xí)其中的規(guī)律成了人們迫切的目的。但是，數(shù)據(jù)的數(shù)量級已經(jīng)遠(yuǎn)遠(yuǎn)地超過了人腦所能處理的范圍，因此，人們只能將希望寄托在計算機(jī)上。2.1數(shù)據(jù)倉庫面對爆炸性膨脹的數(shù)據(jù)和不斷提升的應(yīng)用要求，數(shù)據(jù)庫技術(shù)也在不斷地進(jìn)步著數(shù)據(jù)庫應(yīng)用的作用和價值。傳統(tǒng)的數(shù)據(jù)庫技術(shù)主要擅長于提供以數(shù)據(jù)為中心，通過數(shù)據(jù)庫對一個或一組數(shù)據(jù)記錄進(jìn)展查詢和修改等的面向詳細(xì)、特定應(yīng)用的效勞，它可以滿足響應(yīng)時間、數(shù)據(jù)可靠性和完好性等方面的要求。這些傳統(tǒng)的事務(wù)處理系統(tǒng)已經(jīng)比擬成熟，在企業(yè)和組織中應(yīng)用也非常普遍，隨著各種組織的日常

8、事務(wù)處理的信息化，數(shù)據(jù)分析和決策支持應(yīng)用成了必然的趨勢。如何有效地利用歷史數(shù)據(jù)為決策分析做支持，是近年來數(shù)據(jù)處理研究領(lǐng)域的熱點(diǎn)。對數(shù)據(jù)進(jìn)展分析處理的要求使得傳統(tǒng)的數(shù)據(jù)庫技術(shù)不能滿足要求，為理解決這個問題，innin02提出了數(shù)據(jù)倉庫的概念。他對于數(shù)據(jù)倉庫是這樣定義的：數(shù)據(jù)倉庫就是一個用以更好地支持企業(yè)或組織的決策分析處理、面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合。數(shù)據(jù)倉庫有以下特點(diǎn)：面向主題subjet-riented：數(shù)據(jù)倉庫中的數(shù)據(jù)是面向主題進(jìn)展組織的。集成integrated：數(shù)據(jù)倉庫中通常集成了多個異質(zhì)數(shù)據(jù)源的數(shù)據(jù)。在集成過程中，需要對數(shù)據(jù)進(jìn)展清洗、轉(zhuǎn)換以保證數(shù)據(jù)的一致

9、性。穩(wěn)定nnvlatile：數(shù)據(jù)倉庫中的數(shù)據(jù)是反映一段相對長時間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同時間數(shù)據(jù)庫快照的集合，以及基于這種快照進(jìn)展統(tǒng)計、綜合和重組的導(dǎo)出數(shù)據(jù)。所設(shè)計的操作主要是數(shù)據(jù)查詢，一般不會進(jìn)展修改操作。隨時間變化tie-variant：數(shù)據(jù)倉庫隨時間變化不斷增加新的內(nèi)容，刪去舊的內(nèi)容。數(shù)據(jù)倉庫技術(shù)在過去的一段時間內(nèi)開展迅速，已經(jīng)成功地應(yīng)用到電信、銀行、保險等行業(yè)。隨著企業(yè)信息化的不斷深化，這種開展還會持續(xù)。2.1.1聯(lián)機(jī)分析處理與數(shù)據(jù)立方體為了讓決策支持人員更好地去分析處理數(shù)據(jù)倉庫中的海量數(shù)據(jù)，e.dd于1993年提出了聯(lián)機(jī)分析處理lap:n-lineanalytialpressing的

10、概念s93a,s93b。lap工具通過對信息的多個角度維進(jìn)展快速、一致、穩(wěn)定的交互訪問，決策支持人員可以深化地進(jìn)展觀察。lap工具是為了滿足更高效地進(jìn)展多維分析的需求而產(chǎn)生的，其主要功能是根據(jù)用戶所選擇的分析角度，事先計算好一些輔助構(gòu)造，以便在查詢對可以抽取到所需要的記錄。lap系統(tǒng)中的數(shù)據(jù)通常會以一個多維的構(gòu)造模型表現(xiàn)出來。表2.1是一個簡單的銷售數(shù)據(jù)倉庫的基表basetable，基表中的一條記錄稱為元組tuple，該基表中一條元組有三個屬性：時間、產(chǎn)品名稱和地點(diǎn)，在這里被稱為維度diensin，這些維用來表示和區(qū)分開不同的數(shù)據(jù)。銷量屬性是一個數(shù)值類型的度量值easure，是人們想要去分析的

11、數(shù)據(jù)。維度通常也會分層次hierarhy，例如時間維度可能會分為年、月、日、季度等層次。地點(diǎn)產(chǎn)品名稱時間銷量廣州(gz)籃球(b)2022.5(1)20廣州(gz)足球(f)2022.6(2)15深圳(sz)籃球(b)2022.5(1)25表2.1銷售數(shù)據(jù)倉庫的基表數(shù)據(jù)立方體dataube是由gray等人提出gb+97。它是對所有維度的所有可能結(jié)合，根據(jù)不同聚集粒度進(jìn)展grup-by操作而產(chǎn)生的一個概括化數(shù)據(jù)集合。每一個grup-by操作都與一個單元ells的集合相關(guān)聯(lián)，數(shù)據(jù)立方體關(guān)于表2.1的所有單元都在表2.2中列出，在表中，“*表示在這一維度中，它可以匹配到這個維度值域中的任何一個值。上

12、卷rll-up和下鉆drill-dn是數(shù)據(jù)立方體中的兩種根本語義關(guān)系。一個較高聚集層次的單元可以下鉆到一個較低聚集層次的單元，如：gz,*,1下鉆到(gz,b,1)。一個較低聚集層次的單元可以上卷到一個較高聚集層次的單元，如：sz,b,1上卷到*,b,*。一個立方體中的所有單元間的上卷/下鉆關(guān)系構(gòu)成了一個網(wǎng)格構(gòu)造。圖2.1中表現(xiàn)出了表2.2中的立方體網(wǎng)格。地點(diǎn)產(chǎn)品名稱時間總和銷量gzb120gzf215szb125gzb*20gz*120*b145sz*25*f*15*145*60表2.2數(shù)據(jù)立方體中的單元shape*ergefrat圖2.1數(shù)據(jù)立方體網(wǎng)格2.2并行計算大規(guī)模科學(xué)與工程計算應(yīng)用

13、使得人們對計算機(jī)性能要求不斷進(jìn)步。例如天氣預(yù)報、空間模擬、石油勘探等科學(xué)計算對計算機(jī)的性能要求可以說是無窮無盡的。單臺作業(yè)的計算機(jī)是根本無法滿足這種計算需求的，因此人們便開場嘗試應(yīng)用新技術(shù)使得多臺單獨(dú)作業(yè)的計算機(jī)可以協(xié)調(diào)地共同進(jìn)展工作，并行計算機(jī)便開場逐步走入人們的視野。并行計算是伴隨著并行計算機(jī)的出現(xiàn)，在近三十年來迅速開展的一門穿插學(xué)科，是指在并行計算機(jī)上，將一個應(yīng)用分解成多個子任務(wù)，分配給不同的處理器，各個處理器之間互相協(xié)同，并行地執(zhí)行子任務(wù)，從而到達(dá)加快求解速度，或者進(jìn)步求解應(yīng)用問題規(guī)模的目的zl06。并行計算必須具備三個根本條件：1并行計算機(jī)。并行計算機(jī)至少浩瀚兩臺或兩臺以上處理機(jī)，這

14、些處理機(jī)通過互聯(lián)網(wǎng)絡(luò)互相連接，互相通信。2應(yīng)用問題必須具有并行度。應(yīng)用可以分解為多個子任務(wù)，并且這些子任務(wù)可以并行地執(zhí)行。3并行編程。在并行計算機(jī)提供的并行編程環(huán)境上，詳細(xì)實(shí)現(xiàn)并行算法。2.2.1并行編程形式編程形式是程序員和計算機(jī)之間的界面，它是建立在計算機(jī)體系構(gòu)造之上的程序的抽象，它定義了程序的設(shè)計與其實(shí)現(xiàn)之間的接口。在并行計算機(jī)開展的歷史過程中，人們提出過許多合適不同并行體系構(gòu)造的編程形式st98，經(jīng)過時間的淘汰，目前比擬流行的并行編程形式根本上趨向于以下三種hen99,du01,zl06：消息傳遞形式：程序的執(zhí)行分為多個進(jìn)程，用戶需要顯式地為每個進(jìn)程分配數(shù)據(jù)和指令。進(jìn)程都在自己的私有空

15、間中運(yùn)行，顯式地通過發(fā)送和接收消息進(jìn)展交互。有同步通信和異步通信兩種方式。消息傳遞形式為程序員提供了更靈敏的控制手段和表達(dá)并行的方法，因此消息傳遞并行程序往往能到達(dá)高的執(zhí)行效率。但由于程序員需要顯式地指定進(jìn)程間的信息交換、協(xié)調(diào)和控制，編寫基于消息傳遞形式的并行計算程序?qū)τ诔绦騿T的才能要求比擬高。盡管如此，消息傳遞仍然是目前最常用的并行編程形式。pipi03a,pi03b和并行虛擬機(jī)pv07是其中兩種廣泛使用的消息傳遞編程標(biāo)準(zhǔn)庫。共享存儲形式：程序是由運(yùn)行在一個公共地址空間的一組進(jìn)程所組成。用戶無需進(jìn)展數(shù)據(jù)分配，每個進(jìn)程相對獨(dú)立地運(yùn)行，進(jìn)程間的通信通過存放在公共存儲器中的共享變量進(jìn)展。所以保持變

16、量操作的一致性和同步性是使用這種編程形式時必須考慮的關(guān)鍵問題。基于該形式通過手工或編譯器將串行程序并行化，相比照基于消息傳遞形式更容易，對程序員要求也相對較低。目前使用較多的共享存儲形式的實(shí)現(xiàn)有ieee標(biāo)準(zhǔn)委員會的多線程接口ptp06和penp標(biāo)準(zhǔn)委員會的penpp07。數(shù)據(jù)并行形式：程序所處理的數(shù)據(jù)被劃分為多個小塊，分配到系統(tǒng)中的各個處理單元上，每個處理單元執(zhí)行一樣的程序，不需要顯示同步。數(shù)據(jù)并行形式的實(shí)現(xiàn)層次較高，一般由編譯器實(shí)現(xiàn)，程序員只需指明怎樣的并行操作和操作的對象即可。高性能frtranhpf06是一種使用較多的數(shù)據(jù)并行語言。2.2.2并行計算機(jī)體系構(gòu)造并行計算機(jī)的分類是隨著并行計

17、算機(jī)的開展而開展的。在并行計算技術(shù)開展的不同階段，各個計算機(jī)消費(fèi)廠商創(chuàng)造了各種各樣把多個處理器處理單元整合在一起的方法，從而使得系統(tǒng)的整體計算才能有所進(jìn)步。這些技術(shù)經(jīng)過不斷地開展，逐漸成熟并衍生出技術(shù)分支，同時也產(chǎn)生出許多不同的并行計算機(jī)體系構(gòu)造。描繪這些體系構(gòu)造特征的最常用的方法是flynn分類法fly72。它根據(jù)指令流數(shù)目和數(shù)據(jù)流數(shù)目來分類，將計算機(jī)分成了4類：sisd、sid、isd和id。其中，屬于并行計算機(jī)的有：(1)單指令多數(shù)據(jù)流sid：同一指令被復(fù)制成多份，并發(fā)地發(fā)送給多個處理器，形成多個獨(dú)立的進(jìn)程，每個進(jìn)程都具有自己的數(shù)據(jù)流如圖2.2所示，具有同步性和確定性。shape*erg

18、efratshape*ergefrat圖2.2sid體系構(gòu)造(2)多指令多數(shù)據(jù)流id：在id系統(tǒng)中，每個處理器都具有自己的指令來操作自己的數(shù)據(jù)，與其他處理器無關(guān)。指令流可以同步或異步地執(zhí)行，指令流的執(zhí)行具有確定性和不確定性。如圖2.3所示。shape*ergefrat圖2.3id體系構(gòu)造隨著技術(shù)的開展，曾經(jīng)風(fēng)行的sid并行計算機(jī)已經(jīng)退出了歷史舞臺，id體系的并行機(jī)已經(jīng)占據(jù)了統(tǒng)治性的地位。目前世界上流行的并行計算機(jī)系統(tǒng)根本上都是屬于id計算機(jī)。在id的分類中，按照內(nèi)存訪問模型、微處理器和互聯(lián)網(wǎng)絡(luò)的不同，并行計算機(jī)可分為以下5類zl06：(1)對稱多處理共享存儲并行計算機(jī)syetriulti-pr

19、essing,sp:sp系統(tǒng)中任何處理器都可以直接訪問任何存儲模塊中的存儲單元和i/模塊，且各自間的訪問延遲、帶寬都一樣。整個系統(tǒng)只有一個操作系統(tǒng)駐留在共享存儲器中，可以動態(tài)地分配進(jìn)程到各個處理器，而且每個進(jìn)程都是使用共享的數(shù)據(jù)存儲區(qū)來完成通信，通信的延遲較低。但是由于各個處理單元之間的耦合程度較高，所以只要總線、存儲器或操作系統(tǒng)其中一個出錯，便會導(dǎo)致整個系統(tǒng)的崩潰，而且系統(tǒng)的可擴(kuò)張性較差。支持消息傳遞、共享存儲并行程序設(shè)計。(2)分布式共享存儲并行計算機(jī)distributedsharedery,ds：系統(tǒng)以節(jié)點(diǎn)為單位，每個節(jié)點(diǎn)包含一個或多個pu，每個pu有部分的ahe。存儲在物理上分布，但在

20、邏輯上是統(tǒng)一的內(nèi)存地址空間。各個節(jié)點(diǎn)既可以直接訪問本地的部分存儲單元，也進(jìn)展訪問其他節(jié)點(diǎn)的部分存儲單元，但遠(yuǎn)端訪問必須通過高性能互聯(lián)網(wǎng)絡(luò)，性能遠(yuǎn)不如本地訪問。ds系統(tǒng)的可擴(kuò)展性強(qiáng)，可擴(kuò)展至數(shù)百個節(jié)點(diǎn)。支持消息傳遞、共享存儲并行程序設(shè)計。(3)集群系統(tǒng)luster：系統(tǒng)由節(jié)點(diǎn)構(gòu)成，每個節(jié)點(diǎn)包含24個商用途理器，節(jié)點(diǎn)內(nèi)部共享存儲。各節(jié)點(diǎn)通過交換機(jī)連接。當(dāng)計算機(jī)是運(yùn)行l(wèi)inux操作系統(tǒng)的p機(jī)時，這類集群那么成為beulfbe07集群。集群系統(tǒng)只支持消息傳遞并行程序設(shè)計。目前集群系統(tǒng)占據(jù)著主流地位，在世界超級計算機(jī)500強(qiáng)中，占據(jù)了大多數(shù)的席位。(4)星群系統(tǒng)nstellatin：系統(tǒng)由節(jié)點(diǎn)構(gòu)成，每個

21、節(jié)點(diǎn)是一臺sp或ds子系統(tǒng)，包含的處理器數(shù)量宏大，計算功能非常強(qiáng)大。節(jié)點(diǎn)間通過集群交換機(jī)連接，節(jié)點(diǎn)間分布存儲。各個節(jié)點(diǎn)運(yùn)行專用的操作系統(tǒng)、編譯系統(tǒng)和作業(yè)管理系統(tǒng)。與集群系統(tǒng)所不同的是，星群系統(tǒng)可以支持消息傳遞和共享存儲兩種并行編程形式：在節(jié)點(diǎn)間使用消息傳遞，節(jié)點(diǎn)內(nèi)部那么可以使用共享存儲形式，這種混合形式充分利用了兩種編程形式的特點(diǎn)，因此被認(rèn)為是最有效率的編程形式。(5)大規(guī)模并行計算機(jī)系統(tǒng)(assivelyparallelpressing,pp)：由數(shù)百個乃至數(shù)千個結(jié)算節(jié)點(diǎn)和i/節(jié)點(diǎn)組成，每個節(jié)點(diǎn)相對獨(dú)立，并擁有一個或多個微處理器。這些節(jié)點(diǎn)的部分ahe通過部分總線或互聯(lián)網(wǎng)絡(luò)與部分內(nèi)存模塊和i/

22、設(shè)備相連接?；ヂ?lián)網(wǎng)絡(luò)與集群互聯(lián)網(wǎng)絡(luò)不同，一般采用由多種靜態(tài)拓?fù)錁?gòu)造耦合而成的混合拓?fù)錁?gòu)造，通信延遲和通信帶寬明顯優(yōu)于集群系統(tǒng)。每個節(jié)點(diǎn)均擁有不同的操作系統(tǒng)，允許用戶在某個特定節(jié)點(diǎn)上作業(yè)。各節(jié)點(diǎn)間內(nèi)存模塊互相獨(dú)立且沒有全局內(nèi)存統(tǒng)一編址。假如要直接訪問其他節(jié)點(diǎn)的內(nèi)存那么需要有操作系統(tǒng)的支持。pp支持消息傳遞或高性能frtran并行程序設(shè)計，但不支持共享存儲形式。各種并行計算機(jī)對于消息傳遞、共享存儲、數(shù)據(jù)并行三種編程形式的支持在表2.3中列出。spds集群星群pp消息傳遞共享存儲xx數(shù)據(jù)并行xx表2.3各種并行計算機(jī)對與編程形式的支持2.3小結(jié)數(shù)據(jù)倉庫的應(yīng)用日漸廣泛，但是數(shù)據(jù)量的增長使得lap系統(tǒng)的

23、效率逐漸低下和數(shù)據(jù)立方體的容量呈指數(shù)上升。數(shù)據(jù)立方體的預(yù)計算需要大量的計算才能和存儲空間，隨著并行計算技術(shù)的開展，數(shù)據(jù)倉庫將會更多地使用到并行計算技術(shù)。并行計算技術(shù)帶來的不僅僅是計算才能和存儲空間上的擴(kuò)展，并行計算技術(shù)對于計算機(jī)性能的擴(kuò)展使得更多更復(fù)雜的應(yīng)用技術(shù)得以實(shí)現(xiàn)，擴(kuò)展數(shù)據(jù)倉庫的功能。第三章pi消息傳遞是一個廣泛應(yīng)用在并行計算機(jī)特別是分布存儲并行機(jī)：ds、集群、星群和pp上的形式。自從20世紀(jì)80年代以來，經(jīng)過10余年的開展，很多基于消息傳遞的應(yīng)用系統(tǒng)有了長足的進(jìn)步。由于基于消息傳遞形式的系統(tǒng)很多都具有效率高、適用性強(qiáng)等優(yōu)點(diǎn)，所以人們認(rèn)為通過定義一個核心庫程序的語法與語義，將有益于廣闊用戶，將可以在更大范圍的機(jī)器上有效實(shí)現(xiàn)消息傳遞形式。本章的主要內(nèi)容是介紹目前最為流行的基于消息傳遞形式的編程環(huán)境：pi。在以下的章節(jié)中會介紹pi的產(chǎn)生、pi的實(shí)現(xiàn)和關(guān)于pi編程的根本概念。3.1pi的產(chǎn)生早期的商用并行計算機(jī)很多是基于