ComputerSchool,NUDT.Spring,20131第三部分網(wǎng)格、P2P和未來互聯(lián)網(wǎng)本部分三章展望了基于網(wǎng)絡(luò)的分布式計(jì)算的未來發(fā)展趨勢(shì)。第7章覆蓋計(jì)算網(wǎng)格和數(shù)據(jù)網(wǎng)格，包括構(gòu)建于美國(guó)、歐洲和中國(guó)的重要國(guó)家網(wǎng)格。第8章討論了P2P覆蓋網(wǎng)絡(luò)，并檢測(cè)了近年構(gòu)建的實(shí)際P2P系統(tǒng)。第9章介紹了用于構(gòu)建物聯(lián)網(wǎng)的傳感器網(wǎng)絡(luò)、RFID和全球定位系統(tǒng)（GPS）。社會(huì)網(wǎng)絡(luò)是Web規(guī)模的服務(wù)應(yīng)用。討論了普適網(wǎng)格、P2P系統(tǒng)和未來互聯(lián)網(wǎng)應(yīng)用的云。ComputerSchool,NUDT.Spring,20132

Chapter7:GridComputingSystems

andResourceManagement

網(wǎng)格計(jì)算系統(tǒng)和資源管理ComputerSchool,NUDT.Spring,201337.1網(wǎng)格體系結(jié)構(gòu)和服務(wù)建模網(wǎng)格是一個(gè)元計(jì)算基礎(chǔ)設(shè)施，匯聚計(jì)算機(jī)形成計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的集合，以解決大規(guī)模計(jì)算問題或加快注冊(cè)用戶與用戶組信息檢索的速度。租用硬件、軟件、中間件、數(shù)據(jù)庫、儀器與網(wǎng)絡(luò)作為計(jì)算工具，實(shí)現(xiàn)了硬件和軟件及特殊用戶軟件間的耦合。網(wǎng)格計(jì)算的目的是探索大規(guī)模計(jì)算問題的快速解決方案。該目標(biāo)與計(jì)算機(jī)集群和大規(guī)模并行處理器（MPP）系統(tǒng)是一致的。然而，網(wǎng)格計(jì)算利用了散落在某個(gè)國(guó)家或全球的現(xiàn)有計(jì)算資源。在網(wǎng)格中，屬于不同組織的資源聚集在一起，在集體應(yīng)用中被許多用戶共享。

ComputerSchool,NUDT.Spring,20134網(wǎng)格歷史與服務(wù)類別網(wǎng)格的想法由IanFoster、CarlKesselman和SteveTuecke在2001年中提出。因?yàn)樗麄兊幕A(chǔ)工作，他們被公認(rèn)為網(wǎng)格之父。

DARPA支持的Globus項(xiàng)目促進(jìn)網(wǎng)格技術(shù)走向成熟，為網(wǎng)格計(jì)算提供了豐富的軟件和中間件工具集合。2007年，云計(jì)算的概念被提出，它采用虛擬化數(shù)據(jù)中心來擴(kuò)展網(wǎng)格計(jì)算。網(wǎng)格不同于傳統(tǒng)的HPC集群。集群節(jié)點(diǎn)是更加同構(gòu)的機(jī)器，可以更好的協(xié)作。網(wǎng)格節(jié)點(diǎn)是分布在不同地點(diǎn)的異構(gòu)計(jì)算機(jī)，它們松散耦合在一起。在2001年，F(xiàn)orbesMagazine提倡使用大規(guī)模全球網(wǎng)格（GGG）作為新型全球基礎(chǔ)設(shè)施。

ComputerSchool,NUDT.Spring,20135ComputerSchool,NUDT.Spring,20136網(wǎng)格服務(wù)協(xié)議棧頂層對(duì)應(yīng)運(yùn)行于網(wǎng)格系統(tǒng)中的用戶應(yīng)用程序。用戶應(yīng)用程序需要包括計(jì)算和通信集合支持的服務(wù)層。下面的一層由硬件和軟件資源組成，用于運(yùn)行操作集合中的用戶應(yīng)用程序。連接層提供了特定資源互連，連接可以直接建立在物理網(wǎng)絡(luò)上，也可以使用虛擬網(wǎng)絡(luò)技術(shù)建立。連接層需支持網(wǎng)格組織，包括網(wǎng)絡(luò)連接和虛擬專用信道。組織層包括所有計(jì)算資源、存儲(chǔ)系統(tǒng)、目錄、網(wǎng)絡(luò)資源、傳感器及其網(wǎng)絡(luò)連接。連接層允許組織層資源之間的數(shù)據(jù)交換。這五層網(wǎng)格體系結(jié)構(gòu)與互聯(lián)網(wǎng)分層協(xié)議棧密切相關(guān)ComputerSchool,NUDT.Spring,20137圖7-1分層網(wǎng)絡(luò)服務(wù)協(xié)議及其與互聯(lián)網(wǎng)服務(wù)協(xié)議的關(guān)系ComputerSchool,NUDT.Spring,20138網(wǎng)格資源許多現(xiàn)有協(xié)議（IP、TCP、HTTP、FTP和DNS）或一些新的通信協(xié)議可以用來路由與傳輸數(shù)據(jù)。資源層負(fù)責(zé)單一資源共享，需要一個(gè)接口來約束本地資源的靜態(tài)結(jié)構(gòu)和動(dòng)態(tài)狀態(tài)。網(wǎng)格應(yīng)該能夠接受資源請(qǐng)求，協(xié)調(diào)服務(wù)質(zhì)量（QoS），并完成用戶應(yīng)用程序中的特定操作。連接層處理資源集之間的交互。該層實(shí)現(xiàn)了諸如資源發(fā)現(xiàn)、協(xié)同分配、調(diào)度、代理、監(jiān)控和診斷等功能。其他所需功能包括復(fù)制、允許網(wǎng)格編程、工作負(fù)載管理、合作、軟件發(fā)現(xiàn)、訪問授權(quán)，以及社區(qū)記賬與支付。應(yīng)用層包括主要用戶程序。

ComputerSchool,NUDT.Spring,20139ComputerSchool,NUDT.Spring,201310CPU清除和虛擬超級(jí)計(jì)算機(jī)近幾年網(wǎng)格和云的區(qū)別變得模糊。傳統(tǒng)上，網(wǎng)格由分配的資源靜態(tài)組成，而云由預(yù)分配的資源動(dòng)態(tài)構(gòu)成。由于虛擬化也適用于網(wǎng)格組件，一些包含數(shù)據(jù)中心的網(wǎng)格變得越來越像云。

Foster等人比較了網(wǎng)格問題與生物學(xué)中的解剖問題。應(yīng)用程序用戶希望網(wǎng)格被設(shè)計(jì)成靈活、安全和協(xié)調(diào)的資源，可被個(gè)人、機(jī)構(gòu)與虛擬組織共享。網(wǎng)格資源可能來自于兩個(gè)可能的來源。一方面，大規(guī)模高性能計(jì)算機(jī)網(wǎng)格可由政府部門和研究機(jī)構(gòu)超級(jí)計(jì)算機(jī)中心內(nèi)的計(jì)算機(jī)組成。另一方面，可以形成一個(gè)“虛擬”網(wǎng)格，隨意地選擇大量的普通公民擁有的小型商業(yè)計(jì)算機(jī)

ComputerSchool,NUDT.Spring,201311

公共網(wǎng)格和虛擬網(wǎng)格都可以建立在大規(guī)?；蛐⌒蜋C(jī)器上，這些機(jī)器松散地耦合在一起，以滿足應(yīng)用程序的需求。網(wǎng)格在分布式計(jì)算的很多方面不同于傳統(tǒng)的超級(jí)計(jì)算機(jī)。超級(jí)計(jì)算機(jī)如同Top500名單中的MPP，由緊耦合操作組建，更為同構(gòu)，而網(wǎng)格多采用運(yùn)行非交互負(fù)載的異構(gòu)節(jié)點(diǎn)，這些網(wǎng)格負(fù)載可能涉及大量的文件與個(gè)人用戶。網(wǎng)格地理上分散，更具擴(kuò)展性和容錯(cuò)能力，相較于超級(jí)計(jì)算機(jī)顯著降低了操作成本。使用計(jì)算機(jī)網(wǎng)絡(luò)中閑置資源創(chuàng)建一個(gè)“網(wǎng)格”的概念稱為CPU清除。虛擬網(wǎng)格建立在大量臺(tái)式計(jì)算機(jī)上，使用了它們夜間空閑周期或不活躍。這些客戶端主機(jī)除了提供CPU周期，還提供了一些磁盤空間、RAM和網(wǎng)絡(luò)帶寬。

ComputerSchool,NUDT.Spring,201312網(wǎng)格資源聚集在網(wǎng)格或云資源聚集的過程中，幾個(gè)假設(shè)如下。第一，計(jì)算節(jié)點(diǎn)和網(wǎng)格的其他必要資源并不隨意加入或離開這個(gè)系統(tǒng)，除非網(wǎng)格中發(fā)生了一些嚴(yán)重錯(cuò)誤。第二，云資源主要由大規(guī)模數(shù)據(jù)中心提供。由于在數(shù)據(jù)中心中，安全性和可靠性是非常嚴(yán)密的，故資源行為是不可預(yù)知的。第三，雖然P2P系統(tǒng)中的資源是隨意分配的，但是我們可以構(gòu)建P2P網(wǎng)格，用于分布式文件共享、內(nèi)容傳遞、游戲和娛樂應(yīng)用。硬件、軟件、數(shù)據(jù)庫和網(wǎng)絡(luò)資源R，分散在世界各地。這些開放資源的可用性和規(guī)格由網(wǎng)格信息服務(wù)提供。在計(jì)算機(jī)數(shù)據(jù)庫、儀器與特定應(yīng)用所需的人為操作相互耦合后，新型網(wǎng)格應(yīng)用得以運(yùn)行。(YongweiWu,TsinhuaUniversity,2012)ComputerSchool,NUDT.Spring,201314開放網(wǎng)格服務(wù)體系結(jié)構(gòu)（OGSA）

OGSA是學(xué)術(shù)界和IT工業(yè)界在全球網(wǎng)格論壇（GGF）工作組的協(xié)調(diào)下，聯(lián)合制定的開源網(wǎng)格服務(wù)標(biāo)準(zhǔn)。專為新興網(wǎng)格和云服務(wù)社區(qū)制定。OGSA擴(kuò)展了Web服務(wù)的概念和技術(shù)。該標(biāo)準(zhǔn)定義了一個(gè)標(biāo)準(zhǔn)框架，允許商業(yè)界在企業(yè)與商業(yè)伙伴上構(gòu)建網(wǎng)格平臺(tái)。其目的是定義開源軟件和商業(yè)軟件所要求的標(biāo)準(zhǔn)，以支持全球網(wǎng)格基礎(chǔ)設(shè)施。

OGSA建立于兩個(gè)基本軟件技術(shù)：GlobusToolkit廣泛作為科學(xué)技術(shù)計(jì)算的網(wǎng)格技術(shù)解決方法，Web服務(wù)為商業(yè)和網(wǎng)絡(luò)應(yīng)用的通用基于標(biāo)準(zhǔn)的框架。OGSA框架為各種網(wǎng)格服務(wù)和API訪問工具指定了物理環(huán)境、安全、基礎(chǔ)設(shè)施輪廓、資源供應(yīng)、虛擬域和執(zhí)行環(huán)境。ComputerSchool,NUDT.Spring,201315ComputerSchool,NUDT.Spring,201316網(wǎng)格服務(wù)處理

GSH是區(qū)別于其他專用網(wǎng)格服務(wù)實(shí)例的全局唯一名稱。網(wǎng)格服務(wù)實(shí)例的狀態(tài)可以存在于現(xiàn)在或者未來。這些實(shí)例不攜帶任何協(xié)議、實(shí)例指定的地址或支持協(xié)議綁定。取而代之的是，這些信息條款與所有其他實(shí)例指定的信息一起被封裝。為了介紹特定服務(wù)實(shí)例，其單一抽象被定義為GSR。與不隨時(shí)間改變的GSH不同，實(shí)例的GSR在服務(wù)的整個(gè)生命周期內(nèi)均可以發(fā)生改變。OGSA引入“處理分辨”機(jī)制，用來映射GSH到GSR。GSH必須在全局范圍內(nèi)定義一個(gè)特定實(shí)例。然而，GSH不可能總是指向相同網(wǎng)絡(luò)地址。服務(wù)實(shí)例只要遵守相關(guān)語義，可以按照自己的方法執(zhí)行。ComputerSchool,NUDT.Spring,201317網(wǎng)格服務(wù)遷移這是在服務(wù)的生命周期創(chuàng)建新服務(wù)和指定斷言的機(jī)制。OGSA模型定義了標(biāo)準(zhǔn)接口（稱為factor），以實(shí)施這一引用。創(chuàng)建的任何服務(wù)必須指定之前的服務(wù)作為后續(xù)服務(wù)的引用。

factor接口在表7-3中被標(biāo)記為創(chuàng)建服務(wù)操作。其創(chuàng)建了指定接口的請(qǐng)求網(wǎng)格服務(wù)，并為新服務(wù)實(shí)例返回GSH和初始的GSR。還應(yīng)該使用處理分辨服務(wù)注冊(cè)這個(gè)新服務(wù)實(shí)例。每個(gè)動(dòng)態(tài)創(chuàng)建的網(wǎng)格服務(wù)實(shí)例與指定的生命周期相關(guān)。

ComputerSchool,NUDT.Spring,201318圖7-3在T時(shí)刻遷移服務(wù)實(shí)例之前（如左圖所示）與之后（如右圖所示），GSH解析為不同的GSRComputerSchool,NUDT.Spring,201319OGSA安全模型

OGSA支持各級(jí)安全措施，如圖7-4所示。網(wǎng)格工作在異構(gòu)分布式環(huán)境中，其本質(zhì)上對(duì)公眾開放。通過執(zhí)行安全會(huì)話、單一登錄、訪問控制及認(rèn)證審核，我們必須能夠檢測(cè)入侵或阻止病毒傳播。在安全策略和用戶級(jí)別，我們采用申請(qǐng)服務(wù)或端點(diǎn)策略、資源映射規(guī)則、重要資源的授權(quán)訪問和隱私保護(hù)。在公鑰基礎(chǔ)設(shè)施（PublicKeyInfrastructure，PKI）服務(wù)級(jí)別，OGSA需要安全協(xié)議棧的綁定和采用多種信任中介的認(rèn)證授權(quán)機(jī)構(gòu)（CertificateAuthority，CA）的鏈接。網(wǎng)格平臺(tái)一般會(huì)實(shí)現(xiàn)信任模型與安全登錄。ComputerSchool,NUDT.Spring,201320圖7-4不同保護(hù)級(jí)別之上的OGSA安全模型實(shí)現(xiàn)ComputerSchool,NUDT.Spring,201321數(shù)據(jù)密集型網(wǎng)格服務(wù)模型數(shù)據(jù)復(fù)制和統(tǒng)一命名空間這種數(shù)據(jù)訪問方法也被稱為緩存，常用于提高網(wǎng)格環(huán)境中的數(shù)據(jù)效率。通過復(fù)制相同的數(shù)據(jù)塊和分發(fā)它們至網(wǎng)格的多個(gè)區(qū)域，用戶可以根據(jù)引用的局部性訪問相同的數(shù)據(jù)。此外，相同數(shù)據(jù)集的副本可以相互作為備份。數(shù)據(jù)副本可能需要定期檢查一致性，產(chǎn)生的存儲(chǔ)需求和網(wǎng)絡(luò)帶寬的增長(zhǎng)可能引起額外的問題。副本策略決定什么時(shí)候和在什么地方創(chuàng)建數(shù)據(jù)的一個(gè)副本。需要考慮的因素包括數(shù)據(jù)需求、網(wǎng)絡(luò)條件和傳輸成本。副本策略方法可以分為：動(dòng)態(tài)與靜態(tài)。

ComputerSchool,NUDT.Spring,201322網(wǎng)格數(shù)據(jù)訪問模型多位參與者可能想要共享相同數(shù)據(jù)集合。為了獲得任意數(shù)據(jù)塊，我們需要網(wǎng)格具有單一全局命名空間。同樣，我們希望擁有唯一文件名。為了實(shí)現(xiàn)這些，我們必須解決具有相同命名的多個(gè)數(shù)據(jù)對(duì)象之間的不一致性。由此可以引入訪問限制，以避免混亂。同時(shí)，數(shù)據(jù)需要被保護(hù)，以避免泄露與損壞。試圖訪問數(shù)據(jù)的用戶必須先經(jīng)過認(rèn)證，然后被授權(quán)訪問。圖7-5列出了組成數(shù)據(jù)網(wǎng)格的4種訪問模型:單元模型、層次模型、聯(lián)合模型。ComputerSchool,NUDT.Spring,201323圖7-5構(gòu)建數(shù)據(jù)網(wǎng)格的4種體系結(jié)構(gòu)模型ComputerSchool,NUDT.Spring,2013247．2網(wǎng)格項(xiàng)目和網(wǎng)格系統(tǒng)創(chuàng)建當(dāng)今用戶希望在分布式和自治環(huán)境中有效地彼此共享和合作，網(wǎng)格計(jì)算為此提供了有前途的解決方案。除了志愿者網(wǎng)格，大多數(shù)大規(guī)模網(wǎng)格是由公共機(jī)構(gòu)資助的國(guó)家或者國(guó)際項(xiàng)目。國(guó)家網(wǎng)格和國(guó)際項(xiàng)目與超級(jí)計(jì)算機(jī)相同，國(guó)家網(wǎng)格主要通過使用政府資源建立。這些國(guó)家網(wǎng)格的發(fā)展推動(dòng)了網(wǎng)格應(yīng)用中的研究發(fā)現(xiàn)、中間件產(chǎn)品和效用計(jì)算。在過去10年中，很多數(shù)據(jù)網(wǎng)格、信息網(wǎng)格或計(jì)算網(wǎng)格在世界各地被構(gòu)建。ComputerSchool,NUDT.Spring,201325ComputerSchool,NUDT.Spring,201326ComputerSchool,NUDT.Spring,201327圖7-6Grid’5000位于法國(guó)9個(gè)資源站點(diǎn)的概況ComputerSchool,NUDT.Spring,201328美國(guó)的NSFTeraGridTeraGrid是結(jié)合了11個(gè)聯(lián)合站點(diǎn)領(lǐng)導(dǎo)階級(jí)資源的開放科學(xué)發(fā)現(xiàn)基礎(chǔ)設(shè)施，用以在美國(guó)創(chuàng)建集成的、持續(xù)的計(jì)算資源。在使用高性能網(wǎng)絡(luò)連接時(shí)，TeraGrid聚集了美國(guó)的高性能計(jì)算機(jī)、數(shù)據(jù)資源和工具，以及高端實(shí)驗(yàn)設(shè)備。

TeraGrid資源具有2Pflops以上的計(jì)算能力和超過50PB的在線與檔案數(shù)據(jù)存儲(chǔ)，并在高性能網(wǎng)絡(luò)中實(shí)現(xiàn)快速訪問與檢索。研究者也可以訪問100個(gè)以上專用數(shù)據(jù)庫。

TeraGrid通過在芝加哥大學(xué)的網(wǎng)格基礎(chǔ)設(shè)施組協(xié)調(diào)，與11個(gè)資源提供站點(diǎn)協(xié)作運(yùn)行ComputerSchool,NUDT.Spring,201329圖7-7TeraGrid的5個(gè)主要資源站點(diǎn)，LA與芝加哥中心由40GB/s的底板網(wǎng)絡(luò)連接ComputerSchool,NUDT.Spring,201330歐盟的DataGrid

歐洲數(shù)據(jù)網(wǎng)格項(xiàng)目（EuropeanDataGridProject，EDG）由歐盟資助。該網(wǎng)格目標(biāo)是建立下一代、高吞吐量、產(chǎn)品級(jí)網(wǎng)格基礎(chǔ)設(shè)施，以支持高能物理學(xué)、地球觀察和生物信息學(xué)中的I/O密集型實(shí)驗(yàn)。特定的網(wǎng)格中間件被開發(fā)用于管理和共享拍字節(jié)（Petabyte）級(jí)別的信息卷。其目標(biāo)是在通用命名空間保證訪問海量數(shù)據(jù)的安全性。該系統(tǒng)允許從一個(gè)地理站點(diǎn)高速移動(dòng)和復(fù)制數(shù)據(jù)至另一個(gè)站點(diǎn)，并在全局范圍內(nèi)保持多個(gè)副本的一致性檢查和同步。ComputerSchool,NUDT.Spring,201331圖7-8歐盟數(shù)據(jù)網(wǎng)格（EDG）的分層數(shù)據(jù)分布ComputerSchool,NUDT.Spring,201332ChinaGrid設(shè)計(jì)經(jīng)驗(yàn)

ChinaGrid希望在中國(guó)的100所大學(xué)建立最大的教育和研究平臺(tái)。該系統(tǒng)通過聚集中國(guó)教育科研網(wǎng)（ChinaEducationandResearchNetwork，CERNET）的現(xiàn)有分散資源，用于研究、科學(xué)和教育項(xiàng)目。2002年，ChinaGrid由中國(guó)教育部協(xié)同中國(guó)100所重點(diǎn)大學(xué)推出，目的是提供一個(gè)全國(guó)性的網(wǎng)格計(jì)算平臺(tái)。其網(wǎng)格服務(wù)旨在促進(jìn)合作研究、科學(xué)和教育項(xiàng)目。ChinaGrid基于網(wǎng)格技術(shù)聚集了大量的分布異構(gòu)資源。

ChinaGrid基于CERNET建立和部署，這是中國(guó)第二大的全國(guó)性網(wǎng)絡(luò)，覆蓋了中國(guó)800所大學(xué)、學(xué)院和機(jī)構(gòu)。ComputerSchool,NUDT.Spring,2013337.3網(wǎng)格資源管理和資源中介資源管理和作業(yè)調(diào)度在網(wǎng)格系統(tǒng)中，資源通常是自主的。每個(gè)組織可能有自己的資源管理策略。為每個(gè)組織設(shè)立單獨(dú)的資源管理系統(tǒng)是較為合理與適用的，上層的RMS看成是資源消費(fèi)者，下層的RMS看成是資源提供商。為了支持多RMS結(jié)構(gòu)，引入了RMS抽象模型。該模型有4個(gè)對(duì)外的接口。資源消費(fèi)者接口用于訪問上層RMS或用戶應(yīng)用程序。資源發(fā)現(xiàn)器通過該接口主動(dòng)搜索符合的資源。資源傳播器廣播本地資源信息至其他RMS。資源交易器在基于市場(chǎng)的網(wǎng)格系統(tǒng)中的RMS間交換資源。資源解析器路由作業(yè)至遠(yuǎn)程的RMS。資源協(xié)同分頻器為一個(gè)作業(yè)同時(shí)分配多個(gè)資源。ComputerSchool,NUDT.Spring,201334圖7-9Globus所支持的網(wǎng)格資源管理系統(tǒng)（RMS）的主要組件ComputerSchool,NUDT.Spring,201335RMS的層次性這些RMS彼此相互聯(lián)系，并被放置在層次結(jié)構(gòu)中。網(wǎng)格作業(yè)調(diào)度方法網(wǎng)格是一種新型的分布式計(jì)算技術(shù)，但網(wǎng)格中的調(diào)度技術(shù)并不是一個(gè)全新的研究課題。傳統(tǒng)的分布式系統(tǒng)（例如，集群)與網(wǎng)格在調(diào)度上有類似的問題。這些問題已被探索達(dá)數(shù)十年之久。關(guān)于傳統(tǒng)分布式系統(tǒng)中的調(diào)度技術(shù)已開展了許多研究。通常使用兩種模式來歸類這些技術(shù)：層次分類，采用多級(jí)樹歸類調(diào)度方法；平坦分類，基于單個(gè)屬性。這包括基于自適應(yīng)和非自適應(yīng)的，負(fù)載平衡、投標(biāo)，或者概率性的和一次性分配與動(dòng)態(tài)再分配的方法。ComputerSchool,NUDT.Spring,201336圖7-10應(yīng)用于網(wǎng)格和計(jì)算機(jī)集群的網(wǎng)格作業(yè)調(diào)度方法的層次分類ComputerSchool,NUDT.Spring,201337CGSP的網(wǎng)格資源監(jiān)控討論解決某個(gè)特定問題的網(wǎng)格環(huán)境監(jiān)控時(shí)，會(huì)涉及諸多因素，包括目標(biāo)網(wǎng)格資源、相關(guān)網(wǎng)格中間件和它們之上的應(yīng)用程序組件。網(wǎng)格監(jiān)控的生產(chǎn)者/消費(fèi)者模型生產(chǎn)者/消費(fèi)者模型提供了網(wǎng)格資源監(jiān)控的基本架構(gòu)，支持用戶所需功能，并加強(qiáng)不同網(wǎng)格資源之間的交互操作。網(wǎng)格監(jiān)控?cái)?shù)據(jù)包括短生命周期、經(jīng)常性的變化、隨機(jī)性等。此模型應(yīng)該滿足低延遲、高傳輸率、低開銷、安全性和可擴(kuò)展性的要求。特別地，網(wǎng)格監(jiān)控?cái)?shù)據(jù)的發(fā)現(xiàn)與傳輸應(yīng)該分開處理。描述監(jiān)控?cái)?shù)據(jù)的相關(guān)元數(shù)據(jù)需要存儲(chǔ)在公共的位置。ComputerSchool,NUDT.Spring,201338圖7-11生產(chǎn)者/消費(fèi)者網(wǎng)格監(jiān)控模型在網(wǎng)格監(jiān)控體系結(jié)構(gòu)（GMA）中的實(shí)現(xiàn)ComputerSchool,NUDT.Spring,201339圖7-12CGSV模塊部署體系結(jié)構(gòu)ComputerSchool,NUDT.Spring,201340服務(wù)記賬和經(jīng)濟(jì)模型基于經(jīng)濟(jì)原則的資源交易是分配網(wǎng)格資源的有效方法。首先，資源提供商在網(wǎng)格市場(chǎng)中登記他們共享資源的信息。資源信息可能包括硬件容量、軟件配置和價(jià)格策略。然后，資源消費(fèi)者向資源中介提交他們的作業(yè)及其特殊需求。這些需求可能包括硬件容量、軟件配置、服務(wù)質(zhì)量和預(yù)算。接下來，中介在網(wǎng)格市場(chǎng)中為每個(gè)作業(yè)搜索和分配合適的資源。當(dāng)順利完成作業(yè)時(shí)，消費(fèi)者要為所分配的資源付費(fèi)。

ComputerSchool,NUDT.Spring,201341圖7-13用于計(jì)費(fèi)服務(wù)的網(wǎng)格記賬系統(tǒng)的一般框架ComputerSchool,NUDT.Spring,201342圖7-14評(píng)估網(wǎng)格計(jì)算服務(wù)的經(jīng)濟(jì)模型，部署于墨爾本大學(xué)ComputerSchool,NUDT.Spring,201343Gridbus的資源中介各組件根據(jù)它們的部署與功能進(jìn)行劃分。為了劃分該網(wǎng)格的資源組成，需要從不同的管理域理解。這可以通過在UNIX/Linux環(huán)境安裝核心網(wǎng)格中間件（如Globus）來實(shí)現(xiàn)。多節(jié)點(diǎn)集群需要作為網(wǎng)格的單一資源，可以通過部署作業(yè)管理系統(tǒng)達(dá)成，如Sun網(wǎng)格引擎。在網(wǎng)格環(huán)境下，數(shù)據(jù)需要結(jié)合起來，用于有關(guān)方的共享及數(shù)據(jù)網(wǎng)格技術(shù)，如需要部署的SRB、GlobusRLS和EUDataGrid。用戶級(jí)中間件被部署在資源之上，負(fù)責(zé)提供資源中介和應(yīng)用運(yùn)行管理服務(wù)。用戶可以通過Web門戶訪問這些服務(wù)。ComputerSchool,NUDT.Spring,201344圖7-15網(wǎng)格資源中介管理作業(yè)調(diào)度與執(zhí)行ComputerSchool,NUDT.Spring,201345聚集網(wǎng)格資源的11個(gè)步驟如下：1.用戶使用可視化的應(yīng)用開發(fā)工具將他的應(yīng)用組成為一個(gè)分布式應(yīng)用（例如，參數(shù)掃描分析）。2.用戶指定他的分析與服務(wù)質(zhì)量需求，并提交至網(wǎng)格資源中介。3.網(wǎng)格資源中介使用網(wǎng)格信息服務(wù)組件進(jìn)行資源發(fā)現(xiàn)。4.中介通過查詢網(wǎng)格市場(chǎng)目錄識(shí)別資源服務(wù)價(jià)格。5.中介查詢數(shù)據(jù)來源或副本列表，并選擇最佳的。6.中介獲得提供所需服務(wù)的計(jì)算資源。7.中介保證用戶有必要的信用或權(quán)限共享這些資源。8.中介調(diào)度器分析資源以滿足用戶的服務(wù)質(zhì)量需求。9.代理資源中介執(zhí)行作業(yè)并返回結(jié)果。10.中介整理結(jié)果，并傳遞給用戶。11.計(jì)費(fèi)器向會(huì)計(jì)師傳遞資源使用信息，收取用戶費(fèi)用。ComputerSchool,NUDT.Spring,2013477.4網(wǎng)格計(jì)算的軟件與中間件開源網(wǎng)格中間件包ComputerSchool,NUDT.Spring,201348圖7-17Condor系統(tǒng)的主要功能組件ComputerSchool,NUDT.Spring,201349GlobusTookit體系結(jié)構(gòu)（GT4）

GlobusToolkit由DARPA自1995年開始資助，是用于網(wǎng)格計(jì)算社區(qū)的開放中間件庫。這些開源軟件庫在國(guó)際范圍內(nèi)支持許多操作網(wǎng)格及其應(yīng)用程序，解決了網(wǎng)格資源發(fā)現(xiàn)、管理、通信、安全、故障檢測(cè)和可移植性中的共性問題。軟件本身提供各式組件和能力，其庫包括服務(wù)實(shí)現(xiàn)的豐富集合。實(shí)現(xiàn)的軟件支持網(wǎng)格基礎(chǔ)設(shè)施管理，提供使用Java、C和Python編寫的新型Web服務(wù)的工具，建立強(qiáng)大的基于標(biāo)準(zhǔn)的安全基礎(chǔ)設(shè)施和客戶端API（用不同的語言），并提供訪問各種網(wǎng)格服務(wù)的綜合命令行程序。GlobusToolkit的最初動(dòng)機(jī)是希望清除障礙，保證無縫協(xié)作，在科學(xué)與工程應(yīng)用中實(shí)現(xiàn)資源與服務(wù)的共享。

ComputerSchool,NUDT.Spring,201350圖7-18GlobusTookitGT4支持分布式與集群計(jì)算服務(wù)ComputerSchool,NUDT.Spring,201351GT4在網(wǎng)格應(yīng)用中提供中級(jí)核心服務(wù)。高級(jí)服務(wù)和工具（如MPI、CondorG及Nirod/G）由第三方開發(fā)，且適用于通用目的分布式計(jì)算應(yīng)用。LSF、TCP、Linux和Condor等本地服務(wù)位于底層，是由其他開發(fā)者提供的基本工具。

ComputerSchool,NUDT.Spring,201352Globus作業(yè)工作流典型作業(yè)執(zhí)行順序如下：用戶發(fā)送他的證書至委托服務(wù)。用戶向GRAM提交作業(yè)請(qǐng)求，委托證書作為其中的一個(gè)參數(shù)。GRAM解析請(qǐng)求，并從委托服務(wù)獲取用戶代理證書，然后代表用戶利益運(yùn)行。GRAM發(fā)送轉(zhuǎn)移請(qǐng)求至RFT（可靠文件傳輸），它提供GridFTP以獲取必要的文件。GRAM通過GRAM適配器喚醒本地調(diào)度器，且SEG（調(diào)度事件生成器）啟動(dòng)一系列用戶作業(yè)。本地調(diào)度器將作業(yè)狀態(tài)報(bào)告至SEG。一旦完成作業(yè)，GRAM使用RFT和GridFTP顯示相應(yīng)文件。網(wǎng)格監(jiān)控這些操作的進(jìn)展，并在它們成功、失敗或推遲時(shí)，通知用戶。ComputerSchool,NUDT.Spring,201353圖7-19交互功能模塊間的Globus作業(yè)工作流ComputerSchool,NUDT.Spring,201354圖7-20客戶端與GT4服務(wù)器交互；垂直矩形表示服務(wù)程序，水平矩形表示用戶代碼GT4服務(wù)程序支持用戶應(yīng)用程序，在提供商程序和用戶代碼之間存在很多交互。GT4在服務(wù)描述、發(fā)現(xiàn)、訪問、認(rèn)證與授權(quán)等相關(guān)操作中，大量使用標(biāo)準(zhǔn)工業(yè)Web服務(wù)協(xié)議和機(jī)制。

ComputerSchool,NUDT.Spring,201355圖7-21在網(wǎng)格平臺(tái)上實(shí)現(xiàn)Web服務(wù)時(shí)，Globus集裝器作為運(yùn)行時(shí)環(huán)境ComputerSchool,NUDT.Spring,201356圖7-22GT4系統(tǒng)監(jiān)控與資源發(fā)現(xiàn)基礎(chǔ)設(shè)施ComputerSchool,NUDT.Spring,201357ChinaGrid支持平臺(tái)（CGSP）

CGSP由中國(guó)20所高校聯(lián)合開發(fā)，用于構(gòu)建ChinaGrid。CGSP包提供多域Web服務(wù)的第一步。不同于GT4，CGSP提供軟件平臺(tái)，而不是工具庫。452CGSP涵蓋來自用戶接口的所有事件，為給定應(yīng)用提供異構(gòu)資源集成。它使得用戶更接近于網(wǎng)格開發(fā)者和領(lǐng)域?qū)＜摇GSP已被試用于ChinaGrid上的圖像處理、生物信息學(xué)、遠(yuǎn)程教育、計(jì)算流體力學(xué)和大規(guī)模信息處理。

ChinaGrid旨在為中國(guó)研究和高等教育構(gòu)建一個(gè)公共的網(wǎng)格服務(wù)系統(tǒng)。CGSP集成各種異構(gòu)資源，特別是分布在中國(guó)CERNET的教育和研究資源。CGSP集成頂層門戶到底層資源，為網(wǎng)格的構(gòu)建提供了一個(gè)網(wǎng)格平臺(tái)。ComputerSchool,NUDT.Spring,201358ComputerSchool,NUDT.Spring,201359圖7-23ChinaGrid的CGSP庫中的功能性構(gòu)建塊ComputerSchool,NUDT.Spring,201360圖7-24在ChinaGrid中使用CGSP的作業(yè)執(zhí)行隊(duì)列ComputerSchool,NUDT.Spring,2013617.5網(wǎng)格應(yīng)用趨勢(shì)和安全措施網(wǎng)格應(yīng)用技術(shù)融合相關(guān)理論與技術(shù)網(wǎng)格技術(shù)與很多其他計(jì)算概念和技術(shù)相關(guān)。舉其中的幾個(gè)例子：云、集群、P2P、并行處理和分布式計(jì)算與網(wǎng)格技術(shù)的發(fā)展密切相關(guān)。其他的領(lǐng)域（如邊緣計(jì)算、網(wǎng)格文件系統(tǒng)、eScience、元計(jì)算、科學(xué)工作流系統(tǒng)）和語義網(wǎng)格都是相關(guān)的。表7-9列出了一些對(duì)未來網(wǎng)格的發(fā)展有積極意義的相關(guān)理論和技術(shù)，并標(biāo)注了其所在的章節(jié)。在例.11中，我們討論了在實(shí)踐中博弈論如何提升網(wǎng)格性能。ComputerSchool,NUDT.Spring,201362ComputerSchool,NUDT.Spring,201363圖7-25描述自私網(wǎng)格問題和博弈論解決方案的概念示例

許多理論和數(shù)學(xué)知識(shí)，如圖形理論、模糊集、博弈論等，如果恰當(dāng)應(yīng)用這些理論，就可以提高計(jì)算技術(shù)。例如，模糊集與信譽(yù)系統(tǒng)可以應(yīng)用于網(wǎng)格和P2P系統(tǒng)中的信任管理。網(wǎng)格、云和分布式系統(tǒng)的性能可以通過優(yōu)化和博弈論被提升ComputerSchool,NUDT.Spring,201364網(wǎng)格負(fù)載與性能預(yù)測(cè)網(wǎng)格性能與運(yùn)行在參與網(wǎng)格節(jié)點(diǎn)的大量處理器上的集體工作負(fù)載直接相關(guān)。因?yàn)楫悩?gòu)資源高度分布于不同組織的控制下，所以預(yù)測(cè)集體網(wǎng)格工作負(fù)載是一個(gè)非常有挑戰(zhàn)性的任務(wù)。網(wǎng)格工作負(fù)載由多個(gè)處理器之間的集體負(fù)載指標(biāo)表示。傳統(tǒng)的點(diǎn)值預(yù)測(cè)方法使用一個(gè)很短的預(yù)測(cè)窗口。一般來說，負(fù)載指標(biāo)用于評(píng)估一個(gè)給定的計(jì)算網(wǎng)格上可達(dá)到的峰值性能百分比。這樣的網(wǎng)格管理控制臺(tái)可以監(jiān)測(cè)CPU利用率。大規(guī)模網(wǎng)格基礎(chǔ)設(shè)施的工作負(fù)載管理器在決定正確調(diào)度方案上十分薄弱，這影響網(wǎng)格上應(yīng)用的執(zhí)行時(shí)間。ComputerSchool,NUDT.Spring,201365圖7-26網(wǎng)格負(fù)載的自適應(yīng)預(yù)測(cè)，使用置信窗口獲取歷史負(fù)載信息并計(jì)劃先行窗口的負(fù)載 時(shí)間序列事件的自適應(yīng)負(fù)載預(yù)測(cè)過程

ComputerSchool,NUDT.Spring,201366圖7-27Grid’5000工作負(fù)載的變化（2006.1—2006.10）Grid’5000上的負(fù)載跟蹤C(jī)omputerSchool,NUDT.Spring,201367自回歸（AR）預(yù)測(cè)方法混合模型（H-Model）n步先行負(fù)載預(yù)測(cè)方法:ComputerSchool,NUDT.Spring,201368圖7-28AH模型兩種實(shí)現(xiàn)與使用AR模型的最佳MSE比較的均方誤差適應(yīng)預(yù)測(cè)機(jī)制(AH模型)Grid’5000系統(tǒng)的基準(zhǔn)測(cè)試結(jié)果:ComputerSchool,NUDT.Spring,201369圖7-29網(wǎng)格計(jì)算的通用信任模型基于信譽(yù)的信任模型,模糊信任模型網(wǎng)格安全執(zhí)行的信任模型廣義信任模型:ComputerSchool,NUDT.Spring,201370圖7-30許可GT4網(wǎng)格環(huán)境中，使用PKI服務(wù)的信任委托操作鏈上的多方交互認(rèn)證與授權(quán)方法網(wǎng)格中的主要認(rèn)證方法包括密碼、PKI和Kerberos。密碼是識(shí)別用戶的最簡(jiǎn)單方法，但也是漏洞最多的。GSI支持的PKI則是最受歡迎的方法。ComputerSchool,NUDT.Spring,201371圖7-31三種授權(quán)模型：主題推動(dòng)模型、資源拉動(dòng)模型、授權(quán)代理模型

ComputerSchool,NUDT.Spring,201372網(wǎng)格安全基礎(chǔ)設(shè)施（GSI）盡管網(wǎng)格越來越多地被部署，成為構(gòu)建動(dòng)態(tài)、域間、分布式計(jì)算和數(shù)據(jù)協(xié)作的通用方法，但是“在不同服務(wù)之間缺乏安全/信任”仍是網(wǎng)格所面臨的重要挑戰(zhàn)之一。網(wǎng)格是具有以下特性的安全基礎(chǔ)設(shè)施：便于使用；符合VO的安全需求，可適應(yīng)于每個(gè)資源提供商站點(diǎn)的政策；提供所有交互的合適的認(rèn)證與加密。

GSI是滿足這些需求的重要環(huán)節(jié)。作為網(wǎng)格環(huán)境中著名的安全解決方案，GSI是GlobusToolkit的一部分，為支持網(wǎng)格需要，包括支持消息保護(hù)、認(rèn)證和委托、授權(quán)，它提供了基本安全服務(wù)。ComputerSchool,NUDT.Spring,201373圖7-32消息和傳輸級(jí)別的GSI功能層ComputerSchool,NUDT.Spring,201374傳輸級(jí)安全傳輸級(jí)安全限制SOAP消息只能在TLS保護(hù)的網(wǎng)絡(luò)連接上傳輸。消息級(jí)安全

GSI還提供了消息級(jí)安全，，對(duì)SOAP消息進(jìn)行保護(hù)。認(rèn)證與委托

GSI通過X.509證書和公鑰支持認(rèn)證和委托。作為一個(gè)GT4中的新特性，GSI也將簡(jiǎn)單的用戶名和密碼作為部署選項(xiàng)，用來支持認(rèn)證。ComputerSchool,NUDT.Spring,201375圖7-33相互認(rèn)證機(jī)制中的多次握手ComputerSchool,NUDT.Spring,201376圖7-34