1、第三章 信息管理龔 斌山東大學(xué)計算機科學(xué)與技術(shù)學(xué)院山東省高性能計算中心元計算目錄服務(wù)MDSMDSMetacomputing Directory Service, MDS是Globus提供的一個信息服務(wù)模塊主要任務(wù)是管理網(wǎng)格中的各種信息，包括信息的發(fā)現(xiàn)、注冊、查詢、修改、注銷等提供一套工具和API用于發(fā)現(xiàn)、發(fā)布和訪問計算網(wǎng)格資源的信息MDS的版本MDS1(Metacomputing Directory Service)Centralized databaseGlobus 1.1.2 and earlierDid not scaleSingle point failureLDAP basedMDS

2、2(Monitoring and Discovery Service)Distributed servicesIn Globus Toolkit 1.1.3 and GT 2.xTwo classes of server: GIIS and GRISLDAP basedLazy caching presented scalability problemGlobus實現(xiàn)信息服務(wù)的假設(shè)前提信息資源分布而且單個的資源容易發(fā)生故障 系統(tǒng)的信息提供者數(shù)目眾多信息資源的類型和信息使用的類型都很多 MDS設(shè)計需要考慮的方面性能擴展性和費用一致性（Uniformity）可表達性 多信息源 動態(tài)數(shù)據(jù)靈活訪問安全

3、容易部署分布式維護MDS的兩類接口交互接口編程接口（每次啟動程序時使用的處理器個數(shù)不同，動態(tài)變化）Globus信息服務(wù)的兩個方面 信息的使用（information retrieval）信息的獲?。╠iscovery and monitoring）MDS的信息靜態(tài)的主機信息，如：操作系統(tǒng)版本、CPU類型、處理器數(shù)目；動態(tài)的主機信息，如：平均負載，隊列入口等；存儲系統(tǒng)信息，如：可用磁盤空間，全部磁盤空間，等；通過Network Weather Service提供的網(wǎng)絡(luò)信息，如：網(wǎng)絡(luò)帶寬，延遲等。平臺類型和體系的指令集操作系統(tǒng)的名稱和版本CPU信息類型，CPU數(shù)目，版本，速度，緩存等等內(nèi)存物理和虛

4、擬內(nèi)存大小，空閑空間等網(wǎng)絡(luò)接口信息機器名和地址文件系統(tǒng)概要大小，空閑空間等等MDS在Globus協(xié)議集中的位置MDS的特點MDS提供了一個虛擬組織，在這個組織內(nèi)，參與到一個合作活動內(nèi)的一組人能夠互相之間共享資源，一個虛擬組織內(nèi)的資源在一個統(tǒng)一的視圖下收集和顯示信息。GRIS提供了一個通用的方法來查詢一個計算網(wǎng)格的當(dāng)前配置、能力和狀態(tài)的資源信息。這樣的服務(wù)包括host id，以及一些動態(tài)的信息如CPU和可用內(nèi)存等。GIIS能夠?qū)⒁恍┤我獾腉RIS聯(lián)系起來形成一個連續(xù)的系統(tǒng)映像，以供網(wǎng)格應(yīng)用探究和查詢。例如，一個GIIS能夠列出一個實驗室聯(lián)邦內(nèi)的所有可用的計算資源，或者一個代理所擁有的所有的分布式

5、數(shù)據(jù)存儲系統(tǒng)。MDS結(jié)構(gòu)每個資源運行一個標(biāo)準(zhǔn)的信息服務(wù)（GRIS），它使用LDAP進行通信，并提供關(guān)于資源的信息；一個GIIS提供一個類似網(wǎng)絡(luò)搜索引擎的緩存服務(wù)，每個資源通過一個GIIS進行注冊，當(dāng)緩存失效時，一個Client請求信息服務(wù)時，GIIS將從注冊的資源出取出信息；一個GIIS提供了一個在合作層的索引、搜索服務(wù)機制?！癈lassic” MDS Architecture (MDS-1)Resources push information into a central organization server via regular updates (globus-gram-reporte

6、r), where it can be retrieved by clients.Regular updates dont scale as the number of resources grow rapidly. Commercial LDAP servers are optimized for “read” requests, and cant handle frequent “write” requests.If organization server is unavailable, no information is available.LDAPOrganizationServerD

7、irectory containsinfo from A and BResource Agram-reporterResource Bgram-reportergram-reporters periodicallyupdate LDAP servers information.Client 1Client 2Client 3clients query organization serverfor current information.“Standard” MDS Architecture (MDS-2)Resources run a standard information service

8、(GRIS) which speaks LDAP and provides information about the resource (no searching).GIIS provides a “caching” service much like a web search engine. Resources register with GIIS and GIIS pulls information from them when requested by a client and the cache as expired.GIIS provides the collective-leve

9、l indexing/searching function.GIISCache contains info from A and BResource AGRISGIIS requests information fromGRIS services as needed.Client 1Client 2Client 3Resource BGRISClients 1 and 2 request infodirectly from resources.Client 3 uses GIIS for searchingcollective information.MDS-2 Service Archite

10、ctureDynamic Registration via Reg. Protocol (GRRP)Resource Inquiry via Info. Protocol (GRIP)Co-located with resource on networkResource Discovery (via GRIP or other)Using GRIP allows resource/directory hierarchydiscovery (GRIP?)lookup (GRIP)registration (GRRP)VO-specific Aggregate Directoriesstandar

11、d Resource Description servicesRRRRAA?兩個方面相對分離的好處好處可以支持多種發(fā)現(xiàn)與監(jiān)測策略可以在多種具體的實現(xiàn)因素之間進行平衡，而不需要修改組成網(wǎng)格的資源與服務(wù)如何實現(xiàn)分離？Core providers/mds/DefaultGRISProviders.html.generic providers/mds/TestSuite.html.Custom Information Providers/mds/creating_new_providers.pdf用戶1GRISIPIPIPGRIP資源A如何實現(xiàn)分離？用戶2GRISIPIPIPGRIP資源AGIISGI

12、ISGIISGRIS資源BGRRPGRRPGRRP如何提高性能？關(guān)鍵：Cache用戶GIIS命中返回數(shù)據(jù)YNGRIS命中Y返回數(shù)據(jù)NIP返回數(shù)據(jù)如何判斷cache命中有需要的數(shù)據(jù)在cache time-to-live (cache TTL) 規(guī)定的時間內(nèi)信息的組織層次：目錄信息樹DITGRISGRIS框架被實現(xiàn)為一個OpenLDAP服務(wù)后臺，可作為一個可插入的特定的信息服務(wù)。每個MDS的資源能夠運行一個本地的GRIS。一個GRIS能夠來自其他系統(tǒng)的關(guān)于本地機或者其他資源的網(wǎng)格信息。他能夠通過GIIS進行注冊，以便后者將信息傳給他人。一個GRIS能夠認(rèn)證和轉(zhuǎn)換來自客戶端的查詢，將查詢進行分派，根

13、據(jù)查詢的類型分別給予那些關(guān)心的信息提供者，最終所有的查詢結(jié)果被集中返回給客戶端。GRIS通過良好定義的API和信息提供者進行通信。提供者定義的實現(xiàn)了GRIS API的子過程能夠幫助GRIS配置指定信息提供者產(chǎn)生的信息類型。GRIS為了確保GRIS的操作不被干擾，提高反應(yīng)速度，增強調(diào)度的靈活性，每個提供者會緩存一次的查詢結(jié)果，以便降低提供者被激活的次數(shù)。緩存的有效時間（TTL）作為提供者的局部配置。由每個提供者返回的結(jié)果將會被GRIS進行過濾，以除去那些不滿足客戶端存儲空間以及其他限制的對象。這個過濾功能由GRIS完成而不是信息提供者自身完成，這樣就保證了：簡單的信息提供者不需要重復(fù)實現(xiàn)這一功能

14、；提供者可以給出一個超過了請求客戶端緩存要求的結(jié)果的超集。GIISMDS提供了一個建造聚合目錄的框架GIIS，并提供了這個框架的一個實例從而實現(xiàn)了一個能夠提供等級結(jié)構(gòu)的簡單的聚合目錄。這個簡單的目錄能夠接受來自子GRIS和GIIS實例的注冊信息，并將這些信息聯(lián)合成一個統(tǒng)一的信息空間?？蛻舳说乃阉髂軌虿榈剿凶覩RIS上的信息。GIIS能夠通過一個簡單的命令獲取多個GRIS上的信息。一個GIIS能夠為一個場所或者多場所的合作建立一個組織范圍的信息服務(wù)器。GIIS框架包括三個主要的組成部分：統(tǒng)一注冊句柄、可插入的索引構(gòu)造、可插入的搜索句柄。和GRIS相比，GIIS被實現(xiàn)為一個OpenLDAP服務(wù)的

15、特定目的的后端。OpenLDAP的前端解析注冊信息，并將其送至后端來執(zhí)行任何需要創(chuàng)建GIIS索引信息的動作。 GRIS與GIIS的相似點都依賴一個OpenLDAP前端進行協(xié)議處理、認(rèn)證和結(jié)果過濾；都使用同一個用于定制的API，能夠共存于一個Server下；為提供者和目錄互操作使用相同的協(xié)議，不僅增強了互操作性，而且簡化了實現(xiàn)。與MDS的交互和MDS交互的方式有兩種：交互式或者進行編程。和MDS進行交互式的交互，需要在UNIX命令行下面敲入命令，這類使用適合于對系統(tǒng)的資源和狀態(tài)的搜索。要和MDS進行編程交互，則需要在應(yīng)用中插入程序的調(diào)用。MDS-2.1 GRIS Providersgrid-in

16、fo-cpu reports CPU/load infogrid-info-fs reports filesystem infogrid-info-mem reports RAM/VM infogrid-info-net reports NIC/net info grid-info-os reports OS info grid-info-platform reports arch. info grid-info-merged merges all host info*Extensible for other sources, e.g. GRAMMDS的使用Grid-info-searchco

17、nfig file 指定配置文件mdshost host(-h) 指定主機名,$GRID_INFO_HOSTmdsport port(-p) 指定服務(wù)器斷口號,$GRID_INFO_PORT舉例1查詢網(wǎng)格信息服務(wù)提供的所有對象 grid-info-search h p 8463 b Mds-vo-name=local, o=Grid舉例2 查詢網(wǎng)格索引信息服務(wù)的文件系統(tǒng)空間grid-info-search x h p 8422 b Mds-vo-name=site, o=Grid Mds-Fs-freeMB舉例3查詢網(wǎng)格索引信息服務(wù)的CPU數(shù)據(jù)grid-info-search x h p 84

18、22 b Mds-vo-name=local, o=Grid (&(objectclass=MdsCpu) (Mds-Hostn=) Mds-CPu-model Mds-Cpu-speedMHZGlobus信息服務(wù)協(xié)議的特點底層的查詢與注冊協(xié)議，使得單個的實體可以比較容易的結(jié)合到所定義的信息庫中。 支持不同查詢語言與發(fā)現(xiàn)機制的聚集目錄與其它協(xié)議的結(jié)合，可以支持高級服務(wù)與功能，比如代理、檢測、容錯以及錯誤恢復(fù)。 Globus MDS功能總結(jié)定義了為用戶提供數(shù)據(jù)的方法通過 LDAP協(xié)議以及一些特別的機制可配置的信息提供組件GRIS GRIS提供了查詢網(wǎng)格資源當(dāng)前配置、能力以及狀態(tài)的方式GRIS提供

19、分布式的信息服務(wù)，回答關(guān)于某一特定信息資源的查詢可配置的聚類目錄組件 GIIS GIIS提供了組合任意GRIS服務(wù)的方式，可以提供一致的系統(tǒng)影像，用于網(wǎng)格應(yīng)用的查找之中GIIS為用來組織特定興趣的資源提供機制產(chǎn)生信息、發(fā)布信息、存儲信息、查找信息、查詢信息、顯示信息 GT3的信息服務(wù)Accessing Grid ServicesGT 3 provides an “index service” (as a higher level service) to access service data provided with grid service.Service data can include

20、s both hardware and software details of service. Index Service的功能為服務(wù)數(shù)據(jù)提供者到服務(wù)實例的連接提供了一個接口。能將來自多個不同的服務(wù)數(shù)據(jù)提供者或其它的網(wǎng)格服務(wù)的服務(wù)數(shù)據(jù)有效的聚集起來，并能提供一種有效的對服務(wù)數(shù)據(jù)的查詢過程。實現(xiàn)網(wǎng)格服務(wù)的注冊。動態(tài)的服務(wù)數(shù)據(jù)產(chǎn)生及網(wǎng)格節(jié)點索引。 Index Service的機制服務(wù)組的管理機制服務(wù)的注冊機制服務(wù)數(shù)據(jù)的管理機制服務(wù)數(shù)據(jù)的預(yù)定通知機制服務(wù)數(shù)據(jù)的查詢機制Service Registry從本質(zhì)上講，服務(wù)注冊就是將一個服務(wù)組記為另一個服務(wù)組的成員服務(wù)。具體實現(xiàn)的過程如下：Registry

21、requestCreate indexService instanceInstance (EntryType)Servicegroupentry locatorContentMember locatorGSHContent服務(wù)激活(activate)時自動發(fā)出注冊請求配置方法：增加RegistryPublishProvider指明注冊配置文件，即服務(wù)的contentService Auto-Registry(cont.) ce:Host 60000 Service Registry(cont.)第二種注冊方式是手工注冊：指明服務(wù)的GSH及服務(wù)的描述文件Service Registry(cont

22、.)服務(wù)信息查詢與服務(wù)方法調(diào)用： 通過獲取Index Service的entry服務(wù)數(shù)據(jù)，就可獲取所有已注冊服務(wù)的相關(guān)信息。Service Data managementSubscription/NotificationThe purpose of notification is to deliver interesting messages from a notification source to a notification sink.A notification source is a Grid service instance that implements the Notifica

23、tionSource portType, and is the sender of notification messages. A source MAY be able to send notification messages to any number of sinks. A notification sink is a Grid service instance that receives notification messages from any number of sources. A sink MUST implement the NotificationSink portTy

24、pe, which allows it to receive notification messagesA notification message is an XML element sent from a notification source to a notification sink. The XML type of that element is determined by the subscription expression.Subscription/NotificationaddListener: This call subscribes the calling client to a particular SDE (which is specified in the call) notifyChange: Whenever a change happens, the MathService instance will ask the SDE to notify its subscribers. deliverNotification: The SDE notifies the subscribers th