1、【最新卓越管理方案 您可自由編輯】（VR虛擬現(xiàn)實(shí)）虛擬化存儲(chǔ)系統(tǒng)2020年5月多年的企業(yè)咨詢顧問(wèn)經(jīng)驗(yàn)，經(jīng)過(guò)實(shí)戰(zhàn)驗(yàn)證可以落地執(zhí)行的卓越管理方案，值得您下載擁有虛擬化存儲(chǔ)系統(tǒng)華中科技大學(xué)集群與網(wǎng)格計(jì)算湖北省點(diǎn)實(shí)驗(yàn)室信息存儲(chǔ)系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室2003年12月課題研究背景當(dāng)今社會(huì)，信息正以超乎人們想象的速度增長(zhǎng)，這對(duì)信息存儲(chǔ)系統(tǒng)的容量和 速度提出了空前的要求，由此引發(fā)的各種問(wèn)題也隨之而來(lái)。人們對(duì)信息數(shù)據(jù)日益 廣泛的需求導(dǎo)致存儲(chǔ)系統(tǒng)的規(guī)模變得越來(lái)越龐大，管理越來(lái)越復(fù)雜，信息資源的 爆炸性增長(zhǎng)和管理能力的相對(duì)不足之間的矛盾日益尖銳。同時(shí)，這種信息資源的 高速增長(zhǎng)也對(duì)存儲(chǔ)系統(tǒng)的可靠性和擴(kuò)展性提出了挑戰(zhàn)，信

2、息資源的共享也顯得越 來(lái)越重要。在廣域網(wǎng)中存在大量相互獨(dú)立的數(shù)據(jù)孤島，它們之間的數(shù)據(jù)資源不能共享， 存儲(chǔ)空間不能得到有效使用，數(shù)據(jù)的傳輸性能不足。存儲(chǔ)虛擬化是指將用戶看到 的存儲(chǔ)資源同具體的物理存儲(chǔ)設(shè)備分隔開來(lái)，為存儲(chǔ)用戶提供統(tǒng)一的虛擬存儲(chǔ) 池。它是具體存儲(chǔ)設(shè)備或存儲(chǔ)系統(tǒng)的抽象，展示給用戶一個(gè)邏輯視圖，同時(shí)將應(yīng) 用程序和用戶所需要的數(shù)據(jù)存儲(chǔ)操作和具體的存儲(chǔ)控制分離。存儲(chǔ)虛擬化的任務(wù) 首先是在多個(gè)物理存儲(chǔ)設(shè)備或存儲(chǔ)系統(tǒng)上創(chuàng)建一個(gè)抽象層，屏蔽復(fù)雜性，簡(jiǎn)化管 理;其次是對(duì)存儲(chǔ)資源進(jìn)行優(yōu)化。本課題研究了廣域網(wǎng)范圍和存儲(chǔ)局域網(wǎng)（SAN） 內(nèi)部的存儲(chǔ)虛擬化技術(shù)，以及支撐這種技術(shù)的文件系統(tǒng)。據(jù)統(tǒng)計(jì)，在企業(yè)網(wǎng)

3、、局域網(wǎng)內(nèi)部采用分布式存儲(chǔ)技術(shù)的企業(yè)，其存儲(chǔ)服務(wù)器、 磁盤陣列甚至PC的存儲(chǔ)空間利用率一般只達(dá)到50%，很多設(shè)備甚至還達(dá)不到， 用戶投資被大量浪費(fèi)。由于文件服務(wù)器系統(tǒng)缺乏對(duì)并行I/O的支持，在大量用戶 訪問(wèn)或遭到惡意訪問(wèn)攻擊時(shí)，系統(tǒng)將很快達(dá)到飽和而無(wú)法完成服務(wù)。通過(guò)存儲(chǔ)虛 擬化技術(shù)，不僅可以簡(jiǎn)化異構(gòu)存儲(chǔ)管理的復(fù)雜性，更可以高效充分地利用存儲(chǔ)空 間。通過(guò)在互連網(wǎng)絡(luò)環(huán)境中引入分布式RAID功能，能夠?qū)崿F(xiàn)數(shù)據(jù)有效備份和容 災(zāi)，提高信息的安全可靠性。通過(guò)將三級(jí)存儲(chǔ)設(shè)備虛擬為二級(jí)存儲(chǔ)，可以為用戶 提供快速海量存儲(chǔ)。局域網(wǎng)的網(wǎng)絡(luò)存儲(chǔ)技術(shù)基本上可以分NAS和SAN兩大類而NAS和SAN 又各有其優(yōu)缺點(diǎn)。因此

4、，提供一種技術(shù)將NAS和SAN統(tǒng)一整合起來(lái)是一個(gè)很 有意義的研究課題。在由高速串行SCSI接口構(gòu)建的SAN中，如果沒有SAN管理軟件的管理和 調(diào)度，只要存在兩臺(tái)主機(jī)，就必然存在共享沖突的問(wèn)題，存儲(chǔ)設(shè)備就無(wú)法正常工 作，光纖通道的優(yōu)點(diǎn)就無(wú)法體現(xiàn)出來(lái)。相反，如果SAN管理軟件管理調(diào)度得當(dāng)， FC所具有的優(yōu)勢(shì)就能被充分發(fā)揮出來(lái)，在此基礎(chǔ)上，還可在系統(tǒng)中增添如并行 存儲(chǔ)、負(fù)載平衡和數(shù)據(jù)遷移等功能，將使系統(tǒng)具有非常高的性能，全方位解決在 信息高速公路中服務(wù)器存儲(chǔ)系統(tǒng)的瓶頸問(wèn)題。SAN的管理問(wèn)題，已成為當(dāng)前學(xué)術(shù)界和產(chǎn)業(yè)界最為重要的一個(gè)熱點(diǎn)。但是， 目前處于領(lǐng)先地位的Veritas、IBM和HP等國(guó)外著名公

5、司的SAN管理軟件產(chǎn)品， 多采用靜態(tài)/動(dòng)態(tài)配置的分布式管理策略，即把存儲(chǔ)網(wǎng)絡(luò)中的存儲(chǔ)設(shè)備集合成為 磁盤池(diskpool)并劃分為卷(Volume)空間后把各卷配置給SAN中的各臺(tái)主 機(jī)，卷只能被其擁有主機(jī)進(jìn)行讀寫操作，不同主機(jī)之間不能直接共享同一卷中的 數(shù)據(jù)，而只能通過(guò)傳統(tǒng)文件服務(wù)器的C-S模式共享卷中的數(shù)據(jù)。采用配置文件 進(jìn)行分布式管理的SAN系統(tǒng)實(shí)現(xiàn)了存儲(chǔ)設(shè)備和存儲(chǔ)空間的共享，但還不具備文 件共享和元數(shù)據(jù)共享的能力。隨著客戶對(duì)數(shù)據(jù)的依賴性迅猛增長(zhǎng)，數(shù)據(jù)存儲(chǔ)的可靠性和可用性正日益成為 企業(yè)信息化進(jìn)程中的一個(gè)關(guān)鍵環(huán)節(jié)。而文件系統(tǒng)作為連接底層物理磁盤與上層應(yīng) 用層之間的紐帶，在信息存儲(chǔ)中起著

6、至關(guān)重要的作用，如何為文件系統(tǒng)提供故障 恢復(fù)功能以及如何提高文件系統(tǒng)的可用性成了目前亟待解決的關(guān)鍵問(wèn)題。在863項(xiàng)目“存儲(chǔ)虛擬化及其文件系統(tǒng)研究”的資助下，我們對(duì)存儲(chǔ)虛擬 化及其相關(guān)技術(shù)進(jìn)行了深入研究。經(jīng)過(guò)兩年的探索、研究和開發(fā)，本項(xiàng)目組成功 研制了虛擬化存儲(chǔ)系統(tǒng)。系統(tǒng)總體結(jié)構(gòu)虛擬化存儲(chǔ)系統(tǒng)可以將分布在互聯(lián)網(wǎng)上的各種存儲(chǔ)資源整合成具有統(tǒng)一邏 輯視圖的高性能存儲(chǔ)系統(tǒng)，因此又成為 GDSS(GlobalDistributedStorageSystem)系統(tǒng)。整個(gè)系統(tǒng)主要包括存儲(chǔ)服務(wù)點(diǎn) SSP(StorageServicePoint)、全局命名服務(wù)器 GNS(GlobalNameServer)、資源

7、 管理器 RM(ResourceManager)、認(rèn)證中心 CA(CertificateAuthority)、客戶端、 存儲(chǔ)代理SA(StorageAgent )以及可視化管理，如圖1所示。SSP是整個(gè)系統(tǒng)的入口，對(duì)系統(tǒng)所有模塊的訪問(wèn)都通過(guò)SSP，它主要提供 FTP接口、CA接口、RM接口和GNS接口；系統(tǒng)中SSP的個(gè)數(shù)可以根據(jù)需要 動(dòng)態(tài)增加；SSP接管了傳統(tǒng)方案中GNS的部分功能，減輕了 GNS的負(fù)載，提 高了系統(tǒng)的可擴(kuò)展性。GNS負(fù)責(zé)系統(tǒng)的元數(shù)據(jù)管理，主要包括元數(shù)據(jù)操作接口、元數(shù)據(jù)容錯(cuò)系統(tǒng)、 元數(shù)據(jù)搜索系統(tǒng)。RM包括資源調(diào)度模塊和副本管理模塊，其主要負(fù)責(zé)資源的申請(qǐng)和調(diào)度，同時(shí)提供透明的副本

8、創(chuàng)建和選擇策略。副本技術(shù)減少了文件數(shù)據(jù)訪問(wèn)延遲和帶寬消 耗，有助于改善負(fù)載平衡和可靠性。尤其是動(dòng)態(tài)的副本創(chuàng)建機(jī)制，即自動(dòng)的選擇 存儲(chǔ)點(diǎn)以創(chuàng)建副本，并根據(jù)用戶的特征而自動(dòng)變化創(chuàng)建策略，為副本機(jī)制提供了 更高的靈活性?？蛻舳四壳爸С秩N形式：通用FTP客戶端、文件訪問(wèn)接口和特制客戶端。 用戶通過(guò)系統(tǒng)提供的特制客戶端，不但能夠進(jìn)行用戶組操作，具有搜索和共享等 功能，還可以獲得更高性能的服務(wù)。CA包含證書管理系統(tǒng)，主要負(fù)責(zé)系統(tǒng)的安全性和數(shù)據(jù)的訪問(wèn)控制，同時(shí)它 記錄了用戶的注冊(cè)信息。SA屏蔽了存儲(chǔ)資源的多樣性，為系統(tǒng)提供統(tǒng)一存儲(chǔ)訪問(wèn)接口，同時(shí)提供了 文件操作方式和擴(kuò)展的FTP操作方式，另外它對(duì)文件復(fù)制管

9、理操作提供支持， 為高效傳輸提供服務(wù)。同時(shí)SA這一級(jí)實(shí)現(xiàn)了局域存儲(chǔ)資源的虛擬化，包括統(tǒng)一 SAN和NAS，分布式的磁盤虛擬化、磁帶庫(kù)虛擬化和SAN內(nèi)部共享管理等。圖1：虛擬化存儲(chǔ)系統(tǒng)整體架構(gòu)系統(tǒng)功能及關(guān)鍵技術(shù)GDSS系統(tǒng)的功能模塊劃分如圖2所示。圖2 :系統(tǒng)功能模塊圖3.1多樣的數(shù)據(jù)訪問(wèn)接口GDSS系統(tǒng)為終端用戶提供形式多樣的訪問(wèn)方式：標(biāo)準(zhǔn)FTP協(xié)議的服務(wù)。特定的GDSP協(xié)議的服務(wù)。兼容MPII/O文件讀寫接口?？蛻舳说念怞ava文件I/O。GDSS圖形客戶端。終端用戶的服務(wù)訪問(wèn)點(diǎn)是SSP。SSP采用協(xié)議分離的層次式結(jié)構(gòu)，支持三方 數(shù)據(jù)傳輸，并具有平臺(tái)無(wú)關(guān)、語(yǔ)言無(wú)關(guān)的特性。3.2元數(shù)據(jù)管理和容

10、錯(cuò)元數(shù)據(jù)管理涉及的關(guān)鍵研究?jī)?nèi)容包括：定義元數(shù)據(jù)信息，包括存儲(chǔ)資源、文 件、用戶等信息；元數(shù)據(jù)服務(wù)器的擴(kuò)展；基于用戶的資源分配方案，系統(tǒng)提供基 于用戶的資源存儲(chǔ)視圖，實(shí)現(xiàn)邏輯文件名與物理文件位置的分離及映射功能；元 數(shù)據(jù)信息與其他相關(guān)應(yīng)用的兼容性；元數(shù)據(jù)信息的檢索；元數(shù)據(jù)服務(wù)器性能的優(yōu) 化。采用LDAP目錄服務(wù)器（DS）來(lái)進(jìn)行元數(shù)據(jù)的組織管理。元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，一旦丟失，影響全局，因此需要對(duì)其容錯(cuò)功能進(jìn) 行研究。元數(shù)據(jù)的數(shù)據(jù)量相對(duì)較小，所以本系統(tǒng)采用多副本對(duì)元數(shù)據(jù)進(jìn)行容錯(cuò)。 不同的用戶有不同的權(quán)限，可以對(duì)其元數(shù)據(jù)要求不同的安全級(jí)別。對(duì)于安全級(jí)別 比較高的元數(shù)據(jù)，可以分配較多的副本。3.3全

11、局范圍內(nèi)的數(shù)據(jù)共享與訪問(wèn)控制虛擬化存儲(chǔ)系統(tǒng)的一個(gè)首要目的是消除分布在廣域范圍內(nèi)的多個(gè)信息孤島， 在更大范圍內(nèi)更好地實(shí)現(xiàn)數(shù)據(jù)共享，從而盡可能地使用戶找到他想得到的數(shù)據(jù)。 數(shù)據(jù)資源的共享要實(shí)現(xiàn)兩個(gè)目標(biāo)：a.數(shù)據(jù)在兩個(gè)用戶之間的交流共享；b.數(shù)據(jù)同 時(shí)在多個(gè)用戶之間的交流共享。由數(shù)據(jù)共享所引申出來(lái)的一個(gè)問(wèn)題是數(shù)據(jù)的訪問(wèn) 控制。不同的用戶對(duì)共享的數(shù)據(jù)具有不同的訪問(wèn)權(quán)限，必須把用戶限制在他所能 操作的數(shù)據(jù)和所能實(shí)施的權(quán)限上。GDSS系統(tǒng)的物理存儲(chǔ)資源以域的形式來(lái)劃分。每個(gè)域都是一個(gè)自治的資源 實(shí)體，可以設(shè)定自己的資源使用策略和對(duì)外服務(wù)提供策略。GDSS系統(tǒng)負(fù)責(zé)把這 些物理資源實(shí)體組織和管理起來(lái)對(duì)終端用戶

12、提供統(tǒng)一的存儲(chǔ)服務(wù)。這里，我們把 GDSS系統(tǒng)的資源使用者稱為終端用戶?，F(xiàn)實(shí)世界中的實(shí)體可以根據(jù)自己的資源 需要和不同域所能提供的資源服務(wù)類型，來(lái)選定一個(gè)域進(jìn)行注冊(cè)。然后他就可以 使用GDSS系統(tǒng)的數(shù)據(jù)資源和存儲(chǔ)資源。GDSS系統(tǒng)引入一個(gè)新的概念，存儲(chǔ)服 務(wù)點(diǎn)(SSP)。GDSS系統(tǒng)提供許多分散的SSP，它們獨(dú)立于所有的域，是用戶訪 問(wèn)存儲(chǔ)資源的入口。SSP向最終用戶提供數(shù)據(jù)存儲(chǔ)服務(wù)，并負(fù)責(zé)和所有域的GNS 和SA進(jìn)行控制交互。3.4全局統(tǒng)一的文件名字空間文件命名空間用于幫助用戶如何發(fā)現(xiàn)一個(gè)存在于特定位置的數(shù)據(jù)文件。名 字空間通常有兩種實(shí)現(xiàn)方法：一是建立一個(gè)完全全局統(tǒng)一的名字空間，所有的 用戶

13、可以看到系統(tǒng)中的所有數(shù)據(jù)文件；二是多名字空間系統(tǒng)，不同的用戶或不 同位置使用的名字空間不同，可以訪問(wèn)數(shù)據(jù)資源也有所不同。虛擬化存儲(chǔ)系統(tǒng) 中存在大量分散的用戶和大量分散的數(shù)據(jù)，如何建立一個(gè)文件命名機(jī)制是一個(gè) 重要問(wèn)題。它必須實(shí)現(xiàn)文件定位的高效率、位置透明性和訪問(wèn)透明性。GDSS系統(tǒng)的名字空間結(jié)合了單一名字空間和多名字空間的特點(diǎn)，建立了 一個(gè)全局統(tǒng)一的文件命名空間，對(duì)所有的用戶提供相同的文件命名、定位和訪 問(wèn)機(jī)制。同時(shí)針對(duì)不同的用戶的興趣，為他們提供不同的數(shù)據(jù)視圖，這樣，系 統(tǒng)針對(duì)特定用戶要維護(hù)的元數(shù)據(jù)信息也相應(yīng)減少?gòu)亩峁┝藬?shù)據(jù)定位的效率。整個(gè)GDSS系統(tǒng)的物理資源由分散的多個(gè)自治域構(gòu)成，但給用

14、戶提供的名 字空間是邏輯的，以屏蔽數(shù)據(jù)物理位置的分散性，實(shí)現(xiàn)數(shù)據(jù)的透明訪問(wèn)。就是 說(shuō)，用戶對(duì)數(shù)據(jù)文件的各種訪問(wèn)操作都是在邏輯名字空間上進(jìn)行的。SSP負(fù)責(zé) 邏輯名字空間的構(gòu)建，而SSP與域中的GNS和RM來(lái)共同完成數(shù)據(jù)文件的完 全邏輯限定名到實(shí)際數(shù)據(jù)物理位置的轉(zhuǎn)換。3.5數(shù)據(jù)副本管理技術(shù)GDSS系統(tǒng)提供數(shù)據(jù)副本管理技術(shù)。主要的研究?jī)?nèi)容有：副本創(chuàng)建的時(shí)機(jī)； 副本創(chuàng)建的策略；副本的更新時(shí)機(jī)；副本的替換的時(shí)機(jī)；副本的選擇的策略；副 本的傳輸。GDSS系統(tǒng)動(dòng)態(tài)副本模型主要由副本目錄、資源管理器、訪問(wèn)紀(jì)錄器、副本管理器、副本傳輸器等五部分構(gòu)成。其中，副本目錄提供文件和對(duì)象的邏輯名字 到具體物理存儲(chǔ)位置之間

15、的映射；資源管理器負(fù)責(zé)存儲(chǔ)資源的調(diào)度分配和管理， 收集域內(nèi)存儲(chǔ)系統(tǒng)的物理屬性，資源管理器同時(shí)充當(dāng)著資源選擇器的角色；訪問(wèn) 記錄器記錄本域或遠(yuǎn)域用戶對(duì)文件的訪問(wèn)情況，如訪問(wèn)用戶、用戶所在域、文件 訪問(wèn)時(shí)間、文件大小、訪問(wèn)回復(fù)延遲；副本管理器是整個(gè)副本模型的中樞，可以 對(duì)副本目錄進(jìn)行條目的添加、刪除、更新操作，并監(jiān)控和觸發(fā)副本實(shí)際過(guò)程。3.6 數(shù)據(jù)安全如何保證數(shù)據(jù)不會(huì)被越權(quán)訪問(wèn)是存儲(chǔ)虛擬化所面臨的關(guān)鍵問(wèn)題之一。GDSS 采用訪問(wèn)控制和安全認(rèn)證相結(jié)合的方式保證數(shù)據(jù)的安全。訪問(wèn)控制在前面已經(jīng)介 紹過(guò)，本節(jié)介紹系統(tǒng)的安全認(rèn)證架構(gòu)。GDSS綜合考慮Kerberos私鑰認(rèn)證方式 和PKI公鑰認(rèn)證方式兩者的特

16、點(diǎn)，并將其有效結(jié)合，提供了一種能夠適應(yīng)廣域網(wǎng) 環(huán)境下身份認(rèn)證和授權(quán)訪問(wèn)要求的安全模型，具有以下優(yōu)點(diǎn)：通過(guò)使用層次CA認(rèn)證架構(gòu)在廣域全局范圍內(nèi)發(fā)放證書。同時(shí)，密鑰的 管理、分配、存儲(chǔ)都采用證書的方式。實(shí)現(xiàn)了一次性簽放的機(jī)制，所有簽放票據(jù)都有一個(gè)有效期。使用訪問(wèn)控制服務(wù)器，有效加強(qiáng)本地域內(nèi)安全策略的實(shí)施。支持雙向的身份認(rèn)證。3.7數(shù)據(jù)傳輸虛擬化存儲(chǔ)系統(tǒng)需要一種高效可靠的數(shù)據(jù)傳輸機(jī)制以支持大量數(shù)據(jù)的移動(dòng)、 傳輸和復(fù)制，這種傳輸機(jī)制具有以下幾種功能：快速數(shù)據(jù)傳輸：可以采用并行數(shù)據(jù)傳輸，分塊傳輸和流水線技術(shù)等多種 機(jī)制來(lái)保證；分塊數(shù)據(jù)傳輸：由于系統(tǒng)的數(shù)據(jù)是廣泛分布的，所以需要支持多個(gè)數(shù)據(jù) 塊的并發(fā)數(shù)據(jù)傳

17、輸；部分?jǐn)?shù)據(jù)傳輸：可以支持?jǐn)帱c(diǎn)續(xù)傳；第三方數(shù)據(jù)傳輸：由于應(yīng)用和數(shù)據(jù)都是分布式的，許多應(yīng)用需要用到多 個(gè)資源，所以必須提供一種機(jī)制，允許一個(gè)地點(diǎn)的用戶或應(yīng)用能夠啟動(dòng)、 監(jiān)視和控制其他兩個(gè)地點(diǎn)存儲(chǔ)系統(tǒng)的數(shù)據(jù)傳輸，為應(yīng)用使用多個(gè)地點(diǎn)的 資源提供保障；為了保證存儲(chǔ)虛擬化中數(shù)據(jù)的高效、可靠傳輸，我們?cè)赟SP、SA、Client 和文件訪問(wèn)接口里面都插入了傳輸控制模塊。3.8文件訪問(wèn)接口GDSS系統(tǒng)向用戶提供文件系統(tǒng)訪問(wèn)接口，同時(shí)系統(tǒng)提供對(duì)MPI-IO的支持。 文件接口由多個(gè)功能模塊組成，例如文件打開模塊、文件讀模塊、文件寫模塊、 文件定位模塊、文件大小截取模塊、文件flush模塊、文件刪除模塊和文件關(guān)閉

18、 模塊。ROMIO是MPI-IO規(guī)范的一個(gè)高性能、可移植實(shí)現(xiàn)。ADIO (Abstract-DeviceInterfaceforParallelI/O)是 ROMIO 的一個(gè)關(guān)鍵部分，它 不是提供給編程人員的新的APIs，而是實(shí)現(xiàn)其他APIs的一種策略。ADI。在不 同的文件系統(tǒng)上實(shí)現(xiàn)提供一組最基本的并行I/O訪問(wèn)的函數(shù)。ROMIO對(duì)GDSS 系統(tǒng)的操作是先將操作轉(zhuǎn)化為ADIO層對(duì)文件的操作，之后轉(zhuǎn)化為GDSS系統(tǒng) 對(duì)其文件的操作。3.9全局可視化管理GDSS通過(guò)分布的、全局統(tǒng)一的Web服務(wù)器來(lái)提供全局一致的服務(wù)管理。管理員可以通過(guò)支持Javaplug-in的瀏覽器方便的從遠(yuǎn)程對(duì)整個(gè)系統(tǒng)進(jìn)行監(jiān)

19、控 管理。監(jiān)控管理主要分為四個(gè)模塊：全局信息和證書的管理：負(fù)責(zé)注冊(cè)、管理全局的域信息和SSP信息，以 及證書的管理；SSP管理 負(fù)責(zé)對(duì)SSP服務(wù)器的資源狀態(tài)信息進(jìn)行啟動(dòng)管理、鏈接管理、 監(jiān)控；GNS管理：負(fù)責(zé)對(duì)GNS服務(wù)器的資源狀態(tài)信息進(jìn)行啟動(dòng)管理、鏈接管 理、監(jiān)控；RM管理：負(fù)責(zé)對(duì)RM和Agent的資源狀態(tài)信息進(jìn)行監(jiān)控，對(duì)RM服 務(wù)器進(jìn)行啟動(dòng)管理、配置管理、策略配置以及副本數(shù)據(jù)的維護(hù)。所有的管理模塊通過(guò)Http服務(wù)的方式進(jìn)行鏈接統(tǒng)一在全局信息服務(wù)器上。3.10虛擬化分布式磁盤陣列分布式磁盤陣列可以將各個(gè)網(wǎng)絡(luò)結(jié)點(diǎn)的空余存儲(chǔ)空間按照一定的磁盤陣列 級(jí)別進(jìn)行組織，使得在客戶端將分布式磁盤陣列虛擬成

20、本地邏輯磁盤驅(qū)動(dòng)器，利 用本地已有的文件系統(tǒng)管理虛擬磁盤上的數(shù)據(jù)，這樣客戶端可以不需通過(guò)服務(wù) 器，就可在本地驅(qū)動(dòng)程序棧中生成對(duì)虛擬磁盤訪問(wèn)的邏輯塊命令。同時(shí)，服務(wù)器 的職能轉(zhuǎn)換成為一種功能單一的網(wǎng)絡(luò)控制臺(tái)，負(fù)責(zé)將分布的磁盤陣列空間統(tǒng)一為 一個(gè)大的存儲(chǔ)池，提供給客戶端的用戶使用。在傳統(tǒng)存儲(chǔ)梯次結(jié)構(gòu)中磁帶庫(kù)通常作為歸檔、備份等第三級(jí)存儲(chǔ)設(shè)備使用， 在這里它被虛擬化為塊設(shè)備作為二級(jí)存儲(chǔ)設(shè)備使用。無(wú)論是磁盤驅(qū)動(dòng)器還是磁帶 庫(kù)，最終向上層呈現(xiàn)的都是可管理的存儲(chǔ)區(qū)間。雖然系統(tǒng)為不同類別的外部存儲(chǔ) 設(shè)備提供不同的中間層驅(qū)動(dòng)程序，但這些驅(qū)動(dòng)程序功能是相似的，都把文件系統(tǒng) 的I/O命令化為可以被底層驅(qū)動(dòng)理解并執(zhí)

21、行的標(biāo)準(zhǔn)I/O命令。因此在中間層對(duì)它 們進(jìn)行虛擬化管理是可行的，這是磁帶庫(kù)緩沖調(diào)度系統(tǒng)得以實(shí)現(xiàn)的基礎(chǔ)。磁帶庫(kù)緩存調(diào)度系統(tǒng)向用戶提供一個(gè)容量與磁帶庫(kù)存儲(chǔ)空間相同的、可以進(jìn) 行隨機(jī)I/O訪問(wèn)的虛擬設(shè)備，用戶可以像使用常規(guī)物理硬盤一樣使用它。緩沖存 儲(chǔ)調(diào)度的實(shí)現(xiàn)中利用了虛擬化概念。當(dāng)收到上層驅(qū)動(dòng)派生的I/O命令后，驅(qū)動(dòng)程 序首先訪問(wèn)緩存空間，若數(shù)據(jù)命中則直接完成I/O處理，若數(shù)據(jù)不命中則需要訪 問(wèn)磁帶庫(kù)，經(jīng)過(guò)磁帶庫(kù)調(diào)度完成I/O。3.12文件系統(tǒng)容錯(cuò)機(jī)制文件系統(tǒng)作為連接底層物理磁盤與上層應(yīng)用層之間的紐帶，在信息存儲(chǔ)中起 著至關(guān)重要的作用，如何為文件系統(tǒng)提供故障恢復(fù)功能以及如何提高文件系統(tǒng)的 可用性成

22、了目前亟待解決的關(guān)鍵問(wèn)題。我們對(duì)文件系統(tǒng)中存在的同步寫、異步寫 問(wèn)題，數(shù)據(jù)結(jié)構(gòu)中復(fù)雜的指針從屬關(guān)系引起的數(shù)據(jù)不一致性問(wèn)題，異常掉電、系 統(tǒng)突然崩潰、磁盤物理故障等導(dǎo)致磁盤文件系統(tǒng)故障的問(wèn)題作了研究。針對(duì)這些 問(wèn)題，我們提供文件系統(tǒng)高可用性的解決方案，提出了文件系統(tǒng)鏡像分布策略， 研制開發(fā)了針對(duì)文件系統(tǒng)的文件快照技術(shù)（Snapshot）。快照技術(shù)是一種保留某一時(shí)刻文件系統(tǒng)映像的技術(shù)，它用最短的時(shí)間和最低的消耗實(shí)現(xiàn)文件系統(tǒng)的只讀備份，其目的是在應(yīng)用層有效地保護(hù)數(shù)據(jù)不被破壞。 文件系統(tǒng)快照就是對(duì)文件系統(tǒng)的元數(shù)據(jù)的復(fù)制和監(jiān)控。我們通過(guò)記錄整個(gè)文件系 統(tǒng)的元數(shù)據(jù)在某一時(shí)刻的狀態(tài)，建立文件系統(tǒng)在這一時(shí)刻的

23、快照。我們使用寫時(shí) 拷貝(Write-on-Copy)技術(shù)保證快照文件的一致性。在建立了文件系統(tǒng)快照 后，所有應(yīng)用I/O對(duì)相應(yīng)的文件系統(tǒng)所使用的磁盤塊寫入時(shí)，都需要將待修改的 原始磁盤塊復(fù)制到快照文件的數(shù)據(jù)區(qū)，并將快照文件中相應(yīng)的磁盤塊指針指向新 復(fù)制的磁盤塊。這樣，通過(guò)快照文件就可以獲取文件系統(tǒng)在某一時(shí)刻的完整靜態(tài) 備份。3.13SAN系統(tǒng)的共享沖突與管理在SAN中，存儲(chǔ)設(shè)備與主機(jī)之間不再有從屬關(guān)系，任意主機(jī)都可向存儲(chǔ)設(shè) 備發(fā)送SCSI命令，而存儲(chǔ)設(shè)備所具有的功能僅只是忠實(shí)地執(zhí)行所接收到的SCSI 命令，存儲(chǔ)設(shè)備并不知道命令的內(nèi)容和數(shù)據(jù)的邏輯意義。這樣，多臺(tái)主機(jī)共享存 儲(chǔ)設(shè)備時(shí)就必然存在著共

24、享沖突問(wèn)題。為了解決這一問(wèn)題，必須對(duì)SAN進(jìn)行有 效的管理。在SAN中共享沖突主要表現(xiàn)在如下幾個(gè)方面：緩存數(shù)據(jù)一致性；節(jié) 點(diǎn)間的數(shù)據(jù)一致性；元數(shù)據(jù)一致性。解決SAN中共享沖突問(wèn)題的方法主要有兩種：集中控制和分布式管理。集 中控制的管理系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，容易實(shí)現(xiàn)，適宜于小規(guī)?；蛑械纫?guī)模系統(tǒng)。其缺點(diǎn) 是系統(tǒng)的管理開銷極大地決定于管理策略，而管理策略制訂較為困難，存儲(chǔ)管理 服務(wù)器容易成為瓶頸。為了解決集中控制的性能瓶頸問(wèn)題，本系統(tǒng)使用光纖通道 (FC)技術(shù)實(shí)現(xiàn)了一個(gè)具備三方傳送功能的SAN系統(tǒng)。在這個(gè)系統(tǒng)中，客戶機(jī) 從存儲(chǔ)管理服務(wù)器獲得授權(quán)和控制信息之后，數(shù)據(jù)的傳送直接在網(wǎng)絡(luò)設(shè)備和客戶 機(jī)之間進(jìn)行，無(wú)需

25、存儲(chǔ)管理服務(wù)器的存儲(chǔ)-轉(zhuǎn)發(fā)”，從而解決共享沖突的同時(shí)， 也提高了傳輸?shù)男?，?shí)現(xiàn)了文件元數(shù)據(jù)的共享。為了提高管理效率，避免存儲(chǔ) 管理服務(wù)器成為系統(tǒng)瓶頸，采用數(shù)據(jù)流與命令流分離的方法。3.14統(tǒng)一存儲(chǔ)網(wǎng)網(wǎng)絡(luò)存儲(chǔ)技術(shù)基本上可以分NAS和SAN兩大類，而NAS和SAN又各有 其優(yōu)缺點(diǎn)。結(jié)合目前IP存儲(chǔ)的最新發(fā)展成果，我們提出基于TCP/IP的統(tǒng)一存儲(chǔ) 網(wǎng)體系結(jié)構(gòu) USN( UnifiedStorageNetwork)。其原理是：采用TCP/IP作 為存儲(chǔ)網(wǎng)絡(luò)的構(gòu)建技術(shù)，利用IP互聯(lián)設(shè)備來(lái)構(gòu)建存儲(chǔ)區(qū)域網(wǎng)，其中存儲(chǔ)設(shè)備包 括iSCSI設(shè)備(為塊設(shè)備)和NAS設(shè)備(為文件設(shè)備)。從體系結(jié)構(gòu)的角度來(lái)說(shuō)，US

26、N具備了傳統(tǒng)SAN高性能、易擴(kuò)展等特點(diǎn)；同 時(shí)，通過(guò)高速附網(wǎng)通道將存儲(chǔ)子系統(tǒng)直接聯(lián)入LAN，從而形成了一個(gè)廣義的 NAS。為將整個(gè)存儲(chǔ)網(wǎng)絡(luò)中存儲(chǔ)設(shè)備整合成單一的存儲(chǔ)池，在USN中有一個(gè)專 門的元數(shù)據(jù)服務(wù)器MetadataServer(MS)，用于對(duì)USN中的存儲(chǔ)設(shè)備進(jìn)行集中 管理。在USN中，有兩類數(shù)據(jù)通道：服務(wù)器通道和附網(wǎng)直連通道 (NetworkAttachedChannel)。數(shù)據(jù)從存儲(chǔ)設(shè)備讀出之后，對(duì)于需要由應(yīng)用服 務(wù)器處理的數(shù)據(jù)，通過(guò)服務(wù)器通道由服務(wù)器處理之后轉(zhuǎn)發(fā)；對(duì)于不需要應(yīng)用服務(wù) 器進(jìn)一步處理的數(shù)據(jù)，則由NAC直接返回客戶，從而真正實(shí)現(xiàn)客戶與存儲(chǔ)設(shè)備 之間的數(shù)據(jù)傳送。技術(shù)特色(1

27、)廣域的虛擬化分布式存儲(chǔ)架構(gòu)GDSS系統(tǒng)將分布在廣域范圍內(nèi)的數(shù)據(jù)資源統(tǒng)一管理，屏蔽了底層數(shù)據(jù)資源 的異構(gòu)性、分散性，采用多個(gè)分布的存儲(chǔ)服務(wù)點(diǎn)為用戶提供了一個(gè)透明的全局?jǐn)?shù) 據(jù)視圖。(2 )多樣的數(shù)據(jù)訪問(wèn)接口GDSS系統(tǒng)為終端用戶提供形式多樣的訪問(wèn)方式：1.標(biāo)準(zhǔn)FTP協(xié)議的服務(wù)。2.特定的GDSP協(xié)議的服務(wù)。3.兼容MPII/O文件讀寫接口。4.客戶端的類Java 文件/O。5.GDSS圖形客戶端。(3 )全局統(tǒng)一的文件名字空間GDSS系統(tǒng)的名字空間結(jié)合了單一名字空間和多名字空間的特點(diǎn)，建立了一 個(gè)全局統(tǒng)一的文件命名空間，對(duì)所有的用戶提供相同的文件命名、定位、和訪問(wèn) 機(jī)制。同時(shí)針對(duì)不同的用戶的興趣

28、，為他們提供不同的數(shù)據(jù)視圖。(4)面向用戶特性的數(shù)據(jù)共享GDSS系統(tǒng)根據(jù)用戶使用數(shù)據(jù)資源的特性將用戶分為各人用戶和組用戶，并 且相應(yīng)的提供兩種數(shù)據(jù)共享方式：簡(jiǎn)單數(shù)據(jù)共享和帶目錄一級(jí)ACL訪問(wèn)控制的 數(shù)據(jù)共享。(5 )動(dòng)態(tài)的副本管理機(jī)制在GDSS系統(tǒng)中，通過(guò)創(chuàng)建同一數(shù)據(jù)的多個(gè)副本可以有效減少訪問(wèn)延遲和 帶寬消耗，同時(shí)數(shù)據(jù)副本技術(shù)有助于改善系統(tǒng)負(fù)載均衡和可靠性。尤其是動(dòng)態(tài)副 本機(jī)制，即自動(dòng)選擇存儲(chǔ)點(diǎn)進(jìn)行副本創(chuàng)建、刪除和管理，并根據(jù)用戶的特征而自 動(dòng)變化副本策略，給用戶提供了更高的靈活性。(6)高性能數(shù)據(jù)分片傳輸技術(shù)存儲(chǔ)虛擬化涉及大量數(shù)據(jù)的移動(dòng)、傳輸和復(fù)制，我們初步建立了一個(gè)在廣域 網(wǎng)上的高效數(shù)據(jù)傳

29、輸機(jī)制，具體包括：1.分片傳輸；2.部分?jǐn)?shù)據(jù)傳輸；3.分布式 合作傳輸；4.斷點(diǎn)續(xù)傳；5.Socket復(fù)用。(7 )全局可視化統(tǒng)一管理GDSS通過(guò)分布的、全局統(tǒng)一的Web服務(wù)器來(lái)提供全局一致的服務(wù)管理。管理員可以通過(guò)支持Javaplug-in的瀏覽器方便從遠(yuǎn)程對(duì)整個(gè)系統(tǒng)進(jìn)行監(jiān)控管 理。監(jiān)控管理主要分為四個(gè)模塊：全局信息和證書的管理；SSP管理；GNS管 理；RM管理。所有的管理模塊通過(guò)Http服務(wù)的方式進(jìn)行鏈接，統(tǒng)一在全局信 息服務(wù)器上。(8 )靈活的安全認(rèn)證機(jī)制GDSS系統(tǒng)采用PKI/CA的身份認(rèn)證和Kerberos的訪問(wèn)控制相結(jié)合的底層 安全架構(gòu)。PKI/CA的CA中心采用網(wǎng)狀和層次相結(jié)合

30、的布局方式，極大提高了 安全架構(gòu)的靈活性和動(dòng)態(tài)可擴(kuò)展性。(9 )基于低層驅(qū)動(dòng)的并行I/O能力和熱點(diǎn)數(shù)據(jù)自動(dòng)遷移針對(duì)高帶寬任務(wù)情況下的傳輸瓶頸，采用了一種分布存儲(chǔ)-并行傳輸?shù)牟呗裕?將分配到單服務(wù)器的傳輸任務(wù)分配到多個(gè)結(jié)點(diǎn)執(zhí)行。結(jié)合網(wǎng)絡(luò)中熱點(diǎn)數(shù)據(jù)服務(wù)損 失問(wèn)題，實(shí)施數(shù)據(jù)自遷移，根據(jù)用戶請(qǐng)求量的變化，調(diào)整遷移策略改善對(duì)特定數(shù) 據(jù)的服務(wù)能力。支持對(duì)Snapshot的中斷、刪除等操作。(10 )基于系統(tǒng)內(nèi)核的多層次存儲(chǔ)虛擬基于操作系統(tǒng)的存儲(chǔ)設(shè)備驅(qū)動(dòng)棧，在不同驅(qū)動(dòng)層次實(shí)現(xiàn)虛擬化存儲(chǔ)：在原有 多種中間層驅(qū)動(dòng)程序基礎(chǔ)上提出公用中間層驅(qū)動(dòng)概念，將各種存儲(chǔ)資源集中管 理，構(gòu)建虛擬化存儲(chǔ)池；在適配器驅(qū)動(dòng)層實(shí)現(xiàn)虛擬

31、化存儲(chǔ)并通過(guò)多通道并行調(diào)度 提高系統(tǒng)I/O性能。流水I/O技術(shù)流水I/O技術(shù)將一個(gè)I/O任務(wù)中涉及到的網(wǎng)絡(luò)I/O、磁盤I/O和數(shù)據(jù)搬動(dòng)、 協(xié)議變換等處理功能劃分為多個(gè)操作環(huán)節(jié)，通過(guò)實(shí)時(shí)調(diào)度軟件使多個(gè)I/O任務(wù)通 過(guò)流水方式并行處理。對(duì)于系統(tǒng)底層存儲(chǔ)I/O部分也采用了同一技術(shù)思想，利用 外部I/O協(xié)議所提供的排隊(duì)等功能在預(yù)取操作中采用了簡(jiǎn)單有效的兩段流水操 作方式，即一次發(fā)送多條I/O命令，通過(guò)底層的并行I/O調(diào)度，在前一條命令通 過(guò)外部I/O總線向主機(jī)傳送數(shù)據(jù)時(shí)，后一條命令正在從底層存儲(chǔ)設(shè)備上存取數(shù) 據(jù)，提高了主從通道和設(shè)備通道的利用率。對(duì)于能夠較準(zhǔn)確預(yù)測(cè)下一次I/O地址 的應(yīng)用，如視頻應(yīng)用，

32、可以在存儲(chǔ)系統(tǒng)采用這種流水預(yù)取數(shù)據(jù)方法有效提高性能。文件系統(tǒng)快照文件系統(tǒng)快照對(duì)文件系統(tǒng)的元數(shù)據(jù)的復(fù)制和監(jiān)控，通過(guò)記錄整個(gè)文件系統(tǒng)的元數(shù)據(jù)在某一時(shí)刻的狀態(tài)，建立文件系統(tǒng)在這一時(shí)刻的完整靜態(tài)備份。支持基于 塊設(shè)備的快照處理方法，以磁盤分區(qū)為單位，進(jìn)行一對(duì)一的快照操作。支持多級(jí) 快照。（13）SAN和3的統(tǒng)一USN通過(guò)IP互聯(lián)設(shè)備將應(yīng)用服務(wù)器、存儲(chǔ)設(shè)備等互連成為一個(gè)基于IP的 SAN。從體系結(jié)構(gòu)的角度來(lái)說(shuō)，具備了傳統(tǒng)SAN高性能、易擴(kuò)展等特點(diǎn)。同時(shí) 通過(guò)高速的附網(wǎng)直連通道直接聯(lián)入LAN回路，從而形成了一個(gè)廣義的附網(wǎng)存儲(chǔ) （NAS）。和國(guó)際上現(xiàn)有NAS/SAN融合方案相比，USN具有如下特點(diǎn)：1、支

33、持兩類設(shè)備的接入，可以同時(shí)對(duì)塊設(shè)備和文件設(shè)備進(jìn)行統(tǒng)一管理，并形成為單一 的命名空間；2、存儲(chǔ)網(wǎng)絡(luò)中文件設(shè)備的引入，使得USN可以同時(shí)提供兩種服 務(wù)：塊I/O和文件I/O服務(wù)；3、附網(wǎng)直連通道的引入，使得不需要由應(yīng)用服務(wù) 器作進(jìn)一步處理的數(shù)據(jù)可經(jīng)NAC直接返回，避免了應(yīng)用服務(wù)器的存儲(chǔ)轉(zhuǎn)發(fā)，從 而真正實(shí)現(xiàn)客戶與存儲(chǔ)設(shè)備之間的數(shù)據(jù)傳送。主要技術(shù)指標(biāo)存儲(chǔ)虛擬化的功能是將各種存儲(chǔ)資源集中起來(lái)，為用戶提供統(tǒng)一的視圖和方 便的訪問(wèn)入口，其主要技術(shù)經(jīng)濟(jì)指標(biāo)如下：實(shí)現(xiàn)了廣域網(wǎng)的各種存儲(chǔ)設(shè)備、文件系統(tǒng)、操作系統(tǒng)、平臺(tái)架構(gòu)（IA32 和IA64）的虛擬化；實(shí)現(xiàn)了可視化的共享、實(shí)時(shí)管理、三方傳輸?shù)染哂刑厣墓δ?；存?chǔ)空間：根據(jù)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)原理，系統(tǒng)具有良好擴(kuò)展性，系統(tǒng)的 存儲(chǔ)空間等于各個(gè)存儲(chǔ)資源的總和，所以理論上系統(tǒng)的存儲(chǔ)空間可以無(wú) 限大，目前至少提供300GB的存儲(chǔ)空間；系統(tǒng)帶寬：根據(jù)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)原理，用戶、存儲(chǔ)資源和訪問(wèn)點(diǎn)是分 布的，那么系統(tǒng)的整體帶寬基本等于各個(gè)存儲(chǔ)資源的帶寬和；對(duì)批量小文件的傳輸，傳輸效率比沒有優(yōu)化的情況下提高了 2-20倍；文件系統(tǒng)能夠提供與POSIX標(biāo)準(zhǔn)相類似的文件系統(tǒng)接口，支持基本的 卷管理功能以及文件和目錄的操作，文件系統(tǒng)的的相關(guān)操作應(yīng)該具有穩(wěn) 定的性能。支持多機(jī)共享，保持統(tǒng)一的數(shù)據(jù)視圖，并提供較好的文件系 統(tǒng)服務(wù)性能。峰值數(shù)傳率為10