1、課程設(shè)計大報告云存儲關(guān)鍵技術(shù)班級：021151學(xué)號:02115036學(xué)生：王亦瑋指導(dǎo)老師：朱虎明時間：2014年9月云存儲關(guān)鍵技術(shù)綜述班級：021151學(xué)號：02115036學(xué)生：王亦瑋指導(dǎo)老師：朱虎明0前言隨著海量存儲系統(tǒng)的出現(xiàn)與并行文件系統(tǒng)、分布式文件系統(tǒng)的發(fā)展，云存儲系統(tǒng)建立在云計算技術(shù)基礎(chǔ)之上，以其成本低、可拓展的特點，將成為未來主要的存儲方式。本文是一篇關(guān)于云存儲關(guān)鍵技術(shù)的綜述。開始部分從4個角度定義了云存儲，接著有云存儲架構(gòu)的介紹，包括一些基本概念，然后就是本文的核心部分云存儲關(guān)鍵技術(shù)，分為7大技術(shù)進行闡述。包括有虛擬化，分布式存儲，數(shù)據(jù)備份、縮減、遷移、壓縮及內(nèi)容分布網(wǎng)絡(luò)技術(shù)，最

2、后還有提到云存儲的優(yōu)勢、安全問題和云存儲的現(xiàn)狀及發(fā)展。1云存儲的定義1.1定義1云存儲系統(tǒng)以傳統(tǒng)的分布式存儲技術(shù)為基礎(chǔ)，利用高吞吐率網(wǎng)絡(luò)技術(shù)為依托，一方面高效地整合管理網(wǎng)絡(luò)存儲資源，另一方面對外提供友好的接口，發(fā)布便捷的網(wǎng)絡(luò)數(shù)據(jù)存儲服務(wù)。1.2定義2從狹義上來說，云存儲是指通過虛擬化、分布式技術(shù)、集群應(yīng)用、網(wǎng)格技術(shù)、負(fù)載均衡等技術(shù)，將網(wǎng)絡(luò)中大量的存儲設(shè)備通過軟件集合起來高效協(xié)同工作，共同對外提供低成本、高擴展性的數(shù)據(jù)存儲服務(wù)。從廣義上來講，云存儲可以理解為按需提供的虛擬存儲資源，如同云計算的Paas、laas服務(wù)一樣，可稱為數(shù)據(jù)存儲即服務(wù)(DataStorageAsaService，DaaS)

3、，即基于指定的服務(wù)水平請求，通過網(wǎng)絡(luò)提供適當(dāng)?shù)奶摂M存儲和相關(guān)數(shù)據(jù)服務(wù)。1.3定義3云存儲不是指某一個具體的設(shè)備，而是指一個由許許多多個存儲設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲，并不是使用某一個存儲設(shè)備，而是使用整個云存儲系統(tǒng)帶來的一種數(shù)據(jù)訪問服務(wù)。云存儲的核心是應(yīng)用軟件與存儲設(shè)備相結(jié)合，通過應(yīng)用軟件來TOCo1-5hz實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。1.4定義4云存儲就是將儲存資源放到網(wǎng)絡(luò)上供人存取的一種新興方案。使用者可以在任何時間、任何地方，透過任何可連網(wǎng)的裝置方便地存取數(shù)據(jù)。綜合以上定義，云存儲系統(tǒng)應(yīng)具有以下通用特征：高可擴展性：云存儲系統(tǒng)可支持海量數(shù)據(jù)處理，資源可以實現(xiàn)按需擴展；

4、低成本：云存儲系統(tǒng)應(yīng)具備高性價比的特點，低成本體現(xiàn)在兩方面，更低的建設(shè)成本和更低的運維成本；無接入限制：相比傳統(tǒng)存儲，云存儲強調(diào)對用戶存儲的靈活支持，服務(wù)域內(nèi)存儲資源可以隨處接入，隨時訪問；易管理：少量管理員可以處理上千節(jié)點和PB級存儲，更高效的支撐大量上層應(yīng)用對存儲資源的快速部署需求。2云存儲架構(gòu)云存儲是由一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等組成的復(fù)雜系統(tǒng)。以存儲設(shè)備為核心，通過應(yīng)用軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。云存儲的架構(gòu)如下圖所示：應(yīng)用護口層網(wǎng)絡(luò)接入、用戶認(rèn)證r權(quán)根管理公用API摟口、應(yīng)用豐欠件、恥bServin等基礎(chǔ)管理層集群系統(tǒng)分布式文

5、件聚統(tǒng)網(wǎng)絡(luò)計算內(nèi)容分發(fā)P2P重復(fù)數(shù)據(jù)刪除數(shù)據(jù)壓縮數(shù)據(jù)加密敵據(jù)備份數(shù)據(jù)容災(zāi)訪問層訪問層個人空間服務(wù)運營商空間租賃竽企事業(yè)單位實現(xiàn)數(shù)揺備粉、數(shù)據(jù)歸檔、集中存儲、遠(yuǎn)程共享視頻監(jiān)控、IPTV集中存儲、網(wǎng)站犬容量在線存儲存儲層存儲層存儲虛擬化*存儲集中管理、狀態(tài)監(jiān)控、維護升級、存儲設(shè)備云存儲架構(gòu)存儲層：存儲設(shè)備數(shù)量龐大且分布在不同地域，彼此通過廣域網(wǎng)、互聯(lián)網(wǎng)或光纖通道網(wǎng)絡(luò)連接在一起。在存儲設(shè)備之上是一個統(tǒng)一存儲設(shè)備管理系統(tǒng)，實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護?；A(chǔ)管理層：通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲設(shè)備之間的協(xié)同工作，使多個的存儲設(shè)備可

6、以對外提供同一種服務(wù)，并提供更大更強更好的數(shù)據(jù)訪問性能。數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶訪問，數(shù)據(jù)備份和容災(zāi)技術(shù)可以保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。應(yīng)用接口層：不同的云存儲運營商根據(jù)業(yè)務(wù)類型，開發(fā)不同的服務(wù)接口，提供不同的服務(wù)。例如視頻監(jiān)控、視頻點播應(yīng)用平臺、網(wǎng)絡(luò)硬盤，遠(yuǎn)程數(shù)據(jù)備份應(yīng)用等。訪問層：授權(quán)用戶可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲系統(tǒng)，享受云存儲服務(wù)。3云存儲中的關(guān)鍵技術(shù)3.1云存儲中的存儲虛擬化通過存儲虛擬化方法，把不同廠商、不同型號、不同通信技術(shù)、不同類型的存儲設(shè)備互聯(lián)起來，將系統(tǒng)中各種異構(gòu)的存儲設(shè)備映射為一個統(tǒng)一的存儲資源池。存儲虛擬化

7、技術(shù)能夠?qū)Υ鎯Y源進行統(tǒng)一分配管理，又可以屏蔽存儲實體間的物理位置以及異構(gòu)特性，實現(xiàn)了資源對用戶的透明性，降低了構(gòu)建、管理和維護資源的成本，從而提升云存儲系統(tǒng)的資源利用率。主要存儲虛擬化技術(shù)存儲虛擬化技術(shù)雖然不同設(shè)備與廠商之間略有區(qū)別，但從總體來說，可概括為基于主機虛擬化、基于存儲設(shè)備虛擬化和基于存儲網(wǎng)絡(luò)虛擬化三種技術(shù)?；谥鳈C的虛擬化存儲的實現(xiàn)，其核心技術(shù)是通過增加一個運行在操作系統(tǒng)下的邏輯卷管理軟件將磁盤上的物理塊號映射成邏輯卷號，并以此實現(xiàn)把多個物理磁盤陣列映射成一個統(tǒng)一的虛擬的邏輯存儲空間（邏輯塊）實現(xiàn)存儲虛擬化的控制和管理。從技術(shù)實施層面看，基于主機的虛擬化存儲不需要額外的硬件支持，

8、便于部署，只通過軟件即可實現(xiàn)對不同存儲資源的存儲管理。但是，虛擬化控制軟件也導(dǎo)致了此項技術(shù)的主要缺點：首先，軟件的部署和應(yīng)用影響了主機性能；其次，各種與存儲相關(guān)的應(yīng)用通過同一個主機，存在越權(quán)訪問的數(shù)據(jù)安全隱患；最后，通過軟件控制不同廠家的存儲設(shè)備存在額外的資源開銷，進而降低系統(tǒng)的可操作性與靈活性?；诖鎯υO(shè)備虛擬化技術(shù)依賴于提供相關(guān)功能的存儲設(shè)備的陣列控制器模塊，常見于高端存儲設(shè)備，其主要應(yīng)用針對異構(gòu)的SAN存儲構(gòu)架。此類技術(shù)的主要優(yōu)點是不占主機資源技術(shù)成熟度高，容易實施；缺點是核心存儲設(shè)備必須具有此類功能，且消耗存儲控制器的資源，同時由于異構(gòu)廠家磁盤陣列設(shè)備的控制功能被主控設(shè)備的存儲控制器接

9、管導(dǎo)致其高級存儲功能將不能使用。基于存儲網(wǎng)絡(luò)虛擬化的技術(shù)的核心是在存儲區(qū)域網(wǎng)中增加虛擬化引擎實現(xiàn)存儲資源的集中管理，其具體實施一般是通過具有虛擬化支持能力的路由器或交換機實現(xiàn)。在此基礎(chǔ)上，存儲網(wǎng)絡(luò)虛擬化又可以分為帶內(nèi)虛擬化與帶外虛擬化兩類，二者主要的區(qū)別在于：帶內(nèi)虛擬化使用同一數(shù)據(jù)通道傳送存儲數(shù)據(jù)和控制信號，而帶外虛擬化使用不同的通道傳送數(shù)據(jù)和命令信息。基于存儲網(wǎng)絡(luò)的存儲虛擬化技術(shù)架構(gòu)合理，不占用主機和設(shè)備資源；但是其存儲陣列中設(shè)備的兼容性需要嚴(yán)格驗證，與基于設(shè)備的虛擬化技術(shù)一樣，由于網(wǎng)絡(luò)中存儲設(shè)備的控制功能被虛擬化引擎所接管，導(dǎo)致存儲設(shè)備自帶的高級存儲功能將不能使用。存儲虛擬化技術(shù)對比用表格

10、的方式對三種存儲虛擬化技術(shù)的技術(shù)優(yōu)點與缺點、適應(yīng)場景等進行了分析對比，結(jié)果如下：存儲虛擬化按術(shù)討比翊L層面主機丈打異構(gòu)的存儲採烷；不占用時盤控制黠費檢與主機無關(guān)不占用主機貿(mào)視；能蚌支持畀構(gòu)主機“異構(gòu)存儲設(shè)備；對蘋同存儲設(shè)備他統(tǒng)一普程平臺I可擴展性好與爭機無務(wù)，不占用主機黑a；數(shù)據(jù)營理功弗豐常：技術(shù)戰(zhàn)熟度盍占用主機資涯”障低應(yīng)用性能：存在撇作系折和應(yīng)用的叢容性問懸；主機數(shù)呈越多卜背理咸本駆高占用交換機資涯；面臨芾內(nèi)、莆外的遶捧；存楠逵備豪容性彌整產(chǎn)格驗述；原肯的甜盤暉劌的高級存儲功罷將不能使用憑制于存儲揑制甜授口資憑虛擬化禮力較前；異構(gòu)廠家存?zhèn)蛟O(shè)備的高誠存儲功能辮證橈用王要用逢滾巌爵器的存髀空問

11、町以跨延雪個異枸謎盤薩劌塞用子隹不圖讎聳薩列之間冊葩彊蝶懂保護異構(gòu)存請系扌元St含和饒一數(shù)掘営理1災(zāi)備）SftSilSiSS含宛攬一數(shù)據(jù)苜餐（磁）主抓已王旳SF卷莒理.需剽很系甄中包把自帶虛船化功能的商舶？睛設(shè)備與若干需要利舊的中（慮鎖存?zhèn)蜻m用場捷予臺存儲謖備；存請親頓中包含澤構(gòu)陣列設(shè)備；業(yè)務(wù)持拔翅力與辭據(jù)卷吐菱求玫鬲系箱包拈下冋品牌和型r的主機與苻儲設(shè)番；對數(shù)據(jù)無顯遷畤艮數(shù)搪牯式樣摘春較高時團性幌證不適用場量主機數(shù)量大采用5F會涉及高昂的貰用；特遷入來航數(shù)據(jù)量過大*如鶏丸龍聲取存Hf級遷務(wù)方武廈囂僭式轉(zhuǎn)戡將住竇犬童的時冋和人力對業(yè)務(wù)持續(xù)龍力和詒定性要衣苛希要新購機去時費用稅茴；存在更高靖的存

12、儲設(shè)備3.2云存儲中的分布式存儲技術(shù)分布式存儲是通過網(wǎng)絡(luò)使用服務(wù)商提供的各個存儲設(shè)備上的存儲空間，并將這些分散的存儲資源構(gòu)成一個虛擬的存儲設(shè)備，數(shù)據(jù)分散的存儲在各個存儲設(shè)備上。目前比較流行的分布式存儲技術(shù)為：分布式塊存儲、分布式文件系統(tǒng)存儲、分布式對象存儲和分布式表存儲。分布式塊存儲塊存儲就是服務(wù)器直接通過讀寫存儲空間中的一個或一段地址來存取數(shù)據(jù)。由于采用直接讀寫磁盤空間來訪問數(shù)據(jù)，相對于其他數(shù)據(jù)讀取方式，塊存儲的讀取效率最高，一些大型數(shù)據(jù)庫應(yīng)用只能運行在塊存儲設(shè)備上。分布式塊存儲系統(tǒng)目前以標(biāo)準(zhǔn)的Intel/Linux硬件組件作為基本存儲單元，組件之間通過千兆以太網(wǎng)采用任意點對點拓?fù)浼夹g(shù)相互連

13、接，共同工作，構(gòu)成大型網(wǎng)格存儲，網(wǎng)格內(nèi)采用分布式算法管理存儲資源。此類技術(shù)比較典型的代表是IBMXIV存儲系統(tǒng)，其核心數(shù)據(jù)組件為基于Intel內(nèi)核的磁盤系統(tǒng)，卷數(shù)據(jù)分布到所有磁盤上，從而具有良好的并行處理能力；放棄RAID技術(shù)，采用冗余數(shù)據(jù)塊方式進行數(shù)據(jù)保護，統(tǒng)一采用SATA盤，從而降低了存儲成本。分布式文件系統(tǒng)存儲文件存儲系統(tǒng)可提供通用的文件訪問接口，如POSIX、NFS、CIFS、FTP等，實現(xiàn)文件與目錄操作、文件訪問、文件訪問控制等功能。目前的分布式文件系統(tǒng)存儲的實現(xiàn)有軟硬件一體和軟硬件分離兩種方式。主要通過NAS虛擬化，或者基于X86硬件集群和分布式文件系統(tǒng)集成在一起，以實現(xiàn)海量非結(jié)構(gòu)

14、化數(shù)據(jù)處理能力。軟硬件一體方式的實現(xiàn)基于X86硬件，利用專有的、定制設(shè)計的硬件組件，與分布式文件系統(tǒng)集成在一起，以實現(xiàn)目標(biāo)設(shè)計的性能和可靠性目標(biāo)；產(chǎn)品代表Isilon,IBMSONASGPFS。軟硬件分離方式的實現(xiàn)基于開源分布式文件系統(tǒng)對外提供彈性存儲資源，軟硬件分離方式可采用標(biāo)準(zhǔn)PC服務(wù)器硬件;典型開源分布式文件系統(tǒng)有GFS、HDFS。分布式對象存儲對象存儲是為海量數(shù)據(jù)提供Key-Value這種通過鍵值查找數(shù)據(jù)文件的存儲模式；對象存儲引入對象元數(shù)據(jù)來描述對象特征，對象元數(shù)據(jù)具有豐富的語義；引入容器概念作為存儲對象的集合。對象存儲系統(tǒng)底層基于分布式存儲系統(tǒng)來實現(xiàn)數(shù)據(jù)的存取，其存儲方式對外部應(yīng)用

15、透明。這樣的存儲系統(tǒng)架構(gòu)具有高可擴展性，支持?jǐn)?shù)據(jù)的并發(fā)讀寫，一般不支持?jǐn)?shù)據(jù)的隨機寫操作。最典型的應(yīng)用實例就是亞馬遜的S3(AmazonSimpleStorageService)。對象存儲技術(shù)相對成熟，對底層硬件要求不高，存儲系統(tǒng)可靠性和容錯通過軟件實現(xiàn)，同時其訪問接口簡單，適合處理海量、小數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)，女口：郵箱、網(wǎng)盤、相冊、音頻視頻存儲等分布式表存儲表結(jié)構(gòu)存儲是一種結(jié)構(gòu)化數(shù)據(jù)存儲，如傳統(tǒng)數(shù)據(jù)庫相比，它提供的表空間訪問功能受限，但更強調(diào)系統(tǒng)的可擴展性。提供表存儲的云存儲系統(tǒng)的特征就是同時提供高并發(fā)的數(shù)據(jù)訪問性能和可伸縮的存儲和計算架構(gòu)。提供表存儲的云存儲系統(tǒng)有兩類接口訪問方式。一類是標(biāo)準(zhǔn)

16、的xDBC、SQL數(shù)據(jù)庫接口，一類是Map-reduce的數(shù)據(jù)倉庫應(yīng)用處理接口。前者目前以開源技術(shù)為主，尚未有成熟的商業(yè)軟件，后者已有商業(yè)軟件和成功的商業(yè)應(yīng)用案例。分布式存儲總結(jié)如今分布式存儲系統(tǒng)已經(jīng)得到了快速的發(fā)展，其技術(shù)已經(jīng)較為成熟。先進的分布式存儲系統(tǒng)必須具備下面幾個特性：高性能、高可靠性、高可擴展性、透明性以及自治性。高性能：對于分布式系統(tǒng)中的每一個用戶都要盡量減小網(wǎng)絡(luò)的延遲和因網(wǎng)絡(luò)擁塞、網(wǎng)絡(luò)斷開、節(jié)點退出等問題造成的影響；高可靠性：高可靠性是大多數(shù)系統(tǒng)設(shè)計時重點考慮的問題。分布式環(huán)境通常都有高可靠TOCo1-5hz性需求，用戶將文件保存到分布式存儲系統(tǒng)的基本要求是數(shù)據(jù)可靠；高可擴展性

17、：分布式存儲系統(tǒng)需要能夠適應(yīng)節(jié)點規(guī)模和數(shù)據(jù)規(guī)模的擴大；透明性：需要讓用戶在訪問網(wǎng)絡(luò)中其他節(jié)點中的數(shù)據(jù)時能感到像是訪問自己本機的數(shù)據(jù)一樣；自治性：分布式存儲系統(tǒng)需要擁有一定的自我維護和恢復(fù)功能。3.3云存儲中的數(shù)據(jù)備份副本數(shù)據(jù)布局一種被廣泛采用的副本布局方式是通過集中式的存儲目錄來定位數(shù)據(jù)對象的存儲位置這種方法可以利用存儲目錄中存放的存儲節(jié)點信息，將數(shù)據(jù)對象的多個副本放置在不同機架上，這樣可大大提高系統(tǒng)的數(shù)據(jù)可靠性。谷歌文件系統(tǒng)(GoogleFileSystem，GFS)、Hadoop分布式文件系統(tǒng)(HadoopDistributedFileSystem，HDFS)等著名的分布式文件系統(tǒng)都采用了

18、這種數(shù)據(jù)布局方式，然而，基于集中式存儲目錄的數(shù)據(jù)放置方式存在以下兩個缺陷：TOCo1-5hz隨著存儲目錄的增長，查找數(shù)據(jù)對象所需的開銷也會越來越大；為提高數(shù)據(jù)對象的定位速度，一般情況下都會將存儲目錄存放在服務(wù)器內(nèi)存中，對于PB級的云存儲系統(tǒng)來說，文件的數(shù)量可能達到上億級，這導(dǎo)致存儲目錄將會占用上百GB的內(nèi)存。因此，當(dāng)數(shù)據(jù)對象數(shù)量達到上億級別時，基于集中式存儲目錄的數(shù)據(jù)放置方法在存儲開銷和數(shù)據(jù)定位的時間開銷上都是難以接受的，此外，還會大大限制系統(tǒng)的擴展性。另一種副本布局方法是基于哈希算法的副本布局方法，它完全摒棄了記錄數(shù)據(jù)對象映射信息的做法?；诠Ｋ惴ǖ母北静季址椒ㄐ枰獫M足以下要求：1.均衡性

19、：根據(jù)節(jié)點權(quán)重為存儲節(jié)點分配數(shù)據(jù)對象。2動態(tài)自適應(yīng)性：當(dāng)系統(tǒng)中的節(jié)點數(shù)量發(fā)生變化時，需遷移的數(shù)據(jù)量應(yīng)該盡量少。3低性能開銷。4.高效性：確定副本位置所需的時間開銷盡可能小，理想情況下為0（1）。傳統(tǒng)的備份策略典型的用戶備份流程是這樣的：每天都要在凌晨進行一次增量備份，然后每周末凌晨進行全備份。采用這種方法，一旦出現(xiàn)了數(shù)據(jù)災(zāi)難，用戶可以恢復(fù)到某天（注意是以天為單位的）的數(shù)據(jù)，因此在最壞的情況下，可能丟失整整一天的數(shù)據(jù)。那么，能不能縮小備份時間單位呢？比如，可不可以每半天進行一次增量備份呢？答案是非常困難。因為每次進行備份的數(shù)據(jù)量都很大的情況下，備份時間窗口很大，需要繁忙的業(yè)務(wù)系統(tǒng)停機很長時間才能

20、做到。因此，為了確保數(shù)據(jù)的更高安全性，用戶必須對在線系統(tǒng)實行在線實時復(fù)制，盡可能多TOCo1-5hz地采用快照等磁盤管理技術(shù)維持?jǐn)?shù)據(jù)的高可用性，這樣勢必需要增加很大一部分投資。連續(xù)數(shù)據(jù)保護連續(xù)數(shù)據(jù)保護（CDP）是一種連續(xù)捕獲和保存數(shù)據(jù)變化，并將變化后的數(shù)據(jù)獨立于初始數(shù)據(jù)進行保存的方法，而且該方法可以實現(xiàn)過去任意一個時間點的數(shù)據(jù)恢復(fù)。CDP系統(tǒng)可能基于塊、文件或應(yīng)用，并且為數(shù)量無限的可變恢復(fù)點提供精細(xì)的可恢復(fù)對象。因此，所有的CDP解決方案都應(yīng)當(dāng)具備以下幾個基本的特性：數(shù)據(jù)的改變受到連續(xù)的捕獲和跟蹤；所有的數(shù)據(jù)改變都存儲在一個與主存儲地點不同的獨立地點中；恢復(fù)點目標(biāo)是任意的，而且不需要在實際恢復(fù)

21、之前事先定義。所以，CDP可以提供更快的數(shù)據(jù)檢索、更強的數(shù)據(jù)保護和更高的業(yè)務(wù)連續(xù)性能力，而與傳統(tǒng)的備份解決方案相比，CDP的總體成本和復(fù)雜性都要低。盡管一些廠商推出了CDP產(chǎn)品，然而從它們的功能上分析，還做不到真正連續(xù)的數(shù)據(jù)保護，比如有的產(chǎn)品備份時間間隔為一小時，那么在這一小時內(nèi)仍然存在數(shù)據(jù)丟失的風(fēng)險因此，嚴(yán)格地講，它們還不是完全意義上的CDP產(chǎn)品，目前我們只能稱之為類似CDP產(chǎn)品。3.4云存儲中的數(shù)據(jù)縮減技術(shù)為應(yīng)對數(shù)據(jù)存儲的急劇膨脹，企業(yè)需要不斷購置大量的存儲設(shè)備來滿足不斷增長的存儲需求。權(quán)威調(diào)查機構(gòu)的研究發(fā)現(xiàn)，企業(yè)購買了大量的存儲設(shè)備，但是利用率往往不足50%,存儲投資回報率水平較低。數(shù)據(jù)

22、量的急劇增長為存儲技術(shù)提出了新的問題和要求，怎樣低成本高效快速地解決無限增長的信息的存儲和計算問題擺在科學(xué)家的面前。通過云存儲技術(shù)不僅解決了存儲中的高安全性、可靠性、可擴展、易管理等存儲的基本要求，同時也利用云存儲中的數(shù)據(jù)縮減技術(shù)，滿足海量信息爆炸式增長趨勢，一定程度上節(jié)約企業(yè)存儲成本，提高效率。自動精簡配置自動精簡配置是一種存儲管理的特性，核心原理是欺騙”操作系統(tǒng)，讓操作系統(tǒng)認(rèn)為存儲設(shè)備中有很大的存儲空間，而實際的物理存儲空間則沒有那么大。傳統(tǒng)配置技術(shù)為了避免重新配置可能造成的業(yè)務(wù)中斷，常常會過度配置容量。在這種情況下，一旦存儲分配給某個應(yīng)用，就不可能重新分配給另一個應(yīng)用，由此就造成了已分配

23、的容量沒有得到充分利用，導(dǎo)致了資源的極大浪費。而精簡配置技術(shù)帶給用戶的益處是大大提高了存儲資源的利用率，提高了配置管理效率，實現(xiàn)高自動化的數(shù)據(jù)存儲。自動精簡配置技術(shù)是利用虛擬化方法減少物理存儲空間的分配，最大限度提升存儲空間利用率。這種技術(shù)節(jié)約的存儲成本可能會非常巨大，并且使存儲的利用率超90%。通過欺騙”操作系統(tǒng)，造成的好像存儲空間有足夠大，而實際物理存儲空間并沒有那么大。自動精簡配置技術(shù)的應(yīng)用會減少已分配但未使用的存儲容量的浪費，在分配存儲空間時，需要多少存儲空間系統(tǒng)則按需分配。自動精簡配置技術(shù)優(yōu)化了存儲空間的利用率，擴展了存儲管理功能，雖然實際分配的物理容量小，但可以為操作系統(tǒng)提供超大容

24、量的虛擬存儲空間。隨著數(shù)據(jù)存儲的信息量越來越多，實際存儲空間也可以及時擴展，無需用戶手動處理。利用自動精簡配置技術(shù)，用戶不需要了解存儲空間分配的細(xì)節(jié)，這種技術(shù)就能幫助用戶在不降低性能的情況下，大幅度提高存儲空間利用效率；需求變化時，無需更改存儲容量設(shè)置通過虛擬化技術(shù)集成存儲，減少超量配置，降低總功耗。自動精簡配置這項技術(shù)最初由3Par公司開發(fā)，目前支持自動精簡配置的廠商正在快速增加。這項技術(shù)已經(jīng)成為選擇存儲系統(tǒng)的關(guān)鍵標(biāo)準(zhǔn)之一。但是并不是所有的自動精簡配置的實施都是相同的。隨著自動精簡配置的存儲越來越多，物理存儲的耗盡成為自動精簡配置環(huán)境中經(jīng)常出現(xiàn)的風(fēng)險。因此，告警、通知和存儲分析成為必要的功能

25、，并且對比傳統(tǒng)環(huán)境，其在自動精簡配置的環(huán)境中扮演了更主要的角色。自動存儲分層自動存儲分層（AST）技術(shù)主要用來幫助數(shù)據(jù)中心最大程度地降低成本和復(fù)雜性。在過去，進行數(shù)據(jù)移動主要依靠手工操作，由管理員來判斷這個卷的數(shù)據(jù)訪問壓力或大或小，遷移的時候也只能一個整卷一起遷移。自動存儲分層技術(shù)的特點則是其分層的自動化和智能化。傳統(tǒng)配置方式與自動存儲分層方式比較是一個整卷一起遷移。新技術(shù)的特點則是其分層的自動化和智能化。自動存儲分層是存儲上減少數(shù)據(jù)的另外一種機制。一個磁盤陣列能夠把活動數(shù)據(jù)保留在快速、昂貴的存儲上，把不活躍的數(shù)據(jù)遷移到廉價的低速層上，以限制存儲的花費總量。自動存儲分層的重要性隨著固態(tài)存儲在當(dāng)

26、前磁盤陣列中的采用而提升，并隨著云存儲的來臨而補充內(nèi)部部署的存儲。自動存儲分層使用戶數(shù)據(jù)保留在合適的存儲層級，因此減少了存儲需求的總量并實質(zhì)上減少了成本，提升了性能。數(shù)據(jù)從一層遷移到另一層的粒度越精細(xì)，可以使用的昂貴存儲的效率就越高。子卷級的分層意味著數(shù)據(jù)是按照塊來分配而不是整個卷，而字節(jié)級的分層比文件級的分層更好。如何控制數(shù)據(jù)在層間移動的內(nèi)部工作規(guī)則，決定需要把自動分層放在正確的位置的努力程度。一些系統(tǒng)，是根據(jù)預(yù)先定義的什么時候移動數(shù)據(jù)和移動到哪一層。相反的，NetApp公司和Oracle公司(在SunZFSStorage7000系列中)倡導(dǎo)存儲系統(tǒng)應(yīng)該足夠智能，能重復(fù)數(shù)據(jù)刪除，能自動的保留

27、數(shù)據(jù)在其合適的層，而不需要用戶定義的策略。重復(fù)數(shù)據(jù)刪除物理存儲設(shè)備在使用一段時間后必然會出現(xiàn)大量重復(fù)的數(shù)據(jù)?！爸貜?fù)刪除”技術(shù)(De-duplication)作為一種數(shù)據(jù)縮減技術(shù)可對存儲容量進行優(yōu)化。它通過刪除數(shù)據(jù)集中重復(fù)的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)。使用De-dupe技術(shù)可以將數(shù)據(jù)縮減到原來的1/20-1/50。由于大幅度減少了對物理存儲空間的信息量，進而減少傳輸過程中的網(wǎng)絡(luò)帶寬、節(jié)約設(shè)備成本、降低能耗。重復(fù)數(shù)據(jù)刪除技術(shù)原理De-dupe按照消重的粒度可以分為文件級和數(shù)據(jù)塊級。可以同時使用2種以上的hash算法計算數(shù)據(jù)指紋，以獲得非常小的數(shù)據(jù)碰撞發(fā)生概率。具有相同指紋的數(shù)據(jù)塊即可認(rèn)

28、為是相同的數(shù)據(jù)塊，存儲系統(tǒng)中僅需要保留一份。這樣，一個物理文件在存儲系統(tǒng)中就只對應(yīng)一個邏輯表示。NetApp公司為其所有的系統(tǒng)提供重復(fù)數(shù)據(jù)刪除選項，并且可以針對每個卷進行激活。NetApp公司的重復(fù)數(shù)據(jù)刪除并不是實時執(zhí)行的。相反，它是使用預(yù)先設(shè)置的進程執(zhí)行的，一般是在閑暇時間執(zhí)行，通過掃描把重復(fù)的4KB數(shù)據(jù)塊替換為相應(yīng)的指針。與NetApp公司相似，Oracle公司在其SunZFSStorage7000系列系統(tǒng)中也具備塊級別重復(fù)數(shù)據(jù)刪除的功能。與NetApp公司不同的是，去重是在其寫入磁盤時實時執(zhí)行的。戴爾公司獲得了內(nèi)容感知的去重和壓縮技術(shù)，并企圖把這種技術(shù)整合到其所有的存儲系統(tǒng)中。數(shù)據(jù)壓縮數(shù)

29、據(jù)壓縮技術(shù)是提高數(shù)據(jù)存儲效率最古老最有效的方法之一。為了節(jié)省信息的存儲空間和提高信息的傳輸效率，必須對大量的實際數(shù)據(jù)進行有效的壓縮。數(shù)據(jù)壓縮作為對解決海量信息存儲和傳輸?shù)闹С旨夹g(shù)受到人們極大的重視。數(shù)據(jù)壓縮就是將收到的數(shù)據(jù)通過存儲算法存儲到更小的空間中去。隨著目前CPU處理能力的大幅提高，應(yīng)用實時壓縮技術(shù)來節(jié)省數(shù)據(jù)占用空間成為現(xiàn)實。這項新技術(shù)就是最新研發(fā)出的在線壓縮(RACE)，它與傳統(tǒng)壓縮技術(shù)不同。對RACE技術(shù)，當(dāng)數(shù)據(jù)在首次寫入時即被壓縮，以幫助系統(tǒng)控制大量數(shù)據(jù)在主存中雜亂無章地存儲的情形，特別是多任務(wù)工作時更加明顯。該技術(shù)還可以在數(shù)據(jù)寫入到存儲系統(tǒng)前壓縮數(shù)據(jù)，進一步提高了存儲系統(tǒng)中的磁盤

30、和緩存的性能和效率。壓縮算法分為無損壓縮和有損壓縮。相對于有損壓縮來說，無損壓縮的占用空間大，壓縮比不高，但是它有效地保存了原始信息，沒有任何信號丟失。但是隨著限制無損格式的種種因素逐漸被消除，使得無損壓縮格式具有廣闊的應(yīng)用前景。數(shù)據(jù)壓縮中使用的LZS算法基于LZ77實現(xiàn)，主要由2部分構(gòu)成，滑窗(SlidingWindow)和自適應(yīng)編碼(AdaptiveCoding)。壓縮處理時，在滑窗中查找與待處理數(shù)據(jù)相同的塊，并用該塊在滑窗中的偏移值及塊長度替代待處理數(shù)據(jù)，從而實現(xiàn)壓縮編碼。如果滑窗中沒有與待處理數(shù)據(jù)塊相同的字段，或偏移值及長度數(shù)據(jù)超過被替代數(shù)據(jù)塊的長度，則不進行替代處理。LZS算法的實現(xiàn)

31、非常簡潔，處理比較簡單，能夠適應(yīng)各種高速應(yīng)用。數(shù)據(jù)壓縮的應(yīng)用可以顯著降低待處理和存儲的數(shù)據(jù)量，一般情況下可實現(xiàn)2:13:1的壓縮比。壓縮和去重是互補性的技術(shù)，提供去重的廠商通常也提供壓縮。而對于虛擬服務(wù)器卷、電子郵件附件、文件和備份環(huán)境來說，去重通常更加有效，壓縮對于隨機數(shù)據(jù)效果更好，像數(shù)據(jù)庫。換句話說，在數(shù)據(jù)重復(fù)性比較高的地方，去重比壓縮有效。3.5云存儲中的內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)云存儲是構(gòu)建于互聯(lián)網(wǎng)之上的，何如降低網(wǎng)絡(luò)延遲、提高數(shù)據(jù)傳輸率是關(guān)系到云存儲性能的關(guān)鍵問題。盡管有一些通過本地高速緩存、廣域網(wǎng)優(yōu)化等技術(shù)來解決問題的研究工作，但離實際的應(yīng)用需求還有一定的距離。內(nèi)容分發(fā)網(wǎng)絡(luò)是一種新型網(wǎng)絡(luò)構(gòu)建

32、模式，主要是針對現(xiàn)有的Internet進行改造?；舅枷胧潜M量避開互聯(lián)網(wǎng)上由于網(wǎng)絡(luò)帶寬小、網(wǎng)點分布不均、用戶訪問量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)母臁⒏€(wěn)定。通過在網(wǎng)絡(luò)各處放置節(jié)點服務(wù)器，在現(xiàn)有互聯(lián)網(wǎng)的基礎(chǔ)之上構(gòu)成一層智能虛擬網(wǎng)絡(luò)，實時地根據(jù)網(wǎng)絡(luò)流量、各節(jié)點的連接和負(fù)載情況、響應(yīng)時間、到用戶的距離等信息將用戶的請求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點上。目的是使用戶可就近取得所需內(nèi)容，解決Internet網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問網(wǎng)站的速度。3.6云存儲中的數(shù)據(jù)遷移當(dāng)我們從一個物理環(huán)境和單個陣列過渡到完全虛擬化的、高度動態(tài)的存儲環(huán)境時，數(shù)據(jù)的遷移就成了云存儲方案中最為基礎(chǔ)、關(guān)鍵的步

33、驟，它在整個方案中占有了舉足輕重的作用。把企業(yè)的數(shù)據(jù)轉(zhuǎn)移到云中，針對不同的實際情況這里有兩種方法：1.當(dāng)企業(yè)的數(shù)據(jù)吞吐量較大但是數(shù)據(jù)量不是特別多，對傳輸延遲也沒過多要求時，云供應(yīng)商可以提供從企業(yè)到供應(yīng)商某個存儲節(jié)點之間的私人鏈接，方便企業(yè)遷移數(shù)據(jù)。企業(yè)可以根據(jù)自己的時間，在不影響公司正常運行的情況下做數(shù)據(jù)的轉(zhuǎn)移安排；2當(dāng)企業(yè)的數(shù)據(jù)可以提供拷貝，那么我們可以采用sneaker-net的方式，即人工網(wǎng)絡(luò)模式，將數(shù)據(jù)通過磁盤、移動存儲設(shè)備等從企業(yè)服務(wù)器拷入到云數(shù)據(jù)中心或者從云數(shù)據(jù)中心拷貝出來。如果企業(yè)對當(dāng)前云供應(yīng)商提供的服務(wù)不滿意需要更換服務(wù)商，如何在兩家服務(wù)商的云之間轉(zhuǎn)移數(shù)據(jù)？這應(yīng)該是當(dāng)前一個很棘

34、手的問題。由于目前云存儲還處在初級階段，各個云供應(yīng)商都采用自己的加密或傳輸機制，因此沒有一個規(guī)范和約束的統(tǒng)一標(biāo)準(zhǔn)。很多云存儲供應(yīng)商無法直接將客戶數(shù)據(jù)遷移到另一家供應(yīng)商。當(dāng)服務(wù)出現(xiàn)故障時，數(shù)據(jù)將返還給客戶，然后客戶要再找另一家云供應(yīng)商，或者將數(shù)據(jù)存儲在本地服務(wù)器。所以希望各個云供應(yīng)商提供一組云數(shù)據(jù)管理的應(yīng)用編程接口API，讓不同云供應(yīng)商之間的數(shù)據(jù)遷移更加便捷。3.7云存儲中的數(shù)據(jù)容錯技術(shù)數(shù)據(jù)容錯技術(shù)是云存儲研究領(lǐng)域的一項關(guān)鍵技術(shù)，良好的容錯技術(shù)不但能夠提高系統(tǒng)的可用性和可靠性，而且能夠提高數(shù)據(jù)的訪問效率。數(shù)據(jù)容錯技術(shù)一般都是通過增加數(shù)據(jù)冗余來實現(xiàn)的，以保證即使在部分?jǐn)?shù)據(jù)失效以后也能夠通過訪問冗余

35、數(shù)據(jù)滿足需求。冗余提高了容錯性，但是也增加了存儲資源的消耗。因此,在保證系統(tǒng)容錯性的同時，要盡可能地提高存儲資源的利用率，以降低成本。目前，常用的容錯技術(shù)主要有基于復(fù)制(replication)的容錯技術(shù)和基于糾刪碼(erasurecode)的容錯技術(shù)兩種。基于復(fù)制的容錯技術(shù)簡單直觀，易于實現(xiàn)和部署，但是需要為每個數(shù)據(jù)對象創(chuàng)建若干同樣大小的副本存儲空間開銷很大；基于糾刪碼的容錯技術(shù)則能夠把多個數(shù)據(jù)塊的信息融合到較少的冗余信息中，因此能夠有效地節(jié)省存儲空間，但是對數(shù)據(jù)的讀寫操作要分別進行編碼和解碼操作，需要一些計算開銷。當(dāng)數(shù)據(jù)失效以后，基于復(fù)制的容錯技術(shù)只需要從其他副本下載同樣大小的數(shù)據(jù)即可進行

36、修復(fù)；基于糾刪碼的技術(shù)則需要下載的數(shù)據(jù)量一般遠(yuǎn)大于失效數(shù)據(jù)大小，修復(fù)成本較高?；趶?fù)制的容錯技術(shù)基于復(fù)制的容錯技術(shù)對一個數(shù)據(jù)對象創(chuàng)建多個相同的數(shù)據(jù)副本，并把得到的多個副本散布到不同的存儲節(jié)點上。當(dāng)若干數(shù)據(jù)對象失效以后，可以通過訪問其他有效的副本獲取數(shù)據(jù)基于復(fù)制的容錯技術(shù)主要關(guān)注兩方面的研究：數(shù)據(jù)組織結(jié)構(gòu)：數(shù)據(jù)組織結(jié)構(gòu)主要研究大量數(shù)據(jù)對象及其副本的管理方式；數(shù)據(jù)復(fù)制策略：數(shù)據(jù)復(fù)制策略主要研究副本的創(chuàng)建時機、副本的數(shù)量、副本的放置等問題.基于糾刪碼的容錯技術(shù)基于復(fù)制的容錯技術(shù)存儲開銷巨大，要提供冗余度為k的容錯能力，就必須另外創(chuàng)建k個副本，存儲空間的開銷也增大了k倍。基于編碼的容錯技術(shù)通過對多個數(shù)

37、據(jù)對象進行編碼產(chǎn)生編碼數(shù)據(jù)對象，進而降低完全復(fù)制帶來的巨大的存儲開銷。RAID技術(shù)中使用最廣泛的RAID5通過把數(shù)據(jù)條帶化(stripping)分布到不同的存儲設(shè)備上以提高效率，并采用一個校驗數(shù)據(jù)塊使之能夠容忍一個數(shù)據(jù)塊的失效。但是隨著節(jié)點規(guī)模和數(shù)據(jù)規(guī)模的不斷擴大，只容忍一個數(shù)據(jù)塊的失效已經(jīng)無法滿足應(yīng)用的存儲需求。糾刪碼(erasure-coding)技術(shù)是一類源于信道傳輸?shù)木幋a技術(shù)，因為能夠容忍多個數(shù)據(jù)幀的丟失，被引入到分布存儲領(lǐng)域，使得基于糾刪碼的容錯技術(shù)成為能夠容忍多個數(shù)據(jù)塊同時失效的、最常用的基于編碼的容錯技術(shù)。4云存儲的優(yōu)勢云存儲的優(yōu)勢主要體現(xiàn)在以下幾個方面：高可擴展性：云存儲架構(gòu)采用的是并行擴容方式，當(dāng)容量不夠時，只需采購新的存儲服務(wù)器，容量即可增加，而且?guī)缀鯖]有上限控制。負(fù)載均衡：云存儲能自動將工作任務(wù)均勻分配到不同的存儲服務(wù)器上，從而可避免因個別存儲服務(wù)器工作量過大而造成性能瓶