第6章云存儲(chǔ)技術(shù)3主要內(nèi)容主要內(nèi)容·6.1云存儲(chǔ)的概念與特點(diǎn)·6.2云存儲(chǔ)的分類與結(jié)構(gòu)模型·6.3云存儲(chǔ)與傳統(tǒng)存儲(chǔ)技術(shù)的對(duì)比分析·6.5典型的云存儲(chǔ)系統(tǒng)介紹這是一個(gè)大數(shù)據(jù)的時(shí)代大數(shù)據(jù)時(shí)代的4V特征VeracityVeracity大數(shù)據(jù)時(shí)代，對(duì)存儲(chǔ)系統(tǒng)提供更高要求面臨的難題?8云存儲(chǔ)是什么?云存儲(chǔ)屬于云計(jì)算的底層支撐，它通過(guò)多種云存儲(chǔ)技術(shù)的融合，將大量普通PC服務(wù)器構(gòu)成的存儲(chǔ)集群虛擬化為易擴(kuò)展、彈性、透明、具有伸縮性的存儲(chǔ)資源池，并將存儲(chǔ)資源池按需分配給授權(quán)用戶，授權(quán)用戶即可以通過(guò)網(wǎng)絡(luò)對(duì)存儲(chǔ)資源池進(jìn)行任意的訪問(wèn)和管理，并按使用付費(fèi)。業(yè)界對(duì)云存儲(chǔ)初步達(dá)成了一個(gè)基本共識(shí)：云存儲(chǔ)不僅是存儲(chǔ)技術(shù)或設(shè)備，更是一種服務(wù)的創(chuàng)新。云存儲(chǔ)的分類●提供商負(fù)責(zé)創(chuàng)建和維護(hù)存儲(chǔ)因此，內(nèi)部云存儲(chǔ)能完全滿足安全性和性能這兩個(gè)主要關(guān)注點(diǎn)，并在包括常見云功能的實(shí)施服務(wù)應(yīng)用生命周期：Matrix云服務(wù)自動(dòng)化*基礎(chǔ)設(shè)施：BladeSystemMatrix這種云存儲(chǔ)把公共云存儲(chǔ)和內(nèi)部云存儲(chǔ)結(jié)合在一起。主要用于按客戶要求的訪問(wèn)，特別是需要臨時(shí)配置容量的時(shí)候。從公共云存儲(chǔ)上劃出一部分容量配置一種內(nèi)部云存儲(chǔ)，可以幫助公司面對(duì)迅速增長(zhǎng)的負(fù)載波動(dòng)或高布了混合云存儲(chǔ)解決方案，通過(guò)華為各類云存儲(chǔ)的對(duì)比非常高有限非常高良好，但取決于服務(wù)提供商所采取的安全措施最安全，因?yàn)樗械拇鎯?chǔ)都是內(nèi)部部署非常安全，因?yàn)榧蛇x項(xiàng)添加了一個(gè)額外的安全層性能低等到中等非常好良好，活動(dòng)內(nèi)容在內(nèi)部緩存中等，取決于互聯(lián)網(wǎng)連接特性和服務(wù)提供商供應(yīng)能力高，因?yàn)樗械脑O(shè)備都是內(nèi)部部署中等到高等，因?yàn)榫彺鎯?nèi)容保存在內(nèi)部，而且也取決于互聯(lián)網(wǎng)連接特性和服務(wù)提供商供應(yīng)能力非常好，即用即付模式，也沒(méi)有對(duì)公司內(nèi)部存儲(chǔ)基礎(chǔ)設(shè)施的要求良好，需要內(nèi)部資源，力和冷卻改良的，因?yàn)樗试S移動(dòng)部分存儲(chǔ)資源到即用即付模式存儲(chǔ)最核心的部分，也是云存營(yíng)單位可以根據(jù)實(shí)際業(yè)務(wù)類型,開發(fā)不同的應(yīng)用服務(wù)接口，■訪問(wèn)層：任何一個(gè)授權(quán)用戶都可以通過(guò)標(biāo)準(zhǔn)的公用應(yīng)用接口來(lái)登錄云存儲(chǔ)系統(tǒng)，享受云存訪問(wèn)層應(yīng)用接口層基礎(chǔ)管理層 比較項(xiàng)云存儲(chǔ)架構(gòu)不僅是一種架構(gòu)，更是一種服務(wù)。底層采用分布式架構(gòu)和虛擬化技術(shù)，易于擴(kuò)展，單點(diǎn)失效不影響整體服務(wù)針對(duì)某種特殊應(yīng)用而采用的專用、特定的硬件組建構(gòu)成的架構(gòu)按需使用，按使用計(jì)費(fèi)，服務(wù)提供商可迅速交付和響應(yīng)用戶通過(guò)整機(jī)購(gòu)買或租賃獲取存儲(chǔ)容量支持PB級(jí)以上無(wú)限擴(kuò)展針對(duì)某特定的應(yīng)用存儲(chǔ)，由應(yīng)用雪球決定容量，難于擴(kuò)展不僅提供傳統(tǒng)訪問(wèn)方式，而且提供海量數(shù)據(jù)的管理和對(duì)外的公眾服務(wù)支撐，同時(shí)采用保護(hù)數(shù)據(jù)安全的策略，采取如分片存儲(chǔ)、EC、ACL、證書等多重保護(hù)策略和技術(shù)，用戶可靈活配置用戶數(shù)據(jù)管理員可見，信息不夠安全。通過(guò)使用RAID提供數(shù)據(jù)保護(hù)。用戶無(wú)法靈活配置個(gè)性化存儲(chǔ)策略和保護(hù)策略云存儲(chǔ)是一個(gè)多設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體，它的實(shí)現(xiàn)根據(jù)云存儲(chǔ)的特點(diǎn)及其應(yīng)用領(lǐng)域，主要的云存儲(chǔ)技術(shù)涉及到：數(shù)據(jù)縮減技術(shù)存儲(chǔ)虛擬化技術(shù)雖然不同設(shè)備與廠商之間略有區(qū)別，但從總體來(lái)說(shuō)，可概括為以下三種：不同的分布式存儲(chǔ)系統(tǒng)適合處理不同類型的數(shù)據(jù)，分布式存儲(chǔ)系統(tǒng)可以分為以下四類： 數(shù)據(jù)備份技術(shù)是將數(shù)據(jù)本身或者其中的部分在某一時(shí)間的狀態(tài)以特定的格式保存下來(lái)，以備原數(shù)據(jù)出現(xiàn)錯(cuò)誤、被誤刪除、惡意加密等各種原因不可數(shù)據(jù)備份是容災(zāi)的基礎(chǔ)，是為防止突發(fā)事故而采取的一種數(shù)據(jù)保護(hù)措施不同的備份方法，其效果不同，主要表現(xiàn)在性能、自動(dòng)化程度、對(duì)現(xiàn)有基于SAN結(jié)構(gòu)的LAN-FreeHost-Based(主機(jī)備份)基于主機(jī)(Host-Based)的備份是傳統(tǒng)的數(shù)據(jù)備份技術(shù)。在這種備份架構(gòu)中，磁帶讀寫設(shè)備直接連接在某臺(tái)需要備份數(shù)據(jù)的應(yīng)用服務(wù)器上，為該服務(wù)器優(yōu)點(diǎn)：備份管理簡(jiǎn)單，數(shù)據(jù)傳輸速度快；缺點(diǎn)：可管理的存儲(chǔ)設(shè)備少，不利于備份系統(tǒng)的共享，不大適合于現(xiàn)在大型的數(shù)據(jù)備份要求，而且不能提供實(shí)時(shí)的備份需求。LAN-Based(局域網(wǎng)備份)數(shù)據(jù)的傳輸是以局域網(wǎng)絡(luò)為基礎(chǔ)，首先預(yù)先配置一臺(tái)服務(wù)器作為備份管理服務(wù)器，負(fù)責(zé)整個(gè)系統(tǒng)的備份操作。磁帶庫(kù)則接在某臺(tái)服務(wù)器(即介質(zhì)服務(wù)器介質(zhì)服務(wù)器)上，多個(gè)需要備份數(shù)據(jù)的應(yīng)用服務(wù)器LAN-Free是指數(shù)據(jù)無(wú)需通過(guò)局域網(wǎng)而直接進(jìn)行備份，即用戶只需將磁帶機(jī)或磁帶庫(kù)等備份設(shè)備連接到SAN中，各服務(wù)器就可把需要備份的數(shù)據(jù)直接發(fā)送到共享的備份設(shè)磁盤磁盤磁帶Server-Free備份結(jié)構(gòu)優(yōu)點(diǎn)：數(shù)據(jù)備份和恢復(fù)時(shí)間短，網(wǎng)絡(luò)傳輸壓力小，便于同意管理和備份資源缺點(diǎn)：需要特定的備份應(yīng)用軟件進(jìn)行管理，廠商的類型兼容性問(wèn)題需要統(tǒng)一,并且實(shí)施起來(lái)與LAN-Free一樣比較復(fù)雜，成本也較高，適用于大中型企業(yè)進(jìn)行海量數(shù)據(jù)備份管理。數(shù)據(jù)縮減技術(shù)數(shù)據(jù)縮減技術(shù)自動(dòng)精簡(jiǎn)配置是一種存儲(chǔ)管理的特性,核心原理是“欺騙”操作系統(tǒng)，讓操作到原來(lái)的1/20-1/50。數(shù)據(jù)壓縮就是將收到的數(shù)據(jù)通過(guò)存儲(chǔ)算法存儲(chǔ)到更小的空間中去。數(shù)據(jù)壓縮的方式有很多，一般來(lái)說(shuō)可以分為無(wú)損■無(wú)損壓縮是指使用壓縮后的數(shù)據(jù)進(jìn)行解壓縮，得到的數(shù)據(jù)與原來(lái)有損壓縮是指使用壓縮后的數(shù)據(jù)進(jìn)行解壓縮，得到的數(shù)據(jù)與原來(lái)的數(shù)據(jù)有所不同，但不影響人對(duì)原始資料表達(dá)的信息的理解。內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN,ContentDeliveryNetwork)是一種新型網(wǎng)絡(luò)構(gòu)建模式，主要是針對(duì)現(xiàn)有的Internet進(jìn)行改造，其基本思想就是盡量避開互聯(lián)網(wǎng)上由于網(wǎng)絡(luò)帶寬小、網(wǎng)點(diǎn)分布不均、用戶訪問(wèn)量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)母臁⒏€(wěn)定?；ヂ?lián)網(wǎng)應(yīng)用不斷發(fā)生變遷CDN業(yè)務(wù)功能不斷更新CDN應(yīng)用領(lǐng)域不斷擴(kuò)展·6.1云存儲(chǔ)的概念與特點(diǎn)·6.2云存儲(chǔ)的分類與結(jié)構(gòu)模型·6.3云存儲(chǔ)與傳統(tǒng)存儲(chǔ)技術(shù)的對(duì)比分析·6.4云存儲(chǔ)的關(guān)鍵技術(shù)·6.5典型的云存儲(chǔ)系統(tǒng)介紹典型的云存儲(chǔ)系統(tǒng)介紹目前，云計(jì)算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲(chǔ)系統(tǒng)是Google的非開源的GFS(GoogleFilesystem)和Hadoop團(tuán)隊(duì)開發(fā)的GFS的開源實(shí)現(xiàn)HDFS(HadoopDistributedFileSystem),大部分IT廠商包括Yahoo、Intel的“云”計(jì)劃采用的都是HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。GFS是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大GFS的設(shè)計(jì)思想不同于傳統(tǒng)的文件系統(tǒng)，是針對(duì)大規(guī)模數(shù)據(jù)處理和文件大小不作為異常處理少量大文件在文件末尾附加數(shù)據(jù)分開作為異常處理大量小文件修改現(xiàn)存數(shù)據(jù)結(jié)合GFS主服務(wù)器/foo/bar應(yīng)用程序應(yīng)用程序Chunk2ef0GFS客戶端字節(jié)范圍)GFS數(shù)據(jù)塊服務(wù)器GFS數(shù)據(jù)塊服務(wù)器Linux文件系統(tǒng)Linux文件系統(tǒng)chunk數(shù)據(jù)主服務(wù)器GFS將整個(gè)系統(tǒng)節(jié)點(diǎn)分為三類角色：客戶端(Client)、主服務(wù)器寫操作控制信號(hào)和數(shù)據(jù)流23234734733一個(gè)文件小于一個(gè)數(shù)據(jù)塊的大小，并●元數(shù)據(jù)節(jié)點(diǎn)(Namenode)用來(lái)管理文件系統(tǒng)的命名空間。要功能是周期性將元數(shù)據(jù)節(jié)點(diǎn)的命名