云存儲(chǔ)現(xiàn)狀與關(guān)鍵技術(shù).云存儲(chǔ)現(xiàn)狀與關(guān)鍵技術(shù).概要云存儲(chǔ)背景與發(fā)展現(xiàn)狀云存儲(chǔ)中的關(guān)鍵技術(shù)分布式文件系統(tǒng)

服務(wù)等級(jí)協(xié)議（SLA）云服務(wù)接口技術(shù)云安全技術(shù)云@清華大學(xué).概要云存儲(chǔ)背景與發(fā)展現(xiàn)狀.云存儲(chǔ)背景與發(fā)展現(xiàn)狀.云存儲(chǔ)背景與發(fā)展現(xiàn)狀.什么是云？XasaService(XaaS)SoftwareasaServiceHardwareasaserviceInfrastructureasaservicePlatformasaserviceUtilityComputing云計(jì)算與云用戶(ABerkeleyViewofCloud).什么是云？XasaService(XaaS)云計(jì)算與云的分類公用云

提供通用操作任意用戶可以使用用戶不可信私用云提供專用操作企業(yè)內(nèi)部用戶可以使用用戶可信混合云基于公用云提供私用云服務(wù)應(yīng)用類型計(jì)算云存儲(chǔ)云使用范圍公用云私有云混合云.云的分類公用云應(yīng)用類型計(jì)算云存儲(chǔ)云使用范圍公用云私有云混合工業(yè)界發(fā)展現(xiàn)狀GoogleCloudGoogleFileSystemBigTableGoogleAppEngineMapReduceMicrosoftAzureLiveServicesSQLServices.NETServicesSharepointServicesDynamicCRMServicesIBMBlueCloudHadoopDB2Xen&PowerVMWebsphereTivoliSoftware存儲(chǔ)數(shù)據(jù)庫(kù)計(jì)算虛擬化AmazonCloudS3SimpleDBEC2SimpleQueueEBS.工業(yè)界發(fā)展現(xiàn)狀GoogleGoogleFileSyste什么是云存儲(chǔ)？云存儲(chǔ)專注于向用戶提供以互聯(lián)網(wǎng)為基礎(chǔ)，幾乎可以無(wú)限擴(kuò)展的高可靠在線存儲(chǔ)服務(wù)，很好的滿足了新興Web2.0應(yīng)用的存儲(chǔ)需求用戶無(wú)需考慮存儲(chǔ)容量的大小、數(shù)據(jù)存儲(chǔ)的位置、以及數(shù)據(jù)的可用性、可靠性和安全性等繁瑣的技術(shù)細(xì)節(jié)用戶只需要按需付費(fèi)就可以從云存儲(chǔ)服務(wù)提供商那里獲得近乎無(wú)限大的存儲(chǔ)空間和可靠的服務(wù)質(zhì)量，即用即付，節(jié)約投資，從而完全專注于自身應(yīng)用與業(yè)務(wù)的發(fā)展.什么是云存儲(chǔ)？云存儲(chǔ)專注于向用戶提供以互聯(lián)網(wǎng)為基礎(chǔ)，幾乎可以云存儲(chǔ)的基本特征和應(yīng)用領(lǐng)域基本特征分布于網(wǎng)絡(luò)（互聯(lián)網(wǎng)或局域網(wǎng)、公有云和私有云）易于擴(kuò)展易于管理應(yīng)用范圍:大規(guī)模數(shù)據(jù)處理:MapReduce數(shù)據(jù)共享與分發(fā):GigaVoxMedia、Jamglue、SmugMug、…...數(shù)據(jù)歸檔與備份:37signals、Altexa、BeInSync、Sonian、Zmanda、......已有的商業(yè)應(yīng)用：AmazonS3、MicrosoftLiveSkyDrive、EMCAtmos、…….云存儲(chǔ)的基本特征和應(yīng)用領(lǐng)域基本特征.設(shè)計(jì)云存儲(chǔ)系統(tǒng)面臨的技術(shù)挑戰(zhàn)異構(gòu)性分布性擴(kuò)展性透明性并發(fā)性可靠性效率異構(gòu)性：云存儲(chǔ)系統(tǒng)必須基于多種不同的存儲(chǔ)設(shè)備、網(wǎng)絡(luò)、操作系統(tǒng)、計(jì)算機(jī)硬件和編程語(yǔ)言，云存儲(chǔ)平臺(tái)中間件需要能夠屏蔽這些不同。分布性：?jiǎn)我坏臄?shù)據(jù)中心存儲(chǔ)模式無(wú)法滿足云存儲(chǔ)在數(shù)據(jù)訪問效率、數(shù)據(jù)可靠性和系統(tǒng)負(fù)載均衡方面的需求，云存儲(chǔ)平臺(tái)底層的存儲(chǔ)資源池中將包含多個(gè)地理位置分布的數(shù)據(jù)中心用來(lái)進(jìn)行數(shù)據(jù)冗余和負(fù)載均衡。擴(kuò)展性：簡(jiǎn)單高效的存儲(chǔ)空間擴(kuò)容是云存儲(chǔ)系統(tǒng)的基本特點(diǎn)，存儲(chǔ)節(jié)點(diǎn)的加入和退出必須以熱插拔的方式進(jìn)行；透明性：包括存儲(chǔ)位置透明和用戶訪問透明，用戶不需要關(guān)心數(shù)據(jù)存儲(chǔ)的具體位置，就能夠就近訪問到數(shù)據(jù)的副本，對(duì)于用戶而言，數(shù)據(jù)總是可用的。并發(fā)性：云存儲(chǔ)系統(tǒng)中多個(gè)用戶可能會(huì)對(duì)共享數(shù)據(jù)資源產(chǎn)生并發(fā)請(qǐng)求，每個(gè)云存儲(chǔ)組件必須被設(shè)計(jì)成在并發(fā)環(huán)境中是安全的。可靠性：任一進(jìn)程、計(jì)算機(jī)和網(wǎng)絡(luò)都有可能獨(dú)立的發(fā)生故障，因此每個(gè)云存儲(chǔ)組件需要清楚所依賴的組件可能出現(xiàn)故障的方式，組件要設(shè)計(jì)成能適當(dāng)?shù)奶幚砻總€(gè)故障。效率：用戶訪問云存儲(chǔ)系統(tǒng)中共享數(shù)據(jù)的算法應(yīng)該避免性能瓶頸，頻繁訪問的數(shù)據(jù)需要復(fù)制更多的副本，用戶能夠就近獲得最快的訪問時(shí)間，同時(shí)用戶使用云存儲(chǔ)服務(wù)的接口應(yīng)該盡可能簡(jiǎn)單。.設(shè)計(jì)云存儲(chǔ)系統(tǒng)面臨的技術(shù)挑戰(zhàn)異構(gòu)性分布性擴(kuò)展性透明性并發(fā)性可典型的云存儲(chǔ)服務(wù)存儲(chǔ)技術(shù)開源應(yīng)用情況是否使用廉價(jià)設(shè)備主要用途HDFS是IBM,Yahoo,FaceBook是（PC）大規(guī)模數(shù)據(jù)存儲(chǔ)與處理GFS否Google是（PC）大規(guī)模數(shù)據(jù)存儲(chǔ)與處理KFS是CloudStore是（PC）大規(guī)模數(shù)據(jù)存儲(chǔ)與處理Sector是Sector-Sphere是（PC）大規(guī)模數(shù)據(jù)存儲(chǔ)與處理S3否Amazon是（NAS）數(shù)據(jù)存儲(chǔ)（文件<5GB）SkyDrive否Microsoft未知數(shù)據(jù)存儲(chǔ)Upline否HP未知數(shù)據(jù)存儲(chǔ)N否Sun未知數(shù)據(jù)處理Atoms否EMC是（NAS）數(shù)據(jù)存儲(chǔ).典型的云存儲(chǔ)服務(wù)存儲(chǔ)技術(shù)開源應(yīng)用情況是否使用廉價(jià)設(shè)備主要用途云存儲(chǔ)關(guān)鍵技術(shù).云存儲(chǔ)關(guān)鍵技術(shù).云存儲(chǔ)體系結(jié)構(gòu).云存儲(chǔ)體系結(jié)構(gòu).云存儲(chǔ)關(guān)鍵技術(shù)分布式文件系統(tǒng)

服務(wù)等級(jí)協(xié)議（SLA）云服務(wù)接口技術(shù)云安全技術(shù).云存儲(chǔ)關(guān)鍵技術(shù)分布式文件系統(tǒng).分布式文件系統(tǒng)最常用的分布式系統(tǒng)之一共性目標(biāo)：以分布式方式實(shí)現(xiàn)統(tǒng)一的文件邏輯視圖實(shí)例：NFS(Sun’sNetworkFileSystem)AndrewFileSystem(AFS)GoogleFileSystem&others,.......分布式文件系統(tǒng)最常用的分布式系統(tǒng)之一.分布式文件系統(tǒng)關(guān)鍵技術(shù)命名服務(wù)元數(shù)據(jù)管理緩存文件訪問語(yǔ)義（接口）副本.分布式文件系統(tǒng)關(guān)鍵技術(shù)命名服務(wù).DFS-命名服務(wù)Naming–在物理目標(biāo)和邏輯目標(biāo)之間形成映射關(guān)系映射目標(biāo)：位置透明使用單一的文件命名空間。GFS集群只有一個(gè)Master來(lái)負(fù)責(zé)文件系統(tǒng)命名空間的管理，文件的chunk可以重新分布復(fù)制，chunk可以增加或者減少副本，副本可以跨機(jī)架存儲(chǔ)，而這一切對(duì)客戶端都是透明的。用戶能通過相同的操作來(lái)訪問本地文件和遠(yuǎn)程文件資源位置無(wú)關(guān)

文件經(jīng)常由于節(jié)點(diǎn)的失效、增加或者副本的改變或者重新均衡等進(jìn)行著復(fù)制或者移動(dòng)，對(duì)系統(tǒng)來(lái)說，物理存儲(chǔ)位置改變無(wú)需改變邏輯文件名，使文件在服務(wù)器之間自由移動(dòng)而不影響到客戶端程序的運(yùn)行達(dá)到平衡服務(wù)器負(fù)載的目的.DFS-命名服務(wù)Naming–在物理目標(biāo)和邏輯目標(biāo)之間形DFS-元數(shù)據(jù)管理元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)包括文件名、文件大小、時(shí)間戳、訪問控制信息、用戶、組、......In-bandMode（帶內(nèi)模式）-元數(shù)據(jù)與數(shù)據(jù)放在一起元數(shù)據(jù)訪問效率低大數(shù)據(jù)量操作容易形成瓶頸Out-of-bandMode（帶外模式）-使用專門的服務(wù)其存放元數(shù)據(jù).DFS-元數(shù)據(jù)管理元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù).DFS–文件訪問性能本地或者服務(wù)器緩存元數(shù)據(jù)優(yōu)化元數(shù)據(jù)操作效率提高并發(fā)度本地或者服務(wù)器緩存數(shù)據(jù)優(yōu)化數(shù)據(jù)訪問效率減少網(wǎng)絡(luò)流量帶來(lái)嚴(yán)重的一致性問題.DFS–文件訪問性能本地或者服務(wù)器緩存元數(shù)據(jù).DFS-數(shù)據(jù)緩存內(nèi)存緩存訪問速度快開銷大硬盤緩存支持文件離線訪問(e.g.,AFS、SVN、GIT)支持大文件.DFS-數(shù)據(jù)緩存內(nèi)存緩存.DFS-緩存一致性當(dāng)緩存中的數(shù)據(jù)與服務(wù)器中的版本不一致時(shí)，如何解決？Client-initiatedapproachClient發(fā)起有效性檢測(cè)，由Server進(jìn)行仲裁。E.g.,時(shí)間戳,版本號(hào),.......Server-initiatedapproach由服務(wù)器端記錄所有被緩存的數(shù)據(jù)記錄。當(dāng)服務(wù)器探測(cè)到潛在的不一致時(shí)，發(fā)起通知。.DFS-緩存一致性當(dāng)緩存中的數(shù)據(jù)與服務(wù)器中的版本不一致時(shí)，如DFS–文件訪問語(yǔ)義StatelessService-無(wú)狀態(tài)服務(wù)每一個(gè)發(fā)起的請(qǐng)求都是自包含的，避免服務(wù)器記錄狀態(tài)信息。請(qǐng)求消息包大，請(qǐng)求處理時(shí)間長(zhǎng)。在并發(fā)訪問時(shí)，無(wú)法支持鎖操作。StatefulService-有狀態(tài)服務(wù)服務(wù)器記錄請(qǐng)求的會(huì)話信息以提高性能，包括元信息、TCP連接、歷史請(qǐng)求等等E.g.,預(yù)讀取數(shù)據(jù)、文件Handle、文件鎖需要更多的服務(wù)器開銷.DFS–文件訪問語(yǔ)義StatelessService-DFS-副本副本-將同一文件在不同的機(jī)器上放置多份實(shí)現(xiàn)數(shù)據(jù)冗余保證可靠性保證可用性實(shí)現(xiàn)負(fù)載均衡副本位置對(duì)用戶透明同樣面臨一致性問題，系統(tǒng)可以選擇性使用：強(qiáng)一致性弱一致性.DFS-副本副本-將同一文件在不同的機(jī)器上放置多份實(shí)現(xiàn)數(shù)DFS-SeekProblem內(nèi)存文件系統(tǒng)隨機(jī)訪問分布式文件系統(tǒng)HDFS隨機(jī)訪問機(jī)械硬盤的物理構(gòu)造決定了seekproblem無(wú)法解決.DFS-SeekProblem內(nèi)存文件系統(tǒng)隨機(jī)訪問分布式TheGoogleFileSystem

SOSP2003.TheGoogleFileSystem

SOSP20GFS的需求分析組件失效是常態(tài)文件規(guī)模一般都在幾個(gè)G以上Writeoncereadmany負(fù)載模型文件寫入后，基本不需要重寫操作文件被大量地連續(xù)讀操作，隨機(jī)讀很少發(fā)生允許大量客戶端并行追加寫同一個(gè)文件，追加寫操作必須是原子操作對(duì)海量數(shù)據(jù)處理來(lái)說，帶寬是稀缺資源.GFS的需求分析組件失效是常態(tài).接口(API)提供文件系統(tǒng)接口非標(biāo)準(zhǔn)的POSIXAPI僅僅提供幾種最基本的操作–create,delete,open,close,read,write利用寫時(shí)拷貝（copy-on-write）技術(shù)實(shí)現(xiàn)快照功能.接口(API)提供文件系統(tǒng)接口.GFS體系結(jié)構(gòu)文件被切割成固定大小的塊（Chunk）一個(gè)主Master，多個(gè)ShadowMaster多個(gè)chunkserver多client.GFS體系結(jié)構(gòu)文件被切割成固定大小的塊（Chunk）.Master設(shè)計(jì)特點(diǎn)主master將所有元數(shù)據(jù)保存在內(nèi)存中，實(shí)現(xiàn)快速訪問同時(shí)提供chunk令牌管理、孤立塊垃圾回收、塊遷移、副本管理功能定期與chunkserver發(fā)送心跳消息，收集chunkserver狀態(tài)任何對(duì)元數(shù)據(jù)的寫操作都會(huì)保存到日志中元數(shù)據(jù)在一段時(shí)間內(nèi)會(huì)緩存在clients中ShadowmastersMaster的狀態(tài)(checkpoint和log)會(huì)定期復(fù)制到shadowmasters中,以保證系統(tǒng)的可靠性。當(dāng)master失效后，系統(tǒng)會(huì)嘗試從shadowmaster中讀取checkpoint和log進(jìn)行數(shù)據(jù)恢復(fù)，恢復(fù)周期一般為秒級(jí)

即使master失效，shadow也能提供文件的只讀訪問。.Master設(shè)計(jì)特點(diǎn)主master.Chunkserver設(shè)計(jì)特點(diǎn)在linux系統(tǒng)中以實(shí)體文件存放chunk默認(rèn)放置3個(gè)chunk副本，2個(gè)在同一個(gè)機(jī)架的不同機(jī)器，1個(gè)在另外的機(jī)架平衡訪問負(fù)載平衡存儲(chǔ)空間提供可用性和可靠性

塊數(shù)據(jù)不緩存塊大小為64MB優(yōu)點(diǎn)：減少元數(shù)據(jù)，每chunk對(duì)應(yīng)64Bytes元數(shù)據(jù)，2P數(shù)據(jù)需要2G內(nèi)存減少網(wǎng)絡(luò)開銷，因?yàn)閏lient往往對(duì)一個(gè)chunk進(jìn)行多次操作，所以chunkserver可以在一段時(shí)間之類保持住一個(gè)client和chunkserver之間的TCP連接缺點(diǎn)：小文件容易形成訪問熱點(diǎn)解決方案：為小文件準(zhǔn)備更多的副本.Chunkserver設(shè)計(jì)特點(diǎn)在linux系統(tǒng)中以實(shí)體文件存client設(shè)計(jì)特點(diǎn)client是一組供上層應(yīng)用調(diào)用文件系統(tǒng)的API，它向master請(qǐng)求元數(shù)據(jù)，向client請(qǐng)求數(shù)據(jù)client在有限時(shí)間內(nèi)緩存元數(shù)據(jù)client不緩存數(shù)據(jù),因?yàn)橛脩粽?qǐng)求的數(shù)據(jù)往往很大或者是流式寫操作，緩存沒有意義.client設(shè)計(jì)特點(diǎn)client是一組供上層應(yīng)用調(diào)用文件系統(tǒng)對(duì)于NMasters的考慮層次結(jié)構(gòu)按目錄劃分、按id劃分、按區(qū)域劃分…限制每個(gè)master的規(guī)模多機(jī)熱備多臺(tái)master為一組元數(shù)據(jù)互為備份同時(shí)提供服務(wù)監(jiān)管機(jī)制發(fā)現(xiàn)master失效啟動(dòng)備用master.對(duì)于NMasters的考慮層次結(jié)構(gòu).數(shù)據(jù)完整性chunkserver利用CRC校驗(yàn)檢查數(shù)據(jù)完整性每個(gè)chunks被切割成績(jī)64KB的block，每個(gè)block有一個(gè)32bit的校驗(yàn)和當(dāng)每一個(gè)block被讀的時(shí)候，檢查該校驗(yàn)和。如果發(fā)現(xiàn)數(shù)據(jù)錯(cuò)誤，由master發(fā)起通知，重新創(chuàng)建chunk，并通知chunkserver刪除錯(cuò)誤的chunk。當(dāng)新的block被寫或者追加寫時(shí)時(shí)，只校驗(yàn)新的數(shù)據(jù)，計(jì)算開銷很低對(duì)于重復(fù)寫操作，CRC的開銷非常大，所有的校驗(yàn)和都需要重新計(jì)算.數(shù)據(jù)完整性chunkserver利用CRC校驗(yàn)檢查數(shù)據(jù)完整性性能測(cè)試.性能測(cè)試.設(shè)計(jì)分布式文件系統(tǒng)的一些經(jīng)驗(yàn)不同的分布式文件系統(tǒng)有不同的應(yīng)用場(chǎng)景，往往需要為了特定應(yīng)用量身定制；規(guī)模越大，不可預(yù)見的問題就越多；小文件IO存在嚴(yán)重問題；具有突破性的技術(shù)：帶外模式半同步/半異步并發(fā)模型緩存與預(yù)取策略條帶分片存儲(chǔ)策略寫時(shí)拷貝技術(shù)（Copy-on-Write）異步IO技術(shù).設(shè)計(jì)分布式文件系統(tǒng)的一些經(jīng)驗(yàn)不同的分布式文件系統(tǒng)有不同的應(yīng)用SLA用戶按照QoS選擇和使用云服務(wù)相同功能的云服務(wù)相同功能但不同服務(wù)質(zhì)量可用性、可靠性、性能、價(jià)格、基本架構(gòu)使用合約（SLA）描述服務(wù)描述QoS描述資源描述責(zé)任.SLA用戶按照QoS選擇和使用云服務(wù).云服務(wù)接口技術(shù)Web瀏覽器網(wǎng)絡(luò)磁盤傳統(tǒng)標(biāo)準(zhǔn)接口HTTPFTP其他接口RESTfull/JSONSOAP/XML.云服務(wù)接口技術(shù)Web瀏覽器.云安全技術(shù)安全的基本要求：私密性：防止用戶的信息被其他非認(rèn)證用戶查看完整性：用戶的數(shù)據(jù)不被會(huì)其他用戶改動(dòng)可用性：用戶的數(shù)據(jù)不會(huì)受到惡意攻擊的影響可認(rèn)性：SLA是可以認(rèn)證的解決方案：傳統(tǒng)的網(wǎng)絡(luò)安全限制使用范圍、防火墻、......數(shù)據(jù)分片數(shù)據(jù)加密數(shù)據(jù)冗余.......云安全技術(shù)安全的基本要求：.云@清華大學(xué).云@清華大學(xué).清華云計(jì)算平臺(tái)數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心分布式文件存儲(chǔ)服務(wù)Carrier分布式計(jì)算服務(wù)Horde虛擬計(jì)算環(huán)境服務(wù)CoronaGUIAPIShellWeb企業(yè)業(yè)務(wù)并行批處理計(jì)算個(gè)人業(yè)務(wù)資源層中間件層應(yīng)用層.清華云計(jì)算平臺(tái)數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心分布式文件存儲(chǔ)分布式文件存儲(chǔ)服務(wù)Carrier.分布式文件存儲(chǔ)服務(wù)Carrier.分布式文件存儲(chǔ)服務(wù)

Carrier數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心分布式文件存儲(chǔ)服務(wù)Carrier分布式計(jì)算服務(wù)Horde虛擬計(jì)算環(huán)境服務(wù)CoronaGUIAPIShellWeb資源層中間件層應(yīng)用層計(jì)算業(yè)務(wù)個(gè)人備份文件共享容災(zāi)業(yè)務(wù).分布式文件存儲(chǔ)服務(wù)

Carrier數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)清華云存儲(chǔ)解決方案我們研究了包括分布式文件系統(tǒng)、云存儲(chǔ)服務(wù)接口以及虛擬文件管理在內(nèi)的各項(xiàng)關(guān)鍵技術(shù)，研發(fā)一整套云存儲(chǔ)平臺(tái)，在此基礎(chǔ)上完成了Mobile+Cloud的幾項(xiàng)示范性應(yīng)用。FolderAppsStorageCloudEBSEC2StorageS3.清華云存儲(chǔ)解決方案我們研究了包括分布式文件系統(tǒng)、云存儲(chǔ)服務(wù)接分布式文件系統(tǒng)Carrier架構(gòu)松耦合的體系結(jié)構(gòu)多個(gè)元數(shù)據(jù)服務(wù)器MetadataServer多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器DataServer多個(gè)Supervisor負(fù)責(zé)系統(tǒng)監(jiān)控與故障恢復(fù)、副本管理、垃圾回收等事務(wù)特色：支持多樣化的文件負(fù)載、高可擴(kuò)展、容錯(cuò)、高并發(fā)接口:Fuse、Shell、APIChunk-BasedDistributedDatabaseClientsMetadataServerDataServersMetadataServerMetadataServersDataServersDataServersDataServersClientsClientsClientsSupervisorsSupervisorsSupervisorsDataServers.分布式文件系統(tǒng)Carrier架構(gòu)松耦合的體系結(jié)構(gòu)Chunk-MetadataServer設(shè)計(jì)基本原則：必須實(shí)現(xiàn)自動(dòng)故障恢復(fù)和節(jié)點(diǎn)當(dāng)機(jī)之后的元數(shù)據(jù)服務(wù)轉(zhuǎn)移功能，保證元數(shù)據(jù)服務(wù)盡可能的在線；為了支持多樣化的負(fù)載，元數(shù)據(jù)服務(wù)器必須是可擴(kuò)展的；盡量減少元數(shù)據(jù)節(jié)點(diǎn)和其它節(jié)點(diǎn)的交互次數(shù)，降低元數(shù)據(jù)節(jié)點(diǎn)的負(fù)載；文件被組織成一個(gè)傳統(tǒng)的目錄樹讀寫鎖去冗余的訪問控制列表DistributedDatabase(Mnesia)MetadataServer3MetadataServer2MetadataServer1.MetadataServer設(shè)計(jì)基本原則：Distribu..讀寫鎖基于輕量級(jí)進(jìn)程的讀寫鎖MetadataServerClient(1)申請(qǐng)寫操作(2)標(biāo)志位加鎖(3)定期檢查死鎖記錄MetadataServerClient(1)申請(qǐng)寫操作(2)生成進(jìn)程鎖1、傳統(tǒng)的進(jìn)程鎖2、輕量級(jí)進(jìn)程鎖.讀寫鎖基于輕量級(jí)進(jìn)程的讀寫鎖MetadataServerC去冗余的訪問控制列表（ACL）1、傳統(tǒng)的LinuxACL300%的性能開銷2、去冗余的ACL盡可能減少數(shù)據(jù)庫(kù)的記錄條數(shù)，縮短每次查詢數(shù)據(jù)庫(kù)的時(shí)間PathACL....../A{Bob:rw,Alice:rw}....../A/B{Bob:rw,Alice:rw}....../A/B/C{Bob:rw,Alice:rw}....../A/B/C/D.txt{Bob:rw}......PathACL....../A{Bob:rw,Alice:rw}....../A/B/C/D.txt{Bob:rw}.......去冗余的訪問控制列表（ACL）1、傳統(tǒng)的LinuxACL2DataServer設(shè)計(jì)文件被按32M大小進(jìn)行分塊（chunk）存儲(chǔ)，一個(gè)chunk對(duì)應(yīng)Linux文件系統(tǒng)中的一個(gè)實(shí)體文件基于UUID算法產(chǎn)生128位chunkid記錄Chunk的文件數(shù)據(jù)的MD5值來(lái)檢查已保存數(shù)據(jù)的完整性MetadataServerClientDataServerMetadataServerClientDataServer1、由Metadataserver產(chǎn)生chunkid需要3次網(wǎng)絡(luò)交互2、由Client產(chǎn)生chunkid僅需要2次網(wǎng)絡(luò)交互(1)申請(qǐng)chunkid(3)匯報(bào)Metadata(2)寫chunk(3)匯報(bào)Metadata(2)寫chunk(1)生成chunkid.DataServer設(shè)計(jì)文件被按32M大小進(jìn)行分塊（chuSupervisor設(shè)計(jì)定期的主機(jī)狀態(tài)監(jiān)控、副本管理、副本恢復(fù)（3個(gè)）、完整性檢測(cè)、故障恢復(fù)、垃圾回收MetadataServerDataServer1、MetaServer廣播回收方式2、MetaServer應(yīng)答回收方式DataServerDataServer[A,B,C][A,B,C][A,B,C][A,B,C][A,D]MetadataServerDataServerDataServerDataServer[A,B,C][A,D][A,D][D]MetadataServerDataServerDataServerDataServer[A,B,C][010][A,D][010][010]3、基于BloomFilter的管道回收方式.Supervisor設(shè)計(jì)定期的主機(jī)狀態(tài)監(jiān)控、副本管理、副本恢Client設(shè)計(jì)客戶端和元數(shù)據(jù)服務(wù)器進(jìn)行元數(shù)據(jù)的操作，但是所有的數(shù)據(jù)相關(guān)的通訊是直接和數(shù)據(jù)服務(wù)器進(jìn)行的,接口包括：串行接口：open，read，write，close，list，delete，mkdir并行接口：put，get.Client設(shè)計(jì)客戶端和元數(shù)據(jù)服務(wù)器進(jìn)行元數(shù)據(jù)的操作，但是所開發(fā)語(yǔ)言的選擇Erlang由瑞典電信設(shè)備制造商Erission所轄的CS-Lab開發(fā)，問世于1987年。在編程范型上，Erlang屬于多重范型編程語(yǔ)言，涵蓋函數(shù)式、并發(fā)式及分布式具有以下特性:并發(fā)性:支持超大量級(jí)的并發(fā)線程，并且不需要操作系統(tǒng)具有并發(fā)機(jī)制分布性：一個(gè)Erlang節(jié)點(diǎn)能夠創(chuàng)建運(yùn)行在其它節(jié)點(diǎn)上的并行線程健壯性：具有多種基本的錯(cuò)誤檢測(cè)能力，它們能夠用于構(gòu)建容錯(cuò)系統(tǒng)熱代碼升級(jí)：允許程序代碼在運(yùn)行系統(tǒng)中被修改外部接口：與C,Java,Python外部程序通信開源基于Erlang實(shí)現(xiàn)過可靠性為99.9999999%的電信工業(yè)級(jí)交換機(jī).開發(fā)語(yǔ)言的選擇Erlang由瑞典電信設(shè)備制造商ErissioCarrier系統(tǒng)基本性能測(cè)試操作時(shí)間(ms)文件大小/

操作數(shù)具體描述帶寬(MB/s)/

單次耗時(shí)(ms)大文件寫1003224GB將一個(gè)大小為4GB的文件寫入carrier43.94MB/s大文件讀1965534GB從carrier中讀取一個(gè)大小為4GB的文件22.43MB/s中等文件寫134727MB將一個(gè)大小為27MB的文件寫入carrier20.7MB/s中等文件讀290727MB從carrier中讀取一個(gè)大小為27MB的文件9.6MB/s小文件寫12802229MB將目錄linux-寫入carrier2.3MB/s小文件讀14301829MB從carrier中讀取目錄linux-2.0MB/s創(chuàng)建文件1955010000在目標(biāo)路徑下創(chuàng)建10000個(gè)大小為0的小文件1.955ms返回文件列表15010000在含有10000個(gè)小文件的目錄下做listdir操作0.015ms刪除小文件822510000刪除一個(gè)包含10000個(gè)小文件的目錄0.8225ms創(chuàng)建目錄871110000在目標(biāo)路徑下創(chuàng)建10000個(gè)空目錄0.8711ms返回目錄列表13710000在含有10000個(gè)空目錄的目錄下做listdir操作0.0137ms刪除目錄821510000刪除一個(gè)包含10000個(gè)空目錄的目錄0.8215ms.Carrier系統(tǒng)基本性能測(cè)試操作時(shí)間(ms)文件大小/

操云服務(wù)接口技術(shù)FolderAppsStorageCloudEBSEC2StorageS3.云服務(wù)接口技術(shù)FolderAppsStorageCloudE....虛擬文件管理系統(tǒng)Corsair實(shí)現(xiàn)文件數(shù)據(jù)的存儲(chǔ)和共享，提供本地資源和網(wǎng)絡(luò)資源的統(tǒng)一文件管理視圖為全部用戶提供共享存儲(chǔ)服務(wù)為社區(qū)用戶提供共享存儲(chǔ)服務(wù)為個(gè)人用戶提供共享存儲(chǔ)服務(wù).虛擬文件管理系統(tǒng)Corsair實(shí)現(xiàn)文件數(shù)據(jù)的存儲(chǔ)和共享，提供..Corsair系統(tǒng)架構(gòu).Corsair系統(tǒng)架構(gòu).Corsair的特性快速共享簡(jiǎn)單的申請(qǐng)操作和審批就可以擁有100GB的社區(qū)空間移動(dòng)U盤簡(jiǎn)單的申請(qǐng)操作就可以擁有2GB的個(gè)人空間