從傳統(tǒng)存儲(chǔ)到云存儲(chǔ)——視頻監(jiān)控存儲(chǔ)產(chǎn)品的發(fā)展與演變一、傳統(tǒng)視頻監(jiān)控系統(tǒng)主要存儲(chǔ)網(wǎng)絡(luò)架構(gòu)比較傳統(tǒng)存儲(chǔ)系統(tǒng)網(wǎng)絡(luò)架構(gòu)有DAS、NAS、SAN三種，其中SAN網(wǎng)絡(luò)環(huán)境中，根據(jù)采用存儲(chǔ)設(shè)備類型的不同又可以分為FC-SAN（采用光纖通道存儲(chǔ)產(chǎn)品，僅支持FC硬盤）和IP-SAN（采用iSCSI存儲(chǔ)設(shè)備，支持SAS與SATA硬盤）。除此之外，一種新興的存儲(chǔ)架構(gòu)正在逐步進(jìn)入視頻監(jiān)控存儲(chǔ)領(lǐng)域，即一體化存儲(chǔ)。一體化存儲(chǔ)設(shè)備將視頻的轉(zhuǎn)發(fā)、存儲(chǔ)同時(shí)合入存儲(chǔ)系統(tǒng)，可通過多種組網(wǎng)形式與服務(wù)器相連，是一種靈活高效的存儲(chǔ)組網(wǎng)方式。DAS存儲(chǔ)方案DAS（DirectAttachedStorage，直連存儲(chǔ)）是指將存儲(chǔ)設(shè)備通過SCSI接口、iSCSI接口或光纖通道直接連接到一臺(tái)計(jì)算機(jī)上。服務(wù)器或少數(shù)PC式DVR可以通過硬盤控制卡外掛其專用硬盤陣列柜，將視頻數(shù)據(jù)存在專門的硬盤柜中，這種服務(wù)器與外掛硬盤柜單獨(dú)相連的存儲(chǔ)方式就是DAS存儲(chǔ)方案。圖1-1DAS組網(wǎng)示意圖DAS存儲(chǔ)解決方案的缺點(diǎn)：擴(kuò)展性差：在保證存儲(chǔ)系統(tǒng)性能的前提下，一般一臺(tái)服務(wù)器只能連接兩臺(tái)陣列，其擴(kuò)展性無法滿足大規(guī)模監(jiān)控系統(tǒng)產(chǎn)生的海量數(shù)據(jù)存儲(chǔ)需要；資源利用率低，無法實(shí)現(xiàn)存儲(chǔ)資源的共享：DAS方式的存儲(chǔ)使得存儲(chǔ)空間無法充分利用，存在浪費(fèi)。不同的應(yīng)用服務(wù)器面對(duì)的存儲(chǔ)數(shù)據(jù)量是不一致的，同時(shí)業(yè)務(wù)發(fā)展的狀況也決定著存儲(chǔ)數(shù)據(jù)量的不斷變化。因此，出現(xiàn)了部分應(yīng)用的存儲(chǔ)空間不夠用，另一些卻有大量的存儲(chǔ)空間閑置的不均衡情況；可管理性差：管理分散繁瑣，無法集中；異構(gòu)化嚴(yán)重：DAS方式使得企業(yè)在不同階段采購(gòu)了不同型號(hào)不同廠商的存儲(chǔ)設(shè)備，設(shè)備之間異構(gòu)化現(xiàn)象嚴(yán)重，維護(hù)成本居高不下。NAS存儲(chǔ)方案NAS（NetworkAttachedStorage—網(wǎng)絡(luò)附加存儲(chǔ)），是一種存儲(chǔ)共享服務(wù)，通過文件系統(tǒng)對(duì)外提供文件訪問服務(wù)。NAS設(shè)備提供統(tǒng)一的存儲(chǔ)空間，是基于“文件級(jí)”的存儲(chǔ)方式，為系統(tǒng)上業(yè)務(wù)應(yīng)用端服務(wù)器提供文件存儲(chǔ)讀寫訪問服務(wù)。圖1-2NAS組網(wǎng)示意圖NAS的存儲(chǔ)解決方案的優(yōu)缺點(diǎn)訪問效率低：常見的CIFS或NFS文件系統(tǒng)不適于持續(xù)碼流傳輸?shù)膽?yīng)用，對(duì)于視頻監(jiān)控系統(tǒng)而言，文件傳輸效率不高，若使用監(jiān)控文件系統(tǒng)，NAS性能可大幅提高。大容量NAS成本高：大容量的高端NAS設(shè)備價(jià)格高昂，且后期擴(kuò)展費(fèi)用也很高。IP-SAN存儲(chǔ)方案存儲(chǔ)區(qū)域網(wǎng)絡(luò)SAN（StorageAeraNetwork），是一種通過網(wǎng)絡(luò)方式連接存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器的存儲(chǔ)構(gòu)架，在最純粹的意義上是一個(gè)網(wǎng)絡(luò)，SAN存儲(chǔ)是基于“數(shù)據(jù)塊級(jí)”的存儲(chǔ)方式。傳統(tǒng)的SAN指FC-SAN，目前隨著iSCSI技術(shù)的高速發(fā)展，IP-SAN已成為SAN存儲(chǔ)的主流。圖1-3SAN組網(wǎng)示意圖IP-SAN的優(yōu)點(diǎn)設(shè)備整合，多臺(tái)服務(wù)器可以通過存儲(chǔ)網(wǎng)絡(luò)同時(shí)訪問后端存儲(chǔ)系統(tǒng)，降低存儲(chǔ)設(shè)備異構(gòu)化程度，減輕維護(hù)工作量，降低維護(hù)費(fèi)用。專有存儲(chǔ)區(qū)域網(wǎng)絡(luò)架構(gòu)，不占用業(yè)務(wù)帶寬，組建靈活，便于擴(kuò)展。集中管理，可通過一個(gè)客戶端集中管理局域網(wǎng)內(nèi)的全部存儲(chǔ)設(shè)備；大大降低了長(zhǎng)期管理維護(hù)的開銷。傳統(tǒng)存儲(chǔ)方案的新發(fā)展：存儲(chǔ)+轉(zhuǎn)發(fā)一體化存儲(chǔ)方案轉(zhuǎn)發(fā)+存儲(chǔ)一體化存儲(chǔ)方案集多功能、高性能、易管理等優(yōu)點(diǎn)于一身，是目前業(yè)界新興的一種存儲(chǔ)服務(wù)方式。一體化存儲(chǔ)設(shè)備可以通過直連或組網(wǎng)的方式與服務(wù)器相連，靈活多樣，易于管理；同時(shí)，硬盤陣列直接對(duì)前端的視頻數(shù)據(jù)進(jìn)行轉(zhuǎn)發(fā)，并將視頻數(shù)據(jù)以文件的形式進(jìn)行本地存儲(chǔ)。一體化存儲(chǔ)優(yōu)點(diǎn)：功能整合，存儲(chǔ)設(shè)備支持轉(zhuǎn)發(fā)功能，一機(jī)兩用，添加一體化存儲(chǔ)設(shè)備，則同時(shí)增強(qiáng)系統(tǒng)的轉(zhuǎn)發(fā)能力與錄制能力，節(jié)約硬件購(gòu)置、維護(hù)成本。性能強(qiáng)大，搭配視頻監(jiān)控文件系統(tǒng)，將視頻數(shù)據(jù)保存在預(yù)分配的存儲(chǔ)空間中，大幅提高存儲(chǔ)設(shè)備讀寫性能。避免錄像服務(wù)器單點(diǎn)故障與性能瓶頸，消除了由于存儲(chǔ)服務(wù)器掉電、斷網(wǎng)等原因造成的文件系統(tǒng)損壞、存儲(chǔ)空間數(shù)據(jù)只讀甚至丟失等問題。集中管理，可通過一個(gè)客戶端集中管理局域網(wǎng)內(nèi)的全部存儲(chǔ)設(shè)備；大大降低了長(zhǎng)期管理維護(hù)的開銷。圖1-4一體化存儲(chǔ)示意圖二、一體化存儲(chǔ)方案的主要技術(shù)特征一體化存儲(chǔ)是中小規(guī)模視頻項(xiàng)目中的主流方案，視頻監(jiān)控領(lǐng)軍企業(yè)，?？低暎信d力維等，都先后推出了CVR、CMR一體化存儲(chǔ)方案，在市場(chǎng)上廣受歡迎。一體化存儲(chǔ)方案，主要強(qiáng)調(diào)單個(gè)物理產(chǎn)品的性能及技術(shù)指標(biāo)，以某主流視頻監(jiān)控廠家推出的CMR一體化存儲(chǔ)為例，其主要產(chǎn)品技術(shù)特征，總結(jié)有以下幾個(gè)方面：具有錄像、轉(zhuǎn)發(fā)功能的存儲(chǔ)設(shè)備CMR一體化系列存儲(chǔ)系統(tǒng)采用“存儲(chǔ)設(shè)備+碼流轉(zhuǎn)發(fā)”的設(shè)計(jì)理念，將傳統(tǒng)的存儲(chǔ)陣列和視頻轉(zhuǎn)發(fā)業(yè)務(wù)進(jìn)行了整合，這樣不僅可以節(jié)約轉(zhuǎn)發(fā)服務(wù)器購(gòu)置、維護(hù)成本，同時(shí)也能優(yōu)化組網(wǎng)方案，使整個(gè)視頻監(jiān)控存儲(chǔ)系統(tǒng)更穩(wěn)定、更高效，契合“節(jié)約開支，優(yōu)化現(xiàn)狀”的系統(tǒng)建設(shè)理念。VFS視頻監(jiān)控文件系統(tǒng)VFS視頻監(jiān)控文件系統(tǒng)，是專為視頻監(jiān)控定制研發(fā)的文件系統(tǒng)，能夠使視頻數(shù)據(jù)寫入性能大幅提升，經(jīng)公安部實(shí)測(cè)，隨機(jī)寫入帶寬達(dá)到3200Mbps，可接入400路8M高清碼流。同時(shí)，VFS文件系統(tǒng)會(huì)把大量的隨機(jī)寫優(yōu)化為順序?qū)?，大大減少磁頭的尋道時(shí)間，延長(zhǎng)硬盤的使用壽命，降低硬盤維護(hù)及購(gòu)置成本。圖2-1VFS文件系統(tǒng)示意圖MetroUI集中化管理MetroUI通過人性化的圖形操作界面，對(duì)局域網(wǎng)內(nèi)所有ZXNVMCMR設(shè)備進(jìn)行集中化管理，即可通過同一個(gè)客戶端對(duì)所有設(shè)備進(jìn)行全部配置操作。MetroUI擁有國(guó)內(nèi)最完善的一鍵配置的功能，不但配置存儲(chǔ)設(shè)備，而且協(xié)助配置服務(wù)器設(shè)備，這使項(xiàng)目開局更加簡(jiǎn)易。MetroUI操作簡(jiǎn)潔友好，易于上手，易于維護(hù)。圖2-2MetroUI操作界面-概況圖2-3MetroUI操作界面-磁盤RQR技術(shù)RQR（RaidQuickRepair）技術(shù)的核心是為了解決視頻監(jiān)控存儲(chǔ)中硬盤故障和RAID重建的問題。對(duì)硬盤及RAID算法的優(yōu)化，是一個(gè)廠家的核心技術(shù)所在，據(jù)IDC權(quán)威數(shù)據(jù)，存儲(chǔ)系統(tǒng)的硬件故障90%以上是由硬盤故障引起。故障硬盤中，只有12%是完全的物理?yè)p壞，其余88%是硬盤系統(tǒng)的軟件錯(cuò)誤告警（實(shí)際可能是邏輯損壞或者某個(gè)壞道損壞），只要通過軟件方式進(jìn)行修復(fù)和補(bǔ)償，仍然屬于可用硬盤。但對(duì)于這88%的告警，傳統(tǒng)存儲(chǔ)系統(tǒng)會(huì)產(chǎn)生告警，并將“壞盤”從RAID組踢出，整個(gè)RAID組進(jìn)入全盤重建。傳統(tǒng)RAID組進(jìn)行整盤重建的時(shí)間是比較長(zhǎng)的，如下圖統(tǒng)計(jì)數(shù)據(jù)顯示：圖2-4硬盤重建時(shí)間從上圖可以看出，1TB的數(shù)據(jù)，無業(yè)務(wù)壓力情況下，重建時(shí)間要20小時(shí)以上，如果采用4TB硬盤，重建時(shí)間需要80小時(shí)，超過3天時(shí)間。對(duì)一個(gè)RAID而言，重建時(shí)間越長(zhǎng)，風(fēng)險(xiǎn)越大，因?yàn)樵赗AID重建時(shí)，會(huì)占用大量的計(jì)算資源，同時(shí)極大降低RAID組的讀寫性能（會(huì)產(chǎn)生嚴(yán)重的數(shù)據(jù)丟包）。如果在重建過程中，有新的硬盤故障產(chǎn)生，整個(gè)RAID組都會(huì)崩潰。在此情況下，傳統(tǒng)存儲(chǔ)技術(shù)面臨一個(gè)兩難命題：硬盤故障后必須進(jìn)行數(shù)據(jù)重建，降低數(shù)據(jù)丟失的風(fēng)險(xiǎn)；但由于重建時(shí)間過長(zhǎng)，且嚴(yán)重影響性能，又對(duì)數(shù)據(jù)安全帶來新的風(fēng)險(xiǎn)。針對(duì)這個(gè)問題，RQR技術(shù)提供了解決方案：如下圖所示：將硬盤以條塊為單位進(jìn)行細(xì)分，當(dāng)某塊硬盤出現(xiàn)條塊損壞時(shí)，RQR算法會(huì)立即將條帶的數(shù)據(jù)遷移到其他條帶，同時(shí)并對(duì)條帶進(jìn)行修復(fù)，如果是邏輯損壞，則修復(fù)后，釋放空間，繼續(xù)使用；如果是物理?yè)p壞，則將損壞的條帶屏蔽。整個(gè)重建修復(fù)及屏蔽過程，都在10s內(nèi)完成。圖2-5RQR過程示意圖綜上所述，RQR技術(shù)，將為客戶帶來以下價(jià)值：1、避免RAID組進(jìn)入長(zhǎng)時(shí)間的重建模式中，保證了系統(tǒng)的性能穩(wěn)定和存儲(chǔ)數(shù)據(jù)的安全性；2、能夠識(shí)別硬盤是物理?yè)p壞還是邏輯損壞，能夠?qū)壿嫇p壞或者微小的物理?yè)p壞進(jìn)行修復(fù)，減少90%以上的硬盤告警率，降低由于硬盤告警帶來的維護(hù)頻次，從而降低維護(hù)成本，降低由硬盤更換維護(hù)本身帶來的系統(tǒng)風(fēng)險(xiǎn)。3、RQR容忍硬盤的條帶及壞道故障，能夠提供硬盤的有效利用時(shí)間，傳統(tǒng)系統(tǒng)，只要有告警，就要更換硬盤。4、RQR技術(shù)，能夠主動(dòng)監(jiān)測(cè)硬盤壞道，而且可以同時(shí)容忍多塊硬盤同時(shí)出現(xiàn)錯(cuò)誤，能夠更為可靠的支持監(jiān)控硬盤的使用，降低成本。局部重建技術(shù)傳統(tǒng)的重建機(jī)制規(guī)定，當(dāng)硬盤不在位時(shí)，陣列就進(jìn)行全盤重建；而對(duì)于局部重建，硬盤不在位時(shí)，陣列并不會(huì)立即進(jìn)入全盤重建，而是進(jìn)行等待操作。例如，當(dāng)硬盤被誤拔后，在60秒內(nèi)重新插回系統(tǒng)，或者硬盤出現(xiàn)物理信號(hào)閃斷的時(shí)候，陣列只重建硬盤不在位時(shí)修改過的數(shù)據(jù)，相比傳統(tǒng)的全盤重建，局部重建減少重建數(shù)據(jù)量，縮短重建時(shí)間，降低陣列重建帶來的IO開銷與整體風(fēng)險(xiǎn)。圖2-6局部重建示意圖磁盤遷移1、元數(shù)據(jù)信息除了在系統(tǒng)盤保存外，也保存在預(yù)留的硬盤分區(qū)里，因此可以實(shí)現(xiàn)陣列遷移。惡劣環(huán)境導(dǎo)致的硬件損壞時(shí)（硬盤本身未遭到物理?yè)p壞），可以通過磁盤遷移到新設(shè)備上讀取數(shù)據(jù)。2、存儲(chǔ)系統(tǒng)內(nèi)部硬盤可以任意的更換位置，而硬盤內(nèi)部的RAID組配置信息和數(shù)據(jù)完全不會(huì)改變和丟失。陣列漫游功能價(jià)值：1、可避免由于硬盤被錯(cuò)誤插拔而導(dǎo)致的數(shù)據(jù)丟失2、主機(jī)系統(tǒng)發(fā)生異常而需要更換系統(tǒng)盤時(shí)，數(shù)據(jù)和陣列配置不丟失3、即使機(jī)器損壞，只要硬盤不壞，數(shù)據(jù)就可以恢復(fù)。圖2-7磁盤遷移示意圖三、云存儲(chǔ)根據(jù)IDC近期研究報(bào)告指出，截至全球存儲(chǔ)市場(chǎng)總出貨量的80%都被文件級(jí)數(shù)據(jù)所占據(jù)。基于文件或“非結(jié)構(gòu)化”內(nèi)容（例如視頻、音頻、圖形和web應(yīng)用程序）生成的天文數(shù)量的存儲(chǔ)數(shù)據(jù)正在而且會(huì)繼續(xù)呈指數(shù)增加。面對(duì)爆炸性的文件數(shù)據(jù)增長(zhǎng)，存儲(chǔ)、交付并有效管理它們?cè)絹碓匠蔀槠髽I(yè)IT管理人員的嚴(yán)峻挑戰(zhàn)。面對(duì)這一困境，唯一的出路便是徹底改變傳統(tǒng)存儲(chǔ)模式，借助集虛擬化、可擴(kuò)展和可共享能力于一身的存儲(chǔ)系統(tǒng)解決，在此背景下，云存儲(chǔ)順勢(shì)而生。傳統(tǒng)存儲(chǔ)系統(tǒng)存在以下弊端：各業(yè)務(wù)平臺(tái)的存儲(chǔ)系統(tǒng)獨(dú)立建設(shè)，均由相應(yīng)的存儲(chǔ)資源、網(wǎng)絡(luò)資源等構(gòu)成，各業(yè)務(wù)平臺(tái)重復(fù)建設(shè)以上設(shè)備，導(dǎo)致CAPEX較高。新業(yè)務(wù)部署成本高、周期長(zhǎng)。由于新的業(yè)務(wù)部署在新的存儲(chǔ)平臺(tái)上，存儲(chǔ)業(yè)務(wù)模式和接口升級(jí)后各業(yè)務(wù)存儲(chǔ)設(shè)備和空間共享不足，導(dǎo)致部署新業(yè)務(wù)時(shí)經(jīng)歷采購(gòu)、運(yùn)輸、安裝、調(diào)測(cè)等一個(gè)完整建設(shè)周期，致使新業(yè)務(wù)部署時(shí)間比較長(zhǎng)。由于技術(shù)選型的需要，存在不同的設(shè)備需求和運(yùn)維手段，導(dǎo)致OPEX較高。據(jù)統(tǒng)計(jì)數(shù)據(jù)分析表明，存儲(chǔ)設(shè)備日常運(yùn)行中負(fù)荷不均，平均利用率大概在40%左右。大量的存儲(chǔ)、網(wǎng)絡(luò)設(shè)備的空閑是一種資源的浪費(fèi)，維持所需要的機(jī)房、供電、制冷等OPEX較高。一方面為部署新業(yè)務(wù)不斷的增加新的存儲(chǔ)資源、網(wǎng)絡(luò)資源，另一方面各種存儲(chǔ)資源能力的過剩、利用率過低導(dǎo)致資源的浪費(fèi)，兩種矛盾的現(xiàn)象并存，需要一種模式來平衡業(yè)務(wù)建設(shè)需求與資源利用率的提升。3.2云存儲(chǔ)系統(tǒng)應(yīng)用后將帶來以下優(yōu)勢(shì)：更低的資源利用率和能耗：通過引入云存儲(chǔ)技術(shù)，細(xì)化存儲(chǔ)資源分配單元，提高存儲(chǔ)資源分布密度，提高使用效率，降低對(duì)物理設(shè)備的需求，進(jìn)一步降低IT設(shè)備投入，降低能耗。更快速的存儲(chǔ)資源管理。在傳統(tǒng)模式下，如果需要提供新的存儲(chǔ)能力，預(yù)算周期耗時(shí)很長(zhǎng)，需要先得到預(yù)算的批準(zhǔn)，需要討論具體的實(shí)施細(xì)節(jié)，比如存儲(chǔ)、網(wǎng)絡(luò)等各個(gè)方面，將會(huì)需要大量的文檔工作。這在云存儲(chǔ)系統(tǒng)中，擴(kuò)展流程將會(huì)得到簡(jiǎn)化，實(shí)施部署細(xì)節(jié)變得簡(jiǎn)單，決策周期大為縮短，預(yù)算的重點(diǎn)也將落在根據(jù)業(yè)務(wù)需求上?！鞍葱瓒谩钡母焖俚牟渴?，將把存儲(chǔ)和業(yè)務(wù)目標(biāo)結(jié)合得更加緊密，同時(shí)讓業(yè)務(wù)部門變得更加敏捷。云存儲(chǔ)的重點(diǎn)更側(cè)重于實(shí)現(xiàn)資源更快速的供給。支持不中斷業(yè)務(wù)在線彈性伸縮。更敏捷的業(yè)務(wù)規(guī)劃：按需使用的的資源池讓業(yè)務(wù)部門可以根據(jù)需要獲得剛好夠用的資源。預(yù)算更加可控：按照使用率付費(fèi)和某一時(shí)間內(nèi)單位價(jià)格固定讓業(yè)務(wù)部門的預(yù)算更加容易預(yù)測(cè)，同時(shí)可以提高資源的利用率。效率增加：私有云往往提供備份、模板等一些功能，這讓某些業(yè)務(wù)（如開發(fā)測(cè)試、培訓(xùn)和客戶溝通）的開展效率大為增加。傳統(tǒng)存儲(chǔ)云存儲(chǔ)一個(gè)命名空間提供數(shù)十TB的容量PB、EB級(jí)分布式生產(chǎn)系統(tǒng)數(shù)百萬個(gè)文件單個(gè)生產(chǎn)系統(tǒng)可包含超過100億個(gè)對(duì)象以每秒的I/O數(shù)為導(dǎo)向每秒處理10,000個(gè)對(duì)象難以支持多個(gè)站點(diǎn)或業(yè)務(wù)模型生產(chǎn)環(huán)境支持多個(gè)多站點(diǎn)系統(tǒng)；通過智能數(shù)據(jù)管理節(jié)省了數(shù)百萬的資金采用票證系統(tǒng)和標(biāo)準(zhǔn)流程，訪問存儲(chǔ)需要一個(gè)月時(shí)間采用自助流程，配置訪問存儲(chǔ)只需幾分鐘時(shí)間需要數(shù)個(gè)月的開發(fā)和部署才能實(shí)施自助服務(wù)在90天內(nèi)完成自助式生產(chǎn)部署，在線伸縮分鐘級(jí)完成部署。表3-1云存儲(chǔ)相對(duì)于與傳統(tǒng)存儲(chǔ)的優(yōu)勢(shì)主流云存儲(chǔ)技術(shù)架構(gòu)與單機(jī)的文件系統(tǒng)不同，分布式文件系統(tǒng)不是將這些數(shù)據(jù)放在一塊磁盤上，由上層操作系統(tǒng)來管理，而是分別存放在集群化的存儲(chǔ)節(jié)點(diǎn)上，由這些存儲(chǔ)節(jié)點(diǎn)各盡其責(zé)，通力合作，提供整個(gè)文件系統(tǒng)的服務(wù)。下面以ZNV-CFS云存儲(chǔ)系統(tǒng)為例，說明云存儲(chǔ)系統(tǒng)的典型架構(gòu)：ZNV-CFS系統(tǒng)架構(gòu)及基本產(chǎn)品形態(tài)ZNV-CFS分布式文件系統(tǒng)采用非對(duì)稱分布式系統(tǒng)架構(gòu)，主要包括元數(shù)據(jù)節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)、客戶端和管理節(jié)點(diǎn)四個(gè)部分，系統(tǒng)構(gòu)建在基于x86平臺(tái)的存儲(chǔ)之上，通過操作系統(tǒng)的API管理磁盤上的數(shù)據(jù)：元數(shù)據(jù)節(jié)點(diǎn)：元數(shù)據(jù)管理包括元數(shù)據(jù)的創(chuàng)建、查詢等和提供數(shù)據(jù)存儲(chǔ)的大容量空間管理。元數(shù)據(jù)主要包括文件系統(tǒng)的目錄結(jié)構(gòu)數(shù)據(jù)，各個(gè)文件的分塊信息，數(shù)據(jù)塊的位置信息。元數(shù)據(jù)節(jié)點(diǎn)相當(dāng)于整個(gè)文件系統(tǒng)的大腦，管理各個(gè)數(shù)據(jù)節(jié)點(diǎn)，收集數(shù)據(jù)節(jié)點(diǎn)信息，了解所有數(shù)據(jù)節(jié)點(diǎn)的現(xiàn)狀，然后給它們分配任務(wù)，協(xié)調(diào)指示各數(shù)據(jù)節(jié)點(diǎn)為系統(tǒng)服務(wù)。建議在ZNV-CFS云存儲(chǔ)系統(tǒng)中采用三臺(tái)元數(shù)據(jù)節(jié)點(diǎn)，可以起到對(duì)元數(shù)據(jù)的重要保護(hù)（冗余）的作用，并且具有選舉機(jī)制，能有效提升系統(tǒng)性能。數(shù)據(jù)節(jié)點(diǎn)：構(gòu)建數(shù)據(jù)集群，保存數(shù)據(jù)切片，承擔(dān)數(shù)據(jù)冗余保護(hù)和對(duì)數(shù)據(jù)訪問的負(fù)載均衡。數(shù)據(jù)節(jié)點(diǎn)定期向元數(shù)據(jù)節(jié)點(diǎn)匯報(bào)其狀況，等待并處理命令，實(shí)現(xiàn)數(shù)據(jù)高效、安全讀寫。在ZNV-CFS中，可采用副本保護(hù)數(shù)據(jù)文件，也可選用RAID技術(shù)保護(hù)數(shù)據(jù)（即將實(shí)現(xiàn)）。在ZNV-CFS中，數(shù)據(jù)切片的大小可以調(diào)整，切片大小可調(diào)整范圍為4K至8M，以滿足不同客戶/行業(yè)對(duì)數(shù)據(jù)文件存儲(chǔ)策略的設(shè)定要求。管理節(jié)點(diǎn)（目前該節(jié)點(diǎn)功能配置在元數(shù)據(jù)節(jié)點(diǎn)中，無獨(dú)立管理節(jié)點(diǎn)）：提供日志管理、性能監(jiān)控、配置管理、故障管理等能力，方便系統(tǒng)管理維護(hù)人員管理云存儲(chǔ)系統(tǒng)?？蛻舳耍嚎蛻舳嗽谝粋€(gè)獨(dú)立的進(jìn)程中提供服務(wù)，當(dāng)用戶需要使用分布式文件系統(tǒng)進(jìn)行文件讀寫的時(shí)候，將客戶端安裝至需使用ZNV-CFS的服務(wù)器，即可使用ZNV-CFS提供的服務(wù)。客戶端是以一個(gè)類庫(kù)（包）的模式存在，為用戶提供了文件讀寫、目錄操作等APIs。云存儲(chǔ)系統(tǒng)優(yōu)勢(shì)特點(diǎn)提供更大的存儲(chǔ)容量可在線升級(jí)擴(kuò)展云存儲(chǔ)系統(tǒng)能夠通過集群技術(shù)很容易獲得PB級(jí)以上存儲(chǔ)容量，存儲(chǔ)擴(kuò)展沒有限制可隨時(shí)隨地在線增加存儲(chǔ)節(jié)點(diǎn)來滿足存儲(chǔ)容量擴(kuò)展需求，同時(shí)容量與性能呈線性關(guān)系增漲，對(duì)于客戶端使用無需做任何操作或配置即可完成擴(kuò)容。高性能數(shù)據(jù)存取打破瓶頸對(duì)于傳統(tǒng)存儲(chǔ)設(shè)備的性能是有上限的，當(dāng)達(dá)到時(shí)就會(huì)出現(xiàn)性能瓶頸，這個(gè)性能瓶頸在云存儲(chǔ)系統(tǒng)中能夠得到有效的解決，通過云存儲(chǔ)技術(shù)可將存儲(chǔ)節(jié)點(diǎn)的帶寬聚合，隨著存儲(chǔ)節(jié)點(diǎn)的增加可以實(shí)現(xiàn)帶寬的線性增長(zhǎng)，理論上帶寬是無限的。同時(shí)在云存儲(chǔ)系統(tǒng)中數(shù)據(jù)文件是拆分成數(shù)據(jù)塊進(jìn)行條帶化存儲(chǔ)在多臺(tái)物理存儲(chǔ)節(jié)點(diǎn)上的，能夠最快速的并發(fā)訪問數(shù)據(jù)。另外云存儲(chǔ)系統(tǒng)中數(shù)據(jù)存儲(chǔ)是采用多副本策略存儲(chǔ)的，可以實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)的負(fù)載均衡訪問。數(shù)據(jù)訪問的安全性云存儲(chǔ)系統(tǒng)中數(shù)據(jù)是經(jīng)過加密傳輸將數(shù)據(jù)存儲(chǔ)上去的，首先用戶并不知道數(shù)據(jù)存在哪個(gè)物理硬盤上，而且數(shù)據(jù)在存儲(chǔ)設(shè)備上是按文件塊存儲(chǔ)的無法直接進(jìn)行訪問，保證了用戶數(shù)據(jù)的安全性和私密性。相以于傳統(tǒng)存儲(chǔ)設(shè)備數(shù)據(jù)存儲(chǔ)在云存儲(chǔ)系統(tǒng)中是非常安全的，存儲(chǔ)節(jié)點(diǎn)和硬盤上的數(shù)據(jù)是無法直接訪問的。用戶存儲(chǔ)的數(shù)據(jù)只有自己有權(quán)限進(jìn)行訪問和管理，系統(tǒng)管理員也無法讀取用戶數(shù)據(jù)。采用標(biāo)準(zhǔn)協(xié)議實(shí)現(xiàn)共享訪問云存儲(chǔ)系統(tǒng)可以把一個(gè)存儲(chǔ)池共享給多個(gè)用戶進(jìn)行訪問。云存儲(chǔ)系統(tǒng)能夠提供全局統(tǒng)一命名空間，提供標(biāo)準(zhǔn)的文件訪問接口，支持主流的文件傳輸協(xié)議，同時(shí)支持API接口于應(yīng)用程序更完美的結(jié)合實(shí)現(xiàn)最佳訪問效率并可靈活的進(jìn)行統(tǒng)一管理和共享。強(qiáng)大的冗余容錯(cuò)能力云存儲(chǔ)系統(tǒng)中數(shù)據(jù)是以塊方式跨多個(gè)物理設(shè)備進(jìn)行條帶化存儲(chǔ)的，同時(shí)根據(jù)策略自動(dòng)創(chuàng)建多個(gè)復(fù)本，這樣可以保證當(dāng)單個(gè)或多個(gè)物理存儲(chǔ)節(jié)點(diǎn)出現(xiàn)故障時(shí)數(shù)據(jù)是安全的。傳統(tǒng)的存儲(chǔ)系統(tǒng)是采用RAID進(jìn)行數(shù)據(jù)保護(hù)的，常用的RAID5或6，最多只能允許1-2塊硬盤故障數(shù)據(jù)不丟失，如果沒有及時(shí)修復(fù)造成更多