云平臺(tái)方案二一二年三月物聯(lián)網(wǎng)示范工程建設(shè)項(xiàng)目目錄1系統(tǒng)作用與定位32系統(tǒng)組成結(jié)構(gòu)33系統(tǒng)功能要求54系統(tǒng)性能指標(biāo)65數(shù)據(jù)處理流程76系統(tǒng)接口設(shè)計(jì)861CSTOR云存儲(chǔ)系統(tǒng)提供的接口862CPROC系統(tǒng)提供的接口863OPENSTACK資源虛擬化接口97應(yīng)用支撐系統(tǒng)1271資源虛擬化12711OPENSTACK云平臺(tái)服務(wù)簡(jiǎn)介13712VMWARE1572負(fù)載均衡LVS16721可伸縮網(wǎng)絡(luò)服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)16722可伸縮WEB和媒體服務(wù)16723LVS負(fù)載均衡1773云處理系統(tǒng)CPROC20731CPROC框架介紹20732CPROC產(chǎn)品介紹2074CSTOR云存儲(chǔ)系統(tǒng)22741CSTOR框架介紹22742CSTOR產(chǎn)品介紹26743CSTOR系統(tǒng)設(shè)計(jì)策略28744CSTOR關(guān)鍵技術(shù)3475災(zāi)備系統(tǒng)368設(shè)備選型及配置要求379聯(lián)系方式381系統(tǒng)作用與定位基于云平臺(tái)海量數(shù)據(jù)存儲(chǔ)技術(shù)，為物聯(lián)網(wǎng)海量的數(shù)據(jù)提供高效、可靠不間斷的存儲(chǔ)與訪問(wèn)服務(wù)，提供數(shù)據(jù)支撐平臺(tái)；采用云計(jì)算并行數(shù)據(jù)實(shí)時(shí)處理技術(shù)框架，實(shí)現(xiàn)對(duì)物聯(lián)網(wǎng)數(shù)據(jù)的實(shí)時(shí)檢索、統(tǒng)計(jì)、分析、挖掘、可視化、人工智能等處理，為上層提供有價(jià)值的數(shù)據(jù)服務(wù)；基于云計(jì)算先進(jìn)的資源虛擬化技術(shù)，針對(duì)不同應(yīng)用提供相應(yīng)的虛擬計(jì)算機(jī)資源池，以滿足各行業(yè)單位不同應(yīng)用對(duì)物聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用服務(wù)的不同需求，實(shí)現(xiàn)應(yīng)用計(jì)算資源和數(shù)據(jù)服務(wù)的統(tǒng)一、高效、安全的管理。2系統(tǒng)組成結(jié)構(gòu)如下面的架構(gòu)圖所示，系統(tǒng)由云計(jì)算虛擬化平臺(tái)、云處理平臺(tái)、云存儲(chǔ)平臺(tái)和災(zāi)備中心四大部分組成。OPENSTACK用來(lái)做虛擬化資源管理，而采用LVS可伸縮性的管理分配給用戶的資源，虛擬機(jī)采用VMWARE，而CPROC并行云處理框架，為云平臺(tái)提供強(qiáng)大可伸縮的數(shù)據(jù)實(shí)時(shí)處理能力。采用CSTOR云存儲(chǔ)系統(tǒng)來(lái)保障整個(gè)云平臺(tái)數(shù)據(jù)的完整、可靠，災(zāi)備中心實(shí)現(xiàn)異地容災(zāi)備份。資源虛擬化虛擬化技術(shù)虛擬化技術(shù)的按需分配，快照功能，隔離功能，動(dòng)態(tài)擴(kuò)展能力等為云平臺(tái)不同應(yīng)用的資源統(tǒng)一管理分配提供極大的便利。云資源管理物聯(lián)網(wǎng)智慧云服務(wù)平臺(tái)，通過(guò)云資源統(tǒng)一管理，針對(duì)不同部門(mén)或應(yīng)用的資源統(tǒng)一管理分配，對(duì)虛擬資源靈活調(diào)度。系統(tǒng)管理員為不同的部門(mén)（或應(yīng)用）定制不同的虛擬機(jī)，根據(jù)各部門(mén)（或者應(yīng)用）對(duì)計(jì)算資源的需求對(duì)分配給某些虛擬機(jī)的計(jì)算資源進(jìn)行調(diào)整。負(fù)載均衡LVS集群采用IP負(fù)載均衡技術(shù)和基于內(nèi)容請(qǐng)求分發(fā)技術(shù)。調(diào)度器具有很好的吞吐率，將請(qǐng)求均衡地轉(zhuǎn)移到不同的服務(wù)器上執(zhí)行，且調(diào)度器自動(dòng)屏蔽掉服務(wù)器的故障，從而將一組服務(wù)器構(gòu)成一個(gè)高性能的、高可用的虛擬服務(wù)器。并行計(jì)算/數(shù)據(jù)處理CPROC云處理平臺(tái)是一種處理海量數(shù)據(jù)的并行編程模型和計(jì)算框架，用于對(duì)大規(guī)模數(shù)據(jù)集的并行計(jì)算。CPROC通過(guò)把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)并行處理。CSTOR云存儲(chǔ)系統(tǒng)CSTOR云存儲(chǔ)系統(tǒng)是整個(gè)物聯(lián)網(wǎng)云平臺(tái)的數(shù)據(jù)中心，它將物聯(lián)網(wǎng)前端各種檢測(cè)上報(bào)數(shù)據(jù)信息，集中存儲(chǔ)到云存儲(chǔ)系統(tǒng)提供的數(shù)據(jù)，并為數(shù)據(jù)計(jì)算和處理層提供訪問(wèn)服務(wù)。災(zāi)備中心由CSTOR云存儲(chǔ)系統(tǒng)和災(zāi)備軟件實(shí)現(xiàn)物聯(lián)網(wǎng)平臺(tái)數(shù)據(jù)中心的遠(yuǎn)程容災(zāi)備份。3系統(tǒng)功能要求（1）優(yōu)化總體擁有成本用戶可以選擇、設(shè)計(jì)、配置和運(yùn)行最適合業(yè)務(wù)需要的基礎(chǔ)設(shè)施和應(yīng)用程序。以前，當(dāng)IT項(xiàng)目移交給生產(chǎn)服務(wù)部門(mén)后，這兩者的關(guān)系常常脫離，而在云計(jì)算環(huán)境下，它們又聯(lián)系在一起了。（2）資源快速配置當(dāng)業(yè)務(wù)活動(dòng)增加或改變方向后，資源可以隨之增減，以與業(yè)務(wù)活動(dòng)的需要相符合。同時(shí)，資源配置時(shí)間從幾星期壓縮到了幾小時(shí)。（3）彈性資源配置當(dāng)用戶和服務(wù)的范圍發(fā)生變化，尋求新的解決方案時(shí)，有彈性的配置和服務(wù)管理關(guān)注最終用戶和業(yè)務(wù)對(duì)功能的實(shí)際需求。（5）風(fēng)險(xiǎn)和環(huán)境的改善可以通過(guò)共享服務(wù)來(lái)充分利用云計(jì)算的綠色環(huán)保功能。（6）資源利用率的提高IT部門(mén)可避免IT服務(wù)的配置過(guò)度或不足，從而獲得更智能的業(yè)務(wù)服務(wù)。（7）高度可靠高可靠的冗余備份機(jī)制，支持多重?cái)?shù)據(jù)保護(hù)，根據(jù)數(shù)據(jù)可靠性需求可靈活設(shè)置備份，自動(dòng)屏蔽故障，提供7X24小時(shí)不間斷存儲(chǔ)服務(wù)；（8）超高性能支持高并發(fā)、帶寬飽和利用，數(shù)據(jù)在多個(gè)節(jié)點(diǎn)上并行讀寫(xiě)，服務(wù)器自動(dòng)均衡負(fù)載，系統(tǒng)性能隨節(jié)點(diǎn)數(shù)增加而線性增長(zhǎng)，性能與節(jié)點(diǎn)規(guī)模成正比，沒(méi)有性能瓶頸，千光網(wǎng)絡(luò)單節(jié)點(diǎn)訪問(wèn)性能寫(xiě)不少于100MB/S,讀不少于；（9）在線伸縮不必停止服務(wù)，即可根據(jù)存儲(chǔ)容量的需求，靈活增減存儲(chǔ)、計(jì)算節(jié)點(diǎn)；4系統(tǒng)性能指標(biāo)項(xiàng)目技術(shù)指標(biāo)數(shù)量1套，支撐1P裸容量，可以提供200個(gè)虛擬機(jī)器服務(wù)體系架構(gòu)采用多節(jié)點(diǎn)冗余架構(gòu)設(shè)計(jì)，性能隨節(jié)點(diǎn)數(shù)量的增加而線性增加，支持多節(jié)點(diǎn)自動(dòng)負(fù)載均衡及故障轉(zhuǎn)移。服務(wù)模式每個(gè)存儲(chǔ)節(jié)點(diǎn)既存儲(chǔ)數(shù)據(jù)，也對(duì)外提供存儲(chǔ)訪問(wèn)服務(wù)。橫向擴(kuò)展支持在不停機(jī)情況下，通過(guò)向存儲(chǔ)系統(tǒng)中增加存儲(chǔ)節(jié)點(diǎn)的方式實(shí)現(xiàn)業(yè)務(wù)不中斷情況下擴(kuò)充容量和性能。在線修復(fù)任意節(jié)點(diǎn)發(fā)生故障、可在不間斷業(yè)務(wù)的情況下進(jìn)行修復(fù)。存儲(chǔ)系統(tǒng)對(duì)外服務(wù)接口存儲(chǔ)系統(tǒng)服務(wù)采用IP網(wǎng)絡(luò)，同時(shí)支持NFS、CIFS、FTP等,支持POSIX接口規(guī)范，存儲(chǔ)系統(tǒng)可映射為本地磁盤(pán)或文件系統(tǒng)目錄，方便與應(yīng)用系統(tǒng)對(duì)接使用。支持主機(jī)系統(tǒng)客戶端支持LINUX（CENTOS、REDHAT、UBUNTU）、FREEBSD、WINDOWS、蘋(píng)果MACOSX等主流操作系統(tǒng)。高可用性要求系統(tǒng)全冗余，節(jié)點(diǎn)必須是高可用配置。當(dāng)元數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障時(shí)，要能自動(dòng)切換到備用元數(shù)據(jù)節(jié)點(diǎn)。存儲(chǔ)控制節(jié)點(diǎn)（元數(shù)據(jù)節(jié)點(diǎn)）本次配置存儲(chǔ)控制節(jié)點(diǎn)數(shù)不小于2個(gè)節(jié)點(diǎn)，系統(tǒng)支持的總節(jié)點(diǎn)數(shù)不小于100個(gè)。當(dāng)前CPU配置要求每個(gè)存儲(chǔ)控制節(jié)點(diǎn)的CPU配置不少于2顆,每顆至少四核2GHZ。性能本次配置產(chǎn)品的實(shí)際整體性能不小于1200MB/S單客戶端性能單客戶端大文件傳輸寫(xiě)性能不小于100MB/S，讀性能不少于80MB/S當(dāng)前容量配置要求支持SSD、SAS、SATA磁盤(pán)。要求配置容量不低于外網(wǎng)900TB,內(nèi)網(wǎng)400TB），可用存儲(chǔ)容量不低于（外網(wǎng)450TB，內(nèi)網(wǎng)200TB）文件系統(tǒng)要求能夠提供支持?jǐn)U展到100PB容量的分布式文件系統(tǒng)。FTP服務(wù)整個(gè)云存儲(chǔ)系統(tǒng)所有存儲(chǔ)節(jié)點(diǎn)均同時(shí)對(duì)外界提供FTP服務(wù)，且所有節(jié)點(diǎn)虛擬成一個(gè)對(duì)外IP地址。要求具有容錯(cuò)能力，任何節(jié)點(diǎn)出現(xiàn)故障，F(xiàn)TP服務(wù)不中斷。可用性當(dāng)任意1個(gè)節(jié)點(diǎn)（包括元數(shù)據(jù)節(jié)點(diǎn)）發(fā)生故障，存儲(chǔ)系統(tǒng)仍然保持?jǐn)?shù)據(jù)100完整，并且不會(huì)停機(jī)中斷服務(wù)。硬件冗余性可盡量減少硬件冗余，同時(shí)卻能確保系統(tǒng)高可靠運(yùn)行，數(shù)據(jù)完整可靠。圖形化存儲(chǔ)管理軟件支持SSH管理，提供基于WEB瀏覽器的管理界面，管理界面簡(jiǎn)單易用。具體功能如下支持對(duì)系統(tǒng)總體運(yùn)行狀態(tài)和空間利用情況的監(jiān)控；支持?jǐn)?shù)據(jù)塊級(jí)別壞塊監(jiān)控統(tǒng)計(jì)功能；支持對(duì)磁盤(pán)損壞、空間利用情況的監(jiān)控；支持針對(duì)設(shè)備狀態(tài)、CPU、內(nèi)存等性能監(jiān)控；提供異常告警功能；支持FTP帳號(hào)批量配置功能。塊級(jí)監(jiān)控與數(shù)據(jù)修復(fù)支持?jǐn)?shù)據(jù)塊級(jí)別壞塊監(jiān)控統(tǒng)計(jì)與文件修復(fù)功能。設(shè)備磁盤(pán)狀態(tài)監(jiān)控支持對(duì)磁盤(pán)損壞、空間利用情況的監(jiān)控。云資源管理軟件接口提供開(kāi)放的服務(wù)訪問(wèn)和管理接口，支持POSIX接口訪問(wèn)，用戶可當(dāng)成海量磁盤(pán)使用，編程接口與操作本地文件系統(tǒng)完全相同，另外需根據(jù)需要提供相應(yīng)API。綜合控制管理接口軟件自身所提供的全部資源管理類(lèi)、性能監(jiān)控類(lèi)、故障監(jiān)控類(lèi)等信息可通過(guò)接口輸出給業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)，具體數(shù)據(jù)包括不限于設(shè)備配置參數(shù)、資源使用計(jì)量、性能監(jiān)控?cái)?shù)據(jù)、故障監(jiān)控?cái)?shù)據(jù)、資源控制指令等。統(tǒng)計(jì)分析管理接口軟件自身所提供的管理報(bào)表、統(tǒng)計(jì)分析、圖形展現(xiàn)等數(shù)據(jù)可通過(guò)接口輸出給業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)。連接均衡要求系統(tǒng)支持與渲染服務(wù)器等客戶端的連接均衡功能，提供輪循、按連接數(shù)等策略的自動(dòng)連接均衡?？煺展δ芤笾С?jǐn)?shù)據(jù)快照功能。配額管理要求支持虛擬資源配置功能。遠(yuǎn)程支持具有遠(yuǎn)程管理和事件通知功能。支持網(wǎng)管遠(yuǎn)程監(jiān)控。服務(wù)原廠商質(zhì)保服務(wù)，三年7244，4小時(shí)用戶現(xiàn)場(chǎng)響應(yīng)服務(wù)5數(shù)據(jù)處理流程總體上解決方案需要三大應(yīng)用支撐系統(tǒng)支撐。CSTOR云存儲(chǔ)系統(tǒng)用來(lái)提供海量數(shù)據(jù)的存儲(chǔ)服務(wù)，CPROC云處理系統(tǒng)用來(lái)對(duì)數(shù)據(jù)進(jìn)行索引、分析統(tǒng)計(jì)、數(shù)據(jù)挖掘、可視化等處理并為上層提供高效實(shí)時(shí)訪問(wèn)服務(wù)，OPENSTACK系統(tǒng)用來(lái)對(duì)計(jì)算機(jī)資源進(jìn)行虛擬化統(tǒng)一配置，進(jìn)行有效的資源整合。數(shù)據(jù)首先通過(guò)CSTOR云存儲(chǔ)系統(tǒng)提供的訪問(wèn)接口，將前端數(shù)據(jù)存入CSTOR云存儲(chǔ)系統(tǒng)。由CPROC云處理平臺(tái)進(jìn)行數(shù)據(jù)索引、分析統(tǒng)計(jì)、數(shù)據(jù)挖掘、人工智能等處理，為上層用戶提供數(shù)據(jù)檢索、可視化、輔助決策等智能應(yīng)用服務(wù)，用戶通過(guò)OPENSTACK系統(tǒng)虛擬出來(lái)的虛擬機(jī)訪問(wèn)云處理平臺(tái)。6系統(tǒng)接口設(shè)計(jì)61CSTOR云存儲(chǔ)系統(tǒng)提供的接口POSIX接口使用CSTOR云存儲(chǔ)系統(tǒng)的客戶端掛接程序，將CSTOR云存儲(chǔ)空間映射為本地的目錄或磁盤(pán)，訪問(wèn)云存儲(chǔ)空間和訪問(wèn)本地文件系統(tǒng)相同；NFS接口映身為L(zhǎng)INUX本地目錄或WINDOWS虛擬磁盤(pán)；CIFS接口映射為L(zhǎng)INUX本地目錄或WINDOWS網(wǎng)絡(luò)共享目錄；API接口提供C、JAVA語(yǔ)言專用的文件操作接口；62CPROC系統(tǒng)提供的接口CPROC云計(jì)算框架以NATIVEJAVAAPI的形式，提供最為常規(guī)和高效的訪問(wèn)方式，適合并行批處理存儲(chǔ)在表格里的海量數(shù)據(jù)。云計(jì)算提供的接口用于對(duì)表數(shù)據(jù)的各類(lèi)操作，包括添加、刪除、查詢、修改和統(tǒng)計(jì)數(shù)量等。添加數(shù)據(jù)添加包括單條數(shù)據(jù)添加和批量添加單條數(shù)據(jù)添加接口，用戶先把數(shù)據(jù)封裝在JAVA對(duì)象中，再通過(guò)調(diào)用單條數(shù)據(jù)添加接口，將數(shù)據(jù)添加進(jìn)指定的數(shù)據(jù)表中。PUBLICVOIDADDOBJECTOBJECT批量添加接口，提供了批量添加大量數(shù)據(jù)的功能，這對(duì)于提升添加速度有很大的幫助。PUBLICVOIDADDLISTOBJECTS刪除數(shù)據(jù)根據(jù)每條數(shù)據(jù)的唯一標(biāo)識(shí)KEY，通過(guò)DELETE方法來(lái)刪除數(shù)據(jù)。PUBLICVOIDDELETESTRINGKEY修改數(shù)據(jù)根據(jù)需要被修改數(shù)據(jù)的KEY，通過(guò)UPDATE方法來(lái)修改數(shù)據(jù)。PUBLICVOIDUPDATEOBJECTOBJECT查詢數(shù)據(jù)查詢分為單條隨機(jī)查詢和批量查詢。單條查詢是通過(guò)KEY在表中查詢某一行的數(shù)據(jù)。提供了GET方法來(lái)完成單條查詢。PUBLICRESULTGETSTRINGKEY批量查詢是通過(guò)制定一段KEY的范圍或者對(duì)表欄位制定過(guò)濾條件來(lái)查詢。提供了QUERY方法來(lái)完成批量查詢。PUBLICRESULTSCANNERQUERYCONDITIONCONDITION統(tǒng)計(jì)數(shù)量通過(guò)制定一段KEY的范圍或者對(duì)表欄位制定過(guò)濾條件，來(lái)快速統(tǒng)計(jì)符合條件的數(shù)據(jù)數(shù)量。提供了COUNT方法來(lái)完成數(shù)量統(tǒng)計(jì)。PUBLICLONGCOUNTCONDITIONCONDITION63OPENSTACK資源虛擬化接口管理員接口鏡像管理配置鏡像基本信息、刪除鏡像（以WEB界面方式提供）虛擬機(jī)實(shí)例管理終止、重啟虛擬機(jī)，查看虛擬機(jī)日志（以WEB界面方式提供）系統(tǒng)服務(wù)禁用、啟用系統(tǒng)服務(wù)（以WEB界面方式提供）虛擬機(jī)物理資源配額管理管理虛擬機(jī)實(shí)例分配的物理資源大小配額（以WEB界面方式提供）用戶管理管理系統(tǒng)使用的用戶（以WEB界面方式提供）用戶接口虛擬機(jī)實(shí)例管理管理該用戶啟動(dòng)的實(shí)例（以WEB界面方式提供）鏡像管理管理用戶可用的鏡像，啟動(dòng)鏡像實(shí)例（以WEB界面方式提供）快照管理管理用戶擁有的快照（以WEB界面方式提供）密鑰管理生成密鑰文件（以WEB界面方式提供）外網(wǎng)IP管理為虛擬機(jī)申請(qǐng)、綁定、釋放外網(wǎng)IP地址（以WEB界面方式提供）程序接口NOVA使用接口NOVAMANAGEUSERCREATEUSERNAME描述創(chuàng)建用戶例NOVAMANAGEUSERCREATETEST參數(shù)說(shuō)明USERNAME用戶名NOVAMANAGEROLEADDUSERNAMEROLENAME描述給用戶添加角色例NOVAMANAGEROLEADDTESTCLOUDADMIN參數(shù)說(shuō)明USERNAME用戶名ROLENAME用戶角色NOVAMANAGEPROJECTCREATEPROJECTNAMEUSERNAME描述創(chuàng)建項(xiàng)目例NOVAMANAGEPROJECTCREATEBOOKTEST參數(shù)說(shuō)明PROJECTNAME項(xiàng)目名稱USERNAME用戶名UECPUBLISHTARBALLIMAGEFILE描述上傳鏡像例UECPUBLISHTARBALLUBUNTU1104SERVERUECAMD64TARGZ參數(shù)說(shuō)明IMAGEFILE鏡像文件路徑EUCADESCRIBEIMAGES描述列出已有鏡像簡(jiǎn)要信息例EUCADESCRIBEIMAGES參數(shù)說(shuō)明無(wú)EUCAADDKEYPAIRKEYKEYFILE描述添加密鑰例EUCAADDKEYPAIRKENKENPEM參數(shù)說(shuō)明KEY密鑰KEYFILE密鑰文件EUCARUNINSTANCESKKEYTINSTANCETYPEIMAGENAME描述運(yùn)行實(shí)例例EUCARUNINSTANCESKKENTM1TINYAMI6683BA18參數(shù)說(shuō)明KEY密鑰IMAGENAME鏡像EUCADESCRIBEINSTANCES描述列出已運(yùn)行實(shí)例例EUCADESCRIBEINSTANCES參數(shù)說(shuō)明無(wú)EUCATERMINATEINSTANCESINSTANCEID描述終止虛擬機(jī)實(shí)例例EUCATERMINATEINSTANCESI00000004參數(shù)說(shuō)明INSTACEID虛擬機(jī)實(shí)例的IDEUCAAUTHORIZEDEFAULTPPROTOCOLPPORTS0000/0描述配置網(wǎng)絡(luò)連接例EUCAAUTHORIZEDEFAULTPTCPP22S0000/0參數(shù)說(shuō)明PROTOCOL協(xié)議類(lèi)型PORT端口EUCAALLOCATEADDRESS描述申請(qǐng)公共IP例EUCAALLOCATEADDRESS參數(shù)說(shuō)明無(wú)EUCAASSOCIATEADDRESSIINSTANCEIDIP描述實(shí)例綁定公共IP例EUCAASSOCIATEADDRESSII000000011921681128參數(shù)說(shuō)明INSTANCEID實(shí)例IDIP已申請(qǐng)的公共IP虛擬機(jī)使用SSHIKEYFILEUSERIP描述SSH遠(yuǎn)程連接虛擬機(jī)實(shí)例例SSHIKENPEMUBUNTU1921681128參數(shù)KEYFILE密鑰文件USER系統(tǒng)用戶名IP虛擬機(jī)實(shí)例的公共IP地址可視化遠(yuǎn)程連接（可使用WINDOWS自帶的遠(yuǎn)程連接）描述圖形化界面使用虛擬機(jī)實(shí)例7應(yīng)用支撐系統(tǒng)71資源虛擬化OPENSTACK是一種開(kāi)源的軟件基礎(chǔ)結(jié)構(gòu)，用來(lái)通過(guò)計(jì)算集群或工作站群實(shí)現(xiàn)彈性的、實(shí)用的云計(jì)算。OPENSTACK很容易安裝在現(xiàn)今大多數(shù)LINUX發(fā)布版上。OPENSTACK包括虛擬化和云資源管理。OPENSTACK提供如下高級(jí)特性與EC2和S3的接口兼容性（SOAP接口和REST接口）。使用這些接口的幾乎所有現(xiàn)有工具都將可以與基于OPENSTACK的云協(xié)作。支持運(yùn)行在XENHYPERVISOR或KVM之上的VM的運(yùn)行。商業(yè)版本還支持其他類(lèi)型的VM，比如VMWARE。用來(lái)進(jìn)行系統(tǒng)管理和用戶結(jié)算的云管理工具。能夠?qū)⒍鄠€(gè)分別具有各自私有的內(nèi)部網(wǎng)絡(luò)地址的集群配置到一個(gè)云內(nèi)。下圖為云計(jì)算的框架圖，由云計(jì)算資源池、基礎(chǔ)架構(gòu)管理服務(wù)器及應(yīng)用軟件組成。云計(jì)算資源池由一組可以實(shí)現(xiàn)自動(dòng)供應(yīng)和回收的預(yù)先定制的CPU和存儲(chǔ)資源形成，具體包括服務(wù)器節(jié)點(diǎn)設(shè)備和存儲(chǔ)設(shè)備。云平臺(tái)的很多特性，需要在一個(gè)大的資源池中才能夠體現(xiàn)，比如動(dòng)態(tài)遷移、負(fù)載均衡和高可用性，所以用戶建議，最少采用2臺(tái)資源服務(wù)器NC，1臺(tái)磁盤(pán)陣列搭建OPENSTACK云平臺(tái)的資源池。在市政務(wù)外網(wǎng)私有云項(xiàng)目上，用戶建議采用多臺(tái)計(jì)算資源服務(wù)器，具有多臺(tái)存儲(chǔ)節(jié)點(diǎn)的云存儲(chǔ)構(gòu)建私有云。云計(jì)算基礎(chǔ)架構(gòu)管理服務(wù)器（CLCNC）為一臺(tái)X86服務(wù)器，安裝OPENSTACK云管理系統(tǒng)。第一期采用OPENSTACK商業(yè)版，因?yàn)槟壳笆忻嫔现挥性摦a(chǎn)品比較成熟穩(wěn)定，后期根據(jù)市場(chǎng)上其他云資源管理平臺(tái)產(chǎn)品的優(yōu)勢(shì)，可以采用OPENSTACK社區(qū)版或者其他成熟的產(chǎn)品，因?yàn)閷?duì)于企業(yè)來(lái)說(shuō)，大型云平臺(tái)都是多個(gè)小型云平臺(tái)組合而成的，根據(jù)不同需求搭建不同功能的云平臺(tái)，在減少資源浪費(fèi)的同時(shí)，讓小型云平臺(tái)發(fā)揮出最大的功能才是最好的選擇。711OPENSTACK云平臺(tái)服務(wù)簡(jiǎn)介利用云計(jì)算服務(wù)平臺(tái)提供了面向管理員和使用者的服務(wù)門(mén)戶。這些基礎(chǔ)服務(wù)包括以下部分用戶管理系統(tǒng)中有兩大類(lèi)用戶，分別為云計(jì)算平臺(tái)管理員，云計(jì)算平臺(tái)使用者。云計(jì)算平臺(tái)管理員能夠?qū)?shù)據(jù)中心云平臺(tái)上所有資源分配請(qǐng)求進(jìn)行審批，增加或減少資源數(shù)目，變更項(xiàng)目時(shí)間，終止或刪除項(xiàng)目。云計(jì)算平臺(tái)使用者能夠?qū)Y源分配提出申請(qǐng)，對(duì)資源的增加或減少提出申請(qǐng)，提出變更項(xiàng)目時(shí)間的申請(qǐng)，提出終止項(xiàng)目的申請(qǐng)。同時(shí)他們可以進(jìn)行一些自服務(wù)操作，比如重啟屬于他們項(xiàng)目的服務(wù)器、重置系統(tǒng)口令等。軟件管理維護(hù)可部署的操作系統(tǒng)鏡像及軟件包。這通常由云計(jì)算平臺(tái)管理員來(lái)負(fù)責(zé)實(shí)現(xiàn)，某些應(yīng)用軟件或者商業(yè)軟件的部署需要定制或者客戶化實(shí)現(xiàn)。存儲(chǔ)管理用于維護(hù)外接存儲(chǔ)服務(wù)器及存儲(chǔ)資源池。使用計(jì)量用于對(duì)每個(gè)客戶使用的物理資源數(shù)量、時(shí)間和利用率進(jìn)行統(tǒng)計(jì)。這通常由云計(jì)算平臺(tái)管理員來(lái)負(fù)責(zé)實(shí)現(xiàn)。而云計(jì)算平臺(tái)使用者則是獲得報(bào)告，了解自己申請(qǐng)的資源的使用情況。部署管理部署管理提供對(duì)用戶請(qǐng)求的自動(dòng)化部署。部署按照特定時(shí)間，根據(jù)政務(wù)外網(wǎng)私有云使用者獲得的申請(qǐng)來(lái)實(shí)際部署。部署的實(shí)際工作由云計(jì)算服務(wù)管理平臺(tái)的供應(yīng)引擎來(lái)自動(dòng)實(shí)現(xiàn)。管理員需要做的是監(jiān)督部署任務(wù)的執(zhí)行情況。運(yùn)行監(jiān)控主要提供對(duì)當(dāng)前申請(qǐng)使用的虛擬服務(wù)器的當(dāng)前狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，了解基本的性能狀況，并在自服務(wù)界面上呈現(xiàn)給相應(yīng)用戶。安全管理云計(jì)算平臺(tái)提供了完善的手段保證每個(gè)項(xiàng)目的安全性和隔離性。用戶對(duì)系統(tǒng)的訪問(wèn)有兩個(gè)渠道訪問(wèn)WEB管理界面和訪問(wèn)項(xiàng)目虛擬機(jī)。對(duì)于WEB界面的訪問(wèn)需要使用用戶名和密碼。對(duì)于虛擬機(jī)的訪問(wèn)通過(guò)以下手段進(jìn)行控制系統(tǒng)對(duì)外的接口上由一個(gè)VPN設(shè)備對(duì)用戶進(jìn)行認(rèn)證。每個(gè)部門(mén)對(duì)應(yīng)一個(gè)VLAN。每個(gè)部門(mén)的虛擬機(jī)位于該VLAN內(nèi)部。VLAN的隔離性由交換機(jī)及各主機(jī)上的虛擬化軟件保證。虛擬機(jī)的隔離性由虛擬化引擎本身保證。此外，操作系統(tǒng)的用戶認(rèn)證也可以對(duì)用戶信息進(jìn)行保護(hù)。712VMWAREVMWAREVIRTUALMACHINEWARE是一個(gè)“虛擬PC”軟件公司。它的產(chǎn)品可以使你在一臺(tái)機(jī)器上同時(shí)運(yùn)行二個(gè)或更多WINDOWS、DOS、LINUX系統(tǒng)。與“多啟動(dòng)”系統(tǒng)相比，VMWARE采用了完全不同的概念。多啟動(dòng)系統(tǒng)在一個(gè)時(shí)刻只能運(yùn)行一個(gè)系統(tǒng)，在系統(tǒng)切換時(shí)需要重新啟動(dòng)機(jī)器。VMWARE是真正“同時(shí)”運(yùn)行，多個(gè)操作系統(tǒng)在主系統(tǒng)的平臺(tái)上，就像標(biāo)準(zhǔn)WINDOWS應(yīng)用程序那樣切換。而且每個(gè)操作系統(tǒng)你都可以進(jìn)行虛擬的分區(qū)、配置而不影響真實(shí)硬盤(pán)的數(shù)據(jù)，甚至可以通過(guò)網(wǎng)卡將幾臺(tái)虛擬機(jī)用網(wǎng)卡連接為一個(gè)局域網(wǎng)，極其方便。VMWARE是提供一套虛擬機(jī)解決方案的軟件公司，主要產(chǎn)品分為如下三個(gè)。VMWAREESXSERVER這個(gè)版本并不需要操作系統(tǒng)的支持。它本身就是一個(gè)操作系統(tǒng)，用來(lái)管理硬件資源。所有的系統(tǒng)都安裝在它的上面。帶有遠(yuǎn)程WEB管理和客戶端管理功能。VMWAREGSXSERVER這個(gè)版本就要安裝在一個(gè)操作系統(tǒng)下了，這個(gè)操作系統(tǒng)叫做HOSTOS。這個(gè)HOSTOS可以是WINDOWS2000SERVER以上的WINDOWS系統(tǒng)或者是LINUX官方支持列表中只有RH，SUSE，MANDRAKE很少的幾種，和VMWAREESXSERVER一樣帶有遠(yuǎn)程WEB管理和客戶端管理功能。VMWAREWORKSTATION這個(gè)版本和VMWAREGSXSERVER版本的機(jī)構(gòu)是一樣的。也是要安裝在一個(gè)操作系統(tǒng)下，對(duì)操作系統(tǒng)的要求也是WINDOWS2000以上或者LINUX。和VMWAREGSXSERVER的區(qū)別就是沒(méi)有WEB遠(yuǎn)程管理和客戶端管理。VMWARE產(chǎn)品主要的功能有1、不需要分區(qū)或重開(kāi)機(jī)就能在同一臺(tái)PC上使用兩種以上的操作系統(tǒng)。2、完全隔離并且保護(hù)不同OS的操作環(huán)境以及所有安裝在OS上面的應(yīng)用軟件和資料。3、不同的OS之間還能互動(dòng)操作，包括網(wǎng)絡(luò)、周邊、文件分享以及復(fù)制粘貼功能。4、有復(fù)原（UNDO）功能。5、能夠設(shè)定并且隨時(shí)修改操作系統(tǒng)的操作環(huán)境，如內(nèi)存、磁碟空間、周邊設(shè)備等等。6、熱遷移，高可用性。72負(fù)載均衡LVS721可伸縮網(wǎng)絡(luò)服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)人類(lèi)社會(huì)正在進(jìn)入以網(wǎng)絡(luò)為中心的信息時(shí)代，人們需要更快捷、更可靠、功能更豐富的網(wǎng)絡(luò)服務(wù)。萬(wàn)維網(wǎng)的流行促進(jìn)互聯(lián)網(wǎng)使用的指數(shù)級(jí)增長(zhǎng)，現(xiàn)在很多站點(diǎn)收到前所未有的訪問(wèn)負(fù)載，經(jīng)常擔(dān)心系統(tǒng)如何被擴(kuò)展來(lái)滿足不斷增長(zhǎng)的性能需求，同時(shí)系統(tǒng)如何保持24X7的可用性。未來(lái)的應(yīng)用將需要更高的吞吐率、更好的交互性、更高的安全性，這要求服務(wù)平臺(tái)具有更強(qiáng)的處理能力和更高的可用性。所以，如何給出合理的框架和有效的設(shè)計(jì)方法，來(lái)建立高性能、高可伸縮、高可用的網(wǎng)絡(luò)服務(wù)，這是擺在研究者和系統(tǒng)設(shè)計(jì)者面前極富挑戰(zhàn)性的任務(wù)。本文研究和設(shè)計(jì)的可伸縮網(wǎng)絡(luò)服務(wù)便是圍繞這一任務(wù)展開(kāi)的。722可伸縮WEB和媒體服務(wù)基于LVS可伸縮WEB和媒體服務(wù)的體系結(jié)構(gòu)，分布式文件系統(tǒng)提供統(tǒng)一的存儲(chǔ)空間，這使得系統(tǒng)的維護(hù)工作比較方便，且系統(tǒng)運(yùn)行比較高效。當(dāng)所有服務(wù)器結(jié)點(diǎn)超載時(shí)，管理員可以很快地加入新的結(jié)點(diǎn)來(lái)處理請(qǐng)求，而無(wú)需將WEB文檔等復(fù)制到結(jié)點(diǎn)的本地硬盤(pán)上。WEBMASTER可以看到統(tǒng)一的文檔存儲(chǔ)空間，維護(hù)和更新頁(yè)面比較方便，對(duì)分布式文件系統(tǒng)中頁(yè)面的修改對(duì)所有的服務(wù)器都有效。大的媒體文件（如視頻文件）分段存儲(chǔ)在分布式文件系統(tǒng)的多個(gè)結(jié)點(diǎn)上，可以提高文件系統(tǒng)的性能和文件服務(wù)器間的負(fù)載均衡。IP負(fù)載調(diào)度器（即VS/DR方法，將在下一章詳細(xì)敘述）可以分別將WEB服務(wù)和媒體服務(wù)負(fù)載均衡地分發(fā)到各個(gè)服務(wù)器上，服務(wù)器將響應(yīng)數(shù)據(jù)直接返回給客戶，這樣可以極大地提高系統(tǒng)的吞吐率。723LVS負(fù)載均衡利用LVS作負(fù)載均衡，實(shí)現(xiàn)自動(dòng)連接均衡，對(duì)用戶提供統(tǒng)一的服務(wù)訪問(wèn)接口，實(shí)現(xiàn)系統(tǒng)整體負(fù)載平衡，系統(tǒng)規(guī)模對(duì)外透明且可靈活在線伸縮。利用LVS作負(fù)載均衡，在OPENSTACK提供的虛擬服務(wù)上構(gòu)建LVS虛擬機(jī)WEBSERVER集群，同時(shí)在LVS的DIRECTOR節(jié)點(diǎn)上進(jìn)行WEB鏈接統(tǒng)計(jì)，并以此作為依據(jù)新增或減少OPENSTACK提供的虛擬機(jī)數(shù)量，從而實(shí)現(xiàn)動(dòng)態(tài)伸縮WEBSERVER的規(guī)模。應(yīng)用層利用LVS集群IP負(fù)載均衡技術(shù)和基于內(nèi)容請(qǐng)求分發(fā)技術(shù)，構(gòu)建高性能的、高可用的虛擬服務(wù)器。在設(shè)計(jì)時(shí)需要考慮系統(tǒng)的透明性、可伸縮性、高可用性和易管理性。LVS集群的體系結(jié)構(gòu)如圖所示，它有三個(gè)主要組成部分負(fù)載調(diào)度器（LOADBALANCER），它是整個(gè)集群對(duì)外面的前端機(jī)，負(fù)責(zé)將客戶的請(qǐng)求發(fā)送到一組服務(wù)器上執(zhí)行，而客戶認(rèn)為服務(wù)是來(lái)自一個(gè)IP地址上的。它可以是用IP負(fù)載均衡技術(shù)的負(fù)載調(diào)度器，也可以是基于內(nèi)容請(qǐng)求分發(fā)的負(fù)載調(diào)度器，還可以是兩者的結(jié)合。服務(wù)器池（SERVERPOOL），是一組真正執(zhí)行客戶請(qǐng)求的服務(wù)器，執(zhí)行的服務(wù)有WEB、MAIL、FTP和DNS等。后端存儲(chǔ)（BACKENDSTORAGE），它為服務(wù)器池提供一個(gè)共享的存儲(chǔ)區(qū)，這樣很容易使得服務(wù)器池?fù)碛邢嗤膬?nèi)容，提供相同的服務(wù)。調(diào)度器采用IP負(fù)載均衡技術(shù)、基于內(nèi)容請(qǐng)求分發(fā)技術(shù)或者兩者相結(jié)合。在IP負(fù)載均衡技術(shù)中，需要服務(wù)器池?fù)碛邢嗤膬?nèi)容提供相同的服務(wù)。當(dāng)客戶請(qǐng)求到達(dá)時(shí)，調(diào)度器只根據(jù)負(fù)載情況從服務(wù)器池中選出一個(gè)服務(wù)器，將該請(qǐng)求轉(zhuǎn)發(fā)到選出的服務(wù)器，并記錄這個(gè)調(diào)度；當(dāng)這個(gè)請(qǐng)求的其他報(bào)文到達(dá)，也會(huì)被轉(zhuǎn)發(fā)到前面選出的服務(wù)器。在基于內(nèi)容請(qǐng)求分發(fā)技術(shù)中，服務(wù)器可以提供不同的服務(wù)，當(dāng)客戶請(qǐng)求到達(dá)時(shí)，調(diào)度器可根據(jù)請(qǐng)求的內(nèi)容和服務(wù)器的情況選擇服務(wù)器執(zhí)行請(qǐng)求。因?yàn)樗械牟僮鞫际窃诓僮飨到y(tǒng)核心空間中將完成的，它的調(diào)度開(kāi)銷(xiāo)很小，所以它具有很高的吞吐率。服務(wù)器池的結(jié)點(diǎn)數(shù)目是可變的。當(dāng)整個(gè)系統(tǒng)收到的負(fù)載超過(guò)目前所有結(jié)點(diǎn)的處理能力時(shí)，可以在服務(wù)器池中增加服務(wù)器來(lái)滿足不斷增長(zhǎng)的請(qǐng)求負(fù)載。對(duì)大多數(shù)網(wǎng)絡(luò)服務(wù)來(lái)說(shuō)，結(jié)點(diǎn)與結(jié)點(diǎn)間不存在很強(qiáng)的相關(guān)性，所以整個(gè)系統(tǒng)的性能可以隨著服務(wù)器池的結(jié)點(diǎn)數(shù)目增加而線性增長(zhǎng)。后端存儲(chǔ)用容錯(cuò)的分布式文件系統(tǒng)，如AFS、GFS、CODA和INTERMEZZO等。分布式文件系統(tǒng)為各服務(wù)器提供共享的存儲(chǔ)區(qū)，它們?cè)L問(wèn)分布式文件系統(tǒng)就像訪問(wèn)本地文件系統(tǒng)一樣。同時(shí)，分布式文件系統(tǒng)提供良好的伸縮性和可用性。然而，當(dāng)不同服務(wù)器上的應(yīng)用程序同時(shí)訪問(wèn)分布式文件系統(tǒng)上同一資源時(shí)，應(yīng)用程序的訪問(wèn)沖突需要消解才能使得資源處于一致?tīng)顟B(tài)。這需要一個(gè)分布式鎖管理器（DISTRIBUTEDLOCKMANAGER），它可能是分布式文件系統(tǒng)內(nèi)部提供的，也可能是外部的。開(kāi)發(fā)者在寫(xiě)應(yīng)用程序時(shí)，可以使用分布式鎖管理器來(lái)保證應(yīng)用程序在不同結(jié)點(diǎn)上并發(fā)訪問(wèn)的一致性。WEB站點(diǎn)會(huì)因?yàn)樵谝恢芑蛞粋€(gè)月的某些高峰時(shí)段被訪問(wèn)次數(shù)急劇增長(zhǎng)而不能及時(shí)處理用戶的請(qǐng)求，導(dǎo)致用戶進(jìn)行長(zhǎng)時(shí)間的等待，大大降低了服務(wù)質(zhì)量；若依據(jù)最大需求建立WEB服務(wù)器，當(dāng)在訪問(wèn)量空閑時(shí)段又會(huì)造成資源的大量浪費(fèi)。這樣就要求WEB服務(wù)能夠動(dòng)態(tài)伸縮。構(gòu)建一個(gè)通用的、可動(dòng)態(tài)擴(kuò)展的云平臺(tái)可以充分滿足這一需求的同時(shí)，實(shí)現(xiàn)資源的充分利用。以下系統(tǒng)基于云的方式構(gòu)建，在OPENSTACK提供的虛擬服務(wù)上構(gòu)建LVS虛擬機(jī)WEBSERVER集群，同時(shí)使用云存儲(chǔ)系統(tǒng)實(shí)現(xiàn)大容量、高可靠的數(shù)據(jù)存儲(chǔ)和共享。系統(tǒng)框架如下其中LVS的DIRECTOR、LOADBALANCERBACKUP部署在OPENSTACK提供的虛擬機(jī)上；WEBMEDIASERVER作為L(zhǎng)VS的REALSERVER，也部署在OPENSTACK提供的虛擬機(jī)上，并動(dòng)態(tài)伸縮；在LVS的DIRECTOR、LOADBALANCERBACKUP之前使用HEARTBEAT進(jìn)行熱備切換；在LVS的DIRECTOR、REALSERVER之前實(shí)現(xiàn)負(fù)載均衡調(diào)度的同時(shí)，使用LDIRECTORD管理調(diào)度策略和對(duì)REALSERVER的健康檢測(cè)，從而實(shí)現(xiàn)故障處理；在REALSERVER之間使用云存儲(chǔ)實(shí)現(xiàn)大容量、高可靠的數(shù)據(jù)存儲(chǔ)和共享。WEBMEDIASERVER可使用APACHE、NGINX、LIGHTHTTPD常用架構(gòu)構(gòu)建，同時(shí)在LVS的DIRECTOR節(jié)點(diǎn)上進(jìn)行WEB鏈接統(tǒng)計(jì)，并以此作為依據(jù)新增或減少OPENSTACK提供的虛擬機(jī)數(shù)量，從而實(shí)現(xiàn)動(dòng)態(tài)伸縮WEBSERVER的規(guī)模，在滿足用戶需求的同時(shí)最大程度的利用資源。73云處理系統(tǒng)CPROC731CPROC框架介紹CPROC是一種處理海量數(shù)據(jù)的并行編程模型和計(jì)算框架，用于對(duì)大規(guī)模數(shù)據(jù)集的并行計(jì)算。CPROC通過(guò)把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)處理，每個(gè)節(jié)點(diǎn)會(huì)周期性的把完成的工作和狀態(tài)的更新報(bào)告回來(lái)。隨著節(jié)點(diǎn)的增多，CPROC的處理能力將成倍數(shù)增長(zhǎng)。實(shí)時(shí)性平臺(tái)在高效率并行分布式軟件的支撐下，可以實(shí)時(shí)完成數(shù)據(jù)計(jì)算和分析工作，如數(shù)據(jù)計(jì)算、數(shù)據(jù)查詢、和統(tǒng)計(jì)分析等。數(shù)據(jù)計(jì)算不會(huì)出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類(lèi)分析和查詢工作基本都在秒級(jí)完成，具有前所未有的高效性；高可靠性基于對(duì)云計(jì)算可靠性深厚的研究積累，徹底解決了當(dāng)前分布式計(jì)算平臺(tái)易出現(xiàn)的單點(diǎn)故障問(wèn)題。任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障，系統(tǒng)將自動(dòng)屏蔽，而且不會(huì)出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象；可伸縮性在不停機(jī)的情況下，增加節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)增加；減少節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)縮減。這樣，可以做到與資源池的無(wú)縫對(duì)接，根據(jù)計(jì)算和存儲(chǔ)任務(wù)動(dòng)態(tài)地申請(qǐng)或釋放資源，最大限度地提高資源利用率；高性價(jià)比采用X86架構(gòu)廉價(jià)計(jì)算機(jī)構(gòu)建云計(jì)算平臺(tái)，用軟件容錯(cuò)替代硬件容錯(cuò)，大大節(jié)省成本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用數(shù)據(jù)庫(kù)方案節(jié)省10倍左右的成本；全業(yè)務(wù)支持采用NOSQL關(guān)系數(shù)據(jù)庫(kù)混合模式，絕大部分海量數(shù)據(jù)存放于分布式平臺(tái)并進(jìn)行分布式處理，少量實(shí)時(shí)性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫(kù)，可支撐各種類(lèi)型的業(yè)務(wù)。不僅支撐查詢、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務(wù)。732CPROC產(chǎn)品介紹云處理系統(tǒng)CPROC基于創(chuàng)新的數(shù)據(jù)立方（DATACUBE）結(jié)構(gòu)，是一種處理海量數(shù)據(jù)的并行編程模型和計(jì)算框架，利用云資源管理平臺(tái)提供的虛擬機(jī)資源對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行分布式并行計(jì)算和數(shù)據(jù)統(tǒng)計(jì)，從而滿足平臺(tái)數(shù)據(jù)查詢和檢索以及應(yīng)用數(shù)據(jù)統(tǒng)計(jì)需求。云處理系統(tǒng)CPROC由5個(gè)主要部分組成虛擬資源層，數(shù)據(jù)存儲(chǔ)層，數(shù)據(jù)處理層，監(jiān)控協(xié)調(diào)層和應(yīng)用層。圖中，自底向上分為4個(gè)層面。最下層是虛擬資源層，該共享平臺(tái)利用OPENSTACK所提供的計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源，作為創(chuàng)新平臺(tái)數(shù)據(jù)處理系統(tǒng)的基礎(chǔ)設(shè)施和支撐平臺(tái)。在這一層又分為物理層和虛擬層，即在物理集群之上搭建了一層VMWARE虛擬集群。這樣做有利于充分利用物理資源，因?yàn)樵谖锢韺游锢頇C(jī)的性能可能參差不齊，直接將系統(tǒng)搭建在物理集群之上很可能造成負(fù)載的不均衡，如果根據(jù)物理機(jī)的性能來(lái)部署虛擬機(jī)，就可以通過(guò)調(diào)整配置使得各個(gè)虛擬機(jī)之間性能達(dá)到平衡，從而使部署在虛擬集群上的系統(tǒng)出現(xiàn)負(fù)載不平衡的幾率達(dá)到最低。第二層是數(shù)據(jù)存儲(chǔ)層，在這一層將根據(jù)數(shù)據(jù)的所占空間以及速度要求將數(shù)據(jù)分配到不同層次的存儲(chǔ)空間中。最上層是一個(gè)作為緩存的MYSQL集群，另外三層包括部署在機(jī)械磁盤(pán)上的HADOOP的HDFS分布式文件系統(tǒng)、部署在固態(tài)磁盤(pán)上的HDFS以及分布式內(nèi)存存儲(chǔ)系統(tǒng)MEMCACHE。第三層是數(shù)據(jù)處理層，其中包括計(jì)算架構(gòu)層和業(yè)務(wù)層。計(jì)算架構(gòu)層中的云處理系統(tǒng)是一種處理海量數(shù)據(jù)的并行編程模型和計(jì)算框架，用于對(duì)大規(guī)模數(shù)據(jù)集的并行計(jì)算。云處理系統(tǒng)通過(guò)把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)處理，每個(gè)節(jié)點(diǎn)會(huì)周期性的把完成的工作和狀態(tài)的更新報(bào)告回來(lái)。隨著節(jié)點(diǎn)的增多，云處理系統(tǒng)的處理能力將成倍數(shù)增長(zhǎng)。而HADOOP的MAPREDUCE并行計(jì)算架構(gòu)則適用于對(duì)大規(guī)模數(shù)據(jù)進(jìn)行全局讀寫(xiě)掃描分析和批處理計(jì)算。業(yè)務(wù)層由四個(gè)部分組成數(shù)據(jù)合成、PSMM、DT數(shù)據(jù)入庫(kù)處理模塊和數(shù)據(jù)管理模塊。數(shù)據(jù)入庫(kù)處理模塊負(fù)責(zé)數(shù)據(jù)的下載與入庫(kù)，其中的FTP下載加速引擎用于使用多線程和斷點(diǎn)續(xù)傳技術(shù)加速數(shù)據(jù)文件的下載，數(shù)據(jù)壓縮引擎用來(lái)對(duì)入庫(kù)前的數(shù)據(jù)進(jìn)行壓縮減少數(shù)據(jù)容量從而加速入庫(kù)速度。數(shù)據(jù)管理模塊包括了單用戶數(shù)據(jù)查詢模塊、數(shù)據(jù)查詢統(tǒng)計(jì)模塊。最上層是應(yīng)用層，主要供用戶查詢、監(jiān)視相關(guān)的API接口以及JDBC/ODBC、REST等API接口。圖中右側(cè)是監(jiān)控協(xié)調(diào)層，其中由ZOOKEEPER集群負(fù)責(zé)監(jiān)控整個(gè)集群同時(shí)做負(fù)載平衡以及保證存儲(chǔ)系統(tǒng)和計(jì)算架構(gòu)的可靠性。此外，WORLDEYES是云處理系統(tǒng)項(xiàng)目的一個(gè)子項(xiàng)目，主要解決對(duì)系統(tǒng)中所有系統(tǒng)消耗與系統(tǒng)性能的動(dòng)態(tài)監(jiān)控。74CSTOR云存儲(chǔ)系統(tǒng)741CSTOR框架介紹CSTOR云存儲(chǔ)系統(tǒng)是國(guó)內(nèi)最早實(shí)現(xiàn)并保持領(lǐng)先的云存儲(chǔ)系統(tǒng)，整套系統(tǒng)包括軟件與硬件，是一個(gè)海量的云存儲(chǔ)平臺(tái)。與傳統(tǒng)的大規(guī)模存儲(chǔ)系統(tǒng)相比，它具有構(gòu)建成本低、性能高效可靠、使用簡(jiǎn)單方便的特點(diǎn)。在需要存儲(chǔ)大量數(shù)據(jù)（如視頻數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等）的應(yīng)用場(chǎng)合，可以大幅提高存儲(chǔ)系統(tǒng)性價(jià)比。與目前國(guó)際上知名的GOOGLE、AMAZON等云存儲(chǔ)相比，具有更高的性價(jià)比、更低的能耗、更加通用和更方便的使用模式。CSTORC1000存儲(chǔ)機(jī)柜產(chǎn)品優(yōu)勢(shì)1、高度可靠高可靠的冗余備份機(jī)制，支持多重?cái)?shù)據(jù)保護(hù)，根據(jù)數(shù)據(jù)可靠性需求可靈活設(shè)置備份，自動(dòng)屏蔽故障，提供7X24小時(shí)不間斷存儲(chǔ)服務(wù)；CSTORC1100元數(shù)據(jù)服務(wù)器2、超高性能支持高并發(fā)、帶寬飽和利用，數(shù)據(jù)在多個(gè)節(jié)點(diǎn)上并行讀寫(xiě)，服務(wù)器自動(dòng)均衡負(fù)載，系統(tǒng)性能隨節(jié)點(diǎn)數(shù)增加而線性增長(zhǎng)，性能與節(jié)點(diǎn)規(guī)模成正比，沒(méi)有性能瓶頸；CSTORC1101存儲(chǔ)服務(wù)器3、超大規(guī)?？芍蔚娜萘拷咏鼰o(wú)限，理論容量為1024X1024X1024PB（1G個(gè)PB容量）；4、綠色節(jié)能自主研發(fā)的超低功耗云存儲(chǔ)硬件節(jié)點(diǎn)，主板尺寸為20CM20CM，功耗僅為10W左右（不含硬盤(pán)），比業(yè)界的200W低20倍；5、超高集成由于解決了能耗的問(wèn)題，散熱不成為集成度的瓶頸，因而可以在1個(gè)標(biāo)準(zhǔn)的42U機(jī)架上集成多達(dá)80個(gè)存儲(chǔ)節(jié)點(diǎn)，總?cè)萘扛哌_(dá)1024TB；6、動(dòng)態(tài)伸縮不必停止服務(wù)，即可根據(jù)存儲(chǔ)容量的需求，靈活增減存儲(chǔ)節(jié)點(diǎn)；7、智能管理一鍵式安裝，智能化自適應(yīng)管理，簡(jiǎn)單方便的監(jiān)控界面，無(wú)需學(xué)習(xí)即可使用；8、簡(jiǎn)單通用支持POSIX接口規(guī)范，支持WINDOWS/LINUX，用戶當(dāng)成海量磁盤(pán)使用，無(wú)需修改應(yīng)用；中國(guó)軟件評(píng)測(cè)中心評(píng)測(cè)結(jié)果742CSTOR產(chǎn)品介紹云存儲(chǔ)系統(tǒng)是整個(gè)云平臺(tái)的基礎(chǔ)，它將物聯(lián)網(wǎng)各類(lèi)檢測(cè)數(shù)據(jù)信息，集中存儲(chǔ)到云存儲(chǔ)服務(wù)器中，云處理系統(tǒng)可以對(duì)云存儲(chǔ)系統(tǒng)中的數(shù)據(jù)進(jìn)行智能分析、統(tǒng)計(jì)、提取有價(jià)值的信息，以多字段索引條目的形式對(duì)其劃分成塊進(jìn)行存儲(chǔ)，在需要訪問(wèn)相關(guān)有價(jià)值信息時(shí)，可以通過(guò)索引字段來(lái)快速訪問(wèn)以便提取感興趣的信息。下圖為云存儲(chǔ)的系統(tǒng)架構(gòu)，主要由五部分組成1塊數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)將文件按照固定大小進(jìn)行分塊，默認(rèn)是64MB，每一塊稱為一個(gè)CHUNK（數(shù)據(jù)塊），每個(gè)CHUNK都有一個(gè)對(duì)應(yīng)的索引號(hào)（INDEX），數(shù)據(jù)塊存儲(chǔ)在塊數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上，根據(jù)可靠性需求的不同，可設(shè)置備份塊的數(shù)目，以實(shí)現(xiàn)在不同塊數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上的冗余備份存儲(chǔ)。2元數(shù)據(jù)管理節(jié)點(diǎn)元數(shù)據(jù)管理節(jié)點(diǎn)對(duì)文件名稱、文件屬性、數(shù)據(jù)塊信息等元數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。3卷管理服務(wù)器由一個(gè)元數(shù)據(jù)管理節(jié)點(diǎn)及多個(gè)塊數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)構(gòu)成了一個(gè)卷。通過(guò)卷管理服務(wù)器將多個(gè)卷虛擬為一個(gè)無(wú)限大的云數(shù)據(jù)存儲(chǔ)空間，該節(jié)點(diǎn)提供針對(duì)用戶端的卷管理和分配。4用戶掛載客戶端通過(guò)用戶掛載客戶端實(shí)現(xiàn)將卷映射到本地文件系統(tǒng)的目錄，兼容POSIX接口，掛載后就和操作本地的文件系統(tǒng)一樣。5配置與監(jiān)控中心提供針對(duì)各存儲(chǔ)節(jié)點(diǎn)的管理配置與狀態(tài)監(jiān)控告警功能。云存儲(chǔ)系統(tǒng)中，由云存儲(chǔ)元數(shù)據(jù)管理服務(wù)器MASTER和存儲(chǔ)節(jié)點(diǎn)服務(wù)器CHUNKSERVER構(gòu)成一個(gè)虛擬的云空間磁盤(pán)卷。MASTER在邏輯上只有一個(gè)，但支持雙機(jī)鏡像使用。MASTER保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)整個(gè)文件系統(tǒng)的管理，是云存儲(chǔ)文件系統(tǒng)中的“大腦”。CHUNKSERVER負(fù)責(zé)具體的存儲(chǔ)工作。數(shù)據(jù)以文件的形式存儲(chǔ)在CHUNKSERVER上，CHUNKSERVER的個(gè)數(shù)可以有多個(gè)，它的數(shù)目直接決定了云存儲(chǔ)系統(tǒng)的規(guī)模。云存儲(chǔ)系統(tǒng)將文件按照固定大小進(jìn)行分塊，每一塊稱為一個(gè)CHUNK（數(shù)據(jù)塊），每個(gè)CHUNK都有一個(gè)對(duì)應(yīng)的索引號(hào)（INDEX）?？蛻舳嗽谠L問(wèn)云存儲(chǔ)系統(tǒng)時(shí)，首先訪問(wèn)MASTER節(jié)點(diǎn)，獲取將要與之進(jìn)行交互的CHUNKSERVER信息，然后直接訪問(wèn)這些CHUNKSERVER完成數(shù)據(jù)存取。云存儲(chǔ)系統(tǒng)的這種設(shè)計(jì)方法實(shí)現(xiàn)了控制流和數(shù)據(jù)流的分離。CLIENT與MASTER之間只有控制流，沒(méi)有數(shù)據(jù)流，極大降低了MASTER的負(fù)載，使之不成為系統(tǒng)性能的一個(gè)瓶頸。CLIENT與CHUNKSERVER之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè)CHUNK進(jìn)行分布式存儲(chǔ)，CLIENT可以同時(shí)訪問(wèn)多個(gè)CHUNKSERVER，從而使得整個(gè)系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。743CSTOR系統(tǒng)設(shè)計(jì)策略一、元數(shù)據(jù)存儲(chǔ)設(shè)計(jì)策略為提供高速的客戶端響應(yīng)，元數(shù)據(jù)存儲(chǔ)于元數(shù)據(jù)管理節(jié)點(diǎn)MASTER服務(wù)器的內(nèi)存中，并于本機(jī)進(jìn)行持久化備份；元數(shù)據(jù)管理節(jié)點(diǎn)為主備雙機(jī)方式，提供高可靠不間斷元數(shù)據(jù)管理服務(wù)，單機(jī)故障時(shí)可實(shí)現(xiàn)無(wú)縫快速切換；考慮大容量數(shù)據(jù)存儲(chǔ)時(shí)文件數(shù)量多，元數(shù)據(jù)容量大的問(wèn)題，系統(tǒng)將元數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，采用多個(gè)元數(shù)據(jù)管理節(jié)點(diǎn)進(jìn)行元數(shù)據(jù)管理；支持靈活的空間掛載，可根據(jù)業(yè)務(wù)劃分靈活地將不同業(yè)務(wù)數(shù)據(jù)掛載到不同的分布式元數(shù)據(jù)管理節(jié)點(diǎn)和數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)；二、數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)策略文件數(shù)據(jù)在大于一定空間的情況被劃分為多個(gè)數(shù)據(jù)塊CHUNK，數(shù)據(jù)塊被分布存儲(chǔ)到不同的數(shù)據(jù)節(jié)點(diǎn)服務(wù)器DATANODE。每個(gè)塊可被設(shè)置為備份一定的份數(shù)，塊信息被元數(shù)據(jù)管理節(jié)點(diǎn)管理，數(shù)據(jù)備份時(shí)由數(shù)據(jù)節(jié)點(diǎn)進(jìn)行串行復(fù)制到其它數(shù)據(jù)節(jié)點(diǎn)DATANODE進(jìn)行備份；（1）分布式存儲(chǔ)策略CSTOR采用中心服務(wù)器模式來(lái)管理整個(gè)文件系統(tǒng)，可以大大簡(jiǎn)化設(shè)計(jì)，從而降低實(shí)現(xiàn)難度。中心管理服務(wù)器模式如下圖MASTER管理了分布式文件系統(tǒng)中的所有元數(shù)據(jù)。文件劃分為CHUNK進(jìn)行存儲(chǔ)，對(duì)于MASTER來(lái)說(shuō)，每個(gè)CHUNKSERVER只是一個(gè)存儲(chǔ)空間。CLIENT發(fā)起的所有操作都需要先通過(guò)MASTER才能執(zhí)行。這樣做有許多好處，增加新的CHUNKSERVER是一件十分容易的事情，CHUNKSERVER只需要注冊(cè)到MASTER上即可，CHUNKSERVER之間無(wú)任何關(guān)系。如果采用完全對(duì)等的、無(wú)中心的模式，那么如何將CHUNKSERVER的更新信息通知到每一個(gè)CHUNKSERVER，會(huì)是設(shè)計(jì)的一個(gè)難點(diǎn)，而這也將在一定程度上影響系統(tǒng)的擴(kuò)展性。MASTER維護(hù)了一個(gè)統(tǒng)一的命名空間，同時(shí)掌握整個(gè)系統(tǒng)內(nèi)CHUNKSERVER的情況，據(jù)此可以實(shí)現(xiàn)整個(gè)系統(tǒng)范圍內(nèi)數(shù)據(jù)存儲(chǔ)的負(fù)載均衡。由于只有一個(gè)中心服務(wù)器，元數(shù)據(jù)的一致性問(wèn)題自然解決。當(dāng)然，中心服務(wù)器模式也帶來(lái)一些固有的缺點(diǎn)，比如極易成為整個(gè)系統(tǒng)的瓶頸等。CSTOR采用多種機(jī)制來(lái)避免MASTER成為系統(tǒng)性能和可靠性上的瓶頸，如盡量控制元數(shù)據(jù)的規(guī)模、對(duì)MASTER進(jìn)行遠(yuǎn)程備份、控制信息和數(shù)據(jù)分流等。客戶端對(duì)文件進(jìn)行分塊，然后可以選擇不同的塊存儲(chǔ)到不同的存儲(chǔ)服務(wù)器上，下一個(gè)塊存儲(chǔ)到負(fù)載比較小的存儲(chǔ)服務(wù)器上，相對(duì)整個(gè)存儲(chǔ)空間來(lái)說(shuō)，實(shí)現(xiàn)了分布式存儲(chǔ)。（2）分級(jí)存儲(chǔ)策略CSTOR存儲(chǔ)系統(tǒng)采用了分級(jí)技術(shù)，把存儲(chǔ)信息根據(jù)信息的重要性、訪問(wèn)頻率等對(duì)信息進(jìn)行了分級(jí)存儲(chǔ)，將文件的元數(shù)據(jù)等訪問(wèn)頻繁的重要信息時(shí)刻保持在線存儲(chǔ)，開(kāi)機(jī)后保存在內(nèi)存中，可以隨時(shí)讀取和修改，以滿足前端應(yīng)用服務(wù)器或數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)訪問(wèn)的速度要求。將其它備份數(shù)據(jù)、冗余容錯(cuò)的數(shù)據(jù)等訪問(wèn)量小的數(shù)據(jù)等采用廉價(jià)的SATA硬盤(pán)存儲(chǔ)。對(duì)于訪問(wèn)量小的數(shù)據(jù)采用離線存儲(chǔ)，一旦需要訪問(wèn)這些數(shù)據(jù)可以使用相應(yīng)的喚醒策略來(lái)實(shí)現(xiàn)將離線轉(zhuǎn)為在線，如通過(guò)網(wǎng)絡(luò)喚醒等。（3）動(dòng)態(tài)存儲(chǔ)策略在大規(guī)模數(shù)據(jù)存儲(chǔ)過(guò)程中，CSTOR采用這樣策略，當(dāng)客服端向管理服務(wù)器請(qǐng)求塊存儲(chǔ)數(shù)據(jù)時(shí)，管理服務(wù)器會(huì)通知負(fù)載相對(duì)比較小的存儲(chǔ)服務(wù)器創(chuàng)建塊和在相對(duì)此存儲(chǔ)服務(wù)具用備份的意義存儲(chǔ)服務(wù)器上創(chuàng)建塊，所謂的備份存儲(chǔ)服務(wù)器是指位于不同物理分布位置能夠起到數(shù)據(jù)容災(zāi)的存儲(chǔ)節(jié)點(diǎn)，然后客戶端的數(shù)據(jù)塊存儲(chǔ)到相應(yīng)的位置。有以上分析可知?jiǎng)討B(tài)存儲(chǔ)實(shí)現(xiàn)策略主要包涵以下兩個(gè)方面1）數(shù)據(jù)塊存儲(chǔ)位置選擇。2）數(shù)據(jù)塊副本存儲(chǔ)位置選擇。如下圖三、高可靠性策略對(duì)于元數(shù)據(jù)服務(wù)器可能出現(xiàn)的單節(jié)點(diǎn)問(wèn)題可以用如下策略I雙機(jī)正常工作數(shù)據(jù)流說(shuō)明A系統(tǒng)文件數(shù)據(jù)發(fā)生變更時(shí)，MASTERA【主用】發(fā)送日志變更信息給MASTERB【備用】中的METALOGGER；BMETALOGGER將日志寫(xiě)入文件，并同時(shí)將日志發(fā)送給MASTER【備用】；CMASTER【備用】收到日志后，進(jìn)行日志恢復(fù)，并與已有數(shù)據(jù)合并。IIMASTERA宕機(jī)數(shù)據(jù)流說(shuō)明AMASTERA宕機(jī)后，MASTERB自動(dòng)升級(jí)為主用；BMASTERB對(duì)外服務(wù)，系統(tǒng)文件數(shù)據(jù)發(fā)生變更時(shí)，MASTER將日志寫(xiě)入文件。IIIMASTERA恢復(fù)；數(shù)據(jù)流說(shuō)明AMASTERA恢復(fù)后，狀態(tài)為備用；B系統(tǒng)文件數(shù)據(jù)發(fā)生變更時(shí)，MASTERB【主用】發(fā)送日志變更信息給MASTERA【備用】中的METALOGGER；CMETALOGGER將日志寫(xiě)入文件，并同時(shí)將日志發(fā)送給MASTERA【備用】；DMASTERA【備用】收到日志后，進(jìn)行日志恢復(fù)，并與已有數(shù)據(jù)合并。解決了管理服務(wù)器的單節(jié)點(diǎn)問(wèn)題后，在大規(guī)模數(shù)據(jù)統(tǒng)一調(diào)度過(guò)程中要害保證存儲(chǔ)節(jié)點(diǎn)的完整性。在客戶端對(duì)文件進(jìn)行以64M分塊，考慮到一個(gè)集群通常都有好幾百臺(tái)機(jī)器、幾千塊硬盤(pán)，磁盤(pán)損壞導(dǎo)致數(shù)據(jù)在讀寫(xiě)過(guò)程中損壞或者丟失是非常常見(jiàn)的，我們可以通過(guò)別的塊副本來(lái)解決數(shù)據(jù)損壞問(wèn)題，但是跨越存儲(chǔ)服務(wù)器比較副本來(lái)檢查數(shù)據(jù)是否損壞很不實(shí)際，因此，每個(gè)存儲(chǔ)服務(wù)器必須獨(dú)立維護(hù)校驗(yàn)和來(lái)校驗(yàn)自己的副本的完整性。我們把每個(gè)塊都分成64KB大小的塊。每個(gè)塊都對(duì)應(yīng)一個(gè)32位的校驗(yàn)和。和其它元數(shù)據(jù)一樣，校驗(yàn)和與其它的用戶數(shù)據(jù)是分開(kāi)的，并且保存在內(nèi)存和硬盤(pán)上，同時(shí)也記錄操作日志。四、客戶端訪問(wèn)策略掛載客戶端通過(guò)卷管理服務(wù)器獲取卷空間；掛載客戶端與相應(yīng)的卷空間元數(shù)據(jù)節(jié)點(diǎn)MASTER建立通信連接和元數(shù)據(jù)操作，獲得數(shù)據(jù)塊節(jié)點(diǎn)存儲(chǔ)信息；掛載客戶端與相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)DATANODE進(jìn)行數(shù)據(jù)讀寫(xiě)。數(shù)據(jù)節(jié)點(diǎn)DATANODE根據(jù)合適的備份策略向相應(yīng)的其它數(shù)據(jù)節(jié)點(diǎn)發(fā)送塊數(shù)據(jù)進(jìn)行備份。五、負(fù)載分擔(dān)調(diào)度策略CSTOR系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，結(jié)合相應(yīng)算法，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷和位置服務(wù)器定位存儲(chǔ)信息，進(jìn)行分布式存儲(chǔ)，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展，從而實(shí)現(xiàn)了分布是存儲(chǔ)。在CSTOR存儲(chǔ)系統(tǒng)中，客戶端主要進(jìn)行的是文件的寫(xiě)、讀等操作。寫(xiě)時(shí)，元數(shù)據(jù)服務(wù)器根據(jù)負(fù)載均衡算法選擇存儲(chǔ)服務(wù)器集群中當(dāng)前性能最優(yōu)的存儲(chǔ)服務(wù)器節(jié)點(diǎn)。如果僅限于此，當(dāng)遇到高并發(fā)讀同一文件時(shí)，則存儲(chǔ)該份文件的存儲(chǔ)服務(wù)器必然會(huì)超載甚至崩潰。解決方案是采用根據(jù)文件訪問(wèn)流行度的副本生成策略，將文件根據(jù)訪問(wèn)頻率復(fù)制N個(gè)（具體N值取決于副本生成策略）副本存儲(chǔ)到其它存儲(chǔ)服務(wù)器節(jié)點(diǎn)上。在此基礎(chǔ)上進(jìn)行讀，元數(shù)據(jù)服務(wù)器根據(jù)負(fù)載均衡算法在多臺(tái)具有文件副本的存儲(chǔ)服務(wù)器節(jié)點(diǎn)中選擇最優(yōu)節(jié)點(diǎn)。六、自適應(yīng)容錯(cuò)策略在客戶端對(duì)文件進(jìn)行以64M分塊，考慮到一個(gè)集群通常都有好幾百臺(tái)機(jī)器、幾千塊硬盤(pán)，磁盤(pán)損壞導(dǎo)致數(shù)據(jù)在讀寫(xiě)過(guò)程中損壞或者丟失是非常常見(jiàn)的，我們可以通過(guò)別的塊副本來(lái)解決數(shù)據(jù)損壞問(wèn)題，但是跨越存儲(chǔ)服務(wù)器比較副本來(lái)檢查數(shù)據(jù)是否損壞很不實(shí)際，因此，每個(gè)存儲(chǔ)服務(wù)器必須獨(dú)立維護(hù)校驗(yàn)和來(lái)校驗(yàn)自己的副本的完整性。我們把每個(gè)塊都分成64KB大小的塊。每個(gè)塊都對(duì)應(yīng)一個(gè)32位的校驗(yàn)和。和其它元數(shù)據(jù)一樣，校驗(yàn)和與其它的用戶數(shù)據(jù)是分開(kāi)的，并且保存在內(nèi)存和硬盤(pán)上，同時(shí)也記錄操作日志。對(duì)于讀操作來(lái)說(shuō)，在把數(shù)據(jù)返回給客戶端或者其它的塊服務(wù)器之前，塊服務(wù)器會(huì)校驗(yàn)讀取操作涉及的范圍內(nèi)的塊的校驗(yàn)和。因此存儲(chǔ)服務(wù)器不會(huì)把錯(cuò)誤數(shù)據(jù)傳遞到其它的機(jī)器上。如果發(fā)生某個(gè)塊的校驗(yàn)和不正確，存儲(chǔ)服務(wù)器返回給請(qǐng)求者一個(gè)錯(cuò)誤信息，并且通知管理服務(wù)器這個(gè)錯(cuò)誤。作為回應(yīng)，請(qǐng)求者應(yīng)當(dāng)從其它副本讀取數(shù)據(jù)，管理服務(wù)器也會(huì)從其它副本克隆數(shù)據(jù)進(jìn)行恢復(fù)，當(dāng)一個(gè)新的副本就緒后，管理服務(wù)器通知副本錯(cuò)誤的存儲(chǔ)服務(wù)器刪掉錯(cuò)誤的副本。如果寫(xiě)操作覆蓋已經(jīng)存在的一個(gè)范圍內(nèi)的塊，我們必須讀取和校驗(yàn)被覆蓋的第一個(gè)和最后一個(gè)塊，然后再執(zhí)行寫(xiě)操作；操作完成之后再重新計(jì)算和寫(xiě)入新的校驗(yàn)和，如果我們不校驗(yàn)第一個(gè)和最后一個(gè)被寫(xiě)的塊，那么新的校驗(yàn)和可能會(huì)隱藏沒(méi)有被覆蓋區(qū)域內(nèi)的數(shù)據(jù)錯(cuò)誤。在塊服務(wù)器空閑的時(shí)候，它會(huì)掃描和校驗(yàn)每個(gè)不活動(dòng)的塊的內(nèi)容。這使得我們能夠發(fā)現(xiàn)很少被讀取的塊是否完整。一旦發(fā)現(xiàn)有塊的數(shù)據(jù)損壞，管理服務(wù)器可以創(chuàng)建一個(gè)新的、正確的副本，然后把損壞的副本刪除掉。這個(gè)機(jī)制也避免了非活動(dòng)的、已損壞的塊欺騙管理節(jié)點(diǎn)，使管理服務(wù)器節(jié)點(diǎn)認(rèn)為它們已經(jīng)有了足夠多的副本。七、性能與容量動(dòng)態(tài)伸縮策略在設(shè)計(jì)大規(guī)模數(shù)據(jù)存儲(chǔ)系統(tǒng)時(shí)，盡可能減少對(duì)管理服務(wù)器的訪問(wèn)，客戶端和存儲(chǔ)節(jié)點(diǎn)直接交互數(shù)據(jù)，就要做到數(shù)據(jù)流和控制流分離，存儲(chǔ)服務(wù)器采用塊級(jí)存儲(chǔ)，所有客戶端訪問(wèn)的存儲(chǔ)服務(wù)器最大可能分散到整個(gè)存儲(chǔ)集群，這樣就分擔(dān)了網(wǎng)絡(luò)帶寬和實(shí)現(xiàn)多I/O節(jié)點(diǎn)訪問(wèn)，實(shí)現(xiàn)網(wǎng)絡(luò)帶寬最大利用率和克服I/O瓶頸。如一次寫(xiě)入數(shù)據(jù)量很大，或著數(shù)據(jù)跨越了多個(gè)塊，客戶端代碼會(huì)把數(shù)據(jù)分為多個(gè)寫(xiě)操作。隨著存儲(chǔ)服務(wù)器的增加，多客戶端的讀寫(xiě)性能越高，存儲(chǔ)服務(wù)器的減少，系統(tǒng)的I/O會(huì)較少，系統(tǒng)性能就會(huì)下降。所以，采用分布式設(shè)計(jì)間接的實(shí)現(xiàn)了性能伸縮。為了解決單集群無(wú)法滿足存儲(chǔ)要求，我們采用卷管理的設(shè)計(jì)是想，采用卷管理服務(wù)器管理元數(shù)據(jù)服務(wù)器，大大擴(kuò)展了系統(tǒng)的容量。744CSTOR關(guān)鍵技術(shù)一、元數(shù)據(jù)分布式存儲(chǔ)技術(shù)考慮熱點(diǎn)數(shù)據(jù)的分布信息，通過(guò)將海量的元數(shù)據(jù)有效地分散存儲(chǔ)在多個(gè)元數(shù)據(jù)服務(wù)器上來(lái)降低存儲(chǔ)負(fù)載。采用分級(jí)聚集機(jī)制來(lái)存儲(chǔ)數(shù)據(jù)，來(lái)保證查詢結(jié)果的有效性和準(zhǔn)確性。分析元數(shù)據(jù)多維屬性信息的語(yǔ)義特征，將相關(guān)文件組織在相同或相近的組內(nèi)，多個(gè)組構(gòu)成語(yǔ)義RTREE