云平臺方案二一二年三月物聯(lián)網(wǎng)示范工程建設(shè)項目目錄1系統(tǒng)作用與定位32系統(tǒng)組成結(jié)構(gòu)33系統(tǒng)功能要求54系統(tǒng)性能指標(biāo)65數(shù)據(jù)處理流程76系統(tǒng)接口設(shè)計861CSTOR云存儲系統(tǒng)提供的接口862CPROC系統(tǒng)提供的接口863OPENSTACK資源虛擬化接口97應(yīng)用支撐系統(tǒng)1271資源虛擬化12711OPENSTACK云平臺服務(wù)簡介13712VMWARE1572負(fù)載均衡LVS16721可伸縮網(wǎng)絡(luò)服務(wù)的設(shè)計與實現(xiàn)16722可伸縮WEB和媒體服務(wù)16723LVS負(fù)載均衡1773云處理系統(tǒng)CPROC20731CPROC框架介紹20732CPROC產(chǎn)品介紹2074CSTOR云存儲系統(tǒng)22741CSTOR框架介紹22742CSTOR產(chǎn)品介紹26743CSTOR系統(tǒng)設(shè)計策略28744CSTOR關(guān)鍵技術(shù)3475災(zāi)備系統(tǒng)368設(shè)備選型及配置要求379聯(lián)系方式381系統(tǒng)作用與定位基于云平臺海量數(shù)據(jù)存儲技術(shù)，為物聯(lián)網(wǎng)海量的數(shù)據(jù)提供高效、可靠不間斷的存儲與訪問服務(wù)，提供數(shù)據(jù)支撐平臺；采用云計算并行數(shù)據(jù)實時處理技術(shù)框架，實現(xiàn)對物聯(lián)網(wǎng)數(shù)據(jù)的實時檢索、統(tǒng)計、分析、挖掘、可視化、人工智能等處理，為上層提供有價值的數(shù)據(jù)服務(wù)；基于云計算先進(jìn)的資源虛擬化技術(shù)，針對不同應(yīng)用提供相應(yīng)的虛擬計算機(jī)資源池，以滿足各行業(yè)單位不同應(yīng)用對物聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用服務(wù)的不同需求，實現(xiàn)應(yīng)用計算資源和數(shù)據(jù)服務(wù)的統(tǒng)一、高效、安全的管理。2系統(tǒng)組成結(jié)構(gòu)如下面的架構(gòu)圖所示，系統(tǒng)由云計算虛擬化平臺、云處理平臺、云存儲平臺和災(zāi)備中心四大部分組成。OPENSTACK用來做虛擬化資源管理，而采用LVS可伸縮性的管理分配給用戶的資源，虛擬機(jī)采用VMWARE，而CPROC并行云處理框架，為云平臺提供強(qiáng)大可伸縮的數(shù)據(jù)實時處理能力。采用CSTOR云存儲系統(tǒng)來保障整個云平臺數(shù)據(jù)的完整、可靠，災(zāi)備中心實現(xiàn)異地容災(zāi)備份。資源虛擬化虛擬化技術(shù)虛擬化技術(shù)的按需分配，快照功能，隔離功能，動態(tài)擴(kuò)展能力等為云平臺不同應(yīng)用的資源統(tǒng)一管理分配提供極大的便利。云資源管理物聯(lián)網(wǎng)智慧云服務(wù)平臺，通過云資源統(tǒng)一管理，針對不同部門或應(yīng)用的資源統(tǒng)一管理分配，對虛擬資源靈活調(diào)度。系統(tǒng)管理員為不同的部門（或應(yīng)用）定制不同的虛擬機(jī)，根據(jù)各部門（或者應(yīng)用）對計算資源的需求對分配給某些虛擬機(jī)的計算資源進(jìn)行調(diào)整。負(fù)載均衡LVS集群采用IP負(fù)載均衡技術(shù)和基于內(nèi)容請求分發(fā)技術(shù)。調(diào)度器具有很好的吞吐率，將請求均衡地轉(zhuǎn)移到不同的服務(wù)器上執(zhí)行，且調(diào)度器自動屏蔽掉服務(wù)器的故障，從而將一組服務(wù)器構(gòu)成一個高性能的、高可用的虛擬服務(wù)器。并行計算/數(shù)據(jù)處理CPROC云處理平臺是一種處理海量數(shù)據(jù)的并行編程模型和計算框架，用于對大規(guī)模數(shù)據(jù)集的并行計算。CPROC通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個節(jié)點實現(xiàn)數(shù)據(jù)并行處理。CSTOR云存儲系統(tǒng)CSTOR云存儲系統(tǒng)是整個物聯(lián)網(wǎng)云平臺的數(shù)據(jù)中心，它將物聯(lián)網(wǎng)前端各種檢測上報數(shù)據(jù)信息，集中存儲到云存儲系統(tǒng)提供的數(shù)據(jù)，并為數(shù)據(jù)計算和處理層提供訪問服務(wù)。災(zāi)備中心由CSTOR云存儲系統(tǒng)和災(zāi)備軟件實現(xiàn)物聯(lián)網(wǎng)平臺數(shù)據(jù)中心的遠(yuǎn)程容災(zāi)備份。3系統(tǒng)功能要求（1）優(yōu)化總體擁有成本用戶可以選擇、設(shè)計、配置和運行最適合業(yè)務(wù)需要的基礎(chǔ)設(shè)施和應(yīng)用程序。以前，當(dāng)IT項目移交給生產(chǎn)服務(wù)部門后，這兩者的關(guān)系常常脫離，而在云計算環(huán)境下，它們又聯(lián)系在一起了。（2）資源快速配置當(dāng)業(yè)務(wù)活動增加或改變方向后，資源可以隨之增減，以與業(yè)務(wù)活動的需要相符合。同時，資源配置時間從幾星期壓縮到了幾小時。（3）彈性資源配置當(dāng)用戶和服務(wù)的范圍發(fā)生變化，尋求新的解決方案時，有彈性的配置和服務(wù)管理關(guān)注最終用戶和業(yè)務(wù)對功能的實際需求。（5）風(fēng)險和環(huán)境的改善可以通過共享服務(wù)來充分利用云計算的綠色環(huán)保功能。（6）資源利用率的提高IT部門可避免IT服務(wù)的配置過度或不足，從而獲得更智能的業(yè)務(wù)服務(wù)。（7）高度可靠高可靠的冗余備份機(jī)制，支持多重數(shù)據(jù)保護(hù)，根據(jù)數(shù)據(jù)可靠性需求可靈活設(shè)置備份，自動屏蔽故障，提供7X24小時不間斷存儲服務(wù)；（8）超高性能支持高并發(fā)、帶寬飽和利用，數(shù)據(jù)在多個節(jié)點上并行讀寫，服務(wù)器自動均衡負(fù)載，系統(tǒng)性能隨節(jié)點數(shù)增加而線性增長，性能與節(jié)點規(guī)模成正比，沒有性能瓶頸，千光網(wǎng)絡(luò)單節(jié)點訪問性能寫不少于100MB/S,讀不少于；（9）在線伸縮不必停止服務(wù)，即可根據(jù)存儲容量的需求，靈活增減存儲、計算節(jié)點；4系統(tǒng)性能指標(biāo)項目技術(shù)指標(biāo)數(shù)量1套，支撐1P裸容量，可以提供200個虛擬機(jī)器服務(wù)體系架構(gòu)采用多節(jié)點冗余架構(gòu)設(shè)計，性能隨節(jié)點數(shù)量的增加而線性增加，支持多節(jié)點自動負(fù)載均衡及故障轉(zhuǎn)移。服務(wù)模式每個存儲節(jié)點既存儲數(shù)據(jù)，也對外提供存儲訪問服務(wù)。橫向擴(kuò)展支持在不停機(jī)情況下，通過向存儲系統(tǒng)中增加存儲節(jié)點的方式實現(xiàn)業(yè)務(wù)不中斷情況下擴(kuò)充容量和性能。在線修復(fù)任意節(jié)點發(fā)生故障、可在不間斷業(yè)務(wù)的情況下進(jìn)行修復(fù)。存儲系統(tǒng)對外服務(wù)接口存儲系統(tǒng)服務(wù)采用IP網(wǎng)絡(luò)，同時支持NFS、CIFS、FTP等,支持POSIX接口規(guī)范，存儲系統(tǒng)可映射為本地磁盤或文件系統(tǒng)目錄，方便與應(yīng)用系統(tǒng)對接使用。支持主機(jī)系統(tǒng)客戶端支持LINUX（CENTOS、REDHAT、UBUNTU）、FREEBSD、WINDOWS、蘋果MACOSX等主流操作系統(tǒng)。高可用性要求系統(tǒng)全冗余，節(jié)點必須是高可用配置。當(dāng)元數(shù)據(jù)節(jié)點出現(xiàn)故障時，要能自動切換到備用元數(shù)據(jù)節(jié)點。存儲控制節(jié)點（元數(shù)據(jù)節(jié)點）本次配置存儲控制節(jié)點數(shù)不小于2個節(jié)點，系統(tǒng)支持的總節(jié)點數(shù)不小于100個。當(dāng)前CPU配置要求每個存儲控制節(jié)點的CPU配置不少于2顆,每顆至少四核2GHZ。性能本次配置產(chǎn)品的實際整體性能不小于1200MB/S單客戶端性能單客戶端大文件傳輸寫性能不小于100MB/S，讀性能不少于80MB/S當(dāng)前容量配置要求支持SSD、SAS、SATA磁盤。要求配置容量不低于外網(wǎng)900TB,內(nèi)網(wǎng)400TB），可用存儲容量不低于（外網(wǎng)450TB，內(nèi)網(wǎng)200TB）文件系統(tǒng)要求能夠提供支持?jǐn)U展到100PB容量的分布式文件系統(tǒng)。FTP服務(wù)整個云存儲系統(tǒng)所有存儲節(jié)點均同時對外界提供FTP服務(wù)，且所有節(jié)點虛擬成一個對外IP地址。要求具有容錯能力，任何節(jié)點出現(xiàn)故障，F(xiàn)TP服務(wù)不中斷?？捎眯援?dāng)任意1個節(jié)點（包括元數(shù)據(jù)節(jié)點）發(fā)生故障，存儲系統(tǒng)仍然保持?jǐn)?shù)據(jù)100完整，并且不會停機(jī)中斷服務(wù)。硬件冗余性可盡量減少硬件冗余，同時卻能確保系統(tǒng)高可靠運行，數(shù)據(jù)完整可靠。圖形化存儲管理軟件支持SSH管理，提供基于WEB瀏覽器的管理界面，管理界面簡單易用。具體功能如下支持對系統(tǒng)總體運行狀態(tài)和空間利用情況的監(jiān)控；支持?jǐn)?shù)據(jù)塊級別壞塊監(jiān)控統(tǒng)計功能；支持對磁盤損壞、空間利用情況的監(jiān)控；支持針對設(shè)備狀態(tài)、CPU、內(nèi)存等性能監(jiān)控；提供異常告警功能；支持FTP帳號批量配置功能。塊級監(jiān)控與數(shù)據(jù)修復(fù)支持?jǐn)?shù)據(jù)塊級別壞塊監(jiān)控統(tǒng)計與文件修復(fù)功能。設(shè)備磁盤狀態(tài)監(jiān)控支持對磁盤損壞、空間利用情況的監(jiān)控。云資源管理軟件接口提供開放的服務(wù)訪問和管理接口，支持POSIX接口訪問，用戶可當(dāng)成海量磁盤使用，編程接口與操作本地文件系統(tǒng)完全相同，另外需根據(jù)需要提供相應(yīng)API。綜合控制管理接口軟件自身所提供的全部資源管理類、性能監(jiān)控類、故障監(jiān)控類等信息可通過接口輸出給業(yè)務(wù)運營支撐系統(tǒng)，具體數(shù)據(jù)包括不限于設(shè)備配置參數(shù)、資源使用計量、性能監(jiān)控數(shù)據(jù)、故障監(jiān)控數(shù)據(jù)、資源控制指令等。統(tǒng)計分析管理接口軟件自身所提供的管理報表、統(tǒng)計分析、圖形展現(xiàn)等數(shù)據(jù)可通過接口輸出給業(yè)務(wù)運營支撐系統(tǒng)。連接均衡要求系統(tǒng)支持與渲染服務(wù)器等客戶端的連接均衡功能，提供輪循、按連接數(shù)等策略的自動連接均衡。快照功能要求支持?jǐn)?shù)據(jù)快照功能。配額管理要求支持虛擬資源配置功能。遠(yuǎn)程支持具有遠(yuǎn)程管理和事件通知功能。支持網(wǎng)管遠(yuǎn)程監(jiān)控。服務(wù)原廠商質(zhì)保服務(wù)，三年7244，4小時用戶現(xiàn)場響應(yīng)服務(wù)5數(shù)據(jù)處理流程總體上解決方案需要三大應(yīng)用支撐系統(tǒng)支撐。CSTOR云存儲系統(tǒng)用來提供海量數(shù)據(jù)的存儲服務(wù)，CPROC云處理系統(tǒng)用來對數(shù)據(jù)進(jìn)行索引、分析統(tǒng)計、數(shù)據(jù)挖掘、可視化等處理并為上層提供高效實時訪問服務(wù)，OPENSTACK系統(tǒng)用來對計算機(jī)資源進(jìn)行虛擬化統(tǒng)一配置，進(jìn)行有效的資源整合。數(shù)據(jù)首先通過CSTOR云存儲系統(tǒng)提供的訪問接口，將前端數(shù)據(jù)存入CSTOR云存儲系統(tǒng)。由CPROC云處理平臺進(jìn)行數(shù)據(jù)索引、分析統(tǒng)計、數(shù)據(jù)挖掘、人工智能等處理，為上層用戶提供數(shù)據(jù)檢索、可視化、輔助決策等智能應(yīng)用服務(wù)，用戶通過OPENSTACK系統(tǒng)虛擬出來的虛擬機(jī)訪問云處理平臺。6系統(tǒng)接口設(shè)計61CSTOR云存儲系統(tǒng)提供的接口POSIX接口使用CSTOR云存儲系統(tǒng)的客戶端掛接程序，將CSTOR云存儲空間映射為本地的目錄或磁盤，訪問云存儲空間和訪問本地文件系統(tǒng)相同；NFS接口映身為LINUX本地目錄或WINDOWS虛擬磁盤；CIFS接口映射為LINUX本地目錄或WINDOWS網(wǎng)絡(luò)共享目錄；API接口提供C、JAVA語言專用的文件操作接口；62CPROC系統(tǒng)提供的接口CPROC云計算框架以NATIVEJAVAAPI的形式，提供最為常規(guī)和高效的訪問方式，適合并行批處理存儲在表格里的海量數(shù)據(jù)。云計算提供的接口用于對表數(shù)據(jù)的各類操作，包括添加、刪除、查詢、修改和統(tǒng)計數(shù)量等。添加數(shù)據(jù)添加包括單條數(shù)據(jù)添加和批量添加單條數(shù)據(jù)添加接口，用戶先把數(shù)據(jù)封裝在JAVA對象中，再通過調(diào)用單條數(shù)據(jù)添加接口，將數(shù)據(jù)添加進(jìn)指定的數(shù)據(jù)表中。PUBLICVOIDADDOBJECTOBJECT批量添加接口，提供了批量添加大量數(shù)據(jù)的功能，這對于提升添加速度有很大的幫助。PUBLICVOIDADDLISTOBJECTS刪除數(shù)據(jù)根據(jù)每條數(shù)據(jù)的唯一標(biāo)識KEY，通過DELETE方法來刪除數(shù)據(jù)。PUBLICVOIDDELETESTRINGKEY修改數(shù)據(jù)根據(jù)需要被修改數(shù)據(jù)的KEY，通過UPDATE方法來修改數(shù)據(jù)。PUBLICVOIDUPDATEOBJECTOBJECT查詢數(shù)據(jù)查詢分為單條隨機(jī)查詢和批量查詢。單條查詢是通過KEY在表中查詢某一行的數(shù)據(jù)。提供了GET方法來完成單條查詢。PUBLICRESULTGETSTRINGKEY批量查詢是通過制定一段KEY的范圍或者對表欄位制定過濾條件來查詢。提供了QUERY方法來完成批量查詢。PUBLICRESULTSCANNERQUERYCONDITIONCONDITION統(tǒng)計數(shù)量通過制定一段KEY的范圍或者對表欄位制定過濾條件，來快速統(tǒng)計符合條件的數(shù)據(jù)數(shù)量。提供了COUNT方法來完成數(shù)量統(tǒng)計。PUBLICLONGCOUNTCONDITIONCONDITION63OPENSTACK資源虛擬化接口管理員接口鏡像管理配置鏡像基本信息、刪除鏡像（以WEB界面方式提供）虛擬機(jī)實例管理終止、重啟虛擬機(jī)，查看虛擬機(jī)日志（以WEB界面方式提供）系統(tǒng)服務(wù)禁用、啟用系統(tǒng)服務(wù)（以WEB界面方式提供）虛擬機(jī)物理資源配額管理管理虛擬機(jī)實例分配的物理資源大小配額（以WEB界面方式提供）用戶管理管理系統(tǒng)使用的用戶（以WEB界面方式提供）用戶接口虛擬機(jī)實例管理管理該用戶啟動的實例（以WEB界面方式提供）鏡像管理管理用戶可用的鏡像，啟動鏡像實例（以WEB界面方式提供）快照管理管理用戶擁有的快照（以WEB界面方式提供）密鑰管理生成密鑰文件（以WEB界面方式提供）外網(wǎng)IP管理為虛擬機(jī)申請、綁定、釋放外網(wǎng)IP地址（以WEB界面方式提供）程序接口NOVA使用接口NOVAMANAGEUSERCREATEUSERNAME描述創(chuàng)建用戶例NOVAMANAGEUSERCREATETEST參數(shù)說明USERNAME用戶名NOVAMANAGEROLEADDUSERNAMEROLENAME描述給用戶添加角色例NOVAMANAGEROLEADDTESTCLOUDADMIN參數(shù)說明USERNAME用戶名ROLENAME用戶角色NOVAMANAGEPROJECTCREATEPROJECTNAMEUSERNAME描述創(chuàng)建項目例NOVAMANAGEPROJECTCREATEBOOKTEST參數(shù)說明PROJECTNAME項目名稱USERNAME用戶名UECPUBLISHTARBALLIMAGEFILE描述上傳鏡像例UECPUBLISHTARBALLUBUNTU1104SERVERUECAMD64TARGZ參數(shù)說明IMAGEFILE鏡像文件路徑EUCADESCRIBEIMAGES描述列出已有鏡像簡要信息例EUCADESCRIBEIMAGES參數(shù)說明無EUCAADDKEYPAIRKEYKEYFILE描述添加密鑰例EUCAADDKEYPAIRKENKENPEM參數(shù)說明KEY密鑰KEYFILE密鑰文件EUCARUNINSTANCESKKEYTINSTANCETYPEIMAGENAME描述運行實例例EUCARUNINSTANCESKKENTM1TINYAMI6683BA18參數(shù)說明KEY密鑰IMAGENAME鏡像EUCADESCRIBEINSTANCES描述列出已運行實例例EUCADESCRIBEINSTANCES參數(shù)說明無EUCATERMINATEINSTANCESINSTANCEID描述終止虛擬機(jī)實例例EUCATERMINATEINSTANCESI00000004參數(shù)說明INSTACEID虛擬機(jī)實例的IDEUCAAUTHORIZEDEFAULTPPROTOCOLPPORTS0000/0描述配置網(wǎng)絡(luò)連接例EUCAAUTHORIZEDEFAULTPTCPP22S0000/0參數(shù)說明PROTOCOL協(xié)議類型PORT端口EUCAALLOCATEADDRESS描述申請公共IP例EUCAALLOCATEADDRESS參數(shù)說明無EUCAASSOCIATEADDRESSIINSTANCEIDIP描述實例綁定公共IP例EUCAASSOCIATEADDRESSII000000011921681128參數(shù)說明INSTANCEID實例IDIP已申請的公共IP虛擬機(jī)使用SSHIKEYFILEUSERIP描述SSH遠(yuǎn)程連接虛擬機(jī)實例例SSHIKENPEMUBUNTU1921681128參數(shù)KEYFILE密鑰文件USER系統(tǒng)用戶名IP虛擬機(jī)實例的公共IP地址可視化遠(yuǎn)程連接（可使用WINDOWS自帶的遠(yuǎn)程連接）描述圖形化界面使用虛擬機(jī)實例7應(yīng)用支撐系統(tǒng)71資源虛擬化OPENSTACK是一種開源的軟件基礎(chǔ)結(jié)構(gòu)，用來通過計算集群或工作站群實現(xiàn)彈性的、實用的云計算。OPENSTACK很容易安裝在現(xiàn)今大多數(shù)LINUX發(fā)布版上。OPENSTACK包括虛擬化和云資源管理。OPENSTACK提供如下高級特性與EC2和S3的接口兼容性（SOAP接口和REST接口）。使用這些接口的幾乎所有現(xiàn)有工具都將可以與基于OPENSTACK的云協(xié)作。支持運行在XENHYPERVISOR或KVM之上的VM的運行。商業(yè)版本還支持其他類型的VM，比如VMWARE。用來進(jìn)行系統(tǒng)管理和用戶結(jié)算的云管理工具。能夠?qū)⒍鄠€分別具有各自私有的內(nèi)部網(wǎng)絡(luò)地址的集群配置到一個云內(nèi)。下圖為云計算的框架圖，由云計算資源池、基礎(chǔ)架構(gòu)管理服務(wù)器及應(yīng)用軟件組成。云計算資源池由一組可以實現(xiàn)自動供應(yīng)和回收的預(yù)先定制的CPU和存儲資源形成，具體包括服務(wù)器節(jié)點設(shè)備和存儲設(shè)備。云平臺的很多特性，需要在一個大的資源池中才能夠體現(xiàn)，比如動態(tài)遷移、負(fù)載均衡和高可用性，所以用戶建議，最少采用2臺資源服務(wù)器NC，1臺磁盤陣列搭建OPENSTACK云平臺的資源池。在市政務(wù)外網(wǎng)私有云項目上，用戶建議采用多臺計算資源服務(wù)器，具有多臺存儲節(jié)點的云存儲構(gòu)建私有云。云計算基礎(chǔ)架構(gòu)管理服務(wù)器（CLCNC）為一臺X86服務(wù)器，安裝OPENSTACK云管理系統(tǒng)。第一期采用OPENSTACK商業(yè)版，因為目前市面上只有該產(chǎn)品比較成熟穩(wěn)定，后期根據(jù)市場上其他云資源管理平臺產(chǎn)品的優(yōu)勢，可以采用OPENSTACK社區(qū)版或者其他成熟的產(chǎn)品，因為對于企業(yè)來說，大型云平臺都是多個小型云平臺組合而成的，根據(jù)不同需求搭建不同功能的云平臺，在減少資源浪費的同時，讓小型云平臺發(fā)揮出最大的功能才是最好的選擇。711OPENSTACK云平臺服務(wù)簡介利用云計算服務(wù)平臺提供了面向管理員和使用者的服務(wù)門戶。這些基礎(chǔ)服務(wù)包括以下部分用戶管理系統(tǒng)中有兩大類用戶，分別為云計算平臺管理員，云計算平臺使用者。云計算平臺管理員能夠?qū)?shù)據(jù)中心云平臺上所有資源分配請求進(jìn)行審批，增加或減少資源數(shù)目，變更項目時間，終止或刪除項目。云計算平臺使用者能夠?qū)Y源分配提出申請，對資源的增加或減少提出申請，提出變更項目時間的申請，提出終止項目的申請。同時他們可以進(jìn)行一些自服務(wù)操作，比如重啟屬于他們項目的服務(wù)器、重置系統(tǒng)口令等。軟件管理維護(hù)可部署的操作系統(tǒng)鏡像及軟件包。這通常由云計算平臺管理員來負(fù)責(zé)實現(xiàn)，某些應(yīng)用軟件或者商業(yè)軟件的部署需要定制或者客戶化實現(xiàn)。存儲管理用于維護(hù)外接存儲服務(wù)器及存儲資源池。使用計量用于對每個客戶使用的物理資源數(shù)量、時間和利用率進(jìn)行統(tǒng)計。這通常由云計算平臺管理員來負(fù)責(zé)實現(xiàn)。而云計算平臺使用者則是獲得報告，了解自己申請的資源的使用情況。部署管理部署管理提供對用戶請求的自動化部署。部署按照特定時間，根據(jù)政務(wù)外網(wǎng)私有云使用者獲得的申請來實際部署。部署的實際工作由云計算服務(wù)管理平臺的供應(yīng)引擎來自動實現(xiàn)。管理員需要做的是監(jiān)督部署任務(wù)的執(zhí)行情況。運行監(jiān)控主要提供對當(dāng)前申請使用的虛擬服務(wù)器的當(dāng)前狀態(tài)進(jìn)行實時監(jiān)控，了解基本的性能狀況，并在自服務(wù)界面上呈現(xiàn)給相應(yīng)用戶。安全管理云計算平臺提供了完善的手段保證每個項目的安全性和隔離性。用戶對系統(tǒng)的訪問有兩個渠道訪問WEB管理界面和訪問項目虛擬機(jī)。對于WEB界面的訪問需要使用用戶名和密碼。對于虛擬機(jī)的訪問通過以下手段進(jìn)行控制系統(tǒng)對外的接口上由一個VPN設(shè)備對用戶進(jìn)行認(rèn)證。每個部門對應(yīng)一個VLAN。每個部門的虛擬機(jī)位于該VLAN內(nèi)部。VLAN的隔離性由交換機(jī)及各主機(jī)上的虛擬化軟件保證。虛擬機(jī)的隔離性由虛擬化引擎本身保證。此外，操作系統(tǒng)的用戶認(rèn)證也可以對用戶信息進(jìn)行保護(hù)。712VMWAREVMWAREVIRTUALMACHINEWARE是一個“虛擬PC”軟件公司。它的產(chǎn)品可以使你在一臺機(jī)器上同時運行二個或更多WINDOWS、DOS、LINUX系統(tǒng)。與“多啟動”系統(tǒng)相比，VMWARE采用了完全不同的概念。多啟動系統(tǒng)在一個時刻只能運行一個系統(tǒng)，在系統(tǒng)切換時需要重新啟動機(jī)器。VMWARE是真正“同時”運行，多個操作系統(tǒng)在主系統(tǒng)的平臺上，就像標(biāo)準(zhǔn)WINDOWS應(yīng)用程序那樣切換。而且每個操作系統(tǒng)你都可以進(jìn)行虛擬的分區(qū)、配置而不影響真實硬盤的數(shù)據(jù)，甚至可以通過網(wǎng)卡將幾臺虛擬機(jī)用網(wǎng)卡連接為一個局域網(wǎng)，極其方便。VMWARE是提供一套虛擬機(jī)解決方案的軟件公司，主要產(chǎn)品分為如下三個。VMWAREESXSERVER這個版本并不需要操作系統(tǒng)的支持。它本身就是一個操作系統(tǒng)，用來管理硬件資源。所有的系統(tǒng)都安裝在它的上面。帶有遠(yuǎn)程WEB管理和客戶端管理功能。VMWAREGSXSERVER這個版本就要安裝在一個操作系統(tǒng)下了，這個操作系統(tǒng)叫做HOSTOS。這個HOSTOS可以是WINDOWS2000SERVER以上的WINDOWS系統(tǒng)或者是LINUX官方支持列表中只有RH，SUSE，MANDRAKE很少的幾種，和VMWAREESXSERVER一樣帶有遠(yuǎn)程WEB管理和客戶端管理功能。VMWAREWORKSTATION這個版本和VMWAREGSXSERVER版本的機(jī)構(gòu)是一樣的。也是要安裝在一個操作系統(tǒng)下，對操作系統(tǒng)的要求也是WINDOWS2000以上或者LINUX。和VMWAREGSXSERVER的區(qū)別就是沒有WEB遠(yuǎn)程管理和客戶端管理。VMWARE產(chǎn)品主要的功能有1、不需要分區(qū)或重開機(jī)就能在同一臺PC上使用兩種以上的操作系統(tǒng)。2、完全隔離并且保護(hù)不同OS的操作環(huán)境以及所有安裝在OS上面的應(yīng)用軟件和資料。3、不同的OS之間還能互動操作，包括網(wǎng)絡(luò)、周邊、文件分享以及復(fù)制粘貼功能。4、有復(fù)原（UNDO）功能。5、能夠設(shè)定并且隨時修改操作系統(tǒng)的操作環(huán)境，如內(nèi)存、磁碟空間、周邊設(shè)備等等。6、熱遷移，高可用性。72負(fù)載均衡LVS721可伸縮網(wǎng)絡(luò)服務(wù)的設(shè)計與實現(xiàn)人類社會正在進(jìn)入以網(wǎng)絡(luò)為中心的信息時代，人們需要更快捷、更可靠、功能更豐富的網(wǎng)絡(luò)服務(wù)。萬維網(wǎng)的流行促進(jìn)互聯(lián)網(wǎng)使用的指數(shù)級增長，現(xiàn)在很多站點收到前所未有的訪問負(fù)載，經(jīng)常擔(dān)心系統(tǒng)如何被擴(kuò)展來滿足不斷增長的性能需求，同時系統(tǒng)如何保持24X7的可用性。未來的應(yīng)用將需要更高的吞吐率、更好的交互性、更高的安全性，這要求服務(wù)平臺具有更強(qiáng)的處理能力和更高的可用性。所以，如何給出合理的框架和有效的設(shè)計方法，來建立高性能、高可伸縮、高可用的網(wǎng)絡(luò)服務(wù)，這是擺在研究者和系統(tǒng)設(shè)計者面前極富挑戰(zhàn)性的任務(wù)。本文研究和設(shè)計的可伸縮網(wǎng)絡(luò)服務(wù)便是圍繞這一任務(wù)展開的。722可伸縮WEB和媒體服務(wù)基于LVS可伸縮WEB和媒體服務(wù)的體系結(jié)構(gòu)，分布式文件系統(tǒng)提供統(tǒng)一的存儲空間，這使得系統(tǒng)的維護(hù)工作比較方便，且系統(tǒng)運行比較高效。當(dāng)所有服務(wù)器結(jié)點超載時，管理員可以很快地加入新的結(jié)點來處理請求，而無需將WEB文檔等復(fù)制到結(jié)點的本地硬盤上。WEBMASTER可以看到統(tǒng)一的文檔存儲空間，維護(hù)和更新頁面比較方便，對分布式文件系統(tǒng)中頁面的修改對所有的服務(wù)器都有效。大的媒體文件（如視頻文件）分段存儲在分布式文件系統(tǒng)的多個結(jié)點上，可以提高文件系統(tǒng)的性能和文件服務(wù)器間的負(fù)載均衡。IP負(fù)載調(diào)度器（即VS/DR方法，將在下一章詳細(xì)敘述）可以分別將WEB服務(wù)和媒體服務(wù)負(fù)載均衡地分發(fā)到各個服務(wù)器上，服務(wù)器將響應(yīng)數(shù)據(jù)直接返回給客戶，這樣可以極大地提高系統(tǒng)的吞吐率。723LVS負(fù)載均衡利用LVS作負(fù)載均衡，實現(xiàn)自動連接均衡，對用戶提供統(tǒng)一的服務(wù)訪問接口，實現(xiàn)系統(tǒng)整體負(fù)載平衡，系統(tǒng)規(guī)模對外透明且可靈活在線伸縮。利用LVS作負(fù)載均衡，在OPENSTACK提供的虛擬服務(wù)上構(gòu)建LVS虛擬機(jī)WEBSERVER集群，同時在LVS的DIRECTOR節(jié)點上進(jìn)行WEB鏈接統(tǒng)計，并以此作為依據(jù)新增或減少OPENSTACK提供的虛擬機(jī)數(shù)量，從而實現(xiàn)動態(tài)伸縮WEBSERVER的規(guī)模。應(yīng)用層利用LVS集群IP負(fù)載均衡技術(shù)和基于內(nèi)容請求分發(fā)技術(shù)，構(gòu)建高性能的、高可用的虛擬服務(wù)器。在設(shè)計時需要考慮系統(tǒng)的透明性、可伸縮性、高可用性和易管理性。LVS集群的體系結(jié)構(gòu)如圖所示，它有三個主要組成部分負(fù)載調(diào)度器（LOADBALANCER），它是整個集群對外面的前端機(jī)，負(fù)責(zé)將客戶的請求發(fā)送到一組服務(wù)器上執(zhí)行，而客戶認(rèn)為服務(wù)是來自一個IP地址上的。它可以是用IP負(fù)載均衡技術(shù)的負(fù)載調(diào)度器，也可以是基于內(nèi)容請求分發(fā)的負(fù)載調(diào)度器，還可以是兩者的結(jié)合。服務(wù)器池（SERVERPOOL），是一組真正執(zhí)行客戶請求的服務(wù)器，執(zhí)行的服務(wù)有WEB、MAIL、FTP和DNS等。后端存儲（BACKENDSTORAGE），它為服務(wù)器池提供一個共享的存儲區(qū)，這樣很容易使得服務(wù)器池?fù)碛邢嗤膬?nèi)容，提供相同的服務(wù)。調(diào)度器采用IP負(fù)載均衡技術(shù)、基于內(nèi)容請求分發(fā)技術(shù)或者兩者相結(jié)合。在IP負(fù)載均衡技術(shù)中，需要服務(wù)器池?fù)碛邢嗤膬?nèi)容提供相同的服務(wù)。當(dāng)客戶請求到達(dá)時，調(diào)度器只根據(jù)負(fù)載情況從服務(wù)器池中選出一個服務(wù)器，將該請求轉(zhuǎn)發(fā)到選出的服務(wù)器，并記錄這個調(diào)度；當(dāng)這個請求的其他報文到達(dá)，也會被轉(zhuǎn)發(fā)到前面選出的服務(wù)器。在基于內(nèi)容請求分發(fā)技術(shù)中，服務(wù)器可以提供不同的服務(wù)，當(dāng)客戶請求到達(dá)時，調(diào)度器可根據(jù)請求的內(nèi)容和服務(wù)器的情況選擇服務(wù)器執(zhí)行請求。因為所有的操作都是在操作系統(tǒng)核心空間中將完成的，它的調(diào)度開銷很小，所以它具有很高的吞吐率。服務(wù)器池的結(jié)點數(shù)目是可變的。當(dāng)整個系統(tǒng)收到的負(fù)載超過目前所有結(jié)點的處理能力時，可以在服務(wù)器池中增加服務(wù)器來滿足不斷增長的請求負(fù)載。對大多數(shù)網(wǎng)絡(luò)服務(wù)來說，結(jié)點與結(jié)點間不存在很強(qiáng)的相關(guān)性，所以整個系統(tǒng)的性能可以隨著服務(wù)器池的結(jié)點數(shù)目增加而線性增長。后端存儲用容錯的分布式文件系統(tǒng)，如AFS、GFS、CODA和INTERMEZZO等。分布式文件系統(tǒng)為各服務(wù)器提供共享的存儲區(qū)，它們訪問分布式文件系統(tǒng)就像訪問本地文件系統(tǒng)一樣。同時，分布式文件系統(tǒng)提供良好的伸縮性和可用性。然而，當(dāng)不同服務(wù)器上的應(yīng)用程序同時訪問分布式文件系統(tǒng)上同一資源時，應(yīng)用程序的訪問沖突需要消解才能使得資源處于一致狀態(tài)。這需要一個分布式鎖管理器（DISTRIBUTEDLOCKMANAGER），它可能是分布式文件系統(tǒng)內(nèi)部提供的，也可能是外部的。開發(fā)者在寫應(yīng)用程序時，可以使用分布式鎖管理器來保證應(yīng)用程序在不同結(jié)點上并發(fā)訪問的一致性。WEB站點會因為在一周或一個月的某些高峰時段被訪問次數(shù)急劇增長而不能及時處理用戶的請求，導(dǎo)致用戶進(jìn)行長時間的等待，大大降低了服務(wù)質(zhì)量；若依據(jù)最大需求建立WEB服務(wù)器，當(dāng)在訪問量空閑時段又會造成資源的大量浪費。這樣就要求WEB服務(wù)能夠動態(tài)伸縮。構(gòu)建一個通用的、可動態(tài)擴(kuò)展的云平臺可以充分滿足這一需求的同時，實現(xiàn)資源的充分利用。以下系統(tǒng)基于云的方式構(gòu)建，在OPENSTACK提供的虛擬服務(wù)上構(gòu)建LVS虛擬機(jī)WEBSERVER集群，同時使用云存儲系統(tǒng)實現(xiàn)大容量、高可靠的數(shù)據(jù)存儲和共享。系統(tǒng)框架如下其中LVS的DIRECTOR、LOADBALANCERBACKUP部署在OPENSTACK提供的虛擬機(jī)上；WEBMEDIASERVER作為LVS的REALSERVER，也部署在OPENSTACK提供的虛擬機(jī)上，并動態(tài)伸縮；在LVS的DIRECTOR、LOADBALANCERBACKUP之前使用HEARTBEAT進(jìn)行熱備切換；在LVS的DIRECTOR、REALSERVER之前實現(xiàn)負(fù)載均衡調(diào)度的同時，使用LDIRECTORD管理調(diào)度策略和對REALSERVER的健康檢測，從而實現(xiàn)故障處理；在REALSERVER之間使用云存儲實現(xiàn)大容量、高可靠的數(shù)據(jù)存儲和共享。WEBMEDIASERVER可使用APACHE、NGINX、LIGHTHTTPD常用架構(gòu)構(gòu)建，同時在LVS的DIRECTOR節(jié)點上進(jìn)行WEB鏈接統(tǒng)計，并以此作為依據(jù)新增或減少OPENSTACK提供的虛擬機(jī)數(shù)量，從而實現(xiàn)動態(tài)伸縮WEBSERVER的規(guī)模，在滿足用戶需求的同時最大程度的利用資源。73云處理系統(tǒng)CPROC731CPROC框架介紹CPROC是一種處理海量數(shù)據(jù)的并行編程模型和計算框架，用于對大規(guī)模數(shù)據(jù)集的并行計算。CPROC通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個節(jié)點實現(xiàn)數(shù)據(jù)處理，每個節(jié)點會周期性的把完成的工作和狀態(tài)的更新報告回來。隨著節(jié)點的增多，CPROC的處理能力將成倍數(shù)增長。實時性平臺在高效率并行分布式軟件的支撐下，可以實時完成數(shù)據(jù)計算和分析工作，如數(shù)據(jù)計算、數(shù)據(jù)查詢、和統(tǒng)計分析等。數(shù)據(jù)計算不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分析和查詢工作基本都在秒級完成，具有前所未有的高效性；高可靠性基于對云計算可靠性深厚的研究積累，徹底解決了當(dāng)前分布式計算平臺易出現(xiàn)的單點故障問題。任何一個節(jié)點出現(xiàn)故障，系統(tǒng)將自動屏蔽，而且不會出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象；可伸縮性在不停機(jī)的情況下，增加節(jié)點，平臺的處理能力自動增加；減少節(jié)點，平臺的處理能力自動縮減。這樣，可以做到與資源池的無縫對接，根據(jù)計算和存儲任務(wù)動態(tài)地申請或釋放資源，最大限度地提高資源利用率；高性價比采用X86架構(gòu)廉價計算機(jī)構(gòu)建云計算平臺，用軟件容錯替代硬件容錯，大大節(jié)省成本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用數(shù)據(jù)庫方案節(jié)省10倍左右的成本；全業(yè)務(wù)支持采用NOSQL關(guān)系數(shù)據(jù)庫混合模式，絕大部分海量數(shù)據(jù)存放于分布式平臺并進(jìn)行分布式處理，少量實時性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫，可支撐各種類型的業(yè)務(wù)。不僅支撐查詢、統(tǒng)計、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務(wù)。732CPROC產(chǎn)品介紹云處理系統(tǒng)CPROC基于創(chuàng)新的數(shù)據(jù)立方（DATACUBE）結(jié)構(gòu)，是一種處理海量數(shù)據(jù)的并行編程模型和計算框架，利用云資源管理平臺提供的虛擬機(jī)資源對大規(guī)模數(shù)據(jù)集進(jìn)行分布式并行計算和數(shù)據(jù)統(tǒng)計，從而滿足平臺數(shù)據(jù)查詢和檢索以及應(yīng)用數(shù)據(jù)統(tǒng)計需求。云處理系統(tǒng)CPROC由5個主要部分組成虛擬資源層，數(shù)據(jù)存儲層，數(shù)據(jù)處理層，監(jiān)控協(xié)調(diào)層和應(yīng)用層。圖中，自底向上分為4個層面。最下層是虛擬資源層，該共享平臺利用OPENSTACK所提供的計算資源、存儲資源和網(wǎng)絡(luò)資源，作為創(chuàng)新平臺數(shù)據(jù)處理系統(tǒng)的基礎(chǔ)設(shè)施和支撐平臺。在這一層又分為物理層和虛擬層，即在物理集群之上搭建了一層VMWARE虛擬集群。這樣做有利于充分利用物理資源，因為在物理層物理機(jī)的性能可能參差不齊，直接將系統(tǒng)搭建在物理集群之上很可能造成負(fù)載的不均衡，如果根據(jù)物理機(jī)的性能來部署虛擬機(jī)，就可以通過調(diào)整配置使得各個虛擬機(jī)之間性能達(dá)到平衡，從而使部署在虛擬集群上的系統(tǒng)出現(xiàn)負(fù)載不平衡的幾率達(dá)到最低。第二層是數(shù)據(jù)存儲層，在這一層將根據(jù)數(shù)據(jù)的所占空間以及速度要求將數(shù)據(jù)分配到不同層次的存儲空間中。最上層是一個作為緩存的MYSQL集群，另外三層包括部署在機(jī)械磁盤上的HADOOP的HDFS分布式文件系統(tǒng)、部署在固態(tài)磁盤上的HDFS以及分布式內(nèi)存存儲系統(tǒng)MEMCACHE。第三層是數(shù)據(jù)處理層，其中包括計算架構(gòu)層和業(yè)務(wù)層。計算架構(gòu)層中的云處理系統(tǒng)是一種處理海量數(shù)據(jù)的并行編程模型和計算框架，用于對大規(guī)模數(shù)據(jù)集的并行計算。云處理系統(tǒng)通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個節(jié)點實現(xiàn)數(shù)據(jù)處理，每個節(jié)點會周期性的把完成的工作和狀態(tài)的更新報告回來。隨著節(jié)點的增多，云處理系統(tǒng)的處理能力將成倍數(shù)增長。而HADOOP的MAPREDUCE并行計算架構(gòu)則適用于對大規(guī)模數(shù)據(jù)進(jìn)行全局讀寫掃描分析和批處理計算。業(yè)務(wù)層由四個部分組成數(shù)據(jù)合成、PSMM、DT數(shù)據(jù)入庫處理模塊和數(shù)據(jù)管理模塊。數(shù)據(jù)入庫處理模塊負(fù)責(zé)數(shù)據(jù)的下載與入庫，其中的FTP下載加速引擎用于使用多線程和斷點續(xù)傳技術(shù)加速數(shù)據(jù)文件的下載，數(shù)據(jù)壓縮引擎用來對入庫前的數(shù)據(jù)進(jìn)行壓縮減少數(shù)據(jù)容量從而加速入庫速度。數(shù)據(jù)管理模塊包括了單用戶數(shù)據(jù)查詢模塊、數(shù)據(jù)查詢統(tǒng)計模塊。最上層是應(yīng)用層，主要供用戶查詢、監(jiān)視相關(guān)的API接口以及JDBC/ODBC、REST等API接口。圖中右側(cè)是監(jiān)控協(xié)調(diào)層，其中由ZOOKEEPER集群負(fù)責(zé)監(jiān)控整個集群同時做負(fù)載平衡以及保證存儲系統(tǒng)和計算架構(gòu)的可靠性。此外，WORLDEYES是云處理系統(tǒng)項目的一個子項目，主要解決對系統(tǒng)中所有系統(tǒng)消耗與系統(tǒng)性能的動態(tài)監(jiān)控。74CSTOR云存儲系統(tǒng)741CSTOR框架介紹CSTOR云存儲系統(tǒng)是國內(nèi)最早實現(xiàn)并保持領(lǐng)先的云存儲系統(tǒng)，整套系統(tǒng)包括軟件與硬件，是一個海量的云存儲平臺。與傳統(tǒng)的大規(guī)模存儲系統(tǒng)相比，它具有構(gòu)建成本低、性能高效可靠、使用簡單方便的特點。在需要存儲大量數(shù)據(jù)（如視頻數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等）的應(yīng)用場合，可以大幅提高存儲系統(tǒng)性價比。與目前國際上知名的GOOGLE、AMAZON等云存儲相比，具有更高的性價比、更低的能耗、更加通用和更方便的使用模式。CSTORC1000存儲機(jī)柜產(chǎn)品優(yōu)勢1、高度可靠高可靠的冗余備份機(jī)制，支持多重數(shù)據(jù)保護(hù)，根據(jù)數(shù)據(jù)可靠性需求可靈活設(shè)置備份，自動屏蔽故障，提供7X24小時不間斷存儲服務(wù)；CSTORC1100元數(shù)據(jù)服務(wù)器2、超高性能支持高并發(fā)、帶寬飽和利用，數(shù)據(jù)在多個節(jié)點上并行讀寫，服務(wù)器自動均衡負(fù)載，系統(tǒng)性能隨節(jié)點數(shù)增加而線性增長，性能與節(jié)點規(guī)模成正比，沒有性能瓶頸；CSTORC1101存儲服務(wù)器3、超大規(guī)?？芍蔚娜萘拷咏鼰o限，理論容量為1024X1024X1024PB（1G個PB容量）；4、綠色節(jié)能自主研發(fā)的超低功耗云存儲硬件節(jié)點，主板尺寸為20CM20CM，功耗僅為10W左右（不含硬盤），比業(yè)界的200W低20倍；5、超高集成由于解決了能耗的問題，散熱不成為集成度的瓶頸，因而可以在1個標(biāo)準(zhǔn)的42U機(jī)架上集成多達(dá)80個存儲節(jié)點，總?cè)萘扛哌_(dá)1024TB；6、動態(tài)伸縮不必停止服務(wù)，即可根據(jù)存儲容量的需求，靈活增減存儲節(jié)點；7、智能管理一鍵式安裝，智能化自適應(yīng)管理，簡單方便的監(jiān)控界面，無需學(xué)習(xí)即可使用；8、簡單通用支持POSIX接口規(guī)范，支持WINDOWS/LINUX，用戶當(dāng)成海量磁盤使用，無需修改應(yīng)用；中國軟件評測中心評測結(jié)果742CSTOR產(chǎn)品介紹云存儲系統(tǒng)是整個云平臺的基礎(chǔ)，它將物聯(lián)網(wǎng)各類檢測數(shù)據(jù)信息，集中存儲到云存儲服務(wù)器中，云處理系統(tǒng)可以對云存儲系統(tǒng)中的數(shù)據(jù)進(jìn)行智能分析、統(tǒng)計、提取有價值的信息，以多字段索引條目的形式對其劃分成塊進(jìn)行存儲，在需要訪問相關(guān)有價值信息時，可以通過索引字段來快速訪問以便提取感興趣的信息。下圖為云存儲的系統(tǒng)架構(gòu)，主要由五部分組成1塊數(shù)據(jù)存儲節(jié)點將文件按照固定大小進(jìn)行分塊，默認(rèn)是64MB，每一塊稱為一個CHUNK（數(shù)據(jù)塊），每個CHUNK都有一個對應(yīng)的索引號（INDEX），數(shù)據(jù)塊存儲在塊數(shù)據(jù)存儲節(jié)點上，根據(jù)可靠性需求的不同，可設(shè)置備份塊的數(shù)目，以實現(xiàn)在不同塊數(shù)據(jù)存儲節(jié)點上的冗余備份存儲。2元數(shù)據(jù)管理節(jié)點元數(shù)據(jù)管理節(jié)點對文件名稱、文件屬性、數(shù)據(jù)塊信息等元數(shù)據(jù)進(jìn)行存儲和管理。3卷管理服務(wù)器由一個元數(shù)據(jù)管理節(jié)點及多個塊數(shù)據(jù)存儲節(jié)點構(gòu)成了一個卷。通過卷管理服務(wù)器將多個卷虛擬為一個無限大的云數(shù)據(jù)存儲空間，該節(jié)點提供針對用戶端的卷管理和分配。4用戶掛載客戶端通過用戶掛載客戶端實現(xiàn)將卷映射到本地文件系統(tǒng)的目錄，兼容POSIX接口，掛載后就和操作本地的文件系統(tǒng)一樣。5配置與監(jiān)控中心提供針對各存儲節(jié)點的管理配置與狀態(tài)監(jiān)控告警功能。云存儲系統(tǒng)中，由云存儲元數(shù)據(jù)管理服務(wù)器MASTER和存儲節(jié)點服務(wù)器CHUNKSERVER構(gòu)成一個虛擬的云空間磁盤卷。MASTER在邏輯上只有一個，但支持雙機(jī)鏡像使用。MASTER保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)整個文件系統(tǒng)的管理，是云存儲文件系統(tǒng)中的“大腦”。CHUNKSERVER負(fù)責(zé)具體的存儲工作。數(shù)據(jù)以文件的形式存儲在CHUNKSERVER上，CHUNKSERVER的個數(shù)可以有多個，它的數(shù)目直接決定了云存儲系統(tǒng)的規(guī)模。云存儲系統(tǒng)將文件按照固定大小進(jìn)行分塊，每一塊稱為一個CHUNK（數(shù)據(jù)塊），每個CHUNK都有一個對應(yīng)的索引號（INDEX）?？蛻舳嗽谠L問云存儲系統(tǒng)時，首先訪問MASTER節(jié)點，獲取將要與之進(jìn)行交互的CHUNKSERVER信息，然后直接訪問這些CHUNKSERVER完成數(shù)據(jù)存取。云存儲系統(tǒng)的這種設(shè)計方法實現(xiàn)了控制流和數(shù)據(jù)流的分離。CLIENT與MASTER之間只有控制流，沒有數(shù)據(jù)流，極大降低了MASTER的負(fù)載，使之不成為系統(tǒng)性能的一個瓶頸。CLIENT與CHUNKSERVER之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個CHUNK進(jìn)行分布式存儲，CLIENT可以同時訪問多個CHUNKSERVER，從而使得整個系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。743CSTOR系統(tǒng)設(shè)計策略一、元數(shù)據(jù)存儲設(shè)計策略為提供高速的客戶端響應(yīng)，元數(shù)據(jù)存儲于元數(shù)據(jù)管理節(jié)點MASTER服務(wù)器的內(nèi)存中，并于本機(jī)進(jìn)行持久化備份；元數(shù)據(jù)管理節(jié)點為主備雙機(jī)方式，提供高可靠不間斷元數(shù)據(jù)管理服務(wù)，單機(jī)故障時可實現(xiàn)無縫快速切換；考慮大容量數(shù)據(jù)存儲時文件數(shù)量多，元數(shù)據(jù)容量大的問題，系統(tǒng)將元數(shù)據(jù)進(jìn)行分布式存儲，采用多個元數(shù)據(jù)管理節(jié)點進(jìn)行元數(shù)據(jù)管理；支持靈活的空間掛載，可根據(jù)業(yè)務(wù)劃分靈活地將不同業(yè)務(wù)數(shù)據(jù)掛載到不同的分布式元數(shù)據(jù)管理節(jié)點和數(shù)據(jù)存儲節(jié)點；二、數(shù)據(jù)節(jié)點存儲策略文件數(shù)據(jù)在大于一定空間的情況被劃分為多個數(shù)據(jù)塊CHUNK，數(shù)據(jù)塊被分布存儲到不同的數(shù)據(jù)節(jié)點服務(wù)器DATANODE。每個塊可被設(shè)置為備份一定的份數(shù)，塊信息被元數(shù)據(jù)管理節(jié)點管理，數(shù)據(jù)備份時由數(shù)據(jù)節(jié)點進(jìn)行串行復(fù)制到其它數(shù)據(jù)節(jié)點DATANODE進(jìn)行備份；（1）分布式存儲策略CSTOR采用中心服務(wù)器模式來管理整個文件系統(tǒng)，可以大大簡化設(shè)計，從而降低實現(xiàn)難度。中心管理服務(wù)器模式如下圖MASTER管理了分布式文件系統(tǒng)中的所有元數(shù)據(jù)。文件劃分為CHUNK進(jìn)行存儲，對于MASTER來說，每個CHUNKSERVER只是一個存儲空間。CLIENT發(fā)起的所有操作都需要先通過MASTER才能執(zhí)行。這樣做有許多好處，增加新的CHUNKSERVER是一件十分容易的事情，CHUNKSERVER只需要注冊到MASTER上即可，CHUNKSERVER之間無任何關(guān)系。如果采用完全對等的、無中心的模式，那么如何將CHUNKSERVER的更新信息通知到每一個CHUNKSERVER，會是設(shè)計的一個難點，而這也將在一定程度上影響系統(tǒng)的擴(kuò)展性。MASTER維護(hù)了一個統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)CHUNKSERVER的情況，據(jù)此可以實現(xiàn)整個系統(tǒng)范圍內(nèi)數(shù)據(jù)存儲的負(fù)載均衡。由于只有一個中心服務(wù)器，元數(shù)據(jù)的一致性問題自然解決。當(dāng)然，中心服務(wù)器模式也帶來一些固有的缺點，比如極易成為整個系統(tǒng)的瓶頸等。CSTOR采用多種機(jī)制來避免MASTER成為系統(tǒng)性能和可靠性上的瓶頸，如盡量控制元數(shù)據(jù)的規(guī)模、對MASTER進(jìn)行遠(yuǎn)程備份、控制信息和數(shù)據(jù)分流等?？蛻舳藢ξ募M(jìn)行分塊，然后可以選擇不同的塊存儲到不同的存儲服務(wù)器上，下一個塊存儲到負(fù)載比較小的存儲服務(wù)器上，相對整個存儲空間來說，實現(xiàn)了分布式存儲。（2）分級存儲策略CSTOR存儲系統(tǒng)采用了分級技術(shù)，把存儲信息根據(jù)信息的重要性、訪問頻率等對信息進(jìn)行了分級存儲，將文件的元數(shù)據(jù)等訪問頻繁的重要信息時刻保持在線存儲，開機(jī)后保存在內(nèi)存中，可以隨時讀取和修改，以滿足前端應(yīng)用服務(wù)器或數(shù)據(jù)庫對數(shù)據(jù)訪問的速度要求。將其它備份數(shù)據(jù)、冗余容錯的數(shù)據(jù)等訪問量小的數(shù)據(jù)等采用廉價的SATA硬盤存儲。對于訪問量小的數(shù)據(jù)采用離線存儲，一旦需要訪問這些數(shù)據(jù)可以使用相應(yīng)的喚醒策略來實現(xiàn)將離線轉(zhuǎn)為在線，如通過網(wǎng)絡(luò)喚醒等。（3）動態(tài)存儲策略在大規(guī)模數(shù)據(jù)存儲過程中，CSTOR采用這樣策略，當(dāng)客服端向管理服務(wù)器請求塊存儲數(shù)據(jù)時，管理服務(wù)器會通知負(fù)載相對比較小的存儲服務(wù)器創(chuàng)建塊和在相對此存儲服務(wù)具用備份的意義存儲服務(wù)器上創(chuàng)建塊，所謂的備份存儲服務(wù)器是指位于不同物理分布位置能夠起到數(shù)據(jù)容災(zāi)的存儲節(jié)點，然后客戶端的數(shù)據(jù)塊存儲到相應(yīng)的位置。有以上分析可知動態(tài)存儲實現(xiàn)策略主要包涵以下兩個方面1）數(shù)據(jù)塊存儲位置選擇。2）數(shù)據(jù)塊副本存儲位置選擇。如下圖三、高可靠性策略對于元數(shù)據(jù)服務(wù)器可能出現(xiàn)的單節(jié)點問題可以用如下策略I雙機(jī)正常工作數(shù)據(jù)流說明A系統(tǒng)文件數(shù)據(jù)發(fā)生變更時，MASTERA【主用】發(fā)送日志變更信息給MASTERB【備用】中的METALOGGER；BMETALOGGER將日志寫入文件，并同時將日志發(fā)送給MASTER【備用】；CMASTER【備用】收到日志后，進(jìn)行日志恢復(fù)，并與已有數(shù)據(jù)合并。IIMASTERA宕機(jī)數(shù)據(jù)流說明AMASTERA宕機(jī)后，MASTERB自動升級為主用；BMASTERB對外服務(wù)，系統(tǒng)文件數(shù)據(jù)發(fā)生變更時，MASTER將日志寫入文件。IIIMASTERA恢復(fù)；數(shù)據(jù)流說明AMASTERA恢復(fù)后，狀態(tài)為備用；B系統(tǒng)文件數(shù)據(jù)發(fā)生變更時，MASTERB【主用】發(fā)送日志變更信息給MASTERA【備用】中的METALOGGER；CMETALOGGER將日志寫入文件，并同時將日志發(fā)送給MASTERA【備用】；DMASTERA【備用】收到日志后，進(jìn)行日志恢復(fù)，并與已有數(shù)據(jù)合并。解決了管理服務(wù)器的單節(jié)點問題后，在大規(guī)模數(shù)據(jù)統(tǒng)一調(diào)度過程中要害保證存儲節(jié)點的完整性。在客戶端對文件進(jìn)行以64M分塊，考慮到一個集群通常都有好幾百臺機(jī)器、幾千塊硬盤，磁盤損壞導(dǎo)致數(shù)據(jù)在讀寫過程中損壞或者丟失是非常常見的，我們可以通過別的塊副本來解決數(shù)據(jù)損壞問題，但是跨越存儲服務(wù)器比較副本來檢查數(shù)據(jù)是否損壞很不實際，因此，每個存儲服務(wù)器必須獨立維護(hù)校驗和來校驗自己的副本的完整性。我們把每個塊都分成64KB大小的塊。每個塊都對應(yīng)一個32位的校驗和。和其它元數(shù)據(jù)一樣，校驗和與其它的用戶數(shù)據(jù)是分開的，并且保存在內(nèi)存和硬盤上，同時也記錄操作日志。四、客戶端訪問策略掛載客戶端通過卷管理服務(wù)器獲取卷空間；掛載客戶端與相應(yīng)的卷空間元數(shù)據(jù)節(jié)點MASTER建立通信連接和元數(shù)據(jù)操作，獲得數(shù)據(jù)塊節(jié)點存儲信息；掛載客戶端與相應(yīng)的數(shù)據(jù)節(jié)點DATANODE進(jìn)行數(shù)據(jù)讀寫。數(shù)據(jù)節(jié)點DATANODE根據(jù)合適的備份策略向相應(yīng)的其它數(shù)據(jù)節(jié)點發(fā)送塊數(shù)據(jù)進(jìn)行備份。五、負(fù)載分擔(dān)調(diào)度策略CSTOR系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，結(jié)合相應(yīng)算法，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷和位置服務(wù)器定位存儲信息，進(jìn)行分布式存儲，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展，從而實現(xiàn)了分布是存儲。在CSTOR存儲系統(tǒng)中，客戶端主要進(jìn)行的是文件的寫、讀等操作。寫時，元數(shù)據(jù)服務(wù)器根據(jù)負(fù)載均衡算法選擇存儲服務(wù)器集群中當(dāng)前性能最優(yōu)的存儲服務(wù)器節(jié)點。如果僅限于此，當(dāng)遇到高并發(fā)讀同一文件時，則存儲該份文件的存儲服務(wù)器必然會超載甚至崩潰。解決方案是采用根據(jù)文件訪問流行度的副本生成策略，將文件根據(jù)訪問頻率復(fù)制N個（具體N值取決于副本生成策略）副本存儲到其它存儲服務(wù)器節(jié)點上。在此基礎(chǔ)上進(jìn)行讀，元數(shù)據(jù)服務(wù)器根據(jù)負(fù)載均衡算法在多臺具有文件副本的存儲服務(wù)器節(jié)點中選擇最優(yōu)節(jié)點。六、自適應(yīng)容錯策略在客戶端對文件進(jìn)行以64M分塊，考慮到一個集群通常都有好幾百臺機(jī)器、幾千塊硬盤，磁盤損壞導(dǎo)致數(shù)據(jù)在讀寫過程中損壞或者丟失是非常常見的，我們可以通過別的塊副本來解決數(shù)據(jù)損壞問題，但是跨越存儲服務(wù)器比較副本來檢查數(shù)據(jù)是否損壞很不實際，因此，每個存儲服務(wù)器必須獨立維護(hù)校驗和來校驗自己的副本的完整性。我們把每個塊都分成64KB大小的塊。每個塊都對應(yīng)一個32位的校驗和。和其它元數(shù)據(jù)一樣，校驗和與其它的用戶數(shù)據(jù)是分開的，并且保存在內(nèi)存和硬盤上，同時也記錄操作日志。對于讀操作來說，在把數(shù)據(jù)返回給客戶端或者其它的塊服務(wù)器之前，塊服務(wù)器會校驗讀取操作涉及的范圍內(nèi)的塊的校驗和。因此存儲服務(wù)器不會把錯誤數(shù)據(jù)傳遞到其它的機(jī)器上。如果發(fā)生某個塊的校驗和不正確，存儲服務(wù)器返回給請求者一個錯誤信息，并且通知管理服務(wù)器這個錯誤。作為回應(yīng)，請求者應(yīng)當(dāng)從其它副本讀取數(shù)據(jù)，管理服務(wù)器也會從其它副本克隆數(shù)據(jù)進(jìn)行恢復(fù)，當(dāng)一個新的副本就緒后，管理服務(wù)器通知副本錯誤的存儲服務(wù)器刪掉錯誤的副本。如果寫操作覆蓋已經(jīng)存在的一個范圍內(nèi)的塊，我們必須讀取和校驗被覆蓋的第一個和最后一個塊，然后再執(zhí)行寫操作；操作完成之后再重新計算和寫入新的校驗和，如果我們不校驗第一個和最后一個被寫的塊，那么新的校驗和可能會隱藏沒有被覆蓋區(qū)域內(nèi)的數(shù)據(jù)錯誤。在塊服務(wù)器空閑的時候，它會掃描和校驗每個不活動的塊的內(nèi)容。這使得我們能夠發(fā)現(xiàn)很少被讀取的塊是否完整。一旦發(fā)現(xiàn)有塊的數(shù)據(jù)損壞，管理服務(wù)器可以創(chuàng)建一個新的、正確的副本，然后把損壞的副本刪除掉。這個機(jī)制也避免了非活動的、已損壞的塊欺騙管理節(jié)點，使管理服務(wù)器節(jié)點認(rèn)為它們已經(jīng)有了足夠多的副本。七、性能與容量動態(tài)伸縮策略在設(shè)計大規(guī)模數(shù)據(jù)存儲系統(tǒng)時，盡可能減少對管理服務(wù)器的訪問，客戶端和存儲節(jié)點直接交互數(shù)據(jù)，就要做到數(shù)據(jù)流和控制流分離，存儲服務(wù)器采用塊級存儲，所有客戶端訪問的存儲服務(wù)器最大可能分散到整個存儲集群，這樣就分擔(dān)了網(wǎng)絡(luò)帶寬和實現(xiàn)多I/O節(jié)點訪問，實現(xiàn)網(wǎng)絡(luò)帶寬最大利用率和克服I/O瓶頸。如一次寫入數(shù)據(jù)量很大，或著數(shù)據(jù)跨越了多個塊，客戶端代碼會把數(shù)據(jù)分為多個寫操作。隨著存儲服務(wù)器的增加，多客戶端的讀寫性能越高，存儲服務(wù)器的減少，系統(tǒng)的I/O會較少，系統(tǒng)性能就會下降。所以，采用分布式設(shè)計間接的實現(xiàn)了性能伸縮。為了解決單集群無法滿足存儲要求，我們采用卷管理的設(shè)計是想，采用卷管理服務(wù)器管理元數(shù)據(jù)服務(wù)器，大大擴(kuò)展了系統(tǒng)的容量。744CSTOR關(guān)鍵技術(shù)一、元數(shù)據(jù)分布式存儲技術(shù)考慮熱點數(shù)據(jù)的分布信息，通過將海量的元數(shù)據(jù)有效地分散存儲在多個元數(shù)據(jù)服務(wù)器上來降低存儲負(fù)載。采用分級聚集機(jī)制來存儲數(shù)據(jù)，來保證查詢結(jié)果的有效性和準(zhǔn)確性。分析元數(shù)據(jù)多維屬性信息的語義特征，將相關(guān)文件組織在相同或相近的組內(nèi)，多個組構(gòu)成語義RTREE