公務(wù)用車管理信息化平臺(tái)整體建設(shè)方案_第1頁(yè)
公務(wù)用車管理信息化平臺(tái)整體建設(shè)方案_第2頁(yè)
公務(wù)用車管理信息化平臺(tái)整體建設(shè)方案_第3頁(yè)
公務(wù)用車管理信息化平臺(tái)整體建設(shè)方案_第4頁(yè)
公務(wù)用車管理信息化平臺(tái)整體建設(shè)方案_第5頁(yè)
已閱讀5頁(yè),還剩306頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

目錄TOC\o"1-5"\h\z\o"CurrentDocument"\h第1章設(shè)計(jì)說(shuō)明 5指導(dǎo)思想 5建設(shè)原則 5建設(shè)目標(biāo) 6政策依據(jù) 7公務(wù)用車制度改革的重要意義 2\o"CurrentDocument"\h第2章需求分析 3需求調(diào)研 3可行性分析 3技術(shù)可行性 3經(jīng)濟(jì)可行性 4操作可行性 4法律可行性 4系統(tǒng)用戶用例圖 5后臺(tái)管理員用例圖 5前臺(tái)用戶用例圖 5設(shè)計(jì)思想 6性能需求 7系統(tǒng)的安全性 7數(shù)據(jù)間參照完整性 7界面需求 7\o"CurrentDocument"\h第3章系統(tǒng)分析與設(shè)計(jì) 10功能模塊結(jié)構(gòu)設(shè)計(jì) IO管理員功能結(jié)構(gòu)設(shè)計(jì) IO前臺(tái)用戶功能結(jié)構(gòu)設(shè)計(jì) Il數(shù)據(jù)庫(kù)設(shè)計(jì) 12概念結(jié)構(gòu)設(shè)計(jì) 12邏輯結(jié)構(gòu)設(shè)計(jì) 14數(shù)據(jù)庫(kù)的連接原理 17\o"CurrentDocument"\h第4章系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn) 19系統(tǒng)操作流程 19系統(tǒng)登陸頁(yè)面 20后臺(tái)功能設(shè)計(jì) 22車輛信息管理 24駕駛員信息管理 30出車信息管理 35系統(tǒng)管理 40修改密碼 42出系統(tǒng) 43公車管理體系總體設(shè)計(jì)方案 44設(shè)計(jì)原則 44系統(tǒng)架構(gòu) 45主要工作流程 47建設(shè)內(nèi)容 49規(guī)劃功能 49\o"CurrentDocument"\h第5章建設(shè)方案 52基礎(chǔ)信息庫(kù) 52一般公務(wù)用車調(diào)度中心 52應(yīng)急接待調(diào)研用車平臺(tái) 54跨部門綜合執(zhí)法用車平臺(tái) 55手機(jī)APP終端 56大數(shù)據(jù)分析中心 57消息預(yù)警平臺(tái) 57車載衛(wèi)星定位平臺(tái) 58電子圍欄平臺(tái) 58定制化城市GIS地圖 58單位用車考核子系統(tǒng) 59用車超時(shí)管理子系統(tǒng) 59公務(wù)車輛管理系統(tǒng) 59系統(tǒng)特點(diǎn) 60系統(tǒng)功能 60系統(tǒng)集成 106集成建設(shè)總體原則 106本期集成項(xiàng)目集成規(guī)劃思路 122項(xiàng)目成果交付 140項(xiàng)目質(zhì)量服務(wù)體系 142項(xiàng)目服務(wù)承諾 151車輛管理大數(shù)據(jù)建設(shè) 156系統(tǒng)架構(gòu) 157數(shù)據(jù)流程設(shè)計(jì) 165交通大數(shù)據(jù)平臺(tái)功能 167云分析系統(tǒng)功能 175網(wǎng)絡(luò)子系統(tǒng)建設(shè) 178計(jì)算資源池建設(shè) 180存儲(chǔ)資源池建設(shè) 198數(shù)據(jù)庫(kù)子系統(tǒng)建設(shè) 213云計(jì)算資源管理平臺(tái)建設(shè) 215云平臺(tái)安全體系建設(shè) 218云平臺(tái)災(zāi)備子系統(tǒng)建設(shè) 221機(jī)房子系統(tǒng) 223\o"CurrentDocument"\h第6章系統(tǒng)培訓(xùn)和售后服務(wù) 270系統(tǒng)培訓(xùn)計(jì)劃 270培訓(xùn)概述 270培訓(xùn)目的 271培訓(xùn)主要流程 273培訓(xùn)保證措施 273培訓(xùn)內(nèi)容 274現(xiàn)場(chǎng)培訓(xùn)的主要方法 275子系統(tǒng)培訓(xùn)計(jì)劃 275培訓(xùn)考核 283培訓(xùn)對(duì)象 283售后服務(wù)計(jì)劃 285保修期內(nèi)售后服務(wù)承諾 285系統(tǒng)保修期內(nèi)的定期維護(hù) 286保修技術(shù)力量表 287售后服務(wù) 287提供貨物,三包‘ 288售后服務(wù) 290售后服務(wù)承諾 294維護(hù)人員 298售后服務(wù)項(xiàng)目 298第1章設(shè)計(jì)說(shuō)明Ll指導(dǎo)思想圍繞建設(shè)節(jié)約型、廉潔型機(jī)關(guān),堅(jiān)持社會(huì)化、市場(chǎng)化方向,轉(zhuǎn)變傳統(tǒng)的公務(wù)用車運(yùn)行管理方式,合理有效配置公務(wù)用車資源,創(chuàng)新公務(wù)交通分類提供方式,實(shí)現(xiàn)公務(wù)出行便捷合理、交通費(fèi)用節(jié)約可控、公車管理規(guī)范透明、監(jiān)管問(wèn)責(zé)科學(xué)有效,基本形成符合實(shí)踐需要新型公務(wù)用車制度。堅(jiān)持制度創(chuàng)新,改革公務(wù)用車實(shí)物供給方式,切實(shí)保障公務(wù)出行;堅(jiān)持統(tǒng)籌兼顧,科學(xué)制定改革方案和相關(guān)配套政策,確保新舊機(jī)制平穩(wěn)過(guò)渡、有機(jī)銜接;堅(jiān)持厲行節(jié)約,確保改革后公務(wù)交通支出低于改革前支出總額,整體節(jié)支率達(dá)7%。1.2建設(shè)原則1、積極穩(wěn)妥。車改要保證開(kāi)展業(yè)務(wù)工作所必需的交通條件,正常工作不能受到影響。要避免因車改影響工作積極性、影響工作效率的情況發(fā)生。2、注重實(shí)效。車改要體現(xiàn)厲行節(jié)約、反對(duì)奢侈浪費(fèi)的要求。實(shí)行車改后,財(cái)政在公務(wù)交通方面的支出要有較大幅度的減少。3、利于廉政。車改要從根本上解決公務(wù)用車方面的不正之風(fēng)和腐敗現(xiàn)象,車改后要繼續(xù)加強(qiáng)管理和監(jiān)督,防止出現(xiàn)新的問(wèn)題。4、公開(kāi)透明。車改要與當(dāng)前經(jīng)濟(jì)發(fā)展、群眾生活水平相適應(yīng),與財(cái)政承受能力相適應(yīng)。要廣泛征求意見(jiàn),得到多數(shù)干部群眾的支持和擁護(hù),嚴(yán)格規(guī)范實(shí)施過(guò)程,并接受社會(huì)監(jiān)督。L3建設(shè)目標(biāo)根據(jù)文件指示,利用信息化手段進(jìn)行公務(wù)用車管理,主要建立一個(gè)中心,兩個(gè)平臺(tái),即用車服務(wù)中心,應(yīng)急調(diào)度接待平臺(tái)和綜合執(zhí)法用車平臺(tái),需要進(jìn)行同步建設(shè),統(tǒng)一管理。用車服務(wù)中心由機(jī)關(guān)事務(wù)局負(fù)責(zé)管理。按照務(wù)實(shí)、從緊、節(jié)儉、高效的原則,服務(wù)中心保留接待用車、應(yīng)急用車和行政執(zhí)法用車,實(shí)行集中管理、企業(yè)化運(yùn)作、有償使用。服務(wù)中心車輛主要用于重大活動(dòng)、重要會(huì)議、重要接待、重大突發(fā)事件和機(jī)關(guān)部門、單位、鎮(zhèn)(街道)重大活動(dòng)、公務(wù)接待、突發(fā)性任務(wù)、行政執(zhí)法、老干部活動(dòng)、機(jī)要保密活動(dòng)、無(wú)自備車人員公務(wù)活動(dòng)等的需要。同時(shí)保留必要用車,應(yīng)急保障辦法,嚴(yán)格規(guī)范管理工作,對(duì)公務(wù)人員進(jìn)行合理補(bǔ)貼,節(jié)支率要小于7%,分級(jí)補(bǔ)貼,科學(xué)調(diào)整。建立司勤管理體系,規(guī)范車輛維修處置,以便建立新的公務(wù)用車管理制度,積極推進(jìn)廉潔型機(jī)關(guān)和節(jié)約型社會(huì),主要實(shí)現(xiàn)以下幾個(gè)目標(biāo):保障出行,降低成本信息化建設(shè)在管理公車的過(guò)程中,原則上是要保障正常的公務(wù)出行,同時(shí)要降低公車消費(fèi)的成本,在車輛使用過(guò)程中,通過(guò)平臺(tái),最大化的使用公車,并進(jìn)行調(diào)度,提升公車使用效率,降低出行成本。出行便捷,節(jié)約可控對(duì)公務(wù)人員進(jìn)行合理補(bǔ)貼,公職人員可以自由選擇出行方式,做到出行便捷,分級(jí)補(bǔ)貼,節(jié)約可控,防止高出行崗位補(bǔ)貼不合理,既坐公車又拿補(bǔ)貼現(xiàn)象。3、管理透明,問(wèn)責(zé)科學(xué)建設(shè)公務(wù)用車管理服務(wù)平臺(tái),使得公車統(tǒng)一管理,管理透明,不進(jìn)可對(duì)車輛進(jìn)行管理,也可對(duì)人員,單位等進(jìn)行考核管理,使得問(wèn)責(zé)科學(xué)。運(yùn)用科學(xué)發(fā)展觀,充分理解車改方案,學(xué)習(xí)先進(jìn)地區(qū)車務(wù)改革經(jīng)驗(yàn),將傳統(tǒng)調(diào)度模式轉(zhuǎn)變成可視化凋度。建立起公務(wù)車與管理端之間迅速、準(zhǔn)確、有效的信息傳遞通道,隨時(shí)掌握車輛動(dòng)態(tài),科學(xué)調(diào)度,精細(xì)管理,保障出行,市場(chǎng)運(yùn)作,降低成本,將傳統(tǒng)模式的公車管理方式進(jìn)行創(chuàng)新。1、《中共中央關(guān)于制定國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年規(guī)劃的建議》;2、《中央和國(guó)家機(jī)關(guān)公務(wù)用車制度改革方案》;3、《關(guān)于全面推進(jìn)公務(wù)用車制度改革的指導(dǎo)意見(jiàn)》;4、《黨政機(jī)關(guān)厲行節(jié)約反對(duì)浪費(fèi)條例》5《**省全面推進(jìn)公務(wù)用車制度改革總體方案》,;6、《**市公務(wù)車輛管理專項(xiàng)工作實(shí)施方案》;7、《**市公務(wù)用車改革實(shí)施細(xì)則》;8、《**市公務(wù)用車配套系統(tǒng)設(shè)計(jì)調(diào)研報(bào)告》1.5公務(wù)用車制度改革的重要意義新中國(guó)成立以來(lái),公務(wù)用車一直實(shí)行實(shí)物供給制度,對(duì)保障公務(wù)出行發(fā)揮了重要作用。隨著社會(huì)主義市場(chǎng)經(jīng)濟(jì)體制不斷完善,傳統(tǒng)公務(wù)用車制度越來(lái)越難以適應(yīng)形勢(shì)發(fā)展需要,車輛配備范圍過(guò)大、運(yùn)行管理成本偏高、公車私用等問(wèn)題日益突出,社會(huì)對(duì)此反映強(qiáng)烈。為解決公務(wù)用車領(lǐng)域存在的突出何題,習(xí)近平總書記、李克強(qiáng)總理多次作出重要指示,黨中央、國(guó)務(wù)院專門作出部署,強(qiáng)調(diào)要全面推進(jìn)公務(wù)用車制度改革。近年來(lái)一些地方和部門進(jìn)行了積極改革探索,為全面推進(jìn)公務(wù)用車制度改革積累了有益經(jīng)驗(yàn)。全面推進(jìn)公務(wù)用車制度改革,是加強(qiáng)黨風(fēng)廉政建設(shè)、厲行節(jié)約反對(duì)浪費(fèi)的重要舉措,是轉(zhuǎn)變政府職能、推進(jìn)后勤服務(wù)社會(huì)化改革的重要內(nèi)容,是順應(yīng)民意、維護(hù)黨和政府形象的迫切要求。各地區(qū)各部門要充分認(rèn)識(shí)公務(wù)用車制度改革的重要意義,采取切實(shí)有效措施加快改革步伐。#VmwareESX、Xen、MSHyPer-V等產(chǎn)品。無(wú)論是計(jì)算集群(Cluster)>負(fù)載均衡集群(LoadBalance),還是主機(jī)虛擬化,都屬于計(jì)算資源虛擬化技術(shù),多種虛擬化技術(shù)也可以組合使用,使得計(jì)算資源池的使用更加靈活?;赬86架構(gòu)的計(jì)算平臺(tái)云計(jì)算中心采用標(biāo)準(zhǔn)的X86架構(gòu)服務(wù)器作為"云”的節(jié)點(diǎn)機(jī)?;赬86平臺(tái)的服務(wù)器使用IntelXeon或者AMDOPterOn作為處理器,也就是通常所說(shuō)的PC服務(wù)器。X86架構(gòu)的服務(wù)器使用標(biāo)準(zhǔn)化、商業(yè)化的部件,從而成為構(gòu)建大型云計(jì)算中心的最佳選擇。近年來(lái),IntelXeon和AMDOpteron的性能獲得巨大的提高,大量的先進(jìn)技術(shù)和工藝先后被Intel/AMD引人其處理器的設(shè)計(jì)和制造中,比如,64位計(jì)算、直連結(jié)構(gòu)、內(nèi)嵌內(nèi)存控制器、多核(目前,IntelXeon最多可以做到10核;AMDOPterOn可以做到16核)、硬件輔助虛擬化技術(shù)(IntelVT?AMD-V)、32nm制程等等。在國(guó)際權(quán)威的測(cè)試機(jī)構(gòu)TPC組織發(fā)布的結(jié)果中,采用X86架構(gòu)的服務(wù)器價(jià)格/性能比最佳。從性能角度,4顆IntelXeon7560的tpmC值就可達(dá)到24顆POwER7的23%o最后,基于X86架構(gòu)的服務(wù)器因?yàn)槠溟_(kāi)放的架構(gòu),開(kāi)放的生態(tài)系統(tǒng),使其具有較低的運(yùn)維成本,這也是小型機(jī)等封閉系統(tǒng)所不能比擬的。從可靠性的角度,在云計(jì)算環(huán)境下,通常大量采用虛擬化、分布式、并行計(jì)算等模式,有力的保證了計(jì)算系統(tǒng)的可靠性。全球幾大互聯(lián)網(wǎng)巨頭,Google、Amazon.百度、阿里巴巴等,無(wú)不大量采用X86架構(gòu)的設(shè)備,支撐海量的互聯(lián)網(wǎng)檢索和訪問(wèn)。

1)并行計(jì)算技術(shù)高性能并行處理技術(shù)主要包括基于共享內(nèi)存的OpenMP和多線程以及基于分布式消息傳遞的MPT,其中MPT技術(shù)可擴(kuò)展性強(qiáng)、計(jì)算效率高,是目前業(yè)界最流行的高性能并行處理技術(shù)。MPI和OpenMP等井行處理技術(shù)的能力可以很好的滿足物聯(lián)網(wǎng)計(jì)算密集類應(yīng)用的高性O(shè)riginalProblemUnitSofexecution十newShiirCddataCorrespondingsourcecodeOriginalProblemUnitSofexecution十newShiirCddataCorrespondingsourcecode。DecomposeintotasksforextracteddependenciesTasks,sharedandlocaldataforextracteddependenciesWIOiJ^bJarJ_Fm∣∣∣圖:并行計(jì)算思想:分而治之2)Map/Reduce分布式計(jì)算Hadoop系統(tǒng)是Apache開(kāi)源組織的一個(gè)分布式計(jì)算開(kāi)源框架,在很多大型網(wǎng)站上都已經(jīng)得到了應(yīng)用,如亞馬遜、Facebook和Yahoo等等。Hadoop設(shè)計(jì)了用來(lái)在由通用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架,利用了分布式文件系統(tǒng)的備份恢復(fù)機(jī)制保證了系統(tǒng)的高可靠性,為用戶提供了一個(gè)全新的穩(wěn)定的存儲(chǔ)系統(tǒng)和分析系統(tǒng)。其主要部分是模擬Google的GFS和Map/Reduce框架完成的,下圖顯示了Hadoop的體系結(jié)構(gòu),存儲(chǔ)系統(tǒng)是用HDFS實(shí)現(xiàn)的,而分析系統(tǒng)使用Map/Reduce實(shí)現(xiàn)。Hadoop的工程本身還包括其它子系統(tǒng),如HBaSe、ZOOKeePer等。ComputeCIusterμ^Reduce[心Qd?Sda。d*a3adatadatedeudeudaUdatadaU?daUd?U<Mjd?udasdmdMa3adatadatedatadaUdat?Data?sdetadatedatadaaμ^Reduce[心Qd?Sda。d*a3adatadatedeudeudaUdatadaU?daUd?U<Mjd?udasdmdMa3adatadatedatadaUdat?Data?sdetadatedatadaadatadatad心dm<tκa&3d?Udmd*aM?d?Udatad心dmOmCbudmdmdM?MQ、daUH?ladaU?Mλ&UDFSBIockJ∣l JDFSBkxk2DFSBkxDFSβkκklJ≈:M梵梵器Rddddddddd圖:Hadc)OP的體系結(jié)構(gòu)3)可重構(gòu)計(jì)算技術(shù)根據(jù)摩爾定律,CPU處理能力每18個(gè)月翻一倍,過(guò)去30年都是按照這個(gè)速度在不斷提高。在此過(guò)程中解決了一個(gè)又一個(gè)的技術(shù)難題,如時(shí)鐘頻率、超標(biāo)量架構(gòu)、流水線技術(shù)等,使處理能力得到了極大地提高。然而根據(jù)吉爾德定律,在未來(lái)25年,主干網(wǎng)的帶寬每6個(gè)月增長(zhǎng)一倍,換句話說(shuō),也可以理解為需要處理的內(nèi)容的增長(zhǎng)速度是CPU處理能力的3倍,也就是說(shuō)在信息處理系統(tǒng)的建設(shè)中,系統(tǒng)規(guī)模將會(huì)呈現(xiàn)持續(xù)上升,而不會(huì)因?yàn)镃PU的發(fā)展而有所緩解?;诳芍貥?gòu)計(jì)算技術(shù)來(lái)實(shí)現(xiàn)特殊應(yīng)用的加速是目前主流的方案。云計(jì)算技術(shù)在提供傳統(tǒng)計(jì)算手段之外,還應(yīng)該針對(duì)具體應(yīng)用需求,提供眾核協(xié)處理器、GPU計(jì)算和FPGA三種可重構(gòu)計(jì)算模式,適應(yīng)不同類型應(yīng)用的需求。例如在網(wǎng)絡(luò)數(shù)據(jù)處理、音視頻信息處理等方面,即可針對(duì)應(yīng)用處理要求,選用相應(yīng)的可重構(gòu)計(jì)算模式,以提高處理能力,降低系統(tǒng)規(guī)模的過(guò)快增長(zhǎng)。4)主機(jī)虛擬化技術(shù)主機(jī)虛擬化技術(shù)是實(shí)現(xiàn)資源池化的重要手段之一。近年來(lái),X86架構(gòu)上的主機(jī)虛擬化技術(shù)逐漸成熟,涌現(xiàn)出不少技術(shù)和產(chǎn)品,VMwareESX、Xen、微軟Hyper-V就是其中的代表。作為第一個(gè)(1998年)將主機(jī)虛擬化技術(shù)引入X86平臺(tái)的廠商,VMware目前在X86平臺(tái)的虛擬化市場(chǎng)上處于領(lǐng)先地位,ESX的最新版本是6.OC作為與ESX相類似(同屬裸金屬架構(gòu))的Hypervisor和ESX的競(jìng)爭(zhēng)者,Xen和Hyper-V也越來(lái)越強(qiáng)大。Xen是劍橋大學(xué)于2005年發(fā)布的一個(gè)開(kāi)源的Hypervisor,已被吸收到Redhat、SuSE>OraCleVM中。Xen已經(jīng)于2007年被Citrix收購(gòu),但目前仍然作為一個(gè)開(kāi)源項(xiàng)目由Citrix維護(hù),代表著開(kāi)源社區(qū)的力量。目前,Xen的最新版本是4.0.1,而CitrixXenServer的最新版本是5.6。微軟于2008年發(fā)布了自己的Hypervisor Hyper-V,目前己經(jīng)更新到HyPer-Vr2版本。5.15.6.2X86虛擬化實(shí)現(xiàn)X86服務(wù)器虛擬化,就是在硬件和操作系統(tǒng)之間引入虛擬化層,如下圖。虛擬化層允許多個(gè)操作系統(tǒng)實(shí)例同時(shí)運(yùn)行在一臺(tái)物理服務(wù)器上,動(dòng)態(tài)分區(qū)和共享所有可用的物理資源,包括:CPU、內(nèi)存、存儲(chǔ)和I/O設(shè)備。隨著服務(wù)器和臺(tái)式機(jī)的計(jì)算能力急劇增加,虛擬化技術(shù)應(yīng)用廣泛普及,很多用戶已經(jīng)在開(kāi)發(fā)/測(cè)試、服務(wù)器整合、數(shù)據(jù)中心優(yōu)化和業(yè)務(wù)連續(xù)性方面證實(shí)了虛擬化的效用。虛擬架構(gòu)己經(jīng)可以將操作系統(tǒng)和應(yīng)用從硬件上分離出來(lái),打包成獨(dú)立的、可移動(dòng)的虛擬機(jī),從來(lái)帶來(lái)極大的靈活性。例如:可以通過(guò)虛擬架構(gòu),讓服務(wù)器24小時(shí)*365天運(yùn)行,避免因?yàn)閭浞莼蚍?wù)器維護(hù)而帶來(lái)的停機(jī)。對(duì)于X86虛擬化,有兩種常見(jiàn)的架構(gòu):寄居架構(gòu)和裸金屬架構(gòu)?!黾木蛹軜?gòu):將虛擬化層運(yùn)行在操作系統(tǒng)之上,當(dāng)作一個(gè)應(yīng)用來(lái)運(yùn)行,對(duì)硬件的支持很廣泛?!雎憬饘偌軜?gòu):直接將虛擬化層運(yùn)行在X86的硬件系統(tǒng)上,可以直接訪問(wèn)硬件資源,無(wú)需通過(guò)操作系統(tǒng)實(shí)現(xiàn)硬件訪問(wèn),因此效率更高。虛擬化層虛擬化層是運(yùn)行在虛擬機(jī)監(jiān)控器(VMM,VirtualMachineMonitor)上面、負(fù)責(zé)管理所有虛擬機(jī)的軟件。如下圖所示,虛擬化層就是Hypervisor(管理程序)直接運(yùn)行在硬件上,因此,Hypervisor的功能極大地取決于虛擬化架構(gòu)和實(shí)現(xiàn)。運(yùn)行在Hypervisor(管理程序)上的每個(gè)VMM進(jìn)行了硬件抽取,負(fù)責(zé)運(yùn)行傳統(tǒng)的操作系統(tǒng)。每個(gè)VMM必須進(jìn)行分區(qū)和CPU、內(nèi)存和I/O設(shè)備的共享,從而實(shí)現(xiàn)系統(tǒng)的虛擬化。圖:Hypervisor通過(guò)VMM管理虛擬機(jī)CPU虛擬化根據(jù)最初設(shè)計(jì),X86上的操作系統(tǒng)需要直接運(yùn)行在裸機(jī)上,因此默認(rèn)擁有和控制所有的硬件。如下圖所示,X86架構(gòu)提供了四種特權(quán)級(jí)別Ring0、1、2和3,通過(guò)這四種級(jí)別來(lái)控制和管理對(duì)硬件的訪問(wèn)。通常,用戶級(jí)的應(yīng)用一般運(yùn)行在Ring3級(jí)別,操作系統(tǒng)需要直接訪問(wèn)內(nèi)存和硬件,需要在Ringo執(zhí)行它的特權(quán)指令。為了虛擬X86架構(gòu),需要在操作系統(tǒng)下面運(yùn)行虛擬化層,由虛擬化層來(lái)創(chuàng)建和管理虛擬機(jī),進(jìn)行共享資源分配。而有些敏感指令不能很好的進(jìn)行虛擬化,它們?cè)赗ingO以外級(jí)別執(zhí)行時(shí),會(huì)出現(xiàn)不同的結(jié)果。如何在運(yùn)行時(shí)捕獲和翻譯這些敏感指令成為X86虛擬化的一大挑戰(zhàn),使得X86架構(gòu)虛擬化最初難以實(shí)現(xiàn)。圖:X86架構(gòu)虛擬化前的特權(quán)級(jí)別到目前為止,有三種典型的技術(shù)來(lái)解決X86虛擬化的難題:完全虛擬化;操作系統(tǒng)幫助下的虛擬化,即半虛擬化;硬件幫助的虛擬化。完全虛擬化完全虛擬化技術(shù)翻譯核心指令來(lái)代替那些不能虛擬化的指令,通過(guò)翻譯后的指令直接訪問(wèn)虛擬硬件。同時(shí),所有用戶級(jí)指令還是可以直接在CPU上執(zhí)行來(lái)確保虛擬化的性能。每個(gè)VMM為每個(gè)虛擬機(jī)提供完整的硬件支持服務(wù),包括虛擬BIOS、虛擬設(shè)備和虛擬內(nèi)存管理。完全虛擬化實(shí)現(xiàn)后,客戶操作系統(tǒng)可以通過(guò)虛擬化層從物理硬件上完全抽取出來(lái),客戶操作系統(tǒng)感知不到是否發(fā)生虛擬化,完全不需進(jìn)行修改。完全虛擬化是迄今為止唯一不需硬件或操作系統(tǒng)協(xié)助來(lái)進(jìn)行敏感和特權(quán)指令虛擬化的技術(shù),Hypervisor(管理程序)可以翻譯所有的操作系統(tǒng)特權(quán)指令,并保存在緩存里備用,而用戶級(jí)指令完全可以全速直接執(zhí)行。完全虛擬化提供了最好的虛擬機(jī)隔離和安全性,簡(jiǎn)化了客戶操作系統(tǒng)遷移和移植能力。半虛擬化半虛擬化需要修改操作系統(tǒng)內(nèi)核,替換掉不能虛擬化的指令,通過(guò)超級(jí)調(diào)用(HyPercaIl)直接和底層的虛擬化層Hypervisor來(lái)通訊,Hypervisor同時(shí)也提供了超級(jí)調(diào)用接口來(lái)滿足其他關(guān)鍵內(nèi)核操作,比如內(nèi)存管理、中斷和時(shí)間保持,如下圖所示:直接執(zhí)行用戶的請(qǐng)求直接執(zhí)行用戶的請(qǐng)求超級(jí)調(diào)用虛擬化層來(lái)替換不可虛擬的操作系統(tǒng)指令圖:操作系統(tǒng)協(xié)助的X86架構(gòu)虛擬化半虛擬化和全虛擬化不同,全虛擬化不需要修改上面的操作系統(tǒng),敏感的操作系統(tǒng)指令可直接處理。半虛擬化的價(jià)值在于降低了虛擬化的損耗,基于Xen的虛擬化是半虛擬化的代表,可通過(guò)修改Linux的內(nèi)核來(lái)實(shí)現(xiàn)CPU和內(nèi)存的虛擬化,通過(guò)定制的操作系統(tǒng)驅(qū)動(dòng)來(lái)實(shí)現(xiàn)I/O的虛擬化。硬件輔助虛擬化硬件廠商面對(duì)虛擬化投入了大量的精力來(lái)開(kāi)發(fā)新的特性用以簡(jiǎn)化虛擬化技術(shù)應(yīng)用。第一代的虛擬化增強(qiáng)包括IntelVirtUaIiZationTeChnOlogy(VT-X)和AMD的AMD-V,這兩種技術(shù)都為CPU增加了新的執(zhí)行模式root模式,可以讓VMM運(yùn)行在root模式下,而root模式位于RingO的下面。如下圖所示,特權(quán)和敏感指令自動(dòng)在Hypervisor上執(zhí)行??蛻舨僮飨到y(tǒng)的狀態(tài)保存在VT-χ(Virtual

MachineControlStructure,虛擬機(jī)控制結(jié)構(gòu))中或AMD-V(VirtUaIMachineControlBlock,虛擬機(jī)控制塊)。支持IntelVT和AMD-V的CPIJ從2006年開(kāi)始推向市場(chǎng)C圖:內(nèi)存虛擬化圖:內(nèi)存虛擬化圖:硬件輔助的X86架構(gòu)虛擬化內(nèi)存虛擬化除了CPU虛擬化,下一個(gè)關(guān)健是內(nèi)存虛擬化,通過(guò)內(nèi)存虛擬化共享物理系統(tǒng)內(nèi)存,動(dòng)態(tài)分配給虛擬機(jī)。虛擬機(jī)的內(nèi)存虛擬化很像現(xiàn)在的操作系統(tǒng)支持的虛擬內(nèi)存方式,應(yīng)用程序看到鄰近的內(nèi)存地址空間,這個(gè)地址空間無(wú)需和下面的物理機(jī)器內(nèi)存直接對(duì)應(yīng),操作系統(tǒng)保持著虛擬頁(yè)到物理頁(yè)的映射。現(xiàn)在所有的X86CPU都包括了一個(gè)稱為內(nèi)存管理的模塊MMU(MemoryManagementUnit)和TLB(TranslationLookasideBuffer),通過(guò)MMU和TLB來(lái)優(yōu)化虛擬內(nèi)存的性能。虛擬機(jī)1 虛擬機(jī)2進(jìn)程1 進(jìn)程2 進(jìn)程1 進(jìn)程2為了在一臺(tái)機(jī)器上運(yùn)行多個(gè)虛擬機(jī),需要增加一個(gè)新的內(nèi)存虛擬化層,也就是說(shuō),必須虛擬MMU來(lái)支持客戶操作系統(tǒng)??蛻舨僮飨到y(tǒng)繼續(xù)控制虛擬地址到客戶內(nèi)存物理地址的映射,但是客戶操作系統(tǒng)不能直接訪問(wèn)實(shí)際機(jī)器內(nèi)存。VMM負(fù)責(zé)映射客戶物理內(nèi)存到實(shí)際機(jī)器內(nèi)存,它通過(guò)影子頁(yè)表來(lái)加速映射。VMM使用TLB硬件來(lái)映射虛擬內(nèi)存直接到機(jī)器內(nèi)存,從而避免了每次訪問(wèn)進(jìn)行兩次翻譯。當(dāng)客戶操作系統(tǒng)更改了虛擬內(nèi)存到物理內(nèi)存的映射表,VMM也會(huì)更新影子頁(yè)表來(lái)啟動(dòng)直接查詢。MMU虛擬化引入了虛擬化損耗,第二代的硬件輔助虛擬化將支持內(nèi)存的虛擬化輔助,從而大大降低因此而帶來(lái)的虛擬化損耗,讓內(nèi)存虛擬化更高效。設(shè)備和I/O虛擬化最后一個(gè)模塊是設(shè)備和I/O虛擬化,也就是如何管理和路由物理設(shè)備和虛擬設(shè)備之間的I/O請(qǐng)求。并口 串口SCSl控制S IDE控制器鼠標(biāo) USB設(shè)備圖:設(shè)備和I/O虛擬化基于軟件的I/O虛擬化和管理為設(shè)備管理帶來(lái)了新的特性和功能,讓設(shè)備的管理更容易。就拿網(wǎng)絡(luò)為例,通過(guò)虛擬網(wǎng)卡和交換機(jī)可以在一臺(tái)物理機(jī)上不同虛擬機(jī)之間建立虛擬網(wǎng)絡(luò),而這不會(huì)在物理網(wǎng)絡(luò)上產(chǎn)生任何的流量;允許多個(gè)物理網(wǎng)卡綁定成一個(gè)虛擬機(jī)網(wǎng)卡,提供了很好的容錯(cuò)能力,同時(shí)保持了同一MAC地址。I/O虛擬化的關(guān)鍵是保持虛擬化優(yōu)勢(shì)的同時(shí),盡量降低虛擬化給CPIJ造成的負(fù)擔(dān)CHypervisor虛擬化物理硬件,為每臺(tái)虛擬機(jī)提供一套標(biāo)準(zhǔn)的虛擬設(shè)備,如上圖所示。這些虛擬設(shè)備高效模擬常見(jiàn)的物理硬件,將虛擬機(jī)的請(qǐng)求發(fā)送到物理硬件。該硬件標(biāo)準(zhǔn)化的過(guò)程也讓虛擬機(jī)標(biāo)準(zhǔn)化,讓虛擬機(jī)更容易在各種平臺(tái)上自由移動(dòng),而無(wú)需關(guān)心下面實(shí)際的物理硬件類型。5.15.6.3計(jì)算資源池總體設(shè)計(jì)設(shè)計(jì)原則1)可靠性云計(jì)算中心作為一種公共IT基礎(chǔ)設(shè)施,就如同水和電一樣,成為人們生活的必須,因此,云計(jì)算中心能否可靠運(yùn)轉(zhuǎn)成為云計(jì)算中心設(shè)計(jì)方案最重要的目標(biāo)。2)高性能為了滿足高并發(fā)、高吞吐率的訪問(wèn),云計(jì)算中心的基礎(chǔ)平臺(tái)必須有足夠的處理能力。3)動(dòng)態(tài)化云計(jì)算中心需要負(fù)載多種業(yè)務(wù),而各種業(yè)務(wù)的壓力峰值出現(xiàn)的時(shí)機(jī)可能不同,因此,云計(jì)算中心基礎(chǔ)平臺(tái)就需要做到動(dòng)態(tài)可伸縮,從而保證按需平衡資源供給。4)可擴(kuò)展必須保證計(jì)算子系統(tǒng)具有高可擴(kuò)展的能力,從而保護(hù)投資,作為分期建設(shè)。5)自動(dòng)化實(shí)際上,自動(dòng)化是數(shù)據(jù)中心永恒的追求目標(biāo),更高的自動(dòng)化意味著更低的運(yùn)維成本。6)節(jié)能降耗大型數(shù)據(jù)中心需要大量的電力,計(jì)算子系統(tǒng)作為電力消耗的大頭,需要有切實(shí)的措施保證節(jié)能。整體架構(gòu)大連市交通云計(jì)算中心通過(guò)虛擬化技術(shù),將物理的計(jì)算資源虛擬成計(jì)算資源池,以支撐上層業(yè)務(wù)應(yīng)用。如下圖所示:GNC區(qū)計(jì)算資源池圖:計(jì)算資源池示意圖如上圖,本項(xiàng)目建設(shè)的計(jì)算資源池同樣包括兩部分區(qū)域的計(jì)算資源池,一部分是GNC區(qū)計(jì)算資源池,另一部分是CEGN區(qū)計(jì)算資源池。計(jì)算資源池主要由基于X86架構(gòu)的服務(wù)器設(shè)備組成。根據(jù)基礎(chǔ)平臺(tái)總體架構(gòu)以及網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)中對(duì)功能區(qū)的劃分原則,將計(jì)算設(shè)備按照需要實(shí)現(xiàn)的功能劃分為多個(gè)功能分區(qū),支撐不同的上層業(yè)務(wù)應(yīng)用,同時(shí)也對(duì)應(yīng)不同的安全和管理功能。根據(jù)基礎(chǔ)平臺(tái)所承擔(dān)的大連市交通云計(jì)算中心應(yīng)用系統(tǒng)的特點(diǎn)和未來(lái)3-5年的業(yè)務(wù)規(guī)劃,可以把計(jì)算資源池分為數(shù)據(jù)庫(kù)區(qū)、大數(shù)據(jù)量系統(tǒng)支撐區(qū)、DMZ區(qū)、業(yè)務(wù)應(yīng)用邏輯資源區(qū)、Web服務(wù)發(fā)布區(qū)、管理區(qū)。每個(gè)區(qū)域部署的位置見(jiàn)如上計(jì)算資源池示意圖。其中,數(shù)據(jù)庫(kù)區(qū)和大數(shù)據(jù)量系統(tǒng)支撐區(qū)用物理機(jī)的形式進(jìn)行支撐。數(shù)據(jù)庫(kù)區(qū)因?yàn)閿?shù)據(jù)庫(kù)應(yīng)用對(duì)業(yè)務(wù)并發(fā)量以及安全性等的要求,建議使用X86服務(wù)器集群架構(gòu)進(jìn)行支撐,而且選用8路X86高性能服務(wù)器以支撐。大連市交通云計(jì)算中心支撐各委辦局的業(yè)務(wù)應(yīng)用系統(tǒng),交通、社保、醫(yī)療等相關(guān)領(lǐng)域存在若干業(yè)務(wù)壓力較大的應(yīng)用系統(tǒng),這些應(yīng)用系統(tǒng)不適用于通過(guò)切分提高資源利用率實(shí)現(xiàn)而的虛擬化分區(qū)以支撐,因此這些應(yīng)用系統(tǒng)也要用物理機(jī)支撐,同時(shí)考慮節(jié)能降耗等因素,考慮用高性能X86刀片服務(wù)器支撐。另外的業(yè)務(wù)應(yīng)用邏輯資源區(qū)、Web服務(wù)發(fā)布區(qū)和DMZ區(qū)通過(guò)虛擬化技術(shù)以支撐。Hypervisor通過(guò)主機(jī)虛擬化技術(shù),將物理計(jì)算資源進(jìn)行精細(xì)切分,可以有效提高計(jì)算資源的利用率,通常適用于這些業(yè)務(wù)邏輯計(jì)算應(yīng)用等。業(yè)務(wù)資源邏輯區(qū)、Web服務(wù)發(fā)布區(qū)和DMZ區(qū)基于X86架構(gòu)機(jī)架式服務(wù)器,通過(guò)部署云操作系統(tǒng)的虛擬化管理中心模塊,基于Xen>Vmware等主流虛擬化技術(shù),提供基本的虛擬機(jī)管理、監(jiān)控、分配和使用功能,提供資源靜態(tài)分配及動(dòng)態(tài)調(diào)度管理功能,如下圖所示:云計(jì)算方點(diǎn) 云計(jì)算節(jié)點(diǎn)圖:虛擬化管理中心管理區(qū)基于雙路X86服務(wù)器進(jìn)行構(gòu)建,部署具備HA架構(gòu)的云操作系統(tǒng),基于云管理平臺(tái)的虛擬組織功能,可以根據(jù)計(jì)算資源池上運(yùn)行的應(yīng)用之間的關(guān)聯(lián)關(guān)系,形成虛擬數(shù)據(jù)中心,為大連市交通各委辦局用戶提供更好的使用體驗(yàn)。如下圖:▼ MBVMWitaMhCOC&CSP COC&CSP云資源管理平臺(tái)圖:云管理平臺(tái)實(shí)現(xiàn)功能本項(xiàng)目建設(shè)的云計(jì)算中心計(jì)算資源池相關(guān)分區(qū)主要可實(shí)現(xiàn)如下五方面功能:1)按需自助服務(wù)大連市交通相關(guān)委辦局用戶可以根據(jù)需要通過(guò)云計(jì)算服務(wù)門戶自助獲取云計(jì)算資源,如服務(wù)器的使用時(shí)間和網(wǎng)絡(luò)存儲(chǔ),這個(gè)過(guò)程對(duì)本項(xiàng)目云計(jì)算服務(wù)提供者來(lái)說(shuō)可不需人工干預(yù)。2)廣泛網(wǎng)絡(luò)接入云計(jì)算能力可以通過(guò)網(wǎng)絡(luò)獲取,并利用標(biāo)準(zhǔn)的機(jī)制來(lái)促進(jìn)對(duì)各種胖或瘦的客戶平臺(tái)的使用。本項(xiàng)目相關(guān)委辦局用戶可以通過(guò)包括移動(dòng)電話、平板電腦、筆記本電腦和工作站等多樣化的終端通過(guò)網(wǎng)絡(luò)使用云計(jì)算月艮務(wù)。3)資源池本項(xiàng)目建設(shè)的計(jì)算資源池是一個(gè)遵循多租戶模型,為眾多委辦局用戶按需分配和重分配物理的以及虛擬的資源的資源池。用戶可以獲取并使用池中的資源包括:存儲(chǔ)、計(jì)算、內(nèi)存和網(wǎng)絡(luò)帶寬。4)快速?gòu)椥垣@取資源在某些情況下,計(jì)算資源可以自動(dòng)地被獲取和釋放,以快速的滿足用戶的需求。對(duì)于用戶,在任何時(shí)間都可以無(wú)限制地獲取任意數(shù)量的資源。5)服務(wù)可測(cè)量云計(jì)算運(yùn)營(yíng)中心自動(dòng)控制和優(yōu)化資源的使用,其機(jī)制是根據(jù)測(cè)量,并在某些抽象級(jí)別上影響分配給不同類型服務(wù)資源的數(shù)量(如存儲(chǔ)、計(jì)算、帶寬、活動(dòng)用戶數(shù)等)。資源的利用率可以被測(cè)量、控制和報(bào)告,無(wú)論是提供者還是使用者,都可以獲得服務(wù)使用方面的透明度。尤其是從服務(wù)提供者的角度,可以通過(guò)可計(jì)量的服務(wù),準(zhǔn)確衡量需要的計(jì)算資源量以及未來(lái)的需要量,有利于信息化整體規(guī)劃。計(jì)算資源池建設(shè)方案智能高速公路支撐平臺(tái)建設(shè)可用若干臺(tái)X86服務(wù)器組成虛擬計(jì)算資源平臺(tái)。業(yè)務(wù)節(jié)點(diǎn)為能承載更多的虛擬機(jī)并保證虛擬機(jī)性能,建議配置4路處理器,每顆處理器核心數(shù)盡可能多、主頻盡可能高,同時(shí)配置大容量?jī)?nèi)存,配置4個(gè)千兆自適應(yīng)網(wǎng)口(電口),用于業(yè)務(wù)與管理。同時(shí)還考慮兩方面:■高可用性:即承載某臺(tái)虛擬機(jī)的物理節(jié)點(diǎn)如果出現(xiàn)故障需要維護(hù),那么需要進(jìn)行虛擬機(jī)動(dòng)態(tài)遷移,將故障節(jié)點(diǎn)承載的虛擬機(jī)動(dòng)態(tài)遷移到核心應(yīng)用邏輯資源分區(qū)中其他正常工作的物理節(jié)點(diǎn)上以實(shí)現(xiàn)高可用性,保證應(yīng)用系統(tǒng)的不中斷;■彈性擴(kuò)展:即考慮到未來(lái)3-5年內(nèi)部分部門會(huì)上新的應(yīng)用系統(tǒng),從而需要新的虛擬機(jī)資源,到時(shí)核心應(yīng)用邏輯資源分區(qū)還有資源可彈性分配給新的應(yīng)用系統(tǒng)。業(yè)務(wù)節(jié)點(diǎn)放置在業(yè)務(wù)區(qū)機(jī)柜中。為保證虛擬化動(dòng)態(tài)遷移時(shí)的系統(tǒng)性能,業(yè)務(wù)區(qū)域內(nèi)的若干臺(tái)業(yè)務(wù)承載節(jié)點(diǎn)建議按照每個(gè)邏輯分區(qū)5~10臺(tái)物理節(jié)點(diǎn)的劃分方式分為相應(yīng)數(shù)目的邏輯分區(qū)。選型建議天闊A620r-G是一款2U雙路路64位機(jī)架式服務(wù)器,該機(jī)型支持AMDOpteron6200、6300系列處理器,采用HT3.0直連架構(gòu)。四通道DDR3ECC內(nèi)存技術(shù),內(nèi)存容量最大可達(dá)ITBoA840r-G采用4U機(jī)架式設(shè)計(jì),優(yōu)良的外觀工藝水平,模塊化設(shè)計(jì),智能散熱系統(tǒng)和監(jiān)控系統(tǒng),大大提升了機(jī)器可靠性、易用性。能穩(wěn)定運(yùn)行WindOWS,Redhat,Vmware等多種主流操作系統(tǒng),是能適應(yīng)核心級(jí)應(yīng)用的新一代服務(wù)器,具有處理速度快、可用性強(qiáng)、易管理、可靠性高等特點(diǎn)。系統(tǒng)還提供多種獨(dú)特功能部件,包括熱插拔大功率高效電源,熱插拔風(fēng)扇冗余模組,智能故障指示系統(tǒng)等。TC6600是一款I(lǐng)OUl4片融合架構(gòu)刀片服務(wù)器,實(shí)現(xiàn)了高性能、高密度、可伸縮、方案靈活的產(chǎn)品設(shè)計(jì)要求。TC6600刀片系統(tǒng)目前支持基于InteIGrantley平臺(tái)。即E5-2600V3系列的雙路計(jì)算刀片、InteIE7-4800V2的四路計(jì)算刀片、AMD6300系列的四路計(jì)算刀片,單箱刀片可支持高達(dá)14片半高計(jì)算節(jié)點(diǎn)或7片全高計(jì)算節(jié)點(diǎn);可通過(guò)模塊化設(shè)計(jì),為計(jì)算刀片提供多種網(wǎng)絡(luò)接口:系統(tǒng)可支持IGb以太網(wǎng)絡(luò),IOG以太網(wǎng),8G或16GFC網(wǎng)絡(luò),IOOG高速網(wǎng)絡(luò)。對(duì)于系統(tǒng)的關(guān)鍵部件和功能模塊,TC6600采用冗余設(shè)計(jì),實(shí)現(xiàn)了企業(yè)級(jí)的RAS特性,可滿足關(guān)鍵應(yīng)用的需求。曙光"龍芯操作風(fēng)險(xiǎn)管理系統(tǒng)(OPeraFirnl)"是基于龍芯軟硬傷一體的系統(tǒng)設(shè)備,是同類中唯一全國(guó)產(chǎn)自主知識(shí)產(chǎn)權(quán)安全產(chǎn)品。OperaFirm是一款采用全新設(shè)計(jì)理念的新一代運(yùn)維堡壘機(jī)系統(tǒng),可以實(shí)現(xiàn)強(qiáng)認(rèn)證身份管理、細(xì)粒度訪問(wèn)控制、全面的操作追蹤、自適應(yīng)的口令托管和完備的合規(guī)報(bào)表等功能,支持UNIX、LlNUX、WlNDowS服務(wù)器以及各類網(wǎng)絡(luò)設(shè)備。OPeraFinn可廣泛應(yīng)用于政府、公檢法司、軍工、部隊(duì)、金融、能源、運(yùn)營(yíng)商、交通和互聯(lián)網(wǎng)等對(duì)數(shù)據(jù)安全要求較高的領(lǐng)域。曙光XData大數(shù)據(jù)一體機(jī)將數(shù)據(jù)存儲(chǔ)單元和處理單元分離,通過(guò)構(gòu)架高效的服務(wù)中間件,將底層采用無(wú)共享(Shared-nothing)結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn),聚合成一個(gè)單一的數(shù)據(jù)處理系統(tǒng)映像,達(dá)到較高的數(shù)據(jù)讀寫并發(fā)度,計(jì)算并發(fā)度,以及良好的系統(tǒng)擴(kuò)展性,可靠性和可維護(hù)性。XData可廣泛的應(yīng)用在電信數(shù)據(jù)統(tǒng)計(jì)分析,互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)的日志和用戶行為分析,物聯(lián)網(wǎng)/傳感器網(wǎng)絡(luò)的數(shù)據(jù)監(jiān)控和追蹤分析,以及金融交易數(shù)據(jù)的離線統(tǒng)計(jì)和挖掘等眾多領(lǐng)域。XData向用戶提供統(tǒng)一的類SQL的客戶端編程接口,向下管理分布在不同存儲(chǔ)模塊上的多種類型的數(shù)據(jù),并提供簡(jiǎn)易的用戶管理界面。XData系統(tǒng)的核心技術(shù)包括自動(dòng)的服務(wù)注冊(cè)和負(fù)載均衡,可擴(kuò)展的數(shù)據(jù)劃分和分布策略,高效的批量數(shù)據(jù)加載,通用的并行查詢分析和處理引擎,結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一訪問(wèn),不同類型數(shù)據(jù)之間的聯(lián)合查詢和檢索,以及全方位的系統(tǒng)故障和恢復(fù)處理等多項(xiàng)技術(shù)。DBstorlOO備份存儲(chǔ)系統(tǒng)可以針對(duì)多平臺(tái)的復(fù)雜IT環(huán)境提供企業(yè)級(jí)數(shù)據(jù)保護(hù),幫助你應(yīng)付所有的挑戰(zhàn)。DBstorlOO靈活的模塊化結(jié)構(gòu),有著無(wú)可匹敵的靈活性和可靠性,一個(gè)系統(tǒng)就可滿足客戶目前和將來(lái)的需求,大大降低了配置成本和TCOoDBstorlOO虛擬帶庫(kù)備份存儲(chǔ)系統(tǒng),支持高速、高效、大容量的虛擬磁帶庫(kù)(VTL)功能;支持SmartDisk技術(shù)并與重復(fù)數(shù)據(jù)刪除技術(shù)的有機(jī)結(jié)合;備份策略的自動(dòng)化管理;完善的介質(zhì)控制功能;多應(yīng)用及異構(gòu)操作系統(tǒng)支持;多種數(shù)據(jù)庫(kù),操作系統(tǒng),應(yīng)用程序在線備份;容量可根據(jù)需求進(jìn)行配置,滿足客戶多種需求;支持簡(jiǎn)單遠(yuǎn)程容災(zāi)。5.15.7存儲(chǔ)資源池建設(shè)數(shù)據(jù)類型分析存儲(chǔ)資源池主要用于大連市交通云計(jì)算中心所有相關(guān)的業(yè)務(wù)數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)等重要數(shù)據(jù)存儲(chǔ)于存儲(chǔ)。按照數(shù)據(jù)類型主要可以分為兩類,即結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)即行數(shù)據(jù),存儲(chǔ)在數(shù)據(jù)庫(kù)里,可以用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)相對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言,不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù),包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等。非結(jié)構(gòu)化數(shù)據(jù)庫(kù)是指其字段長(zhǎng)度可變,并且每個(gè)字段的記錄又可以由可重復(fù)或不可重復(fù)的子字段構(gòu)成的數(shù)據(jù)庫(kù),用它不僅可以處理結(jié)構(gòu)化數(shù)據(jù)(如數(shù)字、符號(hào)等信息)而且更適合處理非結(jié)構(gòu)化數(shù)據(jù)(全文文本、圖像、聲音、影視、超媒體等信息)。非結(jié)構(gòu)化WEB數(shù)據(jù)庫(kù)主要是針對(duì)非結(jié)構(gòu)化數(shù)據(jù)而產(chǎn)生的,與以往流行的關(guān)系數(shù)據(jù)庫(kù)相比,其最大區(qū)別在于它突破了關(guān)系數(shù)據(jù)庫(kù)結(jié)構(gòu)定義不易改變和數(shù)據(jù)定長(zhǎng)的限制,支持重復(fù)字段、子字段以及變長(zhǎng)字段并實(shí)現(xiàn)了對(duì)變長(zhǎng)數(shù)據(jù)和重復(fù)字段進(jìn)行處理和數(shù)據(jù)項(xiàng)的變長(zhǎng)存儲(chǔ)管理,在處理連續(xù)信息(包括全文信息)和非結(jié)構(gòu)化信息(包括各種多媒體信息)中有著傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)所無(wú)法比擬的優(yōu)勢(shì)。統(tǒng)一大數(shù)據(jù)存儲(chǔ)平臺(tái)具備如下特性:必須具有高性能、高可靠性和足夠的容錯(cuò)特性,提供多種信息保護(hù)、共享、管理方案,以保證信息的高可用性;必須擁有足夠的系統(tǒng)擴(kuò)充性,以支持目前的數(shù)據(jù)容量,同時(shí)還要考慮未來(lái)業(yè)務(wù)的發(fā)展;具備多平臺(tái)、企業(yè)級(jí)連接能力,便于主機(jī)的選型和系統(tǒng)的整合;滿足作數(shù)據(jù)遠(yuǎn)程鏡像備份(容災(zāi))的要求。存儲(chǔ)網(wǎng)絡(luò)設(shè)計(jì)隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,網(wǎng)絡(luò)存儲(chǔ)方式也隨之發(fā)展,但由于商業(yè)企業(yè)規(guī)模不同,對(duì)網(wǎng)絡(luò)存儲(chǔ)的需求也應(yīng)有所不同,選擇不當(dāng)?shù)木W(wǎng)絡(luò)存儲(chǔ)技術(shù),往往會(huì)使得企業(yè)在網(wǎng)絡(luò)建設(shè)中盲目投資不需要的設(shè)備,或者造成企業(yè)的網(wǎng)絡(luò)性能低下,影響企業(yè)信息化發(fā)展,因此了解相關(guān)網(wǎng)絡(luò)存儲(chǔ)知識(shí),選擇適當(dāng)網(wǎng)絡(luò)存儲(chǔ)方式是非常重要的。存儲(chǔ)網(wǎng)絡(luò)種類目前高端服務(wù)器所使用的專業(yè)存儲(chǔ)方案有DAS、NAS、SAN幾種,下面介紹其相關(guān)網(wǎng)絡(luò)存儲(chǔ)知識(shí)。直接附加存儲(chǔ)直接附加存儲(chǔ)(DAS)是指將存儲(chǔ)設(shè)備通過(guò)SCSl接口直接連接到一臺(tái)服務(wù)器上使用。DAS購(gòu)置成本低,配置簡(jiǎn)單,使用過(guò)程和使用本機(jī)硬盤并無(wú)太大差別,對(duì)于服務(wù)器的要求僅僅是一個(gè)外接的SCSI口,因此對(duì)于小型企業(yè)很有吸引力。但是DAS也存在諸多問(wèn)題:服務(wù)器本身容易成為系統(tǒng)瓶頸;服務(wù)器發(fā)生故障,數(shù)據(jù)不可訪問(wèn);對(duì)于存在多個(gè)服務(wù)器的系統(tǒng)來(lái)說(shuō),設(shè)備分散,不便管理C同時(shí)多臺(tái)服務(wù)器使用DAS時(shí),存儲(chǔ)空間不能在服務(wù)器之間動(dòng)態(tài)分配,可能造成相當(dāng)?shù)馁Y源浪費(fèi);數(shù)據(jù)備份操作復(fù)雜。網(wǎng)絡(luò)附加存儲(chǔ)網(wǎng)絡(luò)附加存儲(chǔ)(NAS)是一種帶有瘦服務(wù)器的存儲(chǔ)設(shè)備。這個(gè)瘦服務(wù)器實(shí)際是一臺(tái)網(wǎng)絡(luò)文件服務(wù)器。NAS設(shè)備直接連接到TCP/IP網(wǎng)絡(luò)上,網(wǎng)絡(luò)服務(wù)器通過(guò)TCP/IP網(wǎng)絡(luò)存取管理數(shù)據(jù)。NAS作為一種瘦服務(wù)器系統(tǒng),易于安裝和部署,管理使用也很方便。同時(shí)由于可以允許客戶機(jī)不通過(guò)服務(wù)器直接在NAS中存取數(shù)據(jù),因此對(duì)服務(wù)器來(lái)說(shuō)可以減少系統(tǒng)開(kāi)銷。NAS為異構(gòu)平臺(tái)使用統(tǒng)一存儲(chǔ)系統(tǒng)提供了解決方案。由于NAS只需要在一個(gè)基本的磁盤陣列柜外增加一套瘦服務(wù)器系統(tǒng),對(duì)硬件要求很低,軟件成本也不高,甚至可以使用免費(fèi)的LlNUX解決方案,成本只比直接附加存儲(chǔ)略高。NAS存在的主要問(wèn)題是:由于存儲(chǔ)數(shù)據(jù)通過(guò)普通數(shù)據(jù)網(wǎng)絡(luò)傳輸,因此易受網(wǎng)絡(luò)上其它流量的影響。當(dāng)網(wǎng)絡(luò)上有其它大數(shù)據(jù)流量時(shí)會(huì)嚴(yán)重影響系統(tǒng)性能;由于存儲(chǔ)數(shù)據(jù)通過(guò)普通數(shù)據(jù)網(wǎng)絡(luò)傳輸,因此容易產(chǎn)生數(shù)據(jù)泄漏等安全問(wèn)題;存儲(chǔ)只能以文件方式訪問(wèn),而不能像普通文件系統(tǒng)一樣直接訪問(wèn)物理數(shù)據(jù)塊,因此會(huì)在某些情況下嚴(yán)重影響系統(tǒng)效率,比如大型數(shù)據(jù)庫(kù)就不能使用NASo存儲(chǔ)區(qū)域網(wǎng)存儲(chǔ)區(qū)域網(wǎng)(SAN)是一種專門為存儲(chǔ)建立的獨(dú)立于TCP/IP網(wǎng)絡(luò)之外的專用網(wǎng)絡(luò)。目前一般的SAN提供4Gb∕S到16Gb/S的傳輸數(shù)率,同時(shí)SAN網(wǎng)絡(luò)獨(dú)立于數(shù)據(jù)網(wǎng)絡(luò)存在,因此存取速度很快,另外SAN-般采用高端的RAID陣列,使SAN為性能在幾種專業(yè)存儲(chǔ)方案中傲視群雄。SAN由于其基礎(chǔ)是一個(gè)專用網(wǎng)絡(luò),因此擴(kuò)展性很強(qiáng),不管是在一個(gè)SAN系統(tǒng)中增加一定的存儲(chǔ)空間還是增加幾臺(tái)使用存儲(chǔ)空間的服務(wù)器都非常方便。通過(guò)SAN接口的磁帶機(jī),SAN系統(tǒng)可以方便高效的實(shí)現(xiàn)數(shù)據(jù)的集中備份。SAN作為一種新興的存儲(chǔ)方式,是未來(lái)存儲(chǔ)技術(shù)的發(fā)展方向,但是,它也存在一些缺點(diǎn):價(jià)格昂貴,不論是SAN陣列柜還是SAN必須的光纖通道交換機(jī)價(jià)格都是十分昂貴的,就連服務(wù)器上使用的光通道卡的價(jià)格也是不容易被小型商業(yè)企業(yè)麻接受的;需要單獨(dú)建立光纖網(wǎng)絡(luò),異地?cái)U(kuò)展比較困難。存儲(chǔ)網(wǎng)絡(luò)選擇大連市交通云計(jì)算中心的數(shù)據(jù)主要包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),在本項(xiàng)目存儲(chǔ)系統(tǒng)設(shè)計(jì)時(shí)采用兩種存儲(chǔ)網(wǎng)絡(luò)模式來(lái)對(duì)不同數(shù)據(jù)提供高效的數(shù)據(jù)存儲(chǔ)。FC存儲(chǔ)網(wǎng)絡(luò):所有服務(wù)器通過(guò)FC網(wǎng)絡(luò)連接到FC存儲(chǔ)系統(tǒng),F(xiàn)C存儲(chǔ)系統(tǒng)向所有服務(wù)器提供塊設(shè)備級(jí)共享存儲(chǔ)系統(tǒng)。同時(shí)為了保證系統(tǒng)的可靠性,存儲(chǔ)網(wǎng)(FC網(wǎng)絡(luò))采用雙路徑設(shè)計(jì)。如下圖所示:圖:采用FC存儲(chǔ)模式的業(yè)務(wù)區(qū)域目前,業(yè)界的FCSAN存儲(chǔ)網(wǎng)絡(luò)通常有兩種組網(wǎng)方案:采用大型的FCSAN交換設(shè)各,可提供8Gps的全雙T光纖端口的線速互聯(lián),但是價(jià)格較高。采用業(yè)務(wù)區(qū)域的方法,根據(jù)業(yè)務(wù)特點(diǎn)劃分物理資源池。業(yè)務(wù)區(qū)域內(nèi)配置2臺(tái)SAN交換機(jī),實(shí)現(xiàn)服務(wù)器與SAN存儲(chǔ)設(shè)備的8Gbps端到端互聯(lián);業(yè)務(wù)區(qū)域之間采用級(jí)聯(lián)的方式實(shí)現(xiàn)弱連接(非線速互聯(lián)),業(yè)務(wù)資源池之間實(shí)現(xiàn)松耦合。這樣可以大大降低云平臺(tái)構(gòu)建成本。大數(shù)據(jù)存儲(chǔ)模式:采用存儲(chǔ)服務(wù)器,通過(guò)海量存儲(chǔ)區(qū)的匯聚交換機(jī)萬(wàn)兆上鏈至核心交換機(jī),實(shí)現(xiàn)與業(yè)務(wù)網(wǎng)段的互聯(lián)互通,供各個(gè)業(yè)務(wù)分區(qū)訪問(wèn)。海量存儲(chǔ)系統(tǒng)對(duì)外提供萬(wàn)兆以太網(wǎng)接口,用于存儲(chǔ)訪問(wèn)。海量存儲(chǔ)系統(tǒng)可以通過(guò)萬(wàn)兆上聯(lián)的方式連接到業(yè)務(wù)網(wǎng)核心交換機(jī),服務(wù)器通過(guò)業(yè)務(wù)網(wǎng)絡(luò),以NFS、CIFS.私有協(xié)議的方式訪問(wèn)海量存儲(chǔ)系統(tǒng)。大數(shù)據(jù)存儲(chǔ)系統(tǒng)向所有服務(wù)器提供文件級(jí)高性能共享存儲(chǔ)系統(tǒng)。如下圖所示:圖:采用大數(shù)據(jù)存儲(chǔ)模式的業(yè)務(wù)區(qū)域根據(jù)存儲(chǔ)對(duì)象的不同特性,將存儲(chǔ)系統(tǒng)集中并分離為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)(包括照片、視頻等數(shù)據(jù))存儲(chǔ)兩大模塊,每個(gè)模塊采用高性能、虛擬化、擴(kuò)展性能強(qiáng)的獨(dú)立存儲(chǔ)系統(tǒng)進(jìn)行支持。統(tǒng)一存儲(chǔ)平臺(tái)設(shè)計(jì)統(tǒng)一存儲(chǔ)平臺(tái)定位現(xiàn)有數(shù)據(jù)中心采用的存儲(chǔ)設(shè)備種類繁多:存儲(chǔ)介質(zhì)包括磁盤、磁帶、SSD(固態(tài)硬盤)、光盤等,其接口類型包括FC、SAS、SATA、SCSI、IDE/ATA等;海量存儲(chǔ)設(shè)備包括磁盤陣列、磁帶庫(kù)、光盤塔等,其接口類型又包括FC、IP、IB、SAS、SCSl等;磁盤存儲(chǔ)設(shè)備按照使用模式又可以分為塊設(shè)備、網(wǎng)絡(luò)文件系統(tǒng)(NAS)等;存儲(chǔ)網(wǎng)絡(luò)類型則包括FC-SAN、TP-SAN.TR-SAN等C然而,隨著存儲(chǔ)系統(tǒng)容量需求從GB、TB發(fā)展到現(xiàn)在的PB級(jí),磁盤從MB、GB發(fā)展到TB級(jí),傳統(tǒng)存儲(chǔ)系統(tǒng)由于先天的技術(shù)限制,在發(fā)展上產(chǎn)生諸多問(wèn)題,建設(shè)統(tǒng)一存儲(chǔ)平臺(tái),可以解決如下問(wèn)題:(1) 解決數(shù)據(jù)安全性惡化的問(wèn)題傳統(tǒng)存儲(chǔ)設(shè)備保護(hù)數(shù)據(jù)最常用的手段就是引入RATD技術(shù),尤其是RAID5,可以在數(shù)據(jù)安全性和容量利用率之間獲得較好的平衡,并且具有良好的性能。RAID的數(shù)據(jù)安全性的基礎(chǔ)是數(shù)據(jù)異或(XoR)校驗(yàn)運(yùn)算,因此數(shù)據(jù)恢復(fù)過(guò)程要產(chǎn)生較高的存儲(chǔ)I/O,會(huì)對(duì)系統(tǒng)性能產(chǎn)生一定影響,然而RAID技術(shù)產(chǎn)生時(shí)磁盤容量較?。∕B、GB級(jí)),因此RAID尤其是RAID5的數(shù)據(jù)恢復(fù)過(guò)程較短,對(duì)數(shù)據(jù)校驗(yàn)所帶來(lái)的數(shù)據(jù)安全性產(chǎn)生的影響很小,對(duì)于性能的影響也在可接受的范圍,因此被廣泛使用。然而,現(xiàn)在磁盤容量已經(jīng)達(dá)到TB級(jí)別,因此RAlD5的數(shù)據(jù)恢復(fù)過(guò)程大幅提高,從而大幅度提高了數(shù)據(jù)恢復(fù)過(guò)程產(chǎn)生次生破壞的可能性,進(jìn)而使數(shù)據(jù)安全性惡化。因而,傳統(tǒng)存儲(chǔ)的安全性和性能都面臨巨大的挑戰(zhàn)。解決單系統(tǒng)縱向擴(kuò)展能力有限的問(wèn)題傳統(tǒng)存儲(chǔ)設(shè)備只具有局部的縱向擴(kuò)展(scale-in)能力,即通過(guò)增加磁盤擴(kuò)展存儲(chǔ)設(shè)備的容量,通過(guò)增加控制器的cache擴(kuò)展存儲(chǔ)設(shè)備的性能。這種縱向擴(kuò)展是有局限性的,受存儲(chǔ)設(shè)備的擴(kuò)展能力的制約,而且性能擴(kuò)展的影響很小,并不足以瞞足高速發(fā)展的應(yīng)用系統(tǒng)對(duì)存儲(chǔ)性能的需求。而且這種性能擴(kuò)展對(duì)應(yīng)用系統(tǒng)有較大影響,因?yàn)閿U(kuò)展過(guò)程是需要存儲(chǔ)設(shè)備離線的,在擴(kuò)展過(guò)程中,應(yīng)用系統(tǒng)不能使用存儲(chǔ)設(shè)備。解決負(fù)載不平衡造成性能瓶頸的問(wèn)題為了獲得更好的存儲(chǔ)性能,可以通過(guò)增加存儲(chǔ)設(shè)備(如另一臺(tái)磁盤陣列)的方式來(lái)擴(kuò)展匯聚帶寬。但是在存儲(chǔ)設(shè)備中,特定數(shù)據(jù)被存放在指定的LUN中,且只能通過(guò)指定的控制器訪問(wèn)到,因此即使擴(kuò)展了存儲(chǔ)設(shè)備,并不能提高特定數(shù)據(jù)的訪問(wèn)速度C解決存儲(chǔ)空間利用率低的問(wèn)題據(jù)統(tǒng)計(jì),在實(shí)際使用中,存儲(chǔ)設(shè)備的空間利用率不到50%o因?yàn)椋菏紫?,在選擇存儲(chǔ)設(shè)備的容量,或者從現(xiàn)有存儲(chǔ)設(shè)備中申請(qǐng)存儲(chǔ)空間時(shí),其容量需求都是來(lái)自于對(duì)應(yīng)用系統(tǒng)的預(yù)估,因此存在著較大誤差,而存儲(chǔ)設(shè)備所提供的存儲(chǔ)空間(LUNs)一旦分配給某個(gè)應(yīng)用系統(tǒng)或用戶,就處于獨(dú)占狀態(tài),未來(lái)即使該存儲(chǔ)空間有空閑容量,其它的應(yīng)用系統(tǒng)或用戶不能使用,造成較大的浪費(fèi)。其次,由于存儲(chǔ)系統(tǒng)多采用RAlD5技術(shù),為了獲得最佳的讀寫性能,RAID卷組的配置為7D+1P,即每個(gè)RAlD卷組有相當(dāng)于1塊磁盤的空間用于存儲(chǔ)XOR校驗(yàn)數(shù)據(jù),則實(shí)際容量利用率只有7/8,同樣會(huì)造成一定的浪費(fèi)??傊?,統(tǒng)一存儲(chǔ)平臺(tái)要達(dá)到存儲(chǔ)的數(shù)據(jù)管理目標(biāo),其特性如下:可靠性數(shù)據(jù)集中到統(tǒng)一存儲(chǔ)平臺(tái)中,必然對(duì)系統(tǒng)設(shè)備的可靠性提出更高的要求。同時(shí)需要建立數(shù)據(jù)備份、容災(zāi)系統(tǒng)進(jìn)行配合,提高數(shù)據(jù)安全性??蓴U(kuò)展性網(wǎng)絡(luò)時(shí)代業(yè)務(wù)發(fā)展的不確定性和數(shù)據(jù)的高速膨脹,對(duì)獨(dú)立于計(jì)算資源池之外的統(tǒng)一存儲(chǔ)平臺(tái),必然提出高可擴(kuò)展性的要求。這種擴(kuò)展性并非是簡(jiǎn)單的容量擴(kuò)展,同時(shí)還必須包括數(shù)據(jù)處理能力、數(shù)據(jù)交換帶寬和數(shù)據(jù)管理功能的擴(kuò)展。兼容性雖然統(tǒng)一存儲(chǔ)平臺(tái)己分離于計(jì)算資源池之外,但今天主機(jī)系統(tǒng)對(duì)數(shù)據(jù)的使用方式,仍舊以文件系統(tǒng),數(shù)據(jù)庫(kù)系統(tǒng)為主要手段C統(tǒng)一存儲(chǔ)平臺(tái)要適應(yīng)各種主機(jī)系統(tǒng)的數(shù)據(jù)I/O要求,就必須要能夠兼容各種操作系統(tǒng)、文件系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)等各種傳統(tǒng)數(shù)據(jù)管理手段??晒芾硇灾С指鞣N主流的管理協(xié)議和管理架構(gòu),能夠與網(wǎng)絡(luò)、計(jì)算機(jī)等各種設(shè)備統(tǒng)一管理和集中管理,能夠在各種復(fù)雜的環(huán)境中實(shí)現(xiàn)方便統(tǒng)一的設(shè)備和數(shù)據(jù)管理功能。性能能夠根據(jù)不同應(yīng)用類型要求提供帶寬、IOPS(IOPerSecond,每秒IO操作數(shù))、OPS(OperationsPerSecond,每秒并發(fā)操作數(shù))、ORT〔OverallResponseTime,總響應(yīng)時(shí)間)等不同指標(biāo)側(cè)重點(diǎn)的性能服務(wù)。高端系統(tǒng)還應(yīng)能夠?qū)ο到y(tǒng)性能進(jìn)行動(dòng)態(tài)的擴(kuò)展和調(diào)整。功能各種數(shù)據(jù)遷移、數(shù)據(jù)分發(fā)、數(shù)據(jù)版本管理、數(shù)據(jù)復(fù)制、在線擴(kuò)容等數(shù)據(jù)管理功能。統(tǒng)一存儲(chǔ)平臺(tái)架構(gòu)整體架構(gòu)統(tǒng)一存儲(chǔ)平臺(tái)主要由結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)資源池和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)資源池組成,整體架構(gòu)如下圖所示:

云計(jì)算網(wǎng)絡(luò)系統(tǒng)(CEGN)云計(jì)算網(wǎng)絡(luò)系統(tǒng)(GNC)圖:統(tǒng)一存儲(chǔ)平臺(tái)架構(gòu)GNC區(qū)和CEGN區(qū)各自的統(tǒng)一存儲(chǔ)平臺(tái)如上圖。針對(duì)于不同的數(shù)據(jù)類型,每個(gè)區(qū)使用的存儲(chǔ)網(wǎng)絡(luò)和架構(gòu)是類似的,不同的是數(shù)量配置存在差異。下面統(tǒng)一描述統(tǒng)一存儲(chǔ)各子系統(tǒng)架構(gòu)如下:結(jié)構(gòu)化存儲(chǔ)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)建設(shè)應(yīng)基于64位高性能多核存儲(chǔ)專用處理器,通過(guò)多協(xié)議支持實(shí)現(xiàn)FCSAN與IPSAN和NAS的完美融合,有效整合使用者現(xiàn)有存儲(chǔ)網(wǎng)絡(luò)架構(gòu),實(shí)現(xiàn)高性能SAN網(wǎng)絡(luò)的統(tǒng)一部署和集

中管理。借助智能模塊化端口、緩存永久備份、向?qū)脚渲霉芾淼榷囗?xiàng)創(chuàng)新技術(shù),并結(jié)合自動(dòng)精簡(jiǎn)配置,重復(fù)數(shù)據(jù)刪除,數(shù)據(jù)壓縮等高級(jí)功能實(shí)現(xiàn)最高性能和最低運(yùn)營(yíng)管理成本,最大限度提高投資問(wèn)報(bào)C分布式存儲(chǔ)系統(tǒng)為保證高可用、高可靠和經(jīng)濟(jì)性,"云”采用分布式存儲(chǔ)的方式來(lái)存儲(chǔ)數(shù)據(jù),分布式存儲(chǔ)系統(tǒng)本身采用數(shù)據(jù)冗余的方式來(lái)保證存儲(chǔ)數(shù)據(jù)的安全性,即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。云存儲(chǔ)與傳統(tǒng)的存儲(chǔ)設(shè)備相比不僅僅是一個(gè)硬件,而是一個(gè)存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備、文件系統(tǒng)和客戶端程序等多個(gè)部分組成的復(fù)雜系統(tǒng)。各部分以存儲(chǔ)設(shè)備為核心,通過(guò)應(yīng)用軟件來(lái)對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)服務(wù)。"云”存儲(chǔ)系統(tǒng)的結(jié)構(gòu)模型由4層組成。用戶層用戶接口存儲(chǔ)管理存:儲(chǔ)中兒管理單元(分布式)文件系統(tǒng)存儲(chǔ)網(wǎng)絡(luò)層控制單元存儲(chǔ)設(shè)備層存儲(chǔ)管理存:儲(chǔ)中兒管理單元(分布式)文件系統(tǒng)存儲(chǔ)網(wǎng)絡(luò)層控制單元存儲(chǔ)設(shè)備層圖:分布式存儲(chǔ)系統(tǒng)示意圖存儲(chǔ)設(shè)備層包括多種存儲(chǔ)設(shè)備,例如磁盤陣列、存儲(chǔ)服務(wù)器等,是云存儲(chǔ)的基礎(chǔ)。存儲(chǔ)網(wǎng)絡(luò)層采用萬(wàn)兆以太網(wǎng)連接存儲(chǔ)設(shè)備和計(jì)算設(shè)備,是統(tǒng)一存儲(chǔ)平臺(tái)的通訊子系統(tǒng)。分布式文件系統(tǒng)包括控制單元、存儲(chǔ)單元、管理單元,是統(tǒng)一存儲(chǔ)平臺(tái)實(shí)現(xiàn)存儲(chǔ)虛擬化、存儲(chǔ)共享、高性能、數(shù)據(jù)安全性的關(guān)鍵環(huán)節(jié)。用戶層通過(guò)文件系統(tǒng)用戶接口實(shí)現(xiàn)應(yīng)用軟件對(duì)云存儲(chǔ)的訪問(wèn)。云存儲(chǔ)管理系統(tǒng)云存儲(chǔ)服務(wù)管理是保證云存儲(chǔ)服務(wù)能夠正常提供給用戶的核心,可以管理整個(gè)云計(jì)算數(shù)據(jù)中心的所有云存儲(chǔ)資源,包括所有的軟硬件、云存儲(chǔ)的相關(guān)服務(wù)、平臺(tái)上的所有用戶、用戶對(duì)服務(wù)的購(gòu)買,以及所有業(yè)務(wù)流程。一個(gè)優(yōu)秀的云存儲(chǔ)支撐管理平臺(tái)可以讓少數(shù)幾個(gè)人去維護(hù)上萬(wàn)臺(tái)設(shè)備組成的龐大數(shù)據(jù)中心,其核心在于它可以提升統(tǒng)一存儲(chǔ)平臺(tái)的管理效率,可以大大改善服務(wù)質(zhì)量。我們需要一個(gè)成熟、易用、面向云存儲(chǔ)服務(wù)的管理平臺(tái)。統(tǒng)一存儲(chǔ)平臺(tái)的優(yōu)勢(shì)統(tǒng)一存儲(chǔ)平臺(tái)為了滿足眾多云端應(yīng)用的需求,要求采用可大規(guī)模擴(kuò)展、海量的高性能存儲(chǔ),并且能夠?qū)崿F(xiàn)彈性調(diào)整不同應(yīng)用系統(tǒng)或用戶的存儲(chǔ)空間,提高存儲(chǔ)系統(tǒng)的利用率、獲得最佳的存儲(chǔ)性能、優(yōu)秀的數(shù)據(jù)安全性、和簡(jiǎn)單有效的運(yùn)維管理能力。傳統(tǒng)存儲(chǔ)技術(shù)越來(lái)越難滿足云存儲(chǔ)對(duì)性能、數(shù)據(jù)安全性、使用靈活性的需要。統(tǒng)一存儲(chǔ)平臺(tái)應(yīng)該在性能、數(shù)據(jù)安全性、使用靈活性、易維護(hù)性、經(jīng)濟(jì)性等方面尋求新的平衡點(diǎn)。存儲(chǔ)虛擬化存儲(chǔ)虛擬化實(shí)際上是一種存儲(chǔ)管理技術(shù),通過(guò)將底層存儲(chǔ)設(shè)備抽象化統(tǒng)一管理,向服務(wù)器屏蔽存儲(chǔ)設(shè)備的硬件特性,而只保留其統(tǒng)一的邏輯特性,展現(xiàn)單一存儲(chǔ)視圖,從而實(shí)現(xiàn)存儲(chǔ)系統(tǒng)集中、統(tǒng)一、便捷的管理。存儲(chǔ)虛擬化技術(shù)并非是唯一的、也非最早的存儲(chǔ)虛擬化技術(shù)。其實(shí)諸如磁盤分區(qū)、RAID技術(shù)、卷管理等都是存儲(chǔ)虛擬化技術(shù),其特點(diǎn)就是將多個(gè)具有不同硬件特性的存儲(chǔ)設(shè)備形成具有相同物理特性的統(tǒng)一的存儲(chǔ)池,實(shí)現(xiàn)存儲(chǔ)容量的靈活、動(dòng)態(tài)地分配C虛擬存儲(chǔ)是將多種、多個(gè)存儲(chǔ)設(shè)備統(tǒng)一管理起來(lái),為使用者提供大容量、高數(shù)據(jù)傳輸性能的存儲(chǔ)系統(tǒng)。具體的說(shuō)就是把多個(gè)存儲(chǔ)介質(zhì)(如硬盤、RAID)通過(guò)一定的手段集中管理起來(lái),所有的存儲(chǔ)介質(zhì)在一個(gè)存儲(chǔ)池(StoragePool)中得到統(tǒng)一管理,從服務(wù)器和工作站的角度,看到就不是多個(gè)硬盤或存儲(chǔ)卷,而是一個(gè)分區(qū)或者卷,就像是一個(gè)超大容量的硬盤。存儲(chǔ)虛擬化技術(shù)簡(jiǎn)化了統(tǒng)一存儲(chǔ)平臺(tái)的管理、提高了統(tǒng)一存儲(chǔ)平臺(tái)的空間利用率,方便應(yīng)用系統(tǒng)或用戶使用。二維擴(kuò)展技術(shù)在海量存儲(chǔ)環(huán)境下,容量的大幅增加已經(jīng)開(kāi)始帶來(lái)性能擴(kuò)展的需求,而通過(guò)擴(kuò)展多個(gè)相互獨(dú)立的存儲(chǔ)設(shè)備,可以提高存儲(chǔ)系統(tǒng)的匯聚帶寬,但對(duì)特定數(shù)據(jù)的訪問(wèn)性能并無(wú)幫助,而且增加了存儲(chǔ)使用和管理的復(fù)雜性。在云存儲(chǔ)環(huán)境下,單純?cè)诖鎯?chǔ)設(shè)備內(nèi)進(jìn)行縱向擴(kuò)展(Scale-in),無(wú)論是對(duì)于存儲(chǔ)容量,還是存儲(chǔ)性能都是有限的,已經(jīng)不能滿足云計(jì)算中心的存儲(chǔ)需求。統(tǒng)一存儲(chǔ)平臺(tái)應(yīng)該使用具有二維擴(kuò)展能力的存儲(chǔ)系統(tǒng),即在原有縱向擴(kuò)展的基礎(chǔ)上,在保持存儲(chǔ)系統(tǒng)單一映像的條件下,能夠通過(guò)擴(kuò)展存儲(chǔ)設(shè)備(如磁盤陣列)實(shí)現(xiàn)橫向擴(kuò)展(SCale-in),實(shí)現(xiàn)對(duì)存儲(chǔ)系統(tǒng)的容量和性能的同步擴(kuò)展。多副本數(shù)據(jù)保護(hù)技術(shù)數(shù)據(jù)是云計(jì)算中心的關(guān)鍵,如果數(shù)據(jù)被損壞,那么云中的應(yīng)用將無(wú)法正常工作,影響云服務(wù)的質(zhì)量,有時(shí)數(shù)據(jù)損壞對(duì)于云計(jì)算中心來(lái)說(shuō)甚至是致命的。因此云計(jì)算中心應(yīng)該具有更優(yōu)秀的數(shù)據(jù)安全性。傳統(tǒng)數(shù)據(jù)保護(hù)多采用RATD等數(shù)據(jù)校驗(yàn)手段來(lái)保證數(shù)據(jù)的安全性,允許存儲(chǔ)部件的部分損壞,但是對(duì)于云計(jì)算中心所需的PB級(jí)的海量存儲(chǔ)系統(tǒng)而言,由于容量的大幅提高,使得傳統(tǒng)數(shù)據(jù)保護(hù)手段的有效性大幅下降,已經(jīng)不能滿足云計(jì)算中心對(duì)存儲(chǔ)的需求。統(tǒng)一存儲(chǔ)平臺(tái)應(yīng)該采用更好的數(shù)據(jù)保護(hù)技術(shù)。數(shù)據(jù)多副本技術(shù)建立在允許任何部件出現(xiàn)問(wèn)題的基礎(chǔ)上,將數(shù)據(jù)的多個(gè)副本存放在不同的存儲(chǔ)設(shè)備上,在整個(gè)存儲(chǔ)系統(tǒng)中,任何一個(gè)或多個(gè)部件出現(xiàn)損壞,都不會(huì)影響到存儲(chǔ)系統(tǒng)的正常使用,也不會(huì)出現(xiàn)數(shù)據(jù)不可訪問(wèn)的現(xiàn)象,使統(tǒng)一存儲(chǔ)平臺(tái)獲得前所未有的數(shù)據(jù)安全性。高性能的海量存儲(chǔ)云計(jì)算中心具有更高的存儲(chǔ)訪問(wèn)密度,并且具有更高的發(fā)展速度,因此對(duì)于統(tǒng)一存儲(chǔ)平臺(tái)的性能提出了更高的要求。高性能的海量存儲(chǔ)系統(tǒng)性能超越了所有SAN存儲(chǔ),面向大數(shù)據(jù)量進(jìn)行了I/O優(yōu)化,帶寬可達(dá)幾十GB/s甚至幾百GB/sO海量存儲(chǔ)系統(tǒng)的體系結(jié)構(gòu)類似于SAN,每個(gè)節(jié)點(diǎn)都可以直接訪問(wèn)它的存儲(chǔ)設(shè)備,又不同于SAN,沒(méi)有SAN結(jié)構(gòu)中RAID控制器的瓶頸問(wèn)題,當(dāng)客戶端(計(jì)算節(jié)點(diǎn))的規(guī)模增大時(shí),該優(yōu)勢(shì)非常明顯。止匕外,海量存儲(chǔ)系統(tǒng)可以自動(dòng)優(yōu)化數(shù)據(jù)的分布,并允許客戶端(計(jì)算節(jié)點(diǎn))向多個(gè)I/O節(jié)點(diǎn)并行讀寫,最大化單個(gè)客戶端(計(jì)算節(jié)點(diǎn))的吞吐率。海量存儲(chǔ)系統(tǒng)專門針對(duì)大數(shù)據(jù)量的傳輸做了優(yōu)化,可以為云計(jì)算中心提供高性能的吞吐率和全局?jǐn)?shù)據(jù)共享環(huán)境,特別是在網(wǎng)絡(luò)帶寬足夠的情況下,多進(jìn)程和多客戶端更有利于體現(xiàn)海量存儲(chǔ)系統(tǒng)超強(qiáng)的聚合I/O能力。共享存儲(chǔ)云計(jì)算中心所要面對(duì)的應(yīng)用和用戶的規(guī)模將遠(yuǎn)大于現(xiàn)有數(shù)據(jù)中心,由此所帶來(lái)的問(wèn)題就是存儲(chǔ)的規(guī)模也是十分巨大的,如果采用磁盤陣列這樣的傳統(tǒng)存儲(chǔ)設(shè)備,那么設(shè)備的數(shù)量也是極其龐大的,而且不同的應(yīng)用系統(tǒng)或用戶需要使用不同的LUNs,面對(duì)數(shù)量龐大的LUNs,將極大地增加存儲(chǔ)運(yùn)維管理的難度,因此在云計(jì)算中心,這種LUNs狙占模式是不可取的。云計(jì)算中心應(yīng)該采用能夠?qū)崿F(xiàn)多應(yīng)用系統(tǒng)或用戶共享海量數(shù)據(jù)的存儲(chǔ)系統(tǒng),更有效地提高存儲(chǔ)的利用率、易用性和易管理性。數(shù)據(jù)挖掘一體化支持統(tǒng)一存儲(chǔ)系統(tǒng)除提供文件存儲(chǔ)外,還支持Uiapreduce大數(shù)據(jù)分析挖掘。MapReduce是一種并行編程模式,這種模式使得軟件開(kāi)發(fā)者可以輕松地編寫出分布式并行程序。在大數(shù)據(jù)平臺(tái)的體系結(jié)構(gòu)中,MapReduce是一個(gè)簡(jiǎn)單易用的軟件框架,基于它可以將任務(wù)分發(fā)到由上千臺(tái)商用機(jī)器組成的集群上,并以一種高容錯(cuò)的方式并行處理大量的數(shù)據(jù)集,實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)的并行任務(wù)處理功能。MapReduce框架是由一個(gè)單獨(dú)運(yùn)行在主節(jié)點(diǎn)上的JobTraCker和運(yùn)行在每個(gè)集群從節(jié)點(diǎn)上的TaskTracker共同組成的。主節(jié)點(diǎn)負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù),這些任務(wù)分布在不同的從節(jié)點(diǎn)上。主節(jié)點(diǎn)監(jiān)控它們的執(zhí)行情況,并且重新執(zhí)行之前失敗的任務(wù);從節(jié)點(diǎn)僅負(fù)責(zé)由主節(jié)點(diǎn)指派的任務(wù)。當(dāng)一個(gè)JOb被提交時(shí),JobTraCker接收到提交作業(yè)和配置信息之后,就會(huì)將配置信息等分發(fā)給從節(jié)點(diǎn),同時(shí)調(diào)度任務(wù)并監(jiān)控TaskTracker的執(zhí)行。從上面的介紹可以看出,統(tǒng)一存儲(chǔ)系統(tǒng)和MapReduce共同組成了大數(shù)據(jù)分布式系統(tǒng)體系結(jié)構(gòu)的核心。統(tǒng)一存儲(chǔ)系統(tǒng)在集群上實(shí)現(xiàn)了分布式文件系統(tǒng),MapReduce在集群上實(shí)現(xiàn)了分布式計(jì)算和任務(wù)處理。統(tǒng)一存儲(chǔ)系統(tǒng)在MapRAduce任務(wù)處理過(guò)程中提供了文件操作和存儲(chǔ)等支持,MaPRedUCe在統(tǒng)一存儲(chǔ)系統(tǒng)的基礎(chǔ)上實(shí)現(xiàn)了任務(wù)的分發(fā)、跟蹤、執(zhí)行等工作,并收集結(jié)果,二者相互作用,完成了大數(shù)據(jù)平臺(tái)分布式集群的主要任務(wù)。5.15.8數(shù)據(jù)庫(kù)子系統(tǒng)建設(shè)構(gòu)建高性能集群數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)庫(kù)平臺(tái)作為計(jì)算資源池的核心,具有業(yè)務(wù)量大、存儲(chǔ)量大等特點(diǎn)。它承擔(dān)著業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)和處理任務(wù),因此數(shù)據(jù)庫(kù)平臺(tái)中數(shù)據(jù)庫(kù)服務(wù)器的選擇就尤為重要。服務(wù)器的可靠性和可用性是首要的需求,其次是數(shù)據(jù)處理能力和安全性,然后是可擴(kuò)展性和可管理性。為保證云計(jì)算平臺(tái)持續(xù)穩(wěn)定高效的運(yùn)行,必須保證服務(wù)器數(shù)據(jù)存儲(chǔ)系統(tǒng)較高的可靠性、擴(kuò)展性和災(zāi)難恢復(fù)能力。基于X86架構(gòu)的高端服務(wù)器系統(tǒng)是適用于數(shù)據(jù)庫(kù)服務(wù)器的選擇。隨著計(jì)算機(jī)硬件技術(shù)的高速發(fā)展,χ86服務(wù)器以其高性能和低廉的價(jià)格而倍受廣大客戶青睞,在企業(yè)級(jí)應(yīng)用場(chǎng)合,為了追求更高的性能及可用性,大多采用計(jì)算機(jī)集群技術(shù)來(lái)實(shí)現(xiàn),即將多臺(tái)服務(wù)器聯(lián)合起來(lái)組成集群來(lái)實(shí)現(xiàn)綜合性能優(yōu)于單個(gè)大型服務(wù)器的技術(shù),這種技術(shù)不但能滿足應(yīng)用的需要,而且大幅度的節(jié)約了投資成本。數(shù)據(jù)庫(kù)集群技術(shù)與單一數(shù)據(jù)庫(kù)服務(wù)器相比其優(yōu)勢(shì)如下:?jiǎn)我粩?shù)據(jù)庫(kù)服務(wù)器模式下,在業(yè)務(wù)量提高的同時(shí),數(shù)據(jù)庫(kù)的訪問(wèn)量和數(shù)據(jù)量快速增長(zhǎng),其處理能力和計(jì)算強(qiáng)度也相應(yīng)增大,使得單一設(shè)備根本無(wú)法承擔(dān);單一數(shù)據(jù)庫(kù)服務(wù)器模式下,若因處理能力不足而扔掉現(xiàn)有設(shè)備,做大量的硬件升級(jí),勢(shì)必造成現(xiàn)有資源的浪費(fèi),且下一次業(yè)務(wù)量提升時(shí),又將面臨再一次硬件升級(jí)的高額投入;然而,通過(guò)組建集群數(shù)據(jù)庫(kù)系統(tǒng),可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)的負(fù)載均衡及持續(xù)擴(kuò)展,在需要更高數(shù)據(jù)庫(kù)處理速度時(shí),只要簡(jiǎn)單的增加數(shù)據(jù)庫(kù)服務(wù)器就可以得到擴(kuò)展;數(shù)據(jù)庫(kù)作為信息系統(tǒng)的核心,起著非常重要的作用,單一設(shè)備根本無(wú)法保證系統(tǒng)的持續(xù)運(yùn)行,若發(fā)生系統(tǒng)故障,將嚴(yán)重影響系統(tǒng)的正常運(yùn)行,甚至帶來(lái)巨大的經(jīng)濟(jì)損失;通過(guò)組建數(shù)據(jù)庫(kù)集群,可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)的高可用,當(dāng)某節(jié)點(diǎn)發(fā)生故障時(shí),系統(tǒng)會(huì)自動(dòng)檢測(cè)故障并轉(zhuǎn)移故障節(jié)點(diǎn)的應(yīng)用,保證數(shù)據(jù)庫(kù)的持續(xù)工作。因此,支撐平臺(tái)建設(shè)建議采用多臺(tái)數(shù)據(jù)庫(kù)服務(wù)器構(gòu)建數(shù)據(jù)庫(kù)集群,多臺(tái)數(shù)據(jù)庫(kù)服務(wù)器組成的集群可以很好的保證高并發(fā)事務(wù)處理的性能,實(shí)現(xiàn)負(fù)載均衡,而且滿足未來(lái)隨著業(yè)務(wù)系統(tǒng)的增長(zhǎng)而引起事務(wù)數(shù)目增加的需求,實(shí)現(xiàn)云計(jì)算中心數(shù)據(jù)庫(kù)建設(shè)可持續(xù)發(fā)展。集群數(shù)據(jù)庫(kù)建設(shè)方案對(duì)于數(shù)據(jù)庫(kù)的業(yè)務(wù),云計(jì)算中心建議采用傳統(tǒng)的物理服務(wù)器架構(gòu)來(lái)進(jìn)行支持。一方面是由于物理數(shù)據(jù)庫(kù)業(yè)務(wù)一般對(duì)系統(tǒng)和平臺(tái)的限制,尹非所有的數(shù)據(jù)庫(kù)都可以移植到像虛擬化這樣的計(jì)算平臺(tái)上,另一方面,由于數(shù)據(jù)庫(kù)對(duì)IO的高要求,對(duì)于虛擬化的環(huán)境并不能提供充足的IO支撐,另外,數(shù)據(jù)庫(kù)系統(tǒng)的安全性要求很高,采用虛擬化技術(shù)雖然可以提高系統(tǒng)的靈活性,但是司物理設(shè)備上的其他系統(tǒng)會(huì)對(duì)數(shù)據(jù)庫(kù)系統(tǒng)產(chǎn)生一定的影響,提高系統(tǒng)的安全風(fēng)險(xiǎn)。所以綜合以上三方面的原因,數(shù)據(jù)庫(kù)系統(tǒng)在云計(jì)算中心將采用物理設(shè)備集群的方式來(lái)部署。為了使數(shù)據(jù)庫(kù)的實(shí)現(xiàn)高可用,滿足高并發(fā)、高負(fù)載均衡的需求,

數(shù)據(jù)庫(kù)節(jié)點(diǎn)采用數(shù)據(jù)庫(kù)集群搭建,本項(xiàng)目采用Oracle實(shí)時(shí)應(yīng)用集群(RealApplicationCluster,簡(jiǎn)稱RAC),能夠?qū)崿F(xiàn)多借點(diǎn)之間負(fù)載均衡,同時(shí)多個(gè)節(jié)點(diǎn)共享一套存儲(chǔ)系統(tǒng),能有效防止數(shù)據(jù)庫(kù)單點(diǎn)故障;最后,OraCleRAC的集群架構(gòu)具備動(dòng)態(tài)添加數(shù)據(jù)庫(kù)節(jié)點(diǎn)的功能,具有良好的擴(kuò)展性。IOGb萬(wàn)兆交換機(jī)(RAC集引通訊私網(wǎng))數(shù)據(jù)庫(kù)存儲(chǔ)OracleRAC數(shù)據(jù)庫(kù)集群(以4IOGb萬(wàn)兆交換機(jī)(RAC集引通訊私網(wǎng))數(shù)據(jù)庫(kù)存儲(chǔ)OracleRAC數(shù)據(jù)庫(kù)集群(以4節(jié)點(diǎn)為例)∣950r-G核心交換機(jī)

對(duì)外提供服務(wù)圖4節(jié)點(diǎn)OraCIeRAC架構(gòu)圖云計(jì)算資源管理平臺(tái)建設(shè)云管理系統(tǒng)實(shí)現(xiàn)對(duì)軟硬件資源的統(tǒng)一調(diào)度管理,為用戶提供自助式服務(wù)界面,支持多租戶資源共享、安全隔離和按需彈性計(jì)算等功能,大大降低了云平臺(tái)管理的難度,大幅度提升云計(jì)算中心業(yè)務(wù)敏捷性、提高中心的服務(wù)質(zhì)量。云管理系統(tǒng)需具備如下關(guān)鍵技術(shù)特色:多租戶租賃、完善的自服務(wù)機(jī)制、可定制的資產(chǎn)類型、按需彈性計(jì)算、資產(chǎn)生命周期管理、全方位虛擬機(jī)管理、資源池化機(jī)制、混合資源管理、增強(qiáng)的安全保障機(jī)制。GoudOperationCenterCloudOperationCenterGoudOperationCenterCloudOperationCenter圖云管理系統(tǒng)設(shè)計(jì)架構(gòu)圖云管理系統(tǒng)主要分為三個(gè)層面:云虛擬化管理平臺(tái)管理基本的服務(wù)器分區(qū),如64臺(tái)物理服務(wù)器構(gòu)成服務(wù)分區(qū)。針對(duì)不同的Xen、VmWare虛擬化技術(shù),需要實(shí)現(xiàn)不同的虛擬化管理服務(wù)器,包括CIOUdvirtualManager、VMWarevCenter,對(duì)分區(qū)內(nèi)的云資源管理和云資源監(jiān)控;提供基本的虛擬機(jī)管理/監(jiān)控/分配/使用功能;提供資源靜態(tài)分配及動(dòng)態(tài)調(diào)度管理功能。云操作中心CIoUdOperationCenter實(shí)現(xiàn)云計(jì)算系統(tǒng)運(yùn)營(yíng)管理,為運(yùn)營(yíng)人員提供便捷的資源管理操作體驗(yàn)。對(duì)不同的虛擬化管理服務(wù)器進(jìn)行管理,實(shí)現(xiàn)統(tǒng)一的云資源管理平臺(tái)。實(shí)現(xiàn)云計(jì)算系統(tǒng)運(yùn)營(yíng)管理,輔助運(yùn)營(yíng)人員快速靈活的處理終端用戶的請(qǐng)求。實(shí)現(xiàn)云計(jì)算系統(tǒng)服務(wù)訪問(wèn)功能,提供計(jì)算資源按需申請(qǐng)、按使用付費(fèi)、動(dòng)態(tài)可擴(kuò)展三方面的主要功能,滿足不同終端用戶資產(chǎn)租賃、服務(wù)訪問(wèn)的差異化需求。云服務(wù)中心CIOUdServicePortal配置自助門戶節(jié)點(diǎn)(CSP),為最終用戶的系統(tǒng)管理員提供自助門戶服務(wù)。資源管理是云平臺(tái)對(duì)資源進(jìn)行管理的功能,是云平臺(tái)的基礎(chǔ)功能模塊。云平臺(tái)的資源類型包括服務(wù)器、機(jī)柜、虛擬機(jī)、組、磁盤鏡像等。云平臺(tái)交付的所有資源,均通過(guò)資源管理模塊獲得。云平臺(tái)資源管理包括虛擬機(jī)管理、鏡像管理、網(wǎng)絡(luò)管理、存儲(chǔ)管理、資源調(diào)度、用戶管理等。通過(guò)資源管理模塊可實(shí)現(xiàn)云平臺(tái)資源管理與調(diào)度,了解資源狀態(tài),進(jìn)行資源注冊(cè)/注銷,對(duì)資源進(jìn)行操作,管理資源分區(qū),實(shí)現(xiàn)操作系統(tǒng)快速部署等。資源調(diào)度可實(shí)現(xiàn)靜態(tài)資源調(diào)度和動(dòng)態(tài)資源調(diào)度。網(wǎng)絡(luò)管理可實(shí)現(xiàn)IP管理、VLAN管理以及網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)監(jiān)控等功能;存儲(chǔ)管理可實(shí)現(xiàn)系統(tǒng)本地存儲(chǔ)管理、系統(tǒng)共享存儲(chǔ)管理、快照管理等。虛擬機(jī)管理是云資源管理的核心部分,通過(guò)虛擬機(jī)管理模塊可實(shí)現(xiàn)Xen、VMWare虛擬機(jī)的創(chuàng)建、刪除與遷移,可對(duì)虛擬機(jī)進(jìn)行查詢、啟動(dòng)、掛起、恢復(fù)、停止、重啟、訪問(wèn),可對(duì)虛擬機(jī)進(jìn)行批量操作與遷移,對(duì)虛擬機(jī)的配置參數(shù)進(jìn)行修改。圖云資源管理通過(guò)虛擬機(jī)鏡像管理可實(shí)現(xiàn)xen虛擬機(jī)鏡像和VMWare虛擬機(jī)鏡像的操作,用戶可以通過(guò)增加和批量增加功能,把系統(tǒng)共享存儲(chǔ)中的虛擬機(jī)鏡像關(guān)聯(lián)到系統(tǒng)中,并由系統(tǒng)管理虛擬機(jī)鏡像信息。通過(guò)ISo鏡像管理可提供ISO鏡像的導(dǎo)入、導(dǎo)出、批量增加、增加、修改、刪除、查詢功能C此外,通過(guò)細(xì)粒度的資源管理,不但可以將資源進(jìn)行池化,通過(guò)更高級(jí)的策略如優(yōu)先級(jí)、預(yù)留值、封頂值、調(diào)度、高可用等策略對(duì)資源進(jìn)行更加靈活的管理。虛擬機(jī)高可用實(shí)現(xiàn)根據(jù)預(yù)先設(shè)置好的策略,將其上運(yùn)行的虛擬機(jī)遷移到其他可用的虛擬機(jī)上,保證服務(wù)質(zhì)量。另外虛擬機(jī)備份,可實(shí)現(xiàn)自動(dòng)備份和手動(dòng)備份功能,自動(dòng)備份在固定時(shí)間系統(tǒng)自動(dòng)執(zhí)行備份;手動(dòng)備份需要管理員手動(dòng)執(zhí)行備份操作。云平臺(tái)安全體系建設(shè)云計(jì)算是一種新興的商業(yè)計(jì)算模型,其模式己得到業(yè)界普遍認(rèn)同,成為信息技術(shù)領(lǐng)域新的發(fā)展方向。但是隨著云計(jì)算的大量應(yīng)用,云環(huán)境的安全問(wèn)題也日益突出。

圖云計(jì)算安全根據(jù)《信息系統(tǒng)安全等級(jí)保護(hù)基本要求》,分為技術(shù)和管理兩大類要求,本方案嚴(yán)格根據(jù)技術(shù)與管理要求進(jìn)行設(shè)計(jì)C首先應(yīng)根據(jù)本級(jí)具體的基本要求設(shè)計(jì)本級(jí)系統(tǒng)的保護(hù)環(huán)境模型,根據(jù)《信息系統(tǒng)等級(jí)保護(hù)安全設(shè)計(jì)技術(shù)要求》,保護(hù)環(huán)境按照安全計(jì)算環(huán)境、安全區(qū)域邊界、安全通信網(wǎng)絡(luò)和安全管理中心進(jìn)行設(shè)計(jì),內(nèi)容涵蓋基本要求的5個(gè)方面。同時(shí)結(jié)合管理要求,形成如下圖所示的保護(hù)環(huán)境模型:三級(jí)系統(tǒng)安全保護(hù)環(huán)境建設(shè)框架安全管理安全管理平臺(tái)[系統(tǒng)管理工r????l[安荃管理安全管理安全管理制度一安全管理機(jī)構(gòu)通信網(wǎng)絡(luò)安全≡網(wǎng)絡(luò)結(jié)構(gòu)安全::網(wǎng)絡(luò)安全審計(jì)1:網(wǎng)絡(luò)設(shè)備防護(hù)?:安全管理安全管理平臺(tái)[系統(tǒng)管理工r????l[安荃管理安全管理安全管理制度一安全管理機(jī)構(gòu)通信網(wǎng)絡(luò)安全≡網(wǎng)絡(luò)結(jié)構(gòu)安全::網(wǎng)絡(luò)安全審計(jì)1:網(wǎng)絡(luò)設(shè)備防護(hù)?:'il????'. '通信保密性i網(wǎng)絡(luò)可信接入;計(jì)算環(huán)境安全ri…互否至期 Γ''"M?????"'"j[…XftK…一'iΓ±MS?KBW?i^l[…&標(biāo)?G?m…]匚二避融二二jΓ????????"i[二:w??集要二二:匚二方通翅二二ir'??????""i[.施疏■:區(qū)域邊界安全≡邊界訪問(wèn)控制i邊界完整性依住邊界入侵防色邊界安全審計(jì)邊界惡意代碼防范:物理安全P有點(diǎn)選東:riι???1?^a:設(shè)備與介G管理:煮.繪建阻等理-??Λi??;:安編?Σ-≡j系奉一E軍管理一圖三級(jí)系統(tǒng)安全保護(hù)環(huán)境建設(shè)框架信息系統(tǒng)的安全保護(hù)等級(jí)由業(yè)務(wù)信息安全性等級(jí)和系統(tǒng)服務(wù)保證性等級(jí)較高者決定,因此,對(duì)某一個(gè)定級(jí)后的信息系統(tǒng)的安全保護(hù)的側(cè)重點(diǎn)可以有多種組合。對(duì)于3級(jí)保護(hù)系統(tǒng),其組合為:(在S1A3G3,S2A3G3,S3A3G3,S3A2G3,S3A1G3選擇)。以下對(duì)云計(jì)算中心詳細(xì)方案設(shè)計(jì)時(shí)應(yīng)將每個(gè)項(xiàng)目進(jìn)行相應(yīng)的組合級(jí)別說(shuō)明。安全技術(shù)體系設(shè)計(jì)從技術(shù)層面上看,云計(jì)算平臺(tái)的安全應(yīng)根據(jù)下圖所示進(jìn)行安全系統(tǒng)建設(shè),以保證云計(jì)算中心的安全。I技術(shù)要求I物理安全 IL崩絡(luò)安全I(xiàn)主機(jī)安全I(xiàn)應(yīng)用安全〔數(shù)據(jù)安全 J—物理位百的選擇(C)j給構(gòu)安全(G)身份叁別(2)-)—身份鑒別(*)-Ljjκ????^—物理訪問(wèn)控制(G)_i訪問(wèn)控制(G)安全標(biāo)記(S)安全標(biāo)記(S)Fg據(jù)保密性(S)I,防丁防和破壞(g)安全審計(jì)JaL_.訪何控制e1一訪問(wèn)控能(*)二[」稿份與恢復(fù)(A)I-防畝火水(G)__[邊界完壑性檢查9)可存路徑(S)可信路看(§)——防協(xié)電(G安全審計(jì)9)-安全審計(jì)?9【溫濕度控制(G)剩余信晝保剪R為余信息娥K-;電力供應(yīng)(A)I網(wǎng)絡(luò)設(shè)備防護(hù)◎"入侵防范(G)-—通信完整性(巨;電磁防護(hù)(W)悲意代碼防船nJa信僅液性(注費(fèi)源控制(A)抗抵領(lǐng)(G)-軟件容捐(A)奧源控制(A)圖安全技術(shù)體系安全管理體系設(shè)計(jì)由于云計(jì)算中心覆蓋面廣,用戶眾多,技術(shù)人員水平不一。為了能準(zhǔn)確了解系統(tǒng)的運(yùn)行狀態(tài)、設(shè)備的運(yùn)行情況,統(tǒng)一部署安全策略,應(yīng)進(jìn)行安全管理中心的設(shè)計(jì),根據(jù)要求,應(yīng)在系統(tǒng)管理、審計(jì)管理和安全管理兒個(gè)大方面進(jìn)行建設(shè)。同時(shí)將安全技術(shù)和管理運(yùn)維結(jié)合,更符合等保要求規(guī)范。目前,國(guó)內(nèi)按照等級(jí)保護(hù)要求進(jìn)行系統(tǒng)設(shè)計(jì)的安全管理體系產(chǎn)品較少,國(guó)內(nèi)較為成熟的是曙光云安全管理中心CIoUdFinn。本方案設(shè)計(jì)將以曙光CloudFirm云安全管理中心為核心,將安全技術(shù)與管理運(yùn)維有機(jī)地結(jié)合起來(lái),形成一個(gè)完整、統(tǒng)一的云安全保障體系。

物理安全網(wǎng)絡(luò)安全主機(jī)安全安全技術(shù)制度規(guī)范、CIoudFirm)合規(guī)性L檢查安全服務(wù).分租.管理運(yùn)維應(yīng)用安全數(shù)據(jù)安全備份恢復(fù)事件管理1物理安全網(wǎng)絡(luò)安全主機(jī)安全安全技術(shù)制度規(guī)范、CIoudFirm)合規(guī)性L檢查安全服務(wù).分租.管理運(yùn)維應(yīng)用安全數(shù)據(jù)安全備份恢復(fù)事件管理1應(yīng)急響應(yīng)]安全巡檢系統(tǒng)監(jiān)控圖CloudFirm在安全管理安全域中建立安全管理中心,是有效幫助管理人員實(shí)施好安全措施的重要保障,是實(shí)現(xiàn)業(yè)務(wù)穩(wěn)定運(yùn)行、長(zhǎng)治久安的基礎(chǔ)。通過(guò)安全管理中心的建設(shè),真正實(shí)現(xiàn)安全技術(shù)層面和管理層面的結(jié)合,全面提升用戶網(wǎng)絡(luò)的信息安全保障能力。云平臺(tái)災(zāi)備子系統(tǒng)建設(shè)本地?cái)?shù)據(jù)備份云計(jì)算中心的數(shù)據(jù)備份目標(biāo)是數(shù)據(jù)庫(kù)系統(tǒng)和業(yè)務(wù)系統(tǒng)數(shù)據(jù)。對(duì)于數(shù)據(jù)庫(kù)系統(tǒng)文件,我們將在云計(jì)算中心部署一套備份系統(tǒng),通過(guò)Lan或Lan-Free的備份方式備份數(shù)據(jù)庫(kù)系統(tǒng)核心數(shù)據(jù)。本地?cái)?shù)據(jù)備份機(jī)房即南工業(yè)園區(qū)新建的數(shù)據(jù)中心機(jī)房。由于本數(shù)據(jù)庫(kù)平臺(tái)的數(shù)據(jù)量和信息處理需求較大,可以通過(guò)全備份與增量備份結(jié)合的方式,每周或每月進(jìn)行一次全備份,其余時(shí)間進(jìn)行增量備份。在保證數(shù)據(jù)安全的同時(shí),提高系統(tǒng)的可用性,降低備份對(duì)系統(tǒng)本身的壓力。

r以太網(wǎng)交換機(jī)r以太網(wǎng)交換機(jī)圖本地備份示意圖5.15.11.2異地?cái)?shù)據(jù)級(jí)容災(zāi)圖異地備份示意圖異地容災(zāi)機(jī)房選用改造后的老廠區(qū)原主機(jī)房,充分考慮設(shè)備的利舊。異地?cái)?shù)據(jù)級(jí)容災(zāi)說(shuō)明:相鄰分中心可以互為異地?cái)?shù)據(jù)備份中心;首先使用設(shè)置合適的備份策略在本地進(jìn)行備份,本地局域網(wǎng)的帶寬較大,可適當(dāng)加大備份的頻率;租用運(yùn)營(yíng)商帶寬或建設(shè)專網(wǎng),根據(jù)網(wǎng)絡(luò)狀況,設(shè)置合適的時(shí)間點(diǎn)和策略,利用DataCopy功能將本地備份的數(shù)據(jù)遷移到遠(yuǎn)端的容災(zāi)中心;將遷移到容災(zāi)中心的數(shù)據(jù)恢復(fù)到備用服務(wù)器,即可接管客戶應(yīng)用。機(jī)房子系統(tǒng)機(jī)房基礎(chǔ)設(shè)施建設(shè)方案曙光機(jī)房方案技術(shù)優(yōu)勢(shì)氟冷封閉機(jī)柜,標(biāo)配超溫自動(dòng)開(kāi)門保護(hù),更安全可靠方案采用針對(duì)中高密度服務(wù)器等設(shè)備機(jī)柜配置機(jī)柜排級(jí)行間氟冷空調(diào),就近制冷、機(jī)柜排內(nèi)部封用的水平送風(fēng)方式能夠充分滿足解決制冷需求,保障機(jī)柜不同高度設(shè)備的溫度均衡,提高制冷效率。由于采用機(jī)柜排封閉的方式建設(shè),在空調(diào)機(jī)故障或斷電停機(jī)時(shí),機(jī)柜排內(nèi)與傳統(tǒng)網(wǎng)孔門機(jī)柜相比內(nèi)部溫度上升快速。從更高的安全性和可靠性上考慮,為封閉機(jī)柜設(shè)計(jì)標(biāo)配有智能超溫自動(dòng)開(kāi)門保護(hù)模塊。其工作原理是:機(jī)柜內(nèi)標(biāo)配有溫度傳感器,當(dāng)制冷系統(tǒng)因故障無(wú)法為機(jī)柜提供制冷,溫度傳感器檢測(cè)出機(jī)柜內(nèi)溫度升高至設(shè)定的閥值時(shí),控制系統(tǒng)會(huì)自動(dòng)啟動(dòng)推桿將機(jī)柜前后門打開(kāi),將服務(wù)器產(chǎn)生的熱量散發(fā)到房間中,避免服務(wù)器因高溫而損壞;同時(shí),配合IMMS管理軟件實(shí)現(xiàn)機(jī)柜超溫報(bào)警,通知值守人員前去自動(dòng)采取應(yīng)急措施。此外,自動(dòng)開(kāi)門系統(tǒng)配合消防系統(tǒng)進(jìn)行聯(lián)動(dòng),當(dāng)有火警信號(hào)時(shí),機(jī)柜開(kāi)門系統(tǒng)啟動(dòng),機(jī)柜前后門自動(dòng)打開(kāi),使消防氣體進(jìn)入機(jī)柜內(nèi)部,進(jìn)行消防滅火。圖:封閉機(jī)柜排外觀圖。行間制冷、機(jī)柜排封閉、帶自然冷卻功能空調(diào)外機(jī)多種節(jié)能方式組合,更綠色環(huán)保本方案設(shè)計(jì)綜合采用行間制冷、機(jī)柜排冷熱通道封閉、帶自然冷卻功能空調(diào)外機(jī)三種方式,用以實(shí)現(xiàn)最佳節(jié)能目標(biāo),綠色環(huán)保??照{(diào)采用行間制冷和機(jī)柜排冷熱通道封閉措施,空調(diào)就近制冷,縮短空調(diào)送風(fēng)距離,能夠有效降低空調(diào)風(fēng)機(jī)功耗,提高制冷效率,減少冷量浪費(fèi)。機(jī)柜系統(tǒng)采用熱通道封閉的形式,有效防止冷熱氣流混合,使機(jī)房?jī)?nèi)氣流組織更加優(yōu)化,提高了空調(diào)的回風(fēng)溫度,大大提供了空調(diào)的制冷效率,節(jié)能效果明顯??照{(diào)室外機(jī)采用帶氟泵自然冷卻空調(diào)室外機(jī),在冬季環(huán)境溫度較低時(shí),空調(diào)外機(jī)關(guān)閉全部壓縮機(jī)進(jìn)行制冷,達(dá)到節(jié)能目的,機(jī)房最低PUE值可做到L35.氟冷機(jī)柜和集群設(shè)備一體化解決方案,更優(yōu)服務(wù)曙光ClOOO氟冷機(jī)柜一體化系統(tǒng)和服務(wù)器集群設(shè)備統(tǒng)一為曙光自有產(chǎn)品,機(jī)柜在風(fēng)量、風(fēng)壓、風(fēng)溫上可以實(shí)現(xiàn)與集群的最佳匹配,機(jī)柜配套和集群設(shè)備均由曙光統(tǒng)一設(shè)計(jì),并由曙光統(tǒng)一提供一站式售后服務(wù),避免協(xié)調(diào)多個(gè)廠商、出現(xiàn)各系統(tǒng)之間相互推諉的問(wèn)題。自主研發(fā)、成本可控,原廠本地服務(wù),更高性價(jià)比ClOOO氟冷機(jī)柜是曙光多年累計(jì)國(guó)家大型超算中心項(xiàng)目經(jīng)驗(yàn),自主研發(fā)、生產(chǎn)的機(jī)房基礎(chǔ)設(shè)施產(chǎn)品,引進(jìn)國(guó)外技術(shù)、自主創(chuàng)新研發(fā),由曙光提供原廠國(guó)內(nèi)本地生產(chǎn)和售后服務(wù),較其它品牌進(jìn)口風(fēng)冷機(jī)柜具有很大的價(jià)格優(yōu)勢(shì),高性價(jià)比,設(shè)備供貨周期一個(gè)月、比進(jìn)口品牌報(bào)關(guān)進(jìn)貨周期短2/3。為了適應(yīng)新時(shí)代計(jì)算技術(shù)和業(yè)務(wù)模式對(duì)機(jī)房基礎(chǔ)設(shè)

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論