華為FusionCube2000虛擬化一體機技術建議書TOC\o"1-5"\h\z目錄 2\o"CurrentDocument"1項目概述 511萬'??? 5I頁目后點寸3??? 5自匕ffn寸之??? ????6\o"CurrentDocument"2項目技術方案 7\o"CurrentDocument"FusionCube2000總體架構(gòu) 7\o"CurrentDocument"2?2FusionCube2000應用場景 9\o"CurrentDocument"FusionCube2000組成結(jié)構(gòu) 9\o"CurrentDocument"FusionCube組成部件 9\o"CurrentDocument"FusionCube節(jié)點部署方案 10\o"CurrentDocument"FusionCube分布式塊存儲介紹 13\o"CurrentDocument"分布式機頭 14\o"CurrentDocument"分布式緩存 14\o"CurrentDocument"全局負載均衡 15\o"CurrentDocument"彈性擴展 15\o"CurrentDocument"精簡配置 17\o"CurrentDocument"高性能快照 17\o"CurrentDocument"高性能鏈接克隆 18\o"CurrentDocument"248高可靠 19\o"CurrentDocument"管理簡便 22\o"CurrentDocument"FusionSphere虛擬化介紹 22\o"CurrentDocument"FusionSphere基于分布式存儲軟件部署方案 22\o"CurrentDocument"智能資源調(diào)度 23\o"CurrentDocument"彈性擴容 25\o"CurrentDocument"VMware虛擬化介紹 26\o"CurrentDocument"VMware基于分布式存儲軟件的部署方案 26\o"CurrentDocument"VMwareVMFS 27\o"CurrentDocument"VMwareRDM 28\o"CurrentDocument"VMware虛擬磁盤置備策略 28\o"CurrentDocument"VMwareVAAI 29\o"CurrentDocument"eBackup虛擬機備份方案（可選） 30\o"CurrentDocument"方案概述 30\o"CurrentDocument"適用場景 31使用場景 31使用約束 32\o"CurrentDocument"方案組網(wǎng) 32新增軟硬件設備 332.73.2數(shù)據(jù)備份過程 332.7?3?3次攵物RJ3t木星 ??332.7?4 ??3333\o"CurrentDocument"2.8用戶數(shù)據(jù)備份到第三方備份服務器方案（可選） 342?8?1/j ??34\o"CurrentDocument"2.8.2適用場景 342.8.2.1使用場景 34使用約束 34\o"CurrentDocument"方案組網(wǎng) 34新增軟硬件設備 342.83.2數(shù)據(jù)備份過程 352.833數(shù)據(jù)恢復過程 35\o"CurrentDocument"方案特點 35優(yōu)點 35284.2缺點 35\o"CurrentDocument"2.9容災方案（可選） 36\o"CurrentDocument"UltraVR基于主機遠程復制容災方案 36方案概述 36\o"CurrentDocument"適用場景 382.9,3.1使用場景 38293.2使用約束 38\o"CurrentDocument"2.9.4方案組網(wǎng) 39新增軟硬件設備 39容災建設步驟 40切換前處理 40災演練處理 41災切換處理 412.9,4.6計劃性遷移處理 41重保護處理 41容災切回處理 41\o"CurrentDocument"2.9.5方案特點 41優(yōu)點 41缺點 42\o"CurrentDocument"3FusionCube2000計算存儲融合硬件 42\o"CurrentDocument"3?1RH2288HV3 42\o"CurrentDocument"3.2ES3000 43\o"CurrentDocument"321ES3000V2 43\o"CurrentDocument"3.2.2ES3000V3 44\o"CurrentDocument"3.3交換機 45\o"CurrentDocument"CE5855-48T4S2Q-EI 45\o"CurrentDocument"CE685M8S6Q-HI 46\o"CurrentDocument"SX6036 46\o"CurrentDocument"4FusionCube2000虛擬化典型配置 475服務器數(shù)量規(guī)劃 48\o"CurrentDocument"各節(jié)點資源占用 48\o"CurrentDocument"ESXi資源占用 49\o"CurrentDocument"UVP資源占用 50\o"CurrentDocument"FusionNIanager資源占用 50^5*^5 11JI]????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????5\o"CurrentDocument"FusionCube分布式塊存儲Manager資源占用 51\o"CurrentDocument"FusionCube分布式塊存儲Agent資源占用 51\o"CurrentDocument"按容量和性能計算服務器數(shù)量 51\o"CurrentDocument"FusionCube的部署方案 53\o"CurrentDocument"資源池劃分 53\o"CurrentDocument"FusionCube與FusionSphere虛擬化平分對接場景 53\o"CurrentDocument"FusionCube與VMware虛擬化平價對接場景 54\o"CurrentDocument"FusionCube分布式塊存儲在VMware下的部署（融合） 55FusionCube分布式塊存儲在VMware下的部署（分離） 56\o"CurrentDocument"FusionCube2000網(wǎng)絡設計方案 57\o"CurrentDocument"總體組網(wǎng)方案 57\o"CurrentDocument"網(wǎng)絡部署方案 58\o"CurrentDocument"8典型應用案例 59\o"CurrentDocument"華為公司計算云-單資源池5KVM 59\o"CurrentDocument"FusionCube加速華為公司R&A項13數(shù)據(jù)倉庫平臺 60\o"CurrentDocument"海事大學虛擬實驗室（虛擬化） 61\o"CurrentDocument"FusionCube助力中信信托轉(zhuǎn)型互聯(lián)網(wǎng)金融 61\o"CurrentDocument"9系統(tǒng)軟硬件配置清單及說明 62\o"CurrentDocument"軟件配置 62\o"CurrentDocument"硬件配置 62華為FusionCube2000虛擬化一體機技術建議書1項目概述項目背景XXX項目背景僅作參考，需要根據(jù)具體的項目進行修改:以丁奧笈準備采用虛擬化與云計算技術來構(gòu)建IT系統(tǒng)，提升IT系統(tǒng)的資源利用率，但是傳統(tǒng)SAN在企業(yè)基礎設施池化、云化中面臨的主要問題:存儲資源彈性問題：多業(yè)務負載、資源的動態(tài)需求變化存儲擴展的問題：共享、擴展面臨了諸多的瓶頸和問題（機頭、前后端網(wǎng)絡、CPU/Cache與HDD不同步問題）形態(tài)和實施的成本、復雜性問題：獨立的存儲網(wǎng)絡，建設成本高、實施更雜（初始實施、擴減容等）容錯和可靠性問題：大規(guī)模集群中容忍的故障域問題（跨機柜、跨機房），硬盤重建時間長問題針對上述問題，建議使用FusionCube20（）0一體機解決上述問題，為滿足業(yè)務平臺口益增長的存儲需求，為業(yè)務平臺提供高安全性、高可靠性、高可用性和開放性的存儲服務。FusionCube2000一體機系統(tǒng)基于分布式處理技術、虛擬化技術和集群技術實現(xiàn)，作為云計算資源池存儲資源池的一部分，為計算資源池提供高速、可靠、安全的塊存儲服務。項目需求XXX單位,對存儲性能、可靠性、備份的需求如下，需要根據(jù)具體的項目進行修改:序號項目需求描述備注1VDI要求虛擬機規(guī)格:vCPU=2U,Memoiy-2GB,系統(tǒng)盤=40GB,數(shù)據(jù)盤=80GB；規(guī)模500個具體的虛擬機規(guī)格根據(jù)實際情況修改華為FusionCube2000虛擬化一體機技術建議書2虛擬化要求虛擬機規(guī)格:vCPU=2U,Memo1戶4GB,系統(tǒng)盤=80GB,數(shù)據(jù)盤=160GB：規(guī)模1000個具體的虛擬機規(guī)格根據(jù)實際情況修改3備份要求本地建設備份系統(tǒng)個，備份策略為1周全備，保留一月份全備數(shù)據(jù)，7天增量備份，備份容量為60T可選4容災要求要求虛擬機層做雙活和異地容災可選功能需求XXX單位,對功能需求如卜.，需要根據(jù)具體的項目進行修改:支持運行在通用X86服務器，硬件、虛擬化平臺軟件支持采用XXX廠家；采用分布式架構(gòu)，非集中式；支持卷級精簡配置；支持卷級鏈接克?。恢С志砑壴隽靠煺?；數(shù)據(jù)副本支持部署在不同服務器、不同機柜，以提供當服務器、機柜故障時不中斷存儲服務；系統(tǒng)單TB修兔時間小于30分鐘；支持NVDIMM、PCIESSD、SSD盤作為存儲cache；支持PCIESSD、SSD盤、SAS、NL-SAS、SATA作為存儲介質(zhì)：存儲支持10GE網(wǎng)絡互聯(lián)：支持劃分多資源池；支持底層存儲虛擬化：支持上層數(shù)據(jù)庫；支持在線擴容和離線擴容：華為FusionCube2000虛擬化一體機技術建議書2項目技術方案2.1FusionCube2000總體架構(gòu)圖2-1華為FusionCube2000FusionSphere虛擬化架構(gòu)華為FusionCube2000虛擬化一體機技術建議書圖2-2華為FusionCube2000VMwaie虛擬化架構(gòu)融合FusionCube2000實現(xiàn)了計算、存儲和網(wǎng)絡資源的融合：硬件融合：計算存儲網(wǎng)絡高度集成，線性擴容。管理融合：統(tǒng)一運維管理，提高資源利用率，降低OPEX費用。應用融合：針對應用業(yè)務模型，軟硬件深度調(diào)優(yōu)，實現(xiàn)性能提升。簡單FusionCube2000實現(xiàn)了預安裝、預集成、預驗證、上電后的設備自動發(fā)現(xiàn)、統(tǒng)一的維護管理，端到端地簡化了業(yè)務交付：簡化安裝：硬件預置安裝，軟件預置集成，設備進場后開箱即用。簡捷交付：設備上電自動發(fā)現(xiàn)，參數(shù)自動配置，實現(xiàn)業(yè)務快速上線。簡單維護：統(tǒng)一界面管理，故障主動排查，簡化口常運維。優(yōu)化FusionCube2000通過采用業(yè)界領先硬件，以及分布式存儲軟件，為應用提供最優(yōu)的業(yè)務體驗：存儲優(yōu)化：通過內(nèi)置分布式存儲，為數(shù)據(jù)庫應用提供了高并發(fā)、高吞吐量的存儲服務。網(wǎng)絡優(yōu)化：支持56GbpsInfiniBand,提供業(yè)界最快的交換網(wǎng)絡。開放8

華為FusionCube2000虛擬化一體機技術建議書FusionCube2000是開放的超融合基礎設施平臺，不綁定特定的上層應用，可以為業(yè)界主流虛擬化平臺、數(shù)據(jù)庫等提供計算、存儲和網(wǎng)絡資源：兼容主流虛擬化平臺(FusionSphere,VMwarevSphere)。一套系統(tǒng)同時支持虛擬化和數(shù)據(jù)庫混合部署。FusionCube2000應用場景XXX項目的應用場景如卜.，需要根據(jù)具體的項目進行修改:FusionCube的典型使用場景包括：虛擬化一體機：直接提供集成的FusionCube虛擬化一體機，不攜帶任何其他應用軟件；桌面云一體機：在虛擬化一體機上運行VDI(Vu-nialDesktopIn丘astipctme)虛擬桌面或應用虛擬化，提供桌面云服務；企業(yè)OA一體機：在虛擬化一體機上運行企業(yè)OA的服務端應用，如微軟Exchange、Sharepomt應用：數(shù)據(jù)庫/大數(shù)據(jù)一體機：在虛擬化一體機上運行微軟SQLSeiver數(shù)據(jù)庫、SAPHANA數(shù)據(jù)庫等軟件，通過硬件調(diào)優(yōu)技術，確保數(shù)據(jù)庫一體機的性價比最優(yōu)；FusionCube2000組成名吉構(gòu)FusionCube組成部件圖2-3FusionCube組成示意圖(RH2288HV3)圖2-3FusionCube組成示意圖(RH2288HV3)表示軟件組件表2-1FusionCube主要組件簡介組件簡介RH2288HV3硬件組件，向FusionCube提供物理的計算、存儲資源。需要與FusionCube分布式塊存儲配合使用。

華為FusionCube2000虛擬化一體機技術建議書FusionCube分布式塊存儲軟件組件，管理RH2288HV3服務器上的存儲資源，向FusionCube提供存儲資源。FusionCompute軟件組件，負責?物理資源虛擬化，向FusionCube提供虛擬機服務。FusionCubeCenter軟件組件，作為FusionCube的管理軟件，管理其中的虛擬化資源、硬件資源，提供系統(tǒng)監(jiān)控管理、運維管理和服務目錄管理等功能。FusionCube節(jié)點部署方案FusionCube2000一體機采用2U機架服務器RH228SHV3作為系統(tǒng)的硬件平臺。最小配置為3個服務器節(jié)點。圖2?4FusionCompute邏輯節(jié)點站點-集布一VRM備存儲資源計算節(jié)點主機主機主機集群2計算節(jié)點?主機主機主機管站點-集布一VRM備存儲資源計算節(jié)點主機主機主機集群2計算節(jié)點?主機主機主機管理節(jié)點VRML（主機）（主機）集群n計算節(jié)點生機主機主機10華為FusionCube2000虛擬化一體機技術建議書表2-2FusionCompute部署方案節(jié)點節(jié)點說明部署方案和部署原則VRNIFusionCompute的管理節(jié)點，提供管理界面對虛擬化資源進行統(tǒng)一管理。使用虛擬化部署，需要在管理集群中指定主機創(chuàng)建VRM節(jié)點虛擬機。主備部署時需要將主備VRM節(jié)點分別部署在兩臺管理集群主機上。建議VRM節(jié)點主備部署。主機即物理服務器,為FusionCompute提供計算資源。當存儲使用本地硬盤時，主機同時提供存儲資源。根據(jù)客戶對計算資源的需求部署多個主機，提供虛擬化計算資源。使用本地存儲時，主機同時提供存儲資源。主機數(shù)量較少（如10臺以內(nèi)）時，可將所有主機加入管理集群，使管理集群和用戶業(yè)務集群合一部署。如果主機數(shù)量較多，建議單獨創(chuàng)建一個到多個業(yè)務集群，以更好的區(qū)分用戶不同的業(yè)務類型。表2-3FusionCubeCentei部署方案節(jié)點節(jié)點說明部署方案和部署原則FusionCubeCenterFusionCubeCente［節(jié)點，部署在虛擬化環(huán)境中獨立的虛擬機上。FusionCubeCenter節(jié)點采用主備部署方式。FusionCubeCenter主備節(jié)點虛擬機分別部署在兩臺管理集群主機上。表24FusionCube分布式塊存儲軟件組件節(jié)點節(jié)點說明部署方案和部署原則FusionCube分布式塊存儲ManagerFusionCube分布式塊存儲的管理模塊，提供告警、監(jiān)控、口志、配置等操作維護功能。部署在虛擬機上，使用主備模式。FusionCube分布式塊存儲Manager主備節(jié)點虛擬機分別部署在兩臺管理集群主機上。FusionCube分布式塊存儲AgentFusionCube分布式塊存儲的代理進程，部署在所有節(jié)點之上，實現(xiàn)各節(jié)點與FusionCube分布式塊存儲Manager通信。直接部署在主機的操作系統(tǒng)上。11

華為FusionCube2000虛擬化一體機技術建議書MDC（元數(shù)據(jù)控制組件）為FusionCube分布式塊存儲Agent中的一個進程，實現(xiàn)對分布式集群的狀態(tài)控制，以及控制數(shù)據(jù)分布式規(guī)則、數(shù)據(jù)重建規(guī)則等。部署在已安裝FusionCube分布式塊存儲Agent的節(jié)點上。MDC進程需要占用獨立的存儲空間，該空間稱為ZK。若將單個磁盤分給ZK使用，該磁盤稱為ZK盤；若將系統(tǒng)分區(qū)分給ZK使用，該分區(qū)稱為ZK分區(qū)。管理節(jié)點用于部署FusionCompute管理節(jié)點VRM、FusioiiMaiiager節(jié)點、FusionCube分布式塊存儲管理節(jié)點FusionCube分布式塊存儲Manager。圖2-5MDC與管理節(jié)點合一部署方式圖2-5MDC與管理節(jié)點合一部署方式表表2-5FusionCube分布式塊存儲部署方案，兩種方式的比較部署方式部署說明方案對比部署方式部署說明方案對比華為FusionCube2000虛擬化一體機技術建議書MDC與管理節(jié)點合一部署方式主機1、主機2、主機3的其中一塊硬盤部署為ZK盤，用于管理分配FusionCube分布式塊存儲分布式系統(tǒng)的數(shù)據(jù)。優(yōu)勢：使用獨立ZK盤的性能和可靠性要優(yōu)于ZK分區(qū)。劣勢：由于獨立ZK盤占用磁盤槽位，而每個服務器上用于存儲池的磁盤數(shù)量必須一致,所以使用獨立ZK盤會降低系統(tǒng)整體存儲容量。MDC與管理節(jié)點分離部署方式主機3、主機4、主機5的RAID1盤剩余空間的磁盤分區(qū)部署為ZK分區(qū)，用于管理協(xié)調(diào)FusionCube分布式塊存儲分布式系統(tǒng)的數(shù)據(jù)。注意ZK使用系統(tǒng)分區(qū)部署模式下，主機RAID1盤剩余空間的磁盤分區(qū)用于部署ZK分區(qū)，禁止將該磁盤分區(qū)添加為主機的數(shù)據(jù)存儲，以避免與ZK分區(qū)的數(shù)據(jù)產(chǎn)生沖突。同理，如果主機已將RAID1盤剩余空間的磁盤分區(qū)添加為數(shù)據(jù)存儲，則禁止在該磁盤分區(qū)部署ZK分入優(yōu)勢：由于ZK占用的存儲空間大小為60GB,而單個磁盤的容量往往遠大于60GB,所以采用ZK分區(qū)的方式，可以節(jié)約磁盤空間。劣勢：使用ZK分區(qū)的性能和可靠性不及獨立ZK盤。FusionCube分布式塊存儲介紹高性能是企業(yè)級存儲系統(tǒng)需要滿足的關鍵需求。但是，在最近幾年，持續(xù)為所有的應用長期提供高性能支持變成了尤其艱巨的挑戰(zhàn)。這是因為屢經(jīng)證實，傳統(tǒng)的存儲系統(tǒng)架構(gòu)無法通過成功擴展性能來跟上前所未有的存儲數(shù)據(jù)增長步伐。另外高端存儲作為獨立網(wǎng)元，不但需要專門管理和維護，而且價格昂貴，讓一般企業(yè)望而卻步。分布式存儲FusionCube分布式塊存儲作為一種與計算融合的存儲軟件，通過在通用服務器上部署該軟件，可以將所有服務器的本機磁盤組織成一個虛擬存儲資源池，在某些使用場景下完全替換外置SANoFusionCube分布式塊存儲使計算和存儲高度融合，達到高性能、高可靠、高性價比。突破性的架構(gòu)和設計。FusionCube分布式塊存儲存儲產(chǎn)品的創(chuàng)新設計使其能夠?qū)崿F(xiàn)傳統(tǒng)架構(gòu)通常無法達到的非凡性能優(yōu)化。這種優(yōu)化將允許您充分利用系統(tǒng)資源并且在所有的系統(tǒng)硬盤驅(qū)動器之間自動分配工作負載。此外，系統(tǒng)還支持一系列高級功能，如精簡調(diào)配和快照等，當然不會對性能產(chǎn)生負面影響。一致的、可預測的性能及可擴展性。FusionCube分布式塊存儲系統(tǒng)在所有磁盤之間優(yōu)化分配所有工作負載的能力以及強大的分布式緩存結(jié)構(gòu)允許您通過添加服務器節(jié)點來平滑、線性擴展高性能。由于這個高性能是一致的，無需手動調(diào)試，因此，用戶可在因為業(yè)務量和快照使用模式發(fā)生變化而造成的高峰期和低谷期享受到相同級別的高性能，即使在組件發(fā)生故障時也不例外。13

華為FusionCube2000虛擬化一體機技術建議書高彈性和自愈能力。FusionCube分布式塊存儲存儲系統(tǒng)可在硬件故障期間保持高彈性，繼續(xù)正常運行，幾乎不會對性能產(chǎn)生任何影響。此外，這個解決方案的高級自愈功能使其能夠在最初的故障恢更之后抵御更多的硬件故障。計算存儲高度融合。FusionCube分布式塊存儲作為一種把存儲與計算融合的存儲軟件，將所有服務器的本機磁盤組織成一個虛擬存儲資源池進行管理，具有管理自動化、運行高性能、安裝免工程配置等優(yōu)點。存儲不再作為單獨網(wǎng)元進行專門的配置和管理，使計算節(jié)點上的資源得到充分利用，企業(yè)用戶在得到高性能存儲的同時，節(jié)省了購買外置存儲的高昂費用。分布式機頭FusionCube分布式塊存儲采用無狀態(tài)的分布式軟件機頭，機頭部署在各個服務器上，無集中式機頭的性能瓶頸。單個服務器上的軟件機頭只占用較少的CPU資源，提供比集中式機頭更高的lOPSo分布式緩存FusionCube分布式塊存儲實現(xiàn)了計算和存儲的融合，緩存和帶寬都均勻分布到各個服務器節(jié)點上。FusionCube分布式塊存儲集群內(nèi)各服務器節(jié)點的硬盤使用獨立的I/O帶寬，不存在獨立存儲系統(tǒng)中大量磁盤共享計算設備和存儲設備之間有限帶寬的問題。FusionCube分布式塊存儲支持將服務器部分內(nèi)存或者SSD用作讀緩存，SSD卡用作寫緩存，數(shù)據(jù)緩存均勻分布到各個節(jié)點上，所有服務器的緩存總?cè)萘窟h大于采用外置獨立存儲的方案。即使采用大容量低成本的SATA硬盤，F(xiàn)usionCube分布式塊存儲仍然可以發(fā)揮很高的IO性能，整體性能提升卜3倍，同時提供更大的有效容量。FusionCube分布式塊存儲支持PCIeSSD用作數(shù)據(jù)緩存，除具備通常的寫緩存外，增加熱點數(shù)據(jù)統(tǒng)計和緩存功能，加上其大容量的優(yōu)勢，進一步提升了系統(tǒng)性能。圖2-7FusionCube分布式塊存儲計算和存儲融合計算服務器+FusionStorage14計算服務器+FusionStorage14華為FusionCube2000虛擬化一體機技術建議書243全局負載均衡FusionCube分布式塊存儲的實現(xiàn)機制保證了上層應用對數(shù)據(jù)的IO操作均勻分布在不同服務器的不同硬盤上，不會出現(xiàn)局部的熱點，實現(xiàn)全局負載均衡。第一，系統(tǒng)自動將數(shù)據(jù)塊打散存儲在不同服務器的不同硬盤上，冷熱不均的數(shù)據(jù)會均勻分布在不同的服務器上，不會出現(xiàn)集中的熱點。第二，數(shù)據(jù)分片分配算法保證了主用副本和備用副本在不同服務器和不同硬盤上的均勻分布，換句話說，每塊硬盤上的主用副本和備副本數(shù)量是均勻的。第三，擴容節(jié)點或者故障減容節(jié)點時，數(shù)據(jù)恢復重建算法保證了重建后系統(tǒng)中各節(jié)點負載的均衡性。彈性擴展FusionCube分布式塊存儲采用分布式架構(gòu)，支持無性能損耗的彈性擴展。?DHT路由FusionCube分布式塊存儲采用DHT（DistributeHashTable?分布式哈希表）路由數(shù)據(jù)算法。每個存儲節(jié)點負責存儲一小部分數(shù)據(jù)，基于DHT實現(xiàn)整個系統(tǒng)數(shù)據(jù)的尋址和存儲。相比DHT路由算法，傳統(tǒng)存儲一般采用集中式元數(shù)據(jù)管理方式，元數(shù)據(jù)中會記錄所有LUN中不同偏移量的數(shù)據(jù)在硬盤中的分布，例如LUN1+LBA1地址起始的4KB長度的數(shù)據(jù)分布在第32塊硬盤的LBA2上。每次2操作都需要去查詢元數(shù)據(jù)服務，隨著系統(tǒng)規(guī)模逐漸變大，元數(shù)據(jù)的容量也會越來越大，系統(tǒng)所能提供的并發(fā)操作能力將受限于無數(shù)據(jù)服務所在服務器的能力，元數(shù)據(jù)服務將會成為系統(tǒng)的性能瓶頸。不同于傳統(tǒng)的集中式元數(shù)據(jù)管理，F(xiàn)usionCube分布式塊存儲采用DHT（分布式一致性哈希）進行數(shù)據(jù)尋址，具體的算法如下圖：FusionCube分布式塊存儲將哈?？臻g設置為2八32,并將該哈?？臻g劃分為N等份，每1等份是1個分區(qū)（Partition）,這N等份按照硬盤數(shù)量進行均分。例如：系統(tǒng)N默認為3600,假設當前系統(tǒng)有32塊硬盤，則每塊硬盤承載100個分區(qū)。上述“分區(qū)-硬盤”的映射關系在系統(tǒng)初始化時會分配好，后續(xù)會隨著系統(tǒng)中硬盤數(shù)量的變化會進行調(diào)整。該映射表所需要的空間很小，F(xiàn)usionCube分布式塊存儲系統(tǒng)中的節(jié)點會在內(nèi)存中保存該映射關系，用于進行快速路由，可見，F(xiàn)usionStorge的路由機制不同15華為FusionCube2000虛擬化一體機技術建議書于傳統(tǒng)陣列，并沒有集中的元數(shù)據(jù)管理，也就不存在元數(shù)據(jù)服務成為系統(tǒng)的性能瓶頸。舉例說明：應用需要訪問LUN1+LBA1地址起始的4KB長度的數(shù)據(jù)，首先構(gòu)造key=LUNl-LBAl/lM,對該key進行HASH計算得到哈希值，并對N取模，得至ljpaction號，根據(jù)內(nèi)存中記錄的“分區(qū)-硬盤”映射表可得知數(shù)據(jù)歸屬的硬盤。同時，F(xiàn)usionCube分布式塊存儲采用的DHT算法具有以下特點：-均衡性：數(shù)據(jù)能夠盡可能分布到所有的節(jié)點中，這樣可以使得所有節(jié)點負載均衡。-單調(diào)性：當有新節(jié)點加入系統(tǒng)中，系統(tǒng)會重新做數(shù)據(jù)分配，數(shù)據(jù)遷移僅涉及新增節(jié)點，現(xiàn)有節(jié)點上的數(shù)據(jù)不需要做很大調(diào)整。?平滑擴容FusionCube分布式塊存儲的分布式架構(gòu)具有良好的可擴展性，支持超大容量的存儲：擴容存儲節(jié)點后不需要做大量的數(shù)據(jù)搬遷，系統(tǒng)可以快速達到負載均衡狀態(tài)。支持靈活的擴容方式，可以獨立擴容計算節(jié)點、硬盤、存儲節(jié)點,或者同時進行擴容。在擴容計算節(jié)點時同步擴容存儲空間，擴容后的系統(tǒng)仍舊可以是計算和存儲融合。機頭、存儲帶寬和Cache都均勻分布到各個節(jié)點上，系統(tǒng)IOPS、吞吐量和Cache隨著節(jié)點的擴容而線性增加。圖2-8FusionCube分布式塊存儲平滑擴容節(jié)點精簡配置FusionCube分布式塊存儲提供了精簡配置功能，為應用提供比實際物理存儲更多的虛擬存儲資源。相比直接分配物理存儲資源，可以顯著提高存儲空間利用率。16

華為FusionCube2000虛擬化一體機技術建議書采用DHT路由技術，系統(tǒng)無需使用專門的集中元數(shù)據(jù)來記錄卷的精簡分配情況，和傳統(tǒng)SAN相比，不會帶來性能下降。圖2-9FusionCube分布式塊存儲自動精簡配置2TB傳統(tǒng)配置F1動精簡配置時間?2TB傳統(tǒng)配置F1動精簡配置時間?高性能快照只有與FusionSphere配合使用的情況卜,支持快照功能：FusionCube分布式塊存儲與VMware配合使用的情況下不支持快照。在與FusionSphere配合使用的情況下：FusionCube分布式塊存儲提供了快照機制，將用戶的邏輯卷數(shù)據(jù)在某個時間點的狀態(tài)保存下來，后續(xù)可以作為導出數(shù)據(jù)、恢復數(shù)據(jù)之用。FusionCube分布式塊存儲快照數(shù)據(jù)基于DHT(DistributeHashTable)機制，快照不會引起原卷性能下降?？煺樟６柔槍?MB大小來實現(xiàn)，針對一塊容量為2TB的硬盤，一共2M個Key,完全索引在內(nèi)存中有24MB,一次Hash杳找即可判斷有沒有做過快照，以及最新快照的存儲位置。17快照次數(shù)只和Panition容量有關，而Paitition容量不受限制，所以理論上可以支持無限次快照。

17華為FusionCube2000虛擬化一體機技術建議書圖2-10FusionCube分布式塊存儲快照立A快照14工625新空間2189新空間1卷A13456立A快照14工625新空間2189新空間1卷A13456789快照1快照2快照3高性能鏈接克隆只有與FusionSphere配合使用的情況卜支持鏈接克隆功能：FusionCube分布式塊存儲與VMware配合使用的情況下不支持鏈接克隆；在與FusionSphere配合使用的情況下：FusionCube分布式塊存儲基于增量快照提供了鏈接克隆機制，基于一個快照創(chuàng)建出多個克隆卷，各個克隆卷剛創(chuàng)建出來時的數(shù)據(jù)內(nèi)容與快照中的數(shù)據(jù)內(nèi)容一致，后續(xù)對以克隆卷的修改不會影響到原始的快照和其他克隆卷。FusionCube分布式塊存儲支持1:256的鏈接克隆比，提升存儲空間利用率。FusionCube分布式塊存儲支持批量進行虛擬機卷部署，能夠在秒級批量創(chuàng)建上百個虛擬機卷?？寺【砝^承普通卷所有功能：克隆卷可支持創(chuàng)建快照、從快照恢好以及再次作為母卷進行克隆操作。高可靠? 集群管理FusionCube分布式塊存儲分布式存儲軟件采用集群管理方式，從架構(gòu)上保證了系統(tǒng)不會出現(xiàn)單點故障，一個節(jié)點或者一塊硬盤故障自動從集群內(nèi)隔離出來，不影響整個系統(tǒng)業(yè)務的使用。具體為：MDC：集群方式，系統(tǒng)部署3?5個MDC模塊，MDC模塊間采用主備工作方式，當主MDC故障時，備MDC會升為主MDC；FusionCube分布式塊存儲Manager：主備模式，系統(tǒng)部署2個FusionCube分布式塊存儲Manager模塊；18華為FusionCube2000虛擬化一體機技術建議書OSD：主備模式,MDC實時監(jiān)控OSD的狀態(tài)，當指定Partition所在的主OSD故障時，存儲服務會實時自動切換到備OSD,保證了業(yè)務的連續(xù)性；?多數(shù)據(jù)副本FusionCube分布式塊存儲采用數(shù)據(jù)多副本備份機制來保證數(shù)據(jù)的可靠性，即同一份數(shù)據(jù)可以復制保存為2?3個副本。針對系統(tǒng)中的每1個卷,默認按照1MB進行分片，分片后的數(shù)據(jù)按照DHT算法保存集群節(jié)點上。如下圖所示，對于服務器Sezeil的磁盤Diskl上的數(shù)據(jù)塊P1,它的數(shù)據(jù)備份為服務器Served的磁盤Disk2上PF,Pl和PF構(gòu)成了同一個數(shù)據(jù)塊的兩個副本。例如，當P1所在的硬盤故障時，PU可以繼續(xù)提供存儲服務。圖2-11FusionCube分布式塊存儲多數(shù)據(jù)副本Server1Server2DkkSServer3Server1Server2DkkSServer31919?數(shù)據(jù)一致性數(shù)據(jù)一致性意味著當應用成功寫入一份數(shù)據(jù)到存儲系統(tǒng)時，存儲系統(tǒng)的幾個數(shù)據(jù)副本必然是一致的，當應用再次讀時，無論在哪個副本上讀取,都是之前寫入的數(shù)據(jù)。FusionCube分布式塊存儲采取多種方式來保證系統(tǒng)中數(shù)據(jù)的一致性：-副本同步寫當VBS模塊將寫操作發(fā)送給指定主OSD時，該OSD在寫入本節(jié)點硬盤時，同時將寫操作同步到備OSD,同步過程中嚴格按照IO編號進行，保證了主OSD接收到的IO順序和同步到備OSD的IO順序一致。當主備OSD同時完成寫操作時，才向應用返回操作成功。具體流程如下圖所示：華為FusionCube2000虛擬化一體機技術建議書3.2.13.2.1-讀修fl(ReadRepak)ReadRepair機制是指在讀數(shù)據(jù)失敗時，系統(tǒng)會判斷錯誤類型，如果是磁盤扇區(qū)讀取錯誤，系統(tǒng)會自動從其他節(jié)點保存的副本讀取數(shù)據(jù)，然后重新寫入該副本數(shù)據(jù)到硬盤扇區(qū)錯誤的節(jié)點，從而保證數(shù)據(jù)副本總數(shù)不減少和副本間的數(shù)據(jù)一致性。?快速數(shù)據(jù)重建FusionCube分布式塊存儲中的每個硬盤都保存了多個數(shù)據(jù)塊(Partition),這些數(shù)據(jù)塊的副本按照策略分散在系統(tǒng)中的其他節(jié)點。當FusionCube分布式塊存儲檢測到硬盤或者節(jié)點硬件發(fā)生故障時，自動在后臺啟動數(shù)據(jù)修及。由于數(shù)據(jù)塊的副本被分散到多個不同的存儲節(jié)點上，數(shù)據(jù)修復時,將會在不同的節(jié)點上同時啟動數(shù)據(jù)重建，每個節(jié)點上只需重建一小部分數(shù)據(jù)，多個節(jié)點并行工作，有效避免單個節(jié)點重建大量數(shù)據(jù)所產(chǎn)生的性能瓶頸，對上層業(yè)務的影響做到最小化。數(shù)據(jù)故障自動重建流程如下圖所示。圖2-圖2-12FusionCube分布式塊存儲數(shù)據(jù)重建流程FusionCube分布式塊存儲支持并行、快速故障處理和重建：-數(shù)據(jù)塊(Partition)及其副本分散在整個資源池內(nèi)，硬盤故障后,可在資源池范圍內(nèi)自動并行重建。20華為FusionCube2000虛擬化一體機技術建議書-數(shù)據(jù)分布上支持跨服務器，不會因某個服務器故障導致的數(shù)據(jù)不可訪問和不可重建。-故障或者擴容時可以自動進行負載均衡，應用無需調(diào)整即可獲得更大的容量和性能。掉電保護系統(tǒng)運行過程中可能會出現(xiàn)服務器突然下電的情況，F(xiàn)usionCube分布式塊存儲使用保電介質(zhì)來保存元數(shù)據(jù)和緩存數(shù)據(jù)，以防掉電而丟失。FusionCube分布式塊存儲支持的保電介質(zhì)為SSD卡。程序運行過程中會把元數(shù)據(jù)和緩存數(shù)據(jù)寫入保電介質(zhì)中，節(jié)點異常掉電并重啟后，系統(tǒng)自動恢更保電介質(zhì)中的元數(shù)據(jù)和緩存數(shù)據(jù)。圖2-13FusionCube分布式塊存儲保電介質(zhì)(PCIeSSD卡和SSD硬盤)硬盤可靠性FusionCube分布式塊存儲支持硬盤S.M.A.R.T檢測、慢盤檢測、硬盤SCSI錯誤處理、硬盤數(shù)據(jù)掃描等硬盤可靠性處理，通過上述檢測完成讀修更、磁盤故障移除和數(shù)據(jù)重建、壞塊標記、有效數(shù)據(jù)磁盤掃描、S.M.A.R.T超閾值和慢盤處理。有效數(shù)據(jù)硬盤掃描通過周期對硬盤有效數(shù)據(jù)進行讀取掃描，防止靜默數(shù)據(jù)錯誤(silentdataconuption),如果掃描發(fā)現(xiàn)壞道，則進行“讀修更”修復故障扇區(qū)。壞塊標記(BST)系統(tǒng)在硬盤掃描或者讀數(shù)據(jù)的過程中，如果硬盤有壞道存在，產(chǎn)生訪問錯誤，F(xiàn)usionCube分布式塊存儲會先嘗試進行“讀修好”操作，如果該數(shù)據(jù)的所有冗余副本都同時不可用，則會標記壞扇區(qū)為BST并產(chǎn)生告警，提示系統(tǒng)在應用層進行數(shù)據(jù)修匆:。硬盤亞健康檢查系統(tǒng)通過對硬盤S.M.A.R.T信息以及IO處理能力的監(jiān)控，識別出硬盤是否處于亞健康狀態(tài)，并自動將亞健康的硬盤進行數(shù)據(jù)重建后移除集群。硬盤錯誤檢測系統(tǒng)在IO處理過程中主動識別硬盤WP.ABRT,DF等錯誤信息，當發(fā)現(xiàn)硬盤出現(xiàn)上述故障時，自動啟動數(shù)據(jù)重建，并將故障硬盤移除集群。21華為FusionCube2000虛擬化一體機技術建議書2.4.9管理簡便操作維護FusionCube分布式塊存儲提供可視化的Portal界面，用戶從Poital界面可以查看系統(tǒng)監(jiān)控（KPI指標）、告警事件和存儲池狀態(tài)等，操作維護簡單。升級FusionCube分布式塊存儲提供在線升級和離線升級兩種方式，可以根據(jù)項目要求進行選擇。離線升級：升級過程中需要中斷業(yè)務，業(yè)務中斷時長一般小于4小時。在線升級：升級過程中不需要中斷業(yè)務，業(yè)務升級時長將和當前系統(tǒng)節(jié)點數(shù)相關，單個節(jié)點的升級時長一般小于15分鐘。2.5FusionSphere虛擬化介紹FusionSphere基于分布式存儲軟件部署方案FusionCube分布式塊存儲分布式存儲軟件部署在DomO中，天然和FusionSphere無縫集成在一起，不需要單獨的控制虛擬機，也不需要對SSD卡和硬盤做直通，系統(tǒng)性能最佳。252智能資源調(diào)度FusionCube可讓計算/存儲/網(wǎng)絡資源池實現(xiàn)按需分配，達到彈性伸縮、節(jié)能減排的目標。其智能調(diào)度對象包括CPU、內(nèi)存、虛擬機、服務器、資源集群。針對各種不同的資源有不同的調(diào)度動作：CPU：動態(tài)調(diào)頻、動態(tài)增減、限制上限、物理核綁定內(nèi)存：內(nèi)存超分配、動態(tài)增減、限制上限虛擬機：自動休眠/喚醒、定時開機、關閉/強制關閉/重啟、遷移22華為FusionCube2000虛擬化一體機技術建議書服務器：下電、定時下電、定時上電、負載均衡資源集群：應用遷移、資源優(yōu)先級控制調(diào)度時機：定時調(diào)度：根據(jù)配置好的資源調(diào)度策略，系統(tǒng)會在定時或周期時間到來時，不做任何條件判斷，直接觸發(fā)調(diào)度任務。包括：虛擬機休眠、虛擬機關閉、虛擬機啟動、虛擬機遷移、服務器下電、服務器上電等。條件調(diào)度：根據(jù)配置好的資源調(diào)度策略，系統(tǒng)會定時檢測，當條件滿足時，觸發(fā)調(diào)度任務。調(diào)度策略：支持對調(diào)度對象、調(diào)度動作、調(diào)度時機的靈活組合配置而形成各種調(diào)度策略；支持對調(diào)度策略的創(chuàng)建、刪除、修改、激活、去激活。實現(xiàn)智能調(diào)度的具體技術包括如卜.幾種：內(nèi)存史用技術內(nèi)存好用是指在服務器物理內(nèi)存一定的情況，通過綜合運用內(nèi)存好用單項技術（內(nèi)存氣泡、內(nèi)存共享、內(nèi)存交換）對內(nèi)存進行分時更用。分時好用原理是通過計算節(jié)點上的內(nèi)存好用策略實時調(diào)用相關內(nèi)存及用技術，把空閑內(nèi)存釋放出來給其他虛擬機使用，同時平衡各虛擬機的內(nèi)存匆:用情況，從而達到虛擬機內(nèi)存規(guī)格總和大于服務器規(guī)格內(nèi)存，最終提高服務器中虛擬機密度。支持以邏輯集群為單位進行設置內(nèi)存好用率，范闈0%-50%；以E9000服務器為例，假設物理內(nèi)存為48G,管理內(nèi)存開銷為7G,那么實際可運行的虛擬機內(nèi)存規(guī)格為：（48G-7G）*（1+50%）=61.5GovCPUQoS控制技術vCPUQoS控制技術是指能限定vCPU最大占用物理核的百分比，從而為高級別的虛擬機保證足夠的CPU物理資源。運行在同一物理服務器上的多個虛擬機，共用CPU資源。當并發(fā)使用時,會出現(xiàn)資源搶占的情況，為保證高級別虛擬機CPU資源的使用，可以如下設置：-設置虛擬機使用的物理機核數(shù)。-設置虛擬機一個vCPU最大能使用物理核的百分比，以此限制與其他虛擬機共用物理核時，不會過多搶占資源。例如，一個vCPU最大占用物理核的60%,當虛擬機使用達到60%時，不能占用更多的物理CPU-為了確保用戶分級QoS,系統(tǒng)也支持將虛擬機的CPU和物理CPU綁定,確保其CPU不會被其他虛擬機搶占。將物理CPU先虛擬化為多個虛擬CPU,將一個物理CPU的虛擬化CPU只分配給一個虛擬機，則該虛擬機獨占該物理CPUo如果將一個物理CPU的虛擬化CPU分配給多個虛擬機，則共享該物理CPU。通過該方式確保高級別用戶虛擬機的VCPU不會被其他虛擬機搶占，作為SLA服務中的一項。23華為FusionCube2000虛擬化一體機技術建議書智能負載均衡調(diào)度指采用智能負載均衡調(diào)度算法，通過周期性檢查同一資源集群內(nèi)各個物理主機的負載情況，在不同的物理機之間遷移虛擬機，從而達到同一資源集群內(nèi)的不同物理主機之間負載均衡的目的。系統(tǒng)周期性監(jiān)控同一集群內(nèi)所有物理主機和虛擬機的CPU和內(nèi)存資源的使用情況。將當前物理主機之間的負載與理想狀態(tài)卜.（配置策略閾值）進行比較，如果采樣值中有50%大于閾值或滿足關聯(lián)性規(guī)則，則執(zhí)行虛擬機遷移策略。智能電源管理技術指周期性檢查資源集群內(nèi)的物理機負載情況，當負載較高時，系統(tǒng)上電新的物理機來分擔其它服務器的負載；當資源集群內(nèi)的物理機的負載水平較低時，通過遷移負荷較低物理機上的虛擬機，然后下電該物理機，使得虛擬機集中在剩余的物理機上，從而降低整個資源集群的功耗。自動資源史用技術自動資源更用（AutomaticResourceSharing,簡寫為ARS）技術，是指在一給定的資源集群范圍內(nèi)如果存在多個業(yè)務組時，通過配置不同的策略能區(qū)分業(yè)務組的優(yōu)先級，能將一個業(yè)務組內(nèi)空閑的資源給其他業(yè)務組使用；而同一個業(yè)務組，也可以根據(jù)配置策略，在不同時段內(nèi)進行擴大和縮小。由于資源在不同時間段被不同的業(yè)務所使用，也叫做分時更用技術。當資源不足時，可以根據(jù)業(yè)務組的優(yōu)先級和權(quán)重進行資源回收，調(diào)整資源分配，保證高優(yōu)先級業(yè)務和高權(quán)業(yè)務的使用。資源更用只能在同一邏輯集群下的不同業(yè)務組之間進行：資源更用的最小資源調(diào)整粒度為一臺虛擬機；資源更用技術的價值：面向多應用的資源共享，節(jié)約成本：支持業(yè)務的自動彈性伸縮，充分體現(xiàn)彈性云平臺的特點；好用策略靈活，可不斷擴展；自動化資源調(diào)整,增強管理系統(tǒng)自動化能力；資源復用應用場景：虛擬桌面業(yè)務與其他業(yè)務分時更用。例如：用戶白天使用虛擬桌面辦公，晚上不使用了釋放其計算資源，系統(tǒng)可以使用此計算資源運行其他業(yè)務（如CI,超算），當其他業(yè)務運行完成后也釋放計算資源。用戶上班可以繼續(xù)使用虛擬桌面，提高資源更用率；2.5.3彈性擴容云平臺的基礎框架按全網(wǎng)容量設計一次性方案規(guī)劃，后續(xù)根據(jù)業(yè)務需要實現(xiàn)彈性擴容、按需擴容，不影響已有業(yè)務的連續(xù)性。當集群資源不足時，可對集群增加計算或存儲資源。當服務器資源不足時，可增加集群內(nèi)計算刀片。當存儲資源不足時，可以增加計算存儲刀片或單獨增加存儲硬盤。24華為FusionCube2000虛擬化一體機技術建議書整體方案按照可動態(tài)擴展設計，當虛擬機數(shù)增加的時候，可以實現(xiàn)平滑的擴容。華為云平臺基于分布式擴展架構(gòu)設計，以集群為單位，實現(xiàn)計算資源池的相對獨立。集群主機資源不足時，可直接新增刀片或機框或機柜，將設備接入網(wǎng)絡。通過云平臺硬件自動發(fā)現(xiàn)功能，可及時地將設備納入系統(tǒng)的管理監(jiān)控。集群的擴展是線性擴展，在線進行的，各個集群計算、存儲資源獨立，但運維管理、業(yè)務發(fā)放平臺仍然通過一套系統(tǒng)來實現(xiàn)，真正實現(xiàn)統(tǒng)一平臺。25華為FusionCube2000虛擬化一體機技術建議書2.6VMware虛擬化介紹VMware基于分布式存儲軟件的部署方案VMwaie基于FusionCube分布式塊存儲分布式存儲軟件的超融合方案，達到高性能低成本，管理簡單的效果。FusionCube分布式塊存儲全面支持VMware存儲虛擬機VAAI接口，提升系統(tǒng)性能。圖2-14控制虛擬機安裝分布式存儲軟件服務器本地硬盤及SSD加速卡通過硬件直通給控制虛擬機ESXi主機通過iSCSI協(xié)議訪問分布式存儲，虛擬機通過VMFS訪問存儲26華為FusionCube2000虛擬化一體機技術建議書VMwareVMFSVMFS（VutualMachineFileSystem）是一種針對虛擬機進行了優(yōu)化的高性能集群文件系統(tǒng)。常規(guī)文件系統(tǒng)在給定時間只允許一臺服務器讀寫同一文件，VMFS利用共享存儲允許多個vSphere主機并行讀寫同一個存儲，是實現(xiàn)VMware集群和動態(tài)資源管理的基礎。通過將整個虛擬機狀態(tài)存儲在一個中心位置，簡化了虛擬機的調(diào)配和管理。創(chuàng)建可用于測試、備份和恢復操作的虛擬機數(shù)據(jù)時間點副本。支持基于虛擬化的獨特功能，例如，將正在運行的虛擬機從一臺物理服務器實時遷移到另一臺服務器、自動在另一臺物理服務器上重啟發(fā)生故障的虛擬機以及跨不同物理服務器建立虛擬機集群。向正在運行的虛擬機添加虛擬磁盤空間，以增加可用資源或者供備份之用。利用分布式口志在服務器發(fā)生故障時更快、更可靠地恢好虛擬機提供極高的性能和可擴展性，使用VMFS以集中、共享的方式存儲虛擬機可提高管理虛擬化IT環(huán)境時的控制力、靈活性和性能。在一個中心位置存儲和訪問整個虛擬機狀態(tài)。使用有利于虛擬磁盤I/O的大數(shù)據(jù)塊容量。對于小文件和目錄使用子數(shù)據(jù)塊分配器。支持容量最高可達64TB的單個卷。甚至可以在虛擬機中運行數(shù)據(jù)最密集的生產(chǎn)應用，如數(shù)據(jù)庫、ERP和CRMoVMFS在卷、設備、對象和緩沖區(qū)緩存方面的性能增強可使客戶受益。VMFS的架構(gòu)，如下圖展示了VMFS架構(gòu)，存儲系統(tǒng)的LUN被格式化為VMFS文件系統(tǒng)，ESX1主機共享存儲空間，每個ESXiServer上運行兩個VM,每個VM均有一個虛擬硬盤文件（VMDK）,存放在VMFS自動生成的某個目錄里（一般以VM名稱命名目錄）。VMFS為每一個VMDK加鎖，保證其不同時被兩個VM打開。表2-6VMFS-3和VMFS-5對比如下VMFS-3VMFS-5(推薦)支持最大容量磁盤卷2TB支持最大容量磁盤卷64TBMBR(inasterbootrecoid)分區(qū)類型使用GPT(GUIDpartitiontable)塊大小是1,2,4.8MB塊大小統(tǒng)一為1MB，支持＞256GB的超大文件最小sub-block大小是64KBSub-block大小位8KB,小文件占用更小的空間27華為FusionCube2000虛擬化一體機技術建議書最大文件數(shù)量30720每個volume支持＞100000個文件最大VMDK文件大小是2TB最大VMDK文件大小是2TB支持最大LUN的數(shù)量是256個支持最大LUN的數(shù)量是256個使用SCSI預留機制對整個LUN加鎖通過VAAI的hardware-assistedlocking降低磁盤訪問沖突VMwareRDMVMwareRDM（RawDeviceMappmg）為虛擬機提供的一種直接訪問存儲的方式，RDM虛擬盤實際上為VMFS卷上的一個地址映射文件，可以理解為符號鏈接，VM對RDM盤的讀寫操作均被映射到LUN上。FusionCube分布式塊存儲支持RDM設備。VMware虛擬磁盤置備策略創(chuàng)建磁盤時，會進行兩個操作：分配空間、置零，下面介紹虛擬磁盤的集中策略。厚置備延遲置零（推薦）以默認的厚格式創(chuàng)建虛擬磁盤。在創(chuàng)建虛擬磁盤時分配該磁盤所需的空間。創(chuàng)建過程中不會清除物理設備上保留的數(shù)據(jù)，但以后首次從虛擬機寫入時則會按需置零。虛擬機不會從物理設備讀取失效數(shù)據(jù)。分配好空間，執(zhí)行初始寫操作時才會按需要將其置零，所以磁盤初始寫性能較好，創(chuàng)建磁盤時間短。厚置備置零thick一種厚虛擬磁盤類型，可支持群集功能，如FaultToleranceo在創(chuàng)建時為虛擬磁盤分配所需的空間。與厚置備延遲置零格式相反，創(chuàng)建虛擬磁盤時，會將物理設備上保留的數(shù)據(jù)置零。創(chuàng)建這種格式的虛擬磁盤所需的時間可能會比創(chuàng)建其他類型的磁盤長。分配好空間并置零操作，有初始寫IO的時無需等待任何操作直接執(zhí)行。所以磁盤初始寫性能最好，創(chuàng)建磁盤時間長。精簡配置thin使用此格式可節(jié)省存儲空間。對于精簡磁盤，可以根據(jù)輸入的虛擬磁盤大小值置備磁盤所需的數(shù)據(jù)存儲空間。但是，精簡磁盤開始時很小，只使用與初始操作所需的大小完全相同的存儲空間。如果精簡磁盤以后需要更多空間，它可以增長到其最大容量，并占據(jù)為其置備的整個數(shù)據(jù)存儲空間。精簡置備是創(chuàng)建虛擬磁盤的最快方法，因為它創(chuàng)建的磁盤僅具有標題信息。它不會分配存儲塊或?qū)⑵渲昧?。初次訪問存儲塊時，才分配存儲塊并將其置零。注意如果虛擬磁盤支持群集解決方案（如FaultTolerance）,請勿將磁盤設置為精簡格式?？梢允謩犹畛渚喆疟P，以使其占據(jù)整個置備空間。如果物理存儲空間已用盡，且無法擴展精簡置備的磁盤，則虛擬機將不可用。28華為FusionCube2000虛擬化一體機技術建議書當有初始寫UO操作時，需要先分配空間，在將空間置零，才能執(zhí)行I/O操作。所以磁盤初始寫性能較差，創(chuàng)建磁盤時間長。如果虛擬磁盤支持群集解決方案MUFaultToleiance),請勿將磁盤設置為精簡格式。2.6.5VMwareVAAIvSpliereAPIforAirayIntegiztion(VAAI)是vSphere提供一個APL用于將特定存儲操作的負載分流到受支持的磁盤陣列中，從而實現(xiàn)無可比擬的性能和效率。VAAI中文直譯為陣列集成。借助VAALvSphere能夠更快地執(zhí)行關鍵操作，并減少CPU、內(nèi)存和存儲帶寬使用量。將數(shù)據(jù)塊織制和數(shù)據(jù)塊清零操作的負載分流到陣列。支持在采用精簡配置的陣列中進行廢棄空間回收和發(fā)出空間不足警告。完全支持NAS以及基于數(shù)據(jù)塊的存儲。FusionCube內(nèi)置FusionCube分布式塊存儲分布式存儲全面支持VMwareVAAI,VAAI能提升相應應用場景的性能：?塊清零(BlockZero)將原來需要在vShpere主機上完成的塊清零操作卸載到陣列，讓陣列對大量的塊進行清零，大幅提升主機側(cè)虛擬硬盤初始化等操作的速度。主要應用場景：厚格式類型的VMDK虛擬磁盤創(chuàng)建厚格式類型的VMDK虛擬磁盤讀寫未初始化的空間精簡配置類型的VMDK虛擬磁盤空間分配全拷貝(FullCopy或CopyOffload)將原來需要在vSphere主機上完成的數(shù)據(jù)拷貝操作卸載到陣列，在陣列內(nèi)部完成數(shù)據(jù)的拷貝，不需要虛擬機將數(shù)據(jù)讀完成后再寫入陣列，大幅提升虛擬機部署、StoragevMotion等操作的速度。主要應用場景：虛擬機的克隆使用模板部署虛擬機使用StoragevMotion遷移虛擬機存儲硬件輔助鎖定(HardwareAssistedLocking)將VMFS文件系統(tǒng)的寫鎖粒度由LUN級別縮減到塊級別，提高并行寫數(shù)量，同時大幅提升單LUN可容納的虛擬機數(shù)量，來保護VMFS集群文件系統(tǒng)的元數(shù)據(jù)，并提高vSphere主機的可擴展性。主要應用場景：開關機虛擬機創(chuàng)建/刪除虛擬機快照創(chuàng)建/刪除文件精簡配置(Thinpiovisioiung)29華為FusionCube2000虛擬化一體機技術建議書可釋放精簡配置卷不再使用的存儲空間，從而大大提高有限存儲的使用率。同時，刻使用自動精簡配置的卷進行更加有效地管理和控制，以避免可能發(fā)生的錯誤。主要應用場景：在清單中，從磁盤刪除虛擬機在虛擬機配置設置中，從磁盤移除虛擬磁盤使用命令手動執(zhí)行空間釋放2.7eBackup虛擬機備份方案（可選）方案概述eBackup虛擬機備份方案，是使用華為eBackup備份服務器，配合FusionCompute的CBT（ChangedBlockTracking）及快照功能實現(xiàn)的虛擬機數(shù)據(jù)備橋方案。eBackup通過與FusionCompute配合，對指定虛擬機或虛擬機內(nèi)指定卷對象按照指定的備份策略進行備份。當虛擬機數(shù)據(jù)丟失或故障時，可使用備份的歷史點數(shù)據(jù)進行恢復。數(shù)據(jù)備份的目標端可以為SAN和NAS存儲。eBacklip虛擬機備份方案具有以下功能特點：1、無代理備份，不需要在要備份的虛擬機內(nèi)安裝備份代理軟件。2、支持虛擬機在線備份，不管虛擬機是開機還是關機都可進行備份。3、支持備份到SAN或NAS。4、支持WindowsVSS（VolumeShadowCopyService,卷影復制服務）應用一致性，保證備份數(shù)據(jù)可恢更（虛擬化層實現(xiàn)）。5、支持多種備份類型，包括完全備份、增量備份，并可批量備份。完全備份支持有效數(shù)據(jù)備份。增量備份和差量備份功能只需備份變化數(shù)據(jù)塊，減少備份數(shù)據(jù)量,降低了備份虛擬機的成本，并最大限度地縮短了備份窗口.6、支持多種恢更類型，包括恢復到新虛擬機（整機恢復）、恢更到原虛擬機（磁盤恢更）和恢復到指定虛擬機（磁盤恢復），并可批量恢匆:。其中恢復到新虛擬機（整機恢復）僅用于通過FusionCompute創(chuàng)建的虛擬機，不適用于通過FusionMaiiager或VDI創(chuàng)建的虛擬機。支持各種操作系統(tǒng)的細粒度文件級恢愛7、支持多種恢更方式，包括鏡像恢匆:、差量恢復與各種客戶操作系統(tǒng)的細粒度文件級恢復。鏡像恢匆:時，恢復的數(shù)據(jù)量與完全備份相同。細粒度文件級恢復時，可以只恢復磁盤內(nèi)的部分文件或目錄，而不需要恢及整個磁盤，從而實現(xiàn)更快速和有效的恢復。8、由于備份網(wǎng)絡采用的是內(nèi)部存儲網(wǎng)絡，不存在安全性問題。30華為FusionCube2000虛擬化一體機技術建議書9、支持靈活備份策略。支持針對不同虛擬機或虛擬機組設置不同備份策略。支持通過選擇虛擬化環(huán)境下的容器（如集群）選擇需要備份的虛擬機，備份時自動發(fā)現(xiàn)容器下新增的虛擬機，同時也支持對遷移的虛擬機進行備份。提供多種備份類型，包括全量備份和增量備份。支持備份數(shù)據(jù)重夏數(shù)據(jù)刪除和壓縮。支持設置備份數(shù)據(jù)保留時間以自動清除過期備份數(shù)據(jù)。支持設置備份策略優(yōu)先級。10、支持并發(fā)備份與恢復；單個備份代理支持40個并發(fā)任務。11、支持跨FusionCompute站點的虛擬機磁盤的備份和恢復。12、采用備份服務器與備份代理結(jié)合的分布式備份架構(gòu)：一個備份服務器可最多64個備份代理（備份服務器同時具有備份代理的功能，不需單獨部署備份服務器），并可通過瀏覽器統(tǒng)一管理。建議按每個備份代理配置200個虛擬機進行規(guī)劃配置，可根據(jù)虛擬機數(shù)量擴展備份代理，最大支持10000個虛擬機備份。13、高可靠性。備份代理發(fā)生故障后，備份代理上的業(yè)務分配到其它備份代理運行。針對操作系統(tǒng)、主機節(jié)點以及系統(tǒng)存儲損壞等不同場景，提供備份系統(tǒng)自身災難恢復功能。14、易管理和維護。提供虛擬機模板和物理服務器部署方式，簡化eBackup備份軟件安裝部署操作，縮短部署時間。提供基于GUI（GtaphicalUseilnterfhces）和命令行的CLI（Conmiand-LineInterface）,進行集中的備份恢復業(yè)務和系統(tǒng)管理，為用戶提供簡單直觀的操作維護方式。適用場景使用場景適用于虛擬化一體機、桌面云一體機場景下用戶虛擬機的備份。使用約束eBacklip虛擬機備份方案存在以下約束：1、采用快照差量備份；2、不支持對VRM虛擬機進行備份。其他管理節(jié)點虛擬機（如FusioiiManager.FusionCube分布式塊存儲Manager）,如果使用FusionCube分布式塊存儲存儲，可進行備份，但不建議。31華為FusionCube2000虛擬化一體機技術建議書3、不支持對模板虛擬機、鏈接克隆虛擬機進行備份，不支持對帶共享磁盤虛擬機進行備份。不支持對同時包括FusionCube分布式塊存儲卷和虛擬化存儲卷的虛擬機進行備份。4、以虛擬機模板方式在FusionCompute上部署備份服務器和備份代理時,只支持以SAN或NAS作為備份存儲，而不支持使用虛擬磁盤作為備份存儲，且不支持生產(chǎn)存儲為FC存儲的LAN-Free備份和恢夏；需要LAN-Free備份恢復時，建議采用物理機部署。5、備份過程對系統(tǒng)I/O性能有影響，建議業(yè)務空閑時進行虛擬機備份。6、恢匆虛擬機業(yè)務時，如果原虛擬機還存在，建議使用磁盤恢復功能（單機磁盤恢更和磁盤批量恢SD恢更到原虛擬機：若原虛擬機不存在，對于FusioiiManager或VDI創(chuàng)建的虛擬機需要恢更，建議先通過FusioiiManager或VDI創(chuàng)建一個新的虛擬機后，再使用磁盤恢更功能恢復到該虛擬機，對于FusionComputer創(chuàng)建的虛擬機需要恢更，可直接使用整機恢復到新虛擬機功能進行恢匆:。7、桌面云場景下對虛擬機系統(tǒng)卷備份時，需通過AD域關閉用戶計算機賬戶密碼（注意：不是用戶域密碼）變更功能，以免虛擬機系統(tǒng)卷恢更后無法接入AD域（該密碼是計算機加入域時自動創(chuàng)建的，不可手動修改,默認30天會自動修改一次）。方案組網(wǎng)圖2-15eBackup虛擬機備份方案2.7.3.2新增軟硬件設備eBacklip備份服務器：支持虛擬機模板與物理服務器部署方式，其中虛擬機規(guī)格為：4U12G及150GB系統(tǒng)盤；最多可部署64個備份代理，建議按每個備份代理配置200個虛擬機進行規(guī)劃配置。為避免備份對業(yè)務網(wǎng)絡造成影響，在部署備份服務器時需對其虛擬網(wǎng)卡進行限速，一般不超過其所在物理服務器的物理網(wǎng)卡帶寬的一半。備份存儲：支持SAN存儲和NAS存儲作為備份存儲；備份存儲所需容量大小與需要備份數(shù)據(jù)量大小及備份策略相關。32華為FusionCube2000虛擬化一體機技術建議書數(shù)據(jù)備份過程（1）VM內(nèi)不需要安裝備份代理軟件，由虛擬化層通過業(yè)務網(wǎng)絡與eBackiip備份服務器通信，將虛擬機快照數(shù)據(jù)備份到備份存儲上。（2）VM的數(shù)據(jù)備份策略可以在eBackup服務器上靈活設置。建議在業(yè)務空閑時進行備份，避免數(shù)據(jù)備份影響業(yè)務。備份策略可以根據(jù)業(yè)務需要進行調(diào)整，存儲容量和帶寬也需要進行相應的調(diào)整。.4數(shù)據(jù)恢復過程（1）當某個虛擬機數(shù)據(jù)故障需要恢匆時，可以通過eBackup備份服務器將需要恢復:的虛擬機或指定卷恢災到原虛擬機中。（2）若某個虛擬機被意外刪除時，可以通過eBackup備份服務器恢復到新虛擬機，或用戶創(chuàng)建一個新虛擬機后通過eBacklip備份服務器恢復到該指定的新虛擬機中。（3）若虛擬機內(nèi)某些文件或目錄被誤刪時，可以通過eBackup備份服務器將備份集磁盤掛載給目的虛擬機，由用戶在目的虛擬機從備份磁盤上拷貝文件或目錄到目的虛擬機自己的磁盤上，恢復完成后再通過eBacklip備份服務器卜.載備份集磁盤。2.7.4方案特點優(yōu)點1、不需要在虛擬機內(nèi)安裝代理軟件。2、支持虛擬機系統(tǒng)卷數(shù)據(jù)（如安裝的軟件）的恢匆:。3、可以恢復到歷史數(shù)據(jù)。缺點1、不支持備份到物理帶庫或虛擬帶庫。2.8用戶數(shù)據(jù)備份到第三方備份服務器方案（可選）方案概述用戶數(shù)據(jù)備份到第三方備份服務器方案，是通過第三方備份服務器設置備份策略將虛擬機重要目錄或文件或應用定期備份到第三方服務器上，當由于VM故障或系統(tǒng)邏輯錯誤導致VM內(nèi)重要數(shù)據(jù)丟失時，可以通過第三方服務器或備份客戶端進行自動恢匆:。采用第三方備份服務器備份用戶數(shù)據(jù)方案時，需要進行數(shù)據(jù)備份的VM安裝第三方備份服務器客戶端代理軟件，并在第三方備份服務器上為VM設置備份策略，包括備份時間、備份數(shù)據(jù)內(nèi)容、備份方式（全備份或增量備份）等，對各VM上重要目錄/數(shù)據(jù)進行周期性備份。33華為FusionCube2000虛擬化一體機技術建議書適用場景2.821使用場景適用于虛擬化一體機、桌面云一體機場景下用戶數(shù)據(jù)的備份。2.822使用約束用戶數(shù)據(jù)備份到第三方備份服務器方案存在以下約束：1、第三方備份服務器不支持對FusionSphere虛擬機的備份，只支持對虛擬機內(nèi)數(shù)據(jù)的備份。方案組網(wǎng)圖2-16第三方備份服務器備份方案第三方備份服務器用戶VM/備份 用戶州/備份 用戶VM/備份客戶端 客戶端 客戶端.2新增軟硬件設備（1）第三方備份服務器：配置服務器并安裝第三方備份服務器軟件。（2）第三方備份客戶端軟件：每個需要備份的虛擬機都需要安裝。.3數(shù)據(jù)備份過程（1）VM中安裝備份客戶端軟件，通過業(yè)務網(wǎng)絡/備份網(wǎng)絡與第三方備份服務器通信，將數(shù)據(jù)備份到本地備份服務器上。（2）VM的數(shù)據(jù)備份策略可以在第三方備份服務器上靈活設置。建議在業(yè)務空閑時進行備份，避免數(shù)據(jù)備份影響業(yè)務。備份策略可以根據(jù)業(yè)務需要進行調(diào)整，存儲容量和帶寬也需要進行相應的調(diào)整。.4數(shù)據(jù)恢復過程（1）當某個虛擬機數(shù)據(jù)故障需要恢匆時，可以通過備份客戶端將重要的文件恢復到虛擬機中（需要第三方備份服務器提前授權(quán)），也可通過備份服務器來進行。34華為FusionCube2000虛擬化一體機技術建議書（2）若虛擬機故障無法啟動時，需要重建虛擬機，并將新虛擬機主機名修改為舊虛擬機的主機名，才能將舊虛擬機備份的數(shù)據(jù)恢更到新虛擬機中。2.8.4方案特點優(yōu)點1、第三方備份軟件市場占有率高，成熟可靠。2、可以恢復到歷史數(shù)據(jù)，恢復的數(shù)據(jù)量小。缺點1、成本較高。2、不支持VM系統(tǒng)數(shù)據(jù)（如安裝的軟件）的恢更。3、需要在VM內(nèi)安裝備份客戶端，部署更雜。表2-7FusionSphere備份方案對比分析方案eBackup虛擬機備份數(shù)據(jù)備份到第三方備份服務器備份對象整虛擬機或虛擬機指定卷虛擬機內(nèi)指定文件或目錄免代理支持不支持備份部署簡單，備份服務器支持虛擬機模板與物理服務器部署復雜，需要增加第三方備份服務器，并在VM安裝備份客戶端性能影響較小大系統(tǒng)卷備份支持不支持VM系統(tǒng)限制無只支持特定類型操作系統(tǒng)的VMVM關機備份支持不支持數(shù)據(jù)一致性較好（WINVSS）好（應用一致性）備份到磁帶庫/虛擬帶庫不支持支持單VM恢復：支持，可針對?整VM或VM內(nèi)指定卷進行恢兔支持，可針對單個VM內(nèi)的指定文件/目錄恢復業(yè)務恢更時長RTO（整個局點）涉及數(shù)據(jù)拷貝，與數(shù)據(jù)量和網(wǎng)絡帶寬相關，不考慮CPU情況下，所需時間通常為:總恢匆數(shù)據(jù)量/網(wǎng)絡帶寬涉及數(shù)據(jù)拷貝，與數(shù)據(jù)量和網(wǎng)絡帶寬相關，不考慮CPU情況下，所需時間通常為：總恢復數(shù)據(jù)量/網(wǎng)絡帶寬業(yè)務數(shù)據(jù)丟失RPO與備份策略相關，通常為1天與備份策略相關，通常為1天存儲容量需求與備份策略相關，保存多份全量和增量數(shù)據(jù)局，約4倍與備份策略相關，保存多份全量和增量數(shù)據(jù)局，約4倍35華為FusionCube2000虛擬化一體機技術建議書備份設備/軟件FusionSphere標準版及以上版本中包含，不需額外購買依賴于第三方備份服務器成本中高FusionSphere備份方案選擇建議：推薦采用eBacklip虛擬機備份方案。當需要生產(chǎn)存儲故障后快速恢復業(yè)務時，建議采用“SAN本地備份”方案。目前針又寸R2C00/R2C01/R3C00R3C10版本部分項