1、分布式存儲技術(shù)分布式存儲技術(shù)內(nèi)容1軟件定義存儲技術(shù)的發(fā)展2分布式存儲技術(shù) VSAN 介紹 存儲形態(tài)的變化4服務(wù)器直連存儲25年之前服務(wù)器直連外部存儲5年以前現(xiàn)在服務(wù)器直連外部存儲云存儲變化的驅(qū)動力：變化的驅(qū)動力： 服務(wù)器閃存服務(wù)器閃存 多核多核CPU 虛擬化普及虛擬化普及 云經(jīng)濟(jì)云經(jīng)濟(jì) 數(shù)據(jù)增長數(shù)據(jù)增長IT 基礎(chǔ)架構(gòu)邁向Server SAN和超融合架構(gòu)Source: IDC Hyperconverged Systems 2015-2019 Forecast$.8B$1.6B$2.4B$3.2B$3.9B20152016201720182019全球超融合系統(tǒng)市場狀況全球超融合系統(tǒng)市場狀況Trad

2、itional SAN/NAS CAGR1: - 17.8%1 Wikibon Server SAN Research Project 20XXEnterprise Server SAN CAGR1: %60% CAGR 軟件定義的存儲 Server SAN 計算與存儲的融合6當(dāng)今未來未來一切以計算為核心與CPU/Memory 捆綁低延時通過虛擬化層訪問虛擬化存儲閃存主宰性能以提供容量為核心白牌設(shè)備彈性，跨地域同時提供文件/對象訪問擴(kuò)展到云CloudObject Storage什么是軟件定義存儲？軟件定義的存儲：是將工業(yè)標(biāo)準(zhǔn)服務(wù)器的存儲提供出來并通過軟件控制層面實(shí)現(xiàn)存儲的自動化和池化。它將存儲

3、的置備和管理的方法簡化到了極致，并利用工業(yè)標(biāo)準(zhǔn)服務(wù)器的存儲大大降低了成本。軟件定義的存儲產(chǎn)品：是一個將硬件抽象化的解決方案，它使你可以輕松地將所有資源池化并通過一個友好的用戶界面（UI）或API來提供給消費(fèi)者。一個軟件定義的存儲的解決方案使得你可以在不增加任何工作量的情況下進(jìn)行縱向擴(kuò)展（Scale-Up）或橫向擴(kuò)展（Scale-Out）軟件定義存儲是云數(shù)據(jù)中心的重要組成部分軟件軟件定義的定義的存儲存儲 特點(diǎn)特點(diǎn)9目前的方式 軟件定義的存儲Object-based PoolSAN/NAS PoolHypervisor Converged PoolLUNArray ALUNLUNArray BLU

4、NLUN抽象抽象與池化與池化以虛擬機(jī)為核心的以虛擬機(jī)為核心的自動化自動化SLASLA設(shè)定設(shè)定以虛擬機(jī)為粒度的以虛擬機(jī)為粒度的數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)SAN / NASx86 ServersCloud Object Storage虛擬化層虛擬化層ReplicationSnapshots虛擬 SAN虛擬存儲卷軟件定義存儲的分布式擴(kuò)展性軟件定義存儲的分布式擴(kuò)展性10縱向擴(kuò)展縱向擴(kuò)展添加更多磁盤添加更多磁盤IOPS容量 XX TBXXX TBXX PB橫向擴(kuò)展橫向擴(kuò)展添加更多節(jié)點(diǎn)添加更多節(jié)點(diǎn) 分布式分布式可擴(kuò)展性：可擴(kuò)展性：彈性彈性 按需伸縮粒度粒度 添加單個節(jié)點(diǎn)或磁盤無干擾無干擾 無應(yīng)用程序停機(jī)簡單簡單且全

5、自動自動 可預(yù)測可預(yù)測避免復(fù)雜預(yù)測以及前期大量投資軟件定義存儲分類：軟件定義存儲分類： 控制平面控制平面 + 數(shù)據(jù)平面數(shù)據(jù)平面 控制平面控制平面是關(guān)鍵是關(guān)鍵根據(jù)不同的工作負(fù)載來動態(tài)分配存儲資源。Hypervisor/OS ，或者云管理軟件具有優(yōu)勢。軟件定義存儲的分類軟件定義存儲的分類(存儲資源由軟件來自動控制存儲資源由軟件來自動控制，即，即存儲策略驅(qū)動存儲策略驅(qū)動)Data Plane (數(shù)據(jù)平面) 1）基于商用的硬件包括了IDC分類中VirtualStorage Appliance（簡稱VSA）和PhysicalStorage Appliance （簡稱PSA）兩類。 Server SAN/

6、HCI里有： VMware VSAN或 EVO:RAIL、 EMCScaleIO、 DELL Fluid Cache、HPStorVirtual、RedHatInktankCeph、MicrosoftStorage Spaces 、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等；國內(nèi)有：華為FusionStorage、華云網(wǎng)際、達(dá)沃時代、XSKY(Ceph)、大道云行SSAN、志凌海納SmartX、BigTera、深信服aSAN；開源的有OpenvStorage（類似Nutanix架構(gòu)）；在ServerSAN里，非超融合架構(gòu)（也即不提供計算資源）

7、的有：主要是分布式文件系統(tǒng)，如GPFS、Lustre、Panasas等；其他SDS有：飛康、DataCore、Nexenta、國內(nèi)的InfoCore(信核)等，還有其他支持SolarisZFS的存儲；另外還有開源的FreeNAS、NAS4Free等12軟件定義存儲軟件定義存儲的分類的分類(存儲資源由軟件來自動控制，也即存儲策略驅(qū)動存儲資源由軟件來自動控制，也即存儲策略驅(qū)動)DataPlane (數(shù)據(jù)平面) （續(xù)）2）傳統(tǒng)的 SAN/NAS（ExternalStorage）支持SPBM(如Virtual Volumes)，或者OpenStack Cinder的傳統(tǒng)外置磁盤陣列3）Cloud/Ob

8、ject Storage做為DataPlane的組成部分，實(shí)際上是以后端存儲的身份為VM/App提供存儲資源的。私有云和公有云之間，能在存儲級別，實(shí)現(xiàn)存儲的備份、歸檔和容災(zāi)。運(yùn)行在公有云之上的VSA，即可與本地存儲建立數(shù)據(jù)交換。 如：NetApp的CloudONTAP、SoftNAS、Zadara等ControlPlane (控制平面)1）VMware SPBM；2）OpenStack Cinder ；3）EMC ViPR；4）ProphetStor （希智）的Federator；未來幾年內(nèi)，會有越來越多的數(shù)據(jù)平面未來幾年內(nèi)，會有越來越多的數(shù)據(jù)平面(Data Plane)的存儲的存儲產(chǎn)品，向，

9、向控制平面開放開放API，支持存儲策略驅(qū)動，支持存儲策略驅(qū)動。13傳統(tǒng)共享存儲陣列的時代傳統(tǒng)共享存儲陣列的時代SSD出現(xiàn)之前，出現(xiàn)之前，CPU發(fā)展速度是磁盤的幾十萬倍發(fā)展速度是磁盤的幾十萬倍軟件定義存儲的發(fā)展：軟件定義存儲的發(fā)展： 過去、現(xiàn)在和未來過去、現(xiàn)在和未來SSD和高速網(wǎng)絡(luò)的出現(xiàn)，改變了存儲的游戲規(guī)則未來的主流是分布式分布式存儲，分布式存儲，數(shù)據(jù)靠近計算，數(shù)據(jù)靠近計算，延時更短！性能更高！延時更短！性能更高！傳統(tǒng)外置磁盤陣列一個I/O落到盤上，要經(jīng)歷多個環(huán)節(jié)，延時在毫秒以上；而SSD內(nèi)置在服務(wù)器里，延時在亞毫秒(也即0.1ms)級別2014年04月30日, SanDisk發(fā)布世界上第一款

10、4TB SSD；2015年3月，SanDisk推出的InfiniFlash，單卡容量達(dá)8TB的閃存卡（64個）；2015年08月11日, 三星在閃存峰會上公布世界容量最大的2.5英寸硬盤： 16TB SSD PM1633a。相比之下，希捷或西部數(shù)據(jù)制造的容量最大的機(jī)械硬盤只有8TB或10TB軟件定義存儲的現(xiàn)在軟件定義存儲的現(xiàn)在軟件定義存儲的未來：軟件定義存儲的未來： Server SAN (軟件定義存儲中軟件定義存儲中最大組成部分最大組成部分)預(yù)計預(yù)計5年左右年左右，Server SAN(SDS中主要的種類中主要的種類)，將占據(jù)整個全球存儲市場份，將占據(jù)整個全球存儲市場份額的半壁江山！額的半壁

11、江山！2. The Rise of Server SAN, Jul 16, 20XXSource；20XX年 企業(yè)級Server SAN 將是傳統(tǒng)外置磁盤陣列的1.24倍。分布分布式存儲式存儲 VSAN 技術(shù)介紹技術(shù)介紹VSAN是：內(nèi)嵌在vSphere內(nèi)核的分布式的對象存儲聚合了虛擬化管理程序的極其簡單的虛擬機(jī)存儲 vSphere + Virtual SAN.軟件定義的存儲針對虛擬機(jī)進(jìn)行了優(yōu)化超融合體系架構(gòu)（分布式，橫向和縱向擴(kuò)展） 可在任何標(biāo)準(zhǔn)可在任何標(biāo)準(zhǔn) x86 服務(wù)服務(wù)器上運(yùn)行器上運(yùn)行將 HDD/SSD 池化為共享數(shù)據(jù)存儲提供企業(yè)級的可擴(kuò)展性和性能基于策略的自動化，滿足SLA，可按虛機(jī)甚

12、至vmdk級別的顆粒度設(shè)置存儲策略與VMware產(chǎn)品體系深度集成概述概述硬盤硬盤SSD硬盤硬盤SSD硬盤硬盤SSDVSAN 數(shù)數(shù)據(jù)存儲據(jù)存儲用來取代用來取代vSphere后端的傳統(tǒng)外置磁盤陣列后端的傳統(tǒng)外置磁盤陣列存儲策略向?qū)Т鎯Σ呗韵驅(qū)PBMVSAN 對象VSAN 對象對象管理器管理器虛擬磁盤(vmdk)VSAN 對象可能(1) 跨主機(jī)進(jìn)行鏡像，以及(2) 跨磁盤磁盤/磁盤組/主機(jī)進(jìn)行條帶以符合虛擬機(jī)存儲配置文件策略數(shù)據(jù)存儲配置文件數(shù)據(jù)存儲配置文件存儲策略決定服務(wù)級別（包括確定數(shù)據(jù)如何布局）從上至下，圍繞著業(yè)務(wù)從上至下，圍繞著業(yè)務(wù)/虛機(jī)為中心虛機(jī)為中心每個虛機(jī)甚至每個vmdk在置備時都可配

13、置各自的個性化QoS的屬性。用戶以策略的形式指定所需設(shè)置，然后VSAN會自動決定如何在集群中為每個vmdk分配存儲資源，以滿足用戶的QoS需求共享存儲生產(chǎn)集群冗余交換機(jī)管理集群傳統(tǒng)方式虛擬化資源池環(huán)境傳統(tǒng)方式虛擬化資源池環(huán)境存儲單點(diǎn)故障風(fēng)險容量和性能無法同步擴(kuò)展存儲維護(hù)配置復(fù)雜傳統(tǒng)存儲的局限性NAS VSAN相對于傳統(tǒng)存儲方案的優(yōu)勢相對于傳統(tǒng)存儲方案的優(yōu)勢更簡單更簡單內(nèi)嵌于vSphere,無需安裝虛擬機(jī)存儲策略驅(qū)動，不再需要存儲設(shè)備上的操作和虛擬化單一界面管理，維護(hù)更方便更快速更快速通過SSD緩存加速技術(shù)，IO性能大幅提升分布式彈性擴(kuò)展，節(jié)點(diǎn)內(nèi)垂直擴(kuò)展，容量和性能線性擴(kuò)展更可靠更可靠分布式存儲

14、架構(gòu)，節(jié)點(diǎn)冗余技術(shù)，消除存儲單點(diǎn)故障風(fēng)險更更高效高效融合部署，提升資源利用率最短存儲路徑，虛擬機(jī)感知的虛擬化存儲池適合投適合投資保護(hù)與未來發(fā)展資保護(hù)與未來發(fā)展降低外部存儲的配置成本互聯(lián)網(wǎng)存儲模式，符合未來數(shù)據(jù)中心虛擬化 的發(fā)展方向需要操作需要操作傳統(tǒng)傳統(tǒng)存儲存儲VSANRaid組創(chuàng)建LUN劃分ZoningLUN Masking/Mapping多路徑軟件安裝配置Disk Group創(chuàng)建存儲策略創(chuàng)建VM存儲策略選擇虛擬機(jī)存儲配置方式比較虛擬機(jī)存儲配置方式比較人工操作人工操作 VS 自動化策略自動化策略Virtual SAN 數(shù)據(jù)數(shù)據(jù)存儲集群存儲集群Virtual SAN- 從根本上簡化存儲Virt

15、ual SAN-利用緩存提升性能 所有虛擬機(jī) I/O 均指向 SSD。寫入內(nèi)容稍后會轉(zhuǎn)儲到 HDD。 如果請求的讀取數(shù)據(jù)塊不在緩存中，會將該請求定向到 HDD硬盤SSDvSphereVSANVSAN 數(shù)據(jù)存儲12寫入(30%)硬盤SSDvSphereVSANVSAN 數(shù)據(jù)存儲12讀取(70%)Virtual SAN - 可用性與性能虛擬機(jī)存儲對象(主目錄、VMDK、增量、交換)可以分布在 VSAN 集群中的多個主機(jī)和磁盤內(nèi)。虛擬機(jī)可以使用復(fù)制副本提供可用性，或使用條帶提供 HDD 性能硬盤硬盤硬盤硬盤SSDSSD硬盤硬盤SSD虛擬機(jī) 1 的副本與條帶虛擬機(jī) 2 的副本與條帶vSphereVSA

16、N264Virtual SAN 數(shù)據(jù)數(shù)據(jù)存儲集群存儲集群Virtual SAN - 恢復(fù)能力極強(qiáng)通過虛擬機(jī)的存儲策略實(shí)現(xiàn)存儲自動分配 按照存儲策略為虛擬機(jī)調(diào)配存儲資源。 策略在創(chuàng)建后便向下發(fā)送到VSAN，然后按照策略中的功能實(shí)例化虛擬機(jī)對象。 借助VSAN，單個數(shù)據(jù)存儲現(xiàn)在可以針對各個虛擬機(jī)或各個虛擬磁盤強(qiáng)制實(shí)施不同的服務(wù)質(zhì)量 (QoS) 級別。VSAN數(shù)據(jù)存儲白銀級白銀級可用性 = x性能 = y容量 = z虛擬機(jī)存儲策略白銀級黃金級青銅級青銅級按需定制存儲策略每個對象的磁盤條帶數(shù) Number of disk stripes per object存儲對象的各個副本所跨的HDD數(shù)量。用于改善

17、性能，缺省為1，最大12。允許的故障次數(shù) Number of failures to tolerate 定義存儲對象能夠允許的主機(jī)、網(wǎng)絡(luò)和/或磁盤的故障次數(shù)。可用性保障，缺省為1，最大為3。對象空間預(yù)留 Object space reservation 應(yīng)預(yù)留的存儲對象(包括快照)邏輯大小百分比(厚配置)。閃存讀取緩存預(yù)留 Flash read cache reservation預(yù)留閃存容量，作為存儲對象的讀取緩存。用于提升性能，缺省為0，最大100%。強(qiáng)制調(diào)配 Force provisioning在數(shù)據(jù)存儲不能滿足資源時是否進(jìn)行調(diào)配。白銀級白銀級可用性 = x性能 = y容量 = z虛擬機(jī)存

18、儲策略簡化存儲變更操作，提升效率傳統(tǒng)方式傳統(tǒng)方式1.將虛擬機(jī)從數(shù)據(jù)存儲遷移走；2.卸載LUN/卷；3.創(chuàng)建新的LUN/卷以滿足虛擬機(jī)對存儲需求的變化 ；4.如果是塊設(shè)備，使用VMFS格式化LUN；5.將虛擬機(jī)遷移到新的數(shù)據(jù)存儲。VSAN1.編輯或創(chuàng)建新的存儲策略；2.將存儲策略應(yīng)用到虛擬機(jī)。vs.Scale UPAdd more DisksIOPSCapacity40 TB400 TB4.4 PBScale OUTAdd more nodes 彈性彈性 按需增減 顆粒顆粒度度 單節(jié)點(diǎn)或磁盤 非破壞性非破壞性 業(yè)務(wù)不中斷VSAN可以根據(jù)性能和容量需求進(jìn)行線性擴(kuò)展29分布式存儲 性能參數(shù)30Hos

19、ts / Cluster326464VMs / Cluster320064006400VMs / Host100200200IOPS / Host20K40K100KSnapshot depths23232VMDK Size2TB62TB62TBVirtual SANVirtual SAN6.0 混合混合Virtual SAN6.0 全閃存全閃存分布式存儲分布式存儲VSAN其它特性其它特性31第 4 代 Virtual SAN 具有重要的新功能特性企業(yè)就緒支持IPv6網(wǎng)絡(luò)軟件校驗(yàn)和（Software Checksum）增強(qiáng)的Horizon集成已經(jīng)過SAP測試且已就緒適用于VMware Phot

20、on的VSAN技術(shù)預(yù)覽版極其簡單極其簡單QoS（IOPS限制值）性能監(jiān)控和容量監(jiān)控Health Check集成到vSphere Web Client內(nèi)最低成本最低成本去重 壓縮 糾刪碼Client Cache和Sparse Swap特性一和特性二：去重和壓特性一和特性二：去重和壓縮（提高空間效縮（提高空間效率）率）支持全閃存按照磁盤組的級別，實(shí)現(xiàn)近線的去重和壓縮叫做 “提高空間效率”磁盤組越大，去重比率越高去重和壓縮在集群級別激活當(dāng)數(shù)據(jù)從緩存層De-staging（刷新）到持久化層時實(shí)現(xiàn)去重，在去重后實(shí)現(xiàn)壓縮 去重在緩存寫確認(rèn)后執(zhí)行固定大小的塊去重 (4KB 數(shù)據(jù)塊)在VSAN Stretched Cluster和ROBO方式下也支持去重和壓縮32Betaesxi-01esxi-02esxi-03vmdkvmdkvSphere & Virtual SANvmdkAll Flash Only特性三 糾刪碼： RAID-5 Erasu