軟件定義與網(wǎng)絡(luò)安全主講人：軟件定義與網(wǎng)絡(luò)安全課程組第3單元：存儲虛擬化與軟件定義存儲三、存儲虛擬化與軟件定義存儲

1存儲虛擬化技術(shù)存儲虛擬化概述存儲虛擬化技術(shù)框架與實現(xiàn)方式分布式虛擬化存儲系統(tǒng)：Ceph

2軟件定義存儲技術(shù)軟件定義存儲概述軟件定義存儲系統(tǒng)架構(gòu)與實現(xiàn)方式軟件定義存儲實例存儲虛擬化技術(shù)——存儲虛擬化概述1主機級存儲直連式附加存儲網(wǎng)絡(luò)存儲技術(shù)存儲虛擬化SV軟件定義存儲SDS網(wǎng)絡(luò)文件服務(wù)器、數(shù)據(jù)庫服務(wù)器磁盤、磁帶網(wǎng)絡(luò)附加存儲NAS、存儲區(qū)域網(wǎng)絡(luò)SAN網(wǎng)絡(luò)化性能、管理動態(tài)、精確控制、自動化容量、共享存儲虛擬化技術(shù)——存儲虛擬化概述1三、存儲虛擬化與軟件定義存儲

存儲虛擬化（SV：StorageVirtualization）：是將物理存儲實體與存儲的邏輯表示分離開來，為用戶提供統(tǒng)一、規(guī)范的存儲資源服務(wù)的邏輯視圖，以屏蔽物理存儲設(shè)備的復雜性和差異性，實現(xiàn)各種存儲資源的統(tǒng)一分配與管理。存儲虛擬化技術(shù)——存儲虛擬化概述——存儲虛擬化模型1三、存儲虛擬化與軟件定義存儲用戶應(yīng)用：是存儲資源的消費者。VSS：是實現(xiàn)虛擬化存儲服務(wù)功能的虛擬化引擎。存儲系統(tǒng)：是構(gòu)成存儲空間資源的各種存儲設(shè)備。存儲虛擬化技術(shù)——存儲虛擬化概述——存儲虛擬化模型1三、存儲虛擬化與軟件定義存儲用戶應(yīng)用向虛擬化存儲系統(tǒng)提出存儲資源操作請求。VSS根據(jù)請求查詢存儲節(jié)點。存儲系統(tǒng)向VSS返回請求響應(yīng)信息。VSS將響應(yīng)信息返回給用戶應(yīng)用。用戶應(yīng)用根據(jù)響應(yīng)信息與相應(yīng)的存儲設(shè)備節(jié)點建立連接。存儲系統(tǒng)與客戶應(yīng)用間執(zhí)行存儲資源操作。存儲虛擬化技術(shù)——存儲虛擬化概述——虛擬存儲空間映射機制1三、存儲虛擬化與軟件定義存儲

存儲虛擬化實現(xiàn)的關(guān)鍵是將分散、異構(gòu)的硬件存儲空間，按照一定的策略映射成一個統(tǒng)一且連續(xù)編址的邏輯存儲空間，稱之為“虛擬存儲池（VSP：VirtualStoragePool）”。三、存儲虛擬化與軟件定義存儲現(xiàn)實中虛擬化存儲系統(tǒng)通常會由一定數(shù)量、異構(gòu)的物理存儲節(jié)點構(gòu)成，不同節(jié)點上的物理存儲設(shè)備（PSD：PhysicalStorageDevice）用物理存儲表（PST：PhysicalStorageTable）來描述。為了能夠把各個物理存儲空間映射到統(tǒng)一的邏輯空間上，首先需要將一組邏輯上相關(guān)的存儲設(shè)備定義為虛擬存儲設(shè)備（VSD：VirtualStorageDevice），并用虛擬存儲表（VST：VirtualStorageTable）來描述和管理。存儲虛擬化技術(shù)——存儲虛擬化概述——虛擬存儲空間映射機制1物理存儲節(jié)點通常由多個物理存儲設(shè)備組成；虛擬存儲設(shè)備可能包含一個或多個物理存儲設(shè)備，或是物理存儲設(shè)備的一個或多個分區(qū)，甚至可細化到邏輯分區(qū)的目錄。虛擬化存儲系統(tǒng)中存儲資源的屬性可分為兩級視圖：1）用于內(nèi)部數(shù)據(jù)表示的物理存儲表PST2）呈現(xiàn)給上層用戶的虛擬存儲表VST存儲虛擬化技術(shù)——存儲虛擬化概述——虛擬存儲空間映射機制1三、存儲虛擬化與軟件定義存儲在虛擬化存儲系統(tǒng)中，虛擬存儲空間可被進一步被劃分為不同的虛擬空間節(jié)點，其是管理存儲空間上各種邏輯資源（如數(shù)據(jù)塊、節(jié)點位圖等）的邏輯單位。

每個虛擬節(jié)空間點維護自己的目錄與文件樹結(jié)構(gòu)，可以實現(xiàn)各種基于策略的數(shù)據(jù)組織與分配，例如可以虛擬存儲節(jié)點為單位線性組織虛擬空間，也可以類似于RAID實施鏡像、分條等組織方式。存儲虛擬化技術(shù)——存儲虛擬化概述——虛擬存儲空間映射機制1存儲虛擬化技術(shù)——存儲虛擬化概述——虛擬存儲空間映射機制1物理存儲設(shè)備（PSD：PhysicalStorageDevice）的存儲空間通常用物理存儲表（PST：PhysicalStorageTable）來描述。虛擬存儲設(shè)備（VSD：VirtualStorageDevice）用虛擬存儲表（VST：VirtualStorageTable）來描述和管理。所有虛擬存儲設(shè)備形成整個存儲系統(tǒng)對外的虛擬存儲空間。存儲虛擬化技術(shù)——存儲虛擬化概述——虛擬存儲空間映射機制1物理存儲表與虛擬存儲表映射關(guān)系示例虛擬存儲空間可被劃分為不同的虛擬邏輯節(jié)點，每個虛擬空間節(jié)點維護自己的目錄與文件樹結(jié)構(gòu)。PST與VST映射的組織與管理由存儲虛擬化引擎（即虛擬存儲服務(wù)VSS）負責，向上層用戶提供單一的系統(tǒng)映像，即存儲資源全局命名空間。存儲虛擬化技術(shù)——存儲虛擬化概述——虛擬存儲的標準化工作1三、存儲虛擬化與軟件定義存儲虛擬存儲要求能夠跨越異構(gòu)的硬件存儲設(shè)備構(gòu)建存儲資源池，而異構(gòu)存儲設(shè)備間的管理一定會涉及存儲標準化問題，只有各廠家的存儲設(shè)備接口遵循共同標準，才能實現(xiàn)互聯(lián)互通、可被相互調(diào)用和管理。存儲管理建議規(guī)范（SMI-S：StorageManagementInitiativeSpecification）存儲虛擬化技術(shù)——存儲虛擬化概述——虛擬存儲的標準化工作1三、存儲虛擬化與軟件定義存儲

存儲管理建議規(guī)范（SMI-S）：是一種中間件性質(zhì)的規(guī)范，定義了存儲管理軟件和受管對象之間的交換接口和機制。

SMI-S旨在存儲設(shè)備與管理軟件之間提供標準化的功能接口，達到存儲管理軟件與存儲硬件設(shè)備間的標準化交互，從而使存儲資源管理實現(xiàn)廠商無關(guān)性和存儲設(shè)備類型無關(guān)性。存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式1針對存儲虛擬化的工程實現(xiàn)問題，全球網(wǎng)絡(luò)存儲工業(yè)協(xié)會（SNIA：StorageNetworkIndustryAssociation）提出了一種層次化的存儲虛擬化實現(xiàn)技術(shù)框架。存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式1針對存儲虛擬化的工程實現(xiàn)問題，全球網(wǎng)絡(luò)存儲工業(yè)協(xié)會（SNIA：StorageNetworkIndustryAssociation）提出了一種層次化的存儲虛擬化實現(xiàn)技術(shù)框架。針對不同的存儲設(shè)備和數(shù)據(jù)形態(tài)，在存儲虛擬化的實現(xiàn)中需要開展數(shù)據(jù)塊級、磁盤級、磁帶及磁帶庫級、文件系統(tǒng)級，以及文件/記錄級等形式或?qū)用娴奶摂M化工作。存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式1數(shù)據(jù)塊級虛擬化將多個物理塊設(shè)備整合成邏輯塊設(shè)備是SAN環(huán)境中最常見的虛擬化方式如精簡配置磁盤級虛擬化將多塊獨立物理磁盤虛擬為一個或多個邏輯磁盤常用于本地存儲或小規(guī)模直連存儲場景，側(cè)重磁盤的聚合與容錯如RAID技術(shù)磁帶及磁帶庫級虛擬化將磁帶和磁帶庫整合為“虛擬磁盤”解決物理磁帶讀寫慢、機械臂調(diào)度復雜的問題，常用于備份歸檔場景如虛擬磁帶庫（VTL）文件系統(tǒng)級虛擬化將多個分散的文件系統(tǒng)整合為統(tǒng)一的“命名空間”聚焦文件邏輯組織，常用于NAS或分布式文件系統(tǒng)場景，解決碎片化問題文件/記錄級虛擬化針對“單個文件”或“數(shù)據(jù)庫記錄”進行抽象粒度最細，常用于多系統(tǒng)數(shù)據(jù)整合、云存儲或數(shù)據(jù)庫場景存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式1針對存儲虛擬化的工程實現(xiàn)問題，全球網(wǎng)絡(luò)存儲工業(yè)協(xié)會（SNIA：StorageNetworkIndustryAssociation）提出了一種層次化的存儲虛擬化實現(xiàn)技術(shù)框架。根據(jù)實現(xiàn)位置/層面的不同，存儲虛擬化可以分為基于主機的虛擬化、基于存儲設(shè)備的虛擬化和基于網(wǎng)絡(luò)的虛擬化等實現(xiàn)方式。存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式——基于主機的虛擬化1三、存儲虛擬化與軟件定義存儲

基于主機的虛擬化：是指虛擬化層（即虛擬化引擎）在主機上實現(xiàn)，即將虛擬化軟件模塊以驅(qū)動程序的形式嵌入到主機操作系統(tǒng)中，為連接到主機的各種存儲設(shè)備提供控制管理功能?；谥鳈C的虛擬存儲映射關(guān)系存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式——基于存儲設(shè)備的虛擬化1三、存儲虛擬化與軟件定義存儲基于存儲設(shè)備的虛擬化：虛擬化一般在存儲設(shè)備的控制器中實現(xiàn)，因此又稱為“存儲控制器的虛擬化”，該方法的實現(xiàn)要依靠存儲設(shè)備子系統(tǒng)提供的存儲虛擬化管理功能，多為硬件方式實現(xiàn)。三、存儲虛擬化與軟件定義存儲

基于網(wǎng)絡(luò)的虛擬化：是通過存儲網(wǎng)絡(luò)中的專用設(shè)備，類似于將卷管理功能擴展到整個存儲網(wǎng)絡(luò)，負責管理共享存儲資源、數(shù)據(jù)復制、數(shù)據(jù)遷移以及遠程數(shù)據(jù)備份等。存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式——基于網(wǎng)絡(luò)的存儲虛擬化1三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式——基于網(wǎng)絡(luò)的存儲虛擬化1實現(xiàn)位置：在存儲網(wǎng)絡(luò)（SAN）中，通常由一個專用的虛擬化引擎（Appliance）或運行在智能SAN交換機上的軟件實現(xiàn)（如IBMSVC，DellEMCVPLEX，CiscoMDS/Nexus交換機部分功能）優(yōu)點：不占用主機資源，能夠跨越異構(gòu)存儲設(shè)備缺點：增加網(wǎng)絡(luò)延遲、部署成本較高、元數(shù)據(jù)管理復雜度高三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式——基于分布式存儲的虛擬化1基于分布式存儲的虛擬化：將分散在多臺服務(wù)器上的本地物理存儲抽象為統(tǒng)一的邏輯存儲資源池，并通過虛擬化映射實現(xiàn)應(yīng)用程序使用的邏輯地址到物理地址的透明轉(zhuǎn)換。實現(xiàn)方式：ServerSAN：基于服務(wù)器的分布式虛擬化存儲超融合架構(gòu)（HCI：HyperConvergedInfrastructure）的虛擬化存儲三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式——基于分布式存儲的虛擬化1

ServerSAN：最早來自IT市場分析和咨詢機構(gòu)Wikibon，其對ServerSAN的定義是“ServerSANisSoftware-ledstoragebuiltoncommodityserverswithDirectlyAttachedStorage（DAS）”。

目前流行的ServerSAN存儲系統(tǒng)（或產(chǎn)品）有VMware公司的VirtualSAN、EMC公司的ScaleIO、以及著名的開源分布式存儲系統(tǒng)Ceph等。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式——基于分布式存儲的虛擬化1

超融合架構(gòu)（HCI：HyperConvergedInfrastructure）虛擬化存儲：是基于分布式存儲的虛擬化的又一種實現(xiàn)形式，具體來說就是基于標準的X86服務(wù)器，每個服務(wù)器節(jié)點通過虛擬存儲應(yīng)用（VSA：VirtualStorageAppliance）管理節(jié)點內(nèi)部的HDD和SDD，并與其它服務(wù)器節(jié)點中的VSA一起構(gòu)建一個集群虛擬化分布式存儲系統(tǒng)。。存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式1針對存儲虛擬化的工程實現(xiàn)問題，全球網(wǎng)絡(luò)存儲工業(yè)協(xié)會（SNIA：StorageNetworkIndustryAssociation）提出了一種層次化的存儲虛擬化實現(xiàn)技術(shù)框架。根據(jù)控制路徑和數(shù)據(jù)路徑的相對關(guān)系，存儲虛擬化可分為帶內(nèi)In-Band（對稱）虛擬化和帶外Out-of-Band（不對稱）虛擬化兩種實現(xiàn)方法。存儲虛擬化技術(shù)——存儲虛擬化技術(shù)框架與實現(xiàn)方式

1三、存儲虛擬化與軟件定義存儲

帶內(nèi)虛擬化：是將虛擬化控制操作，在用戶應(yīng)用和存儲設(shè)備之間的交換數(shù)據(jù)通道中執(zhí)行，即控制流和數(shù)據(jù)流使用同一傳輸通道。

帶外虛擬化：是將虛擬化控制操作，在存儲數(shù)據(jù)傳輸通道之外實現(xiàn)，即控制流和數(shù)據(jù)流在不同的通路上傳輸。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph1

Ceph是一個開源的分布式虛擬化存儲項目，由SageWeil2004年在UCSC讀博期間發(fā)起，2008年建立開源社區(qū)并接納外部開發(fā)者加入項目；2010年開始來自Yahoo、Suse、Canonical和Intel等開發(fā)者開始進入Ceph社區(qū)協(xié)作開發(fā)，2012年SageWeil的開發(fā)團隊成立了Inktank公司為Ceph企業(yè)級客戶提供支持，同年Ceph進入OpenStackCinder項目成為重要的存儲驅(qū)動，之后開始在OpenStack平臺廣泛應(yīng)用，至今已經(jīng)成為全球推廣最廣泛的開源分布式虛擬化存儲系統(tǒng)。存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph組成架構(gòu)1RADOS是一個可靠、自動化、分布式的對象存儲系統(tǒng)，Ceph中的數(shù)據(jù)最終都以對象的形式存儲，支持數(shù)據(jù)副本復制、系統(tǒng)故障容錯等功能，是Ceph集群的基礎(chǔ)和核心?；A(chǔ)庫LibRADOS對RADOS進行封裝，向上層提供開發(fā)接口，目前支持PHP、Ruby、Java、Python、C和C++等開發(fā)語言。存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph組成架構(gòu)1應(yīng)用接口：主要包括塊存儲接口（RBD：ReliableBlockDevice）、對象存儲接口（RGW：RADOSGateWay）和文件存儲接口（CephFS：CephFileSystem）等三類，它們是在LibRADOS庫的基礎(chǔ)上實現(xiàn)的更高層次的接口抽象，以便于應(yīng)用端使用。存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph統(tǒng)一存儲機制1

LibRADOS庫封裝了面向RADOS存儲集群的操作，把對存儲資源的訪問模式轉(zhuǎn)變成了一套豐富的對象語義和數(shù)據(jù)模型，隱藏了數(shù)據(jù)分發(fā)、遷移、復制和容錯等邏輯。由于LibRADOS庫提供的是一種專業(yè)的開發(fā)接口，而大部分應(yīng)用端都使用標準的塊、文件或?qū)ο蟠鎯?，因此Ceph在LibRADOS庫基礎(chǔ)上進一步進行了封裝，同時提供塊、對象和文件等三種存儲訪問接口。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)管理機制1對象是Ceph數(shù)據(jù)讀寫的基本單位。Ceph中的對象可以理解為由對象名、屬性（類似POSIX文件的擴展屬性）、數(shù)據(jù)和擴展數(shù)據(jù)（鍵值對）組成的一個實體。在一個大規(guī)模對象存儲集群中，通常會存在數(shù)以億計的對象，這個時候面向?qū)ο蟮臄?shù)據(jù)管理就會變得異常艱難，比如數(shù)據(jù)的遷移、后臺數(shù)據(jù)修復都會非常困難，因此Ceph引入了歸置組PG（PlacementGroup）概念。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)管理機制1對象是Ceph數(shù)據(jù)讀寫的基本單位。Ceph中的對象可以理解為由對象名、屬性（類似POSIX文件的擴展屬性）、數(shù)據(jù)和擴展數(shù)據(jù)（鍵值對）組成的一個實體。在一個大規(guī)模對象存儲集群中，通常會存在數(shù)以億計的對象，這個時候面向?qū)ο蟮臄?shù)據(jù)管理就會變得異常艱難，比如數(shù)據(jù)的遷移、后臺數(shù)據(jù)修復都會非常困難，因此Ceph引入了歸置組PG（PlacementGroup）概念。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)管理機制1

PG實際上是一堆數(shù)據(jù)對象的集合，在Ceph集群的控制平面，比如集群的數(shù)據(jù)遷移、控制指令的下發(fā)、數(shù)據(jù)的統(tǒng)計都是將PG作為最小粒度，即數(shù)據(jù)對象在控制平面是不可見的。在數(shù)據(jù)平面，所有數(shù)據(jù)讀寫都是對PG透明的，但實際上在底層會發(fā)生數(shù)據(jù)對象到PG的映射，計算出PG所屬的OSD再訪問，因此PG在數(shù)據(jù)平面是不存在的。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)管理機制1

PG在Ceph集群的數(shù)據(jù)管理中起著非常重要的作用，具體包括：（1）從集群視角只需記錄并跟蹤PG的位置和狀態(tài)，不需對每個數(shù)據(jù)對象進行關(guān)注。（2）當存儲超過數(shù)百萬對象時，對象層級的管理將變得不切實際，OSD服務(wù)實際上是將每個PG視為獨立的“機器人”，每個PG的主副本分別存儲在不同的OSD服務(wù)組件中并會互聯(lián)溝通并自治。（3）當集群中存儲節(jié)點發(fā)生變化時，可通過PG隔離數(shù)據(jù)對象使得大部分PG在數(shù)據(jù)遷移時保持不變。（4）Ceph系統(tǒng)的數(shù)據(jù)分布與復制算法CRUSH，可針對PG級別進行數(shù)據(jù)分布存儲的優(yōu)化計算。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)管理機制1在Ceph系統(tǒng)數(shù)據(jù)管理中還引入了一種稱為Pool的數(shù)據(jù)管理機制。通常在存儲集群中，往往需要對一定的業(yè)務(wù)數(shù)據(jù)進行隔離，又或底層存儲設(shè)備存在較大差異時，統(tǒng)一命名空間無法滿足用戶需求，就可以利用Pool機制對數(shù)據(jù)進行邏輯隔離。存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)管理機制1Ceph的對象、PG、OSD、Pool之間的關(guān)聯(lián)關(guān)系三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)管理機制1

在Ceph集群中幾乎所有重要數(shù)據(jù)策略都是與Pool機制相關(guān)聯(lián)，而不是集群，因此基于Pool的數(shù)據(jù)管理機制在復雜的用戶場景和集群中，起到了關(guān)鍵的邏輯隔離和存儲優(yōu)化放置的作用。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)分布計算1分布式存儲系統(tǒng)是一種通過將數(shù)據(jù)分散存儲在多個存儲節(jié)點中，以實現(xiàn)高性能、高可用和可擴展的存儲解決方案。Ceph作為一種分布式存儲系統(tǒng)，其致力于提供PB級的集群存儲能力，并且提供自動故障恢復、方便的擴容和縮容能力。以上能力在典型分布式存儲系統(tǒng)中要么采用元數(shù)據(jù)服務(wù)中心化提供，要么采用一致性哈希進行完全無中心化處理。

元數(shù)據(jù)服務(wù)中心化方法：在中心化集群視圖后需要避免單點故障和元數(shù)據(jù)“瓶頸”的問題；

一致性哈希方法：由于缺少集群一致性視圖，對于數(shù)據(jù)遷移和擴容存在非常復雜且難以保證一致性的難題。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)分布計算1

Ceph系統(tǒng)在實現(xiàn)強大的集群自動故障處理和恢復能力中，維持了整個集群的一致性視圖，同時為了避免集群“震蕩”時元數(shù)據(jù)服務(wù)存在“瓶頸”問題，盡量簡化了集群元數(shù)據(jù)的構(gòu)成。

Monitor作為Ceph集群元數(shù)據(jù)管理的服務(wù)維護了整個集群的視圖信息，如MonitorMAP、OSDMap、PGMAP、MDSMAP、LogMAP、AuthMAP等，其中PGMAP和OSDMAP是Ceph集群中數(shù)據(jù)分布式存儲管理功能實現(xiàn)最重要的兩張視圖。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)分布計算1不管是Ceph的PGMAP和OSDMAP，還是中心化數(shù)據(jù)位置表，又或是一致性哈希集群的節(jié)點信息，本質(zhì)上都是為了讓應(yīng)用端能夠獲取真實的數(shù)據(jù)位置。在Ceph系統(tǒng)中，采用CRUSH算法進行數(shù)據(jù)存儲位置的計算，可以說其是Ceph分布式存儲引擎的核心。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)分布計算1

CRUSH可以理解為一個帶“參數(shù)”的哈希算法，其不是簡單地根據(jù)輸入通過數(shù)學運算得到一致的輸出，而是會接納更多的“參數(shù)”來獲得更佳的哈希結(jié)果，這些“參數(shù)”在Ceph系統(tǒng)中實際上就是OSDMAP、集群物理拓撲等。跟中心化數(shù)據(jù)位置表相比，這些“參數(shù)”在容量上會小得多，大致在幾百KB到幾MB之間（與集群規(guī)模有關(guān)）。CRUSH攜帶的額外“參數(shù)”可以幫助集群大大減少數(shù)據(jù)的遷移量。三、存儲虛擬化與軟件定義存儲存儲虛擬化技術(shù)——分布式虛擬化存儲系統(tǒng)：Ceph——Ceph數(shù)據(jù)分布計算1

CRUSH算法是一種偽隨機控制數(shù)據(jù)分布與復制的算法，它解決了集群“震蕩”時元數(shù)據(jù)服務(wù)存在的“瓶頸”問題，能夠滿足在大規(guī)模集群下依然能夠快速、準確的計算出數(shù)據(jù)存放位置，同時能夠在硬件故障或擴展硬件設(shè)備時做到盡可能小的數(shù)據(jù)遷移。三、存儲虛擬化與軟件定義存儲

1存儲虛擬化技術(shù)存儲虛擬化概述存儲虛擬化技術(shù)框架與實現(xiàn)方式分布式虛擬化存儲系統(tǒng)：Ceph

2軟件定義存儲技術(shù)軟件定義存儲概述軟件定義存儲系統(tǒng)架構(gòu)與實現(xiàn)方式軟件定義存儲實例軟件定義存儲技術(shù)——軟件定義存儲的提出與發(fā)展2軟件定義存儲（SDS：SoftwareDefinedStorage）是一個不斷進化的概念。

2020年

信創(chuàng)產(chǎn)業(yè)產(chǎn)品目錄納入SDS，新一代性能型全閃SDS產(chǎn)品出現(xiàn)

2015年4月IBM與ESG聯(lián)合發(fā)布《IBM在軟件定義存儲領(lǐng)域的能力與創(chuàng)造性》白皮書

2012年8月VMware首次提出“軟件定義存儲”概念

2003年

集群并行文件系統(tǒng)Luxtre1.0

2006年開源分布式文件系統(tǒng)Gluster

2009年

Nutanix超融合架構(gòu)（HCI）

2010年開源分布式塊存儲系統(tǒng)Sheepdog

2011年

開源統(tǒng)一存儲Ceph

2012年

PureStorageAFA全閃存陣列

2013年5月，EMCViPR開放性平臺開放API2013年7月，IBMSDS三步走戰(zhàn)略：1.0：虛擬化與優(yōu)化2.0：開放、可擴展與行業(yè)導向3.0：開放、分析與應(yīng)用驅(qū)動

2014年VMWareVSAN、BeeGFS、MinIO

2015年中國SDS/HCI市場元年，如華為FusionStorage、浪潮AS13000

2017年

Qumulo新一代高性能全閃存文件存儲系統(tǒng)

2019年SDS/HCI成為市場主流軟件定義存儲技術(shù)——軟件定義存儲的提出與發(fā)展2三、存儲虛擬化與軟件定義存儲在2012年8月，VMware在其舉辦的VMworld2012大會上首次提出軟件定義存儲（SDS：SoftwareDefinedStorage）的概念，其被作為是構(gòu)建軟件定義數(shù)據(jù)中心的五大組成部分之一。

VMware認為：軟件定義存儲是將工業(yè)標準服務(wù)器的存儲資源提供出來，并通過軟件控制層面實現(xiàn)存儲的自動化和池化，它將存儲的配置和管理的方法簡化到了極致，并利用工業(yè)標準服務(wù)器的存儲大大降低成本。軟件定義存儲技術(shù)——軟件定義存儲的提出與發(fā)展2三、存儲虛擬化與軟件定義存儲自SDS概念被VMware公司提出以后，受到了業(yè)界的高度關(guān)注和重視，各大研究機構(gòu)和存儲設(shè)備廠商相繼給出了對軟件定義存儲概念內(nèi)涵的理解和提出相應(yīng)的軟件定義存儲實現(xiàn)技術(shù)方案。軟件定義存儲技術(shù)——軟件定義存儲的提出與發(fā)展2

2013年在EMCWorld2013大會上，EMC發(fā)布了軟件定義存儲平臺ViPR，并認為SDS應(yīng)該是一個開放性平臺，提供開放的API，允許存儲管理人員通過策略的方式創(chuàng)建和定義不同類型的虛擬存儲池，以滿足特定工作負載所需的存儲性能和功能。

2013年IBM提出了公司軟件定義存儲的三步走戰(zhàn)略，即第一步軟件定義存儲1.0時代：虛擬化和優(yōu)化，第二步軟件定義存儲2.0時代：開放、可延伸性及具行業(yè)導向，第三步軟件定義存儲3.0時代：開放、分析及應(yīng)用驅(qū)動。

2015年9月華為云計算大會上，華為發(fā)布OceanStorDJ，其是一個基于OpenStack的輕量級的編排系統(tǒng)，華為把其視為SDSController，可以把各種存儲功能抽象出來，變成一種服務(wù)交付給客戶。軟件定義存儲技術(shù)——軟件定義存儲的提出與發(fā)展2三、存儲虛擬化與軟件定義存儲雖然大家對SDS的定義不盡相同，各有側(cè)重點。但可以看出，易擴展（主要指在線橫向擴展）、自動化、基于策略或應(yīng)用的驅(qū)動幾乎成為大家定義中的必備特征，只有這樣才能實現(xiàn)敏捷交付、簡單管理、節(jié)省部署和運維成本。軟件定義存儲技術(shù)——軟件定義存儲的提出與發(fā)展2三、存儲虛擬化與軟件定義存儲

SDS本質(zhì)上是指對構(gòu)建的虛擬化存儲資源（池）實施基于策略驅(qū)動方式的可編程性控制管理，最終達到存儲即服務(wù)的目標。

SDS是一種全新的存儲資源調(diào)度與管理模式，存儲資源服務(wù)請求可通過編程的方式傳達至軟件定義存儲系統(tǒng)平臺，由平臺直接調(diào)度、分配所需的存儲資源，而無需人工干預。如此存儲管理人員就可從枯燥重復的建卷、映射卷等工作中解脫出來，降低管理運維成本，同時也可提高存儲資源的利用效率和管理精準度。軟件定義存儲技術(shù)——軟件定義存儲系統(tǒng)架構(gòu)2通過北向接口編程對存儲資源進行自動化管理存儲策略的設(shè)定與分發(fā)數(shù)據(jù)的調(diào)度存儲服務(wù)的調(diào)用存儲資源的自動化管理數(shù)據(jù)的處理和優(yōu)化存儲功能的實現(xiàn)和提供存儲資源的虛擬化與池化軟件定義存儲技術(shù)——軟件定義存儲系統(tǒng)架構(gòu)2存儲資源：基于策略或應(yīng)用驅(qū)動的自動化部署管理軟件定義存儲技術(shù)——軟件定義存儲系統(tǒng)案例2三、存儲虛擬化與軟件定義存儲（1）VMware公司的SPBM（StoragePolicyBasedManagement）：即基于存儲策略的管理（2）EMC公司的ViPRController：EMC軟件定義存儲解決方案的控制平面（4）開源軟件定義分布式存儲系統(tǒng)OpenStackCinder：通過標準化的API接口來管理整個底層存儲資源的一套平臺。（3）華為公司的OceanStorDJ軟件定義存儲技術(shù)——軟件定義存儲系統(tǒng)案例——OpenStackCinder

2三、存儲虛擬化與軟件定義存儲

Cinder是OpenStack的塊存儲服務(wù)，通過存儲插件實現(xiàn)對各類存儲資源的管理，并對終端用戶提供自服務(wù)的RESTfulAPI去請求和使用存儲資源。OpenStackCinder的體系架構(gòu)負責管理Cinder中后端塊存儲設(shè)備，是Cinder組件中存儲驅(qū)動插件的操作容器。

Cinder目前支持多種后端存儲系統(tǒng)，包括開源存儲產(chǎn)品和商業(yè)存儲產(chǎn)品，例如HUAWEI、EMC、IBM、HP等主流存儲廠商，也包括CohoData、Nimble、PureStorage、SolidFire、Tintri、ViolinMemory、Zadara、ProphetStor等存儲創(chuàng)業(yè)公司。OpenStackCinder的體系架構(gòu)對外提供RESTfulAPI服務(wù)，是Cinder服務(wù)訪問的入口。OpenStackCinder的體系架構(gòu)負責存儲資源調(diào)度，其提供了多種算法來應(yīng)對不同場景下塊存儲資源的調(diào)度。當Cinder-scheduler接收到來自Cinder-api的外部資源請求時，會基于配置的調(diào)度算法和策略篩選出合適的Cinder-volume和后端存儲系統(tǒng)進行塊存儲設(shè)備的創(chuàng)建。軟件定義存儲技術(shù)——軟件定義存儲系統(tǒng)案例——OpenStackCinder

2三、存儲虛擬化與軟件定義存儲

Cinder本身不是一種存儲系統(tǒng)，只是一個實施塊存儲資源管控的中間控制層，其通過插件的方式實現(xiàn)與后端不同塊存儲系統(tǒng)的集成，即存儲設(shè)備服務(wù)廠商提供面向Cinder的驅(qū)動插件以支持與Cinder的整合。軟件定義存儲技術(shù)——軟件定義存儲系統(tǒng)案例——OpenStackCinder

2三、存儲虛擬化與軟件定義存儲