軟件定義存儲sds在移動互聯(lián)中的應用

1軟件定義存儲的背景在存儲行業(yè)，由于存儲系統(tǒng)硬件和軟件緊密結(jié)合的狹窄管理接口和不均勻的管理因素，不同存儲供應商之間的存儲和解決方案一直處于技術(shù)壁壘。大多數(shù)現(xiàn)有的存儲系統(tǒng)是統(tǒng)一的、集成的系統(tǒng)，只支持特定的硬件和軟件組合，存儲系統(tǒng)缺乏靈活性，不充分利用新產(chǎn)品和新平臺的能力，不受限制，數(shù)據(jù)存儲的需要隨著時間的推移而增加。此外，不同存儲系統(tǒng)之間只能實現(xiàn)有限的統(tǒng)一管理。由于不同類型存儲容量的不同制造商的存儲設(shè)備無法形成統(tǒng)一的存儲工具，存儲系統(tǒng)的管理成本將增加。隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展、云計算應用模式的快速普及以及大數(shù)據(jù)時代下數(shù)據(jù)的爆炸式增長,傳統(tǒng)的存儲系統(tǒng)越來越難以滿足企業(yè)IT系統(tǒng)在靈活性、擴展性以及統(tǒng)一管理等方面的需求。為了打破傳統(tǒng)存儲系統(tǒng)軟硬件緊耦合所造成的割裂狀況,軟件定義存儲(softwaredefinestorage,SDS)應運而生。SDS的概念最早由VMware在2012年的VMworld上提出,作為VMware軟件定義數(shù)據(jù)中心五大組成部分(計算、存儲、網(wǎng)絡、管理和安全)中的一項,逐漸進入人們的視野。隨后,EMC公司在當年的EMCworld發(fā)布大會上發(fā)布了SDS戰(zhàn)略,引發(fā)了業(yè)界對EMC這一策略以及SDS的大討論,SDS迅速成為存儲業(yè)界的研究熱點。2sds的定義SDS與軟件定義網(wǎng)絡(softwaredefinednetwork,SDN)以及軟件定義數(shù)據(jù)中心(softwaredefineddatacenter,SDDC)的概念頗為相似,但由于SDS的發(fā)展時間較短,目前業(yè)界對SDS并沒有形成統(tǒng)一的定義。IDC通過對SDS市場的深入了解和研究,對SDS定義如下:SDS將數(shù)據(jù)中心或者跨數(shù)據(jù)中心的各種存儲資源抽象化、池化,以服務的形式提供給應用,滿足應用按需(如容量、性能、QoS、SLA等)自動化使用存儲的需求。DMTF(desktopmanagementtaskforce)則認為SDS是由智能軟件,而不是由存儲硬件直接提供存儲管理和自動化的基礎(chǔ)設(shè)施。存儲池的基礎(chǔ)設(shè)施資源,在一個軟件定義的存儲環(huán)境中可以自動有效地分配,以符合企業(yè)的應用需求。雖然兩者的定義有所不同,但從本質(zhì)上看,SDS應如同一個生態(tài)系統(tǒng),它將存儲的功能從傳統(tǒng)存儲系統(tǒng)中抽象出來,通過軟件實現(xiàn),從存儲系統(tǒng)中抽離出來單獨部署,不再是硬件設(shè)備上的固件,通過軟件定義,可管理來自不同廠商的所有的物理和虛擬存儲資源,并按需進行自動配置。軟件定義存儲應具有以下特征。(1)生成公共云存儲環(huán)境通過定義標準的應用編程接口(API),進行存儲的配置,可以滿足應用程序和客戶所需要的存儲資源,無需人工干預。雖然這種形式的配置在公共云存儲環(huán)境中(如AmazonS3和新興的云計算平臺OpenStack)已經(jīng)十分常見,但在企業(yè)的IT環(huán)境中還未實現(xiàn)。一些存儲廠商,包括EMC公司、惠普和NetApp,正逐漸提供基于API的配置,這種自服務特征將極大地方便應用系統(tǒng)管理員的配置和應用的集成,并有效地降低管理成本。(2)存儲輔助監(jiān)控存儲存儲虛擬化可以聚合異構(gòu)存儲資源到一個共享的存儲池,打破傳統(tǒng)存儲系統(tǒng)煙囪式的現(xiàn)狀,使所有存儲設(shè)備中的存儲容量得以充分利用,存儲虛擬化可以實現(xiàn)數(shù)據(jù)跨異構(gòu)孤島,在因硬件故障進行數(shù)據(jù)遷移時,實現(xiàn)數(shù)據(jù)的無縫遷移,并方便管理。(3)hdfs接口SDS可以對外提供豐富的數(shù)據(jù)接口,如文件系統(tǒng)接口(NFS、CIFS等)、塊接口(iSCSI、FC等)、對象接口(S3SWIFT等)以及可以供大數(shù)據(jù)分析的HDFS接口。豐富的數(shù)據(jù)接口可以為應用在存儲的接口和協(xié)議方面提供更多的選擇。(4)存儲的虛擬化SDS的一個優(yōu)勢在于對異構(gòu)存儲設(shè)備的整合,不同類型的存儲系統(tǒng)(如NAS、SAN、對象存儲等)以及不同廠商的存儲設(shè)備可以實現(xiàn)快速的接入和統(tǒng)一管理,這為存儲虛擬化提供了豐富的存儲資源,也為建立全局的管理視圖創(chuàng)造了條件。3被跨行業(yè)和地域的數(shù)據(jù)驅(qū)動“基于軟件的平臺會繼續(xù)比基于文件或者基于對象的其他存儲市場部分發(fā)展得更快,這種成長主要被跨行業(yè)和地域、豐富多樣、密集的數(shù)據(jù)所驅(qū)動。”IDC研究主任NadkarniA在一篇聲明中提到。而事實上,目前僅是軟件定義存儲的開端,由于傳統(tǒng)異構(gòu)存儲設(shè)備之間的實現(xiàn)機制迥異,大存儲廠商并未真正實現(xiàn)異構(gòu)兼容,軟件定義存儲的研究正處于起步階段。3.1sds的研究狀況作為對傳統(tǒng)存儲行業(yè)的顛覆性技術(shù),SDS在定義、體系架構(gòu)和管理接口等方面亟需一系列的標準進行規(guī)范,標準化工作對推動SDS的發(fā)展起著至關(guān)重要的作用,但目前,國內(nèi)研究機構(gòu)對SDS的標準化工作還沒有提上日程國際研究機構(gòu)對SDS的標準化工作還在研究過程中,相關(guān)研究狀況如下。IDC在2013年4月對外正式發(fā)布文檔“IDC’WorldwideSoftware-Based(Software-Defined)StoragTaxonomy”,其中對SDS的定義進行闡述,并提出了SDS的評估方法以及在通用硬件上利用軟件構(gòu)建一個高可擴展性存儲平臺的解決方案。DMTF在2013年5月成立了一個孵化項目SDDCIncubator,SDS作為其中一部分,目前正在研究過程中。OpenStorage開源社區(qū)在2013年10月舉辦了“OpenStorageSummit2013”大會上,組織各企業(yè)一起討論SDS的定義,但還沒有實質(zhì)性東西輸出。3.2sds系統(tǒng)架構(gòu)除學術(shù)研究團體對SDS技術(shù)展開廣泛研究外,商業(yè)公司對SDS技術(shù)跟進和產(chǎn)品研發(fā)均產(chǎn)生了濃厚興趣,并進行了積極實踐,但由于各家對SDS的理解不同,其SDS的系統(tǒng)架構(gòu)設(shè)計也有所不同。目前,對SDS進行深入研究的公司可以分為以下3類。(1)對存儲的定制化要求EMC公司的SDS通過存儲虛擬化平臺將物理陣列中的存儲(無論是基于文件、塊還是對象)抽象為虛擬共享存儲資源池,從而跨物理陣列實現(xiàn)靈活的存儲使用模型,并提供應用程序和創(chuàng)新型數(shù)據(jù)服務。存儲虛擬化平臺從底層硬件陣列抽象出存儲控制路徑,以便可以在軟件中集中執(zhí)行多供應商存儲基礎(chǔ)架構(gòu)的訪問和管理。EMC公司的軟件定義存儲系統(tǒng)具有控制路徑和數(shù)據(jù)路徑、控制路徑設(shè)置和管理存儲設(shè)備的策略,而數(shù)據(jù)路徑執(zhí)行實際讀取、寫入和數(shù)據(jù)服務。華為技術(shù)從業(yè)務驅(qū)動存儲(service-drivenstorage)角度理解和研究SDS,即系統(tǒng)根據(jù)業(yè)務的定制化要求(主要指性能、可靠性及數(shù)據(jù)的一致性方面),將相關(guān)的控制策略下發(fā)給控制平面和數(shù)據(jù)平面,聯(lián)動實現(xiàn)用戶存儲的定制化。與EMC公司不同的是,其將軟件定義存儲系統(tǒng)分為3個平面:管理平面、控制平面和數(shù)據(jù)平面。異構(gòu)陣列則通過接入層統(tǒng)一接入數(shù)據(jù)平面,業(yè)務側(cè)的請求統(tǒng)一由控制平面根據(jù)存儲策略進行自動分配。NetApp的SDS主要通過其集群操作系統(tǒng)DataONTAP對底層的異構(gòu)存儲進行統(tǒng)一管理,并實現(xiàn)存儲資源的策略配置以及提供可編程API,實現(xiàn)應用程序自定義和工作流自動化,所有的異構(gòu)存儲設(shè)備通過NetApp設(shè)備接入。目前,NetApp的ONTAP產(chǎn)品主要支持塊和文件存儲接口,對對象存儲支持較弱;兼容硬件支持列表中,主要是NetApp認證的存儲設(shè)備。(2)異構(gòu)存儲使用自動化作為虛擬化操作系統(tǒng)的龍頭老大,VMware在SDS相關(guān)產(chǎn)品中,更多地關(guān)注異構(gòu)存儲如何為虛擬機使用,以應用為中心的策略,可實現(xiàn)存儲使用自動化,對異構(gòu)存儲池中的所有資源制定一致的策略,使存儲的使用像為每個應用或虛擬機指定容量、性能和可用性要求那樣簡單。這種基于策略的自動化最大限度地利用了底層存儲資源,同時將管理開銷降至最低。數(shù)據(jù)服務(如快照、克隆和復制)作為虛擬數(shù)據(jù)服務在軟件中交付,并按虛擬機進行調(diào)配和管理,獨立于底層存儲硬件使得這些服務的分配極其敏捷和靈活。(3)參與存儲產(chǎn)業(yè)鏈的機會存儲功能軟件化在打破傳統(tǒng)存儲設(shè)備廠商既有利益格局的過程中將發(fā)揮十分重要的作用,這也為許多初創(chuàng)的存儲軟件公司提供了參與存儲產(chǎn)業(yè)鏈的機會。先智的SD主要基于OpenStack的塊存儲組件Cinder,將SDS架構(gòu)設(shè)計為3個層次:接口層、管理層和存儲聯(lián)邦層。其中,接口層對應用提供存儲管理接口及塊存儲接口,管理層提供資源管理、認證、統(tǒng)計及監(jiān)控等管理功能,而存儲聯(lián)邦層提供異構(gòu)存儲設(shè)備的接入和管理。4軟件定義存儲結(jié)構(gòu)的設(shè)計4.1系統(tǒng)需求(1)注重資源整合傳統(tǒng)存儲系統(tǒng)存儲資源與應用獨立,存儲資源利用效率低,在新的存儲系統(tǒng)設(shè)計中要做到資源整合并且針對應用進行專業(yè)化的策略管理,根據(jù)應用的變化進行彈性配額;同時,存儲系統(tǒng)必須提供基于容器的多層次租戶/應用隔離技術(shù),通過物理隔離與權(quán)限控制相結(jié)合,實現(xiàn)以用戶為單位、以業(yè)務為單位以及以存儲容器為單位的數(shù)據(jù)隔離。(2)節(jié)點負載均衡大數(shù)據(jù)時代下,新的存儲系統(tǒng)中的物理存儲主機節(jié)點規(guī)模從幾萬個到幾十萬個,多為數(shù)據(jù)密集型應用,面對超大規(guī)模的數(shù)據(jù)請求和節(jié)點數(shù)量,應高效進行節(jié)點負載均衡,充分發(fā)揮空閑節(jié)點的作用,保障高水平服務質(zhì)量,提高系統(tǒng)運行效能。存儲系統(tǒng)應按照存儲設(shè)備的相關(guān)特性(如存儲容量設(shè)備類型、性能指標等)為業(yè)務選擇最合適的存儲資源,并按照存儲設(shè)備的I/O空閑程度等信息對應用進行基于服務質(zhì)量的多層次自動負載均衡與調(diào)度功能。(3)存儲資源池在存儲設(shè)備的使用過程中,會遇到調(diào)整存儲資源池的需求,要求存儲資源池根據(jù)業(yè)務的需求增加或者減少存儲設(shè)備。在調(diào)整的過程中,盡量減少對業(yè)務的影響,即業(yè)務不能被中斷。(4)資源組織管理困難大規(guī)模級別存儲系統(tǒng)的構(gòu)建隨著數(shù)據(jù)的爆炸性增長存儲的規(guī)模越來越大。傳統(tǒng)存儲通常是在一個設(shè)備、一個機架或一個數(shù)據(jù)中心內(nèi)完成資源組織管理,而當存儲容量上升到EB級或ZB級后存儲很難在一個數(shù)據(jù)中心內(nèi)完成。大規(guī)模的存儲需要跨數(shù)據(jù)中心,跨城市、省甚至國家進行存儲設(shè)備、存儲數(shù)據(jù)、存儲服務的組織和管理,并支持跨域的訪問、備份、容災等功能。4.2軟件定義存儲的參考架構(gòu)基于以上需求分析,結(jié)合軟件定義存儲的特征,筆者認為在設(shè)計軟件定義存儲的系統(tǒng)時,需要著重考慮軟硬件的解耦、靈活的存儲配置策略、多樣化的存儲能力供給以及存儲資源的彈性擴展等因素,軟件定義存儲的參考架構(gòu)如圖1所示。軟件定義存儲系統(tǒng)主要由以下4層組成:訪問接口層、軟件定義存儲層、存儲適配層以及存儲資源池,每一層扮演著不同的角色,功能也有所不同。(1)外部本及外部資金接口此層包括管理接口和數(shù)據(jù)接口,管理接口主要提供與自服務門戶、管理門戶以及外部計費系統(tǒng)的管理接口;而數(shù)據(jù)接口則通過協(xié)議轉(zhuǎn)換的方式,為外部應用提供豐富的數(shù)據(jù)接口,如對象接口、文件接口、HDFS接口以及塊接口等。(2)存儲的選擇策略此層是軟件定義存儲系統(tǒng)中十分重要的一層,通過軟件對底層存儲資源進行池化和統(tǒng)一管理,并基于存儲設(shè)備的性能、可靠性等指標進行相關(guān)策略配置,為不同的應用選擇合適的存儲資源;同時,此層通過軟件定義可以實現(xiàn)或者提升傳統(tǒng)存儲設(shè)備的相關(guān)功能,如去重、快照、數(shù)據(jù)復制以及壓縮加密等。(3)異構(gòu)存儲訪問機制存儲適配層主要通過多種訪問接口實現(xiàn)對底層異構(gòu)存儲設(shè)備之間的訪問。目前,可以通過全球網(wǎng)絡存儲工業(yè)協(xié)會(StorageNetworkingIndustryAssociation,SNIA)定義的SMI-S協(xié)議和CDMI實現(xiàn)對存儲設(shè)備的訪問,但異構(gòu)存儲設(shè)備之間的互通性需要標準化組織的進一步推進;同時,存儲適配層也支持第三方專有的訪問接口,通過專有的訪問接口,存儲設(shè)備的相關(guān)高級功能特性能夠被充分地發(fā)揮。(4)不同存儲特性的應用存儲資源池中涵蓋了業(yè)界主流的存儲類型:高性能的SAN存儲、高擴展性的NAS存儲以及兼具二者特性的對象存儲,這些存儲設(shè)備都作為軟件定義存儲資源池中的組成部分,由上層的軟件定義存儲層進行統(tǒng)一管理和統(tǒng)一調(diào)度,通過訪問接口層中的數(shù)據(jù)接口,為外部的應用提供存儲服務。5存儲及存儲管理。在不斷完善系統(tǒng)數(shù)據(jù)存儲SDS的實現(xiàn)并非一步到位,需要分以下3個階段。階段一:存儲資源虛擬化,簡化存儲配置,降低管理成本。此階段需要結(jié)合應用系統(tǒng)對存儲的需求,分析目前存儲資源的使用狀況,調(diào)整未來的購置計劃,進行存儲資源的合理配置,對企業(yè)內(nèi)部的存儲資源按照性能、可靠性等進行分級,通過存儲虛擬化手段,將企業(yè)內(nèi)部已有的跨越多個廠商的異構(gòu)存儲、DAS資源、SSD資源整合為統(tǒng)一的存儲資源池,以便于應用調(diào)用;同時,通過定義相關(guān)API,簡化存儲配置,實現(xiàn)應用系統(tǒng)直接訪問存儲資源。存儲資源全局管理視圖的建立將存儲管理員從繁瑣的存儲配置瑣事中解脫出來,可以集中管理后端基礎(chǔ)設(shè)施,通過在容量、性能、可靠性等方面對存儲資源的組織,可以更加有效地滿足應用系統(tǒng)對存儲資源的需求。階段二:存儲功能軟件化,實現(xiàn)軟硬件解耦合,降低設(shè)備采購成本。此階段主要在統(tǒng)一的存儲資源池上,構(gòu)建完善的存儲軟件層,將傳統(tǒng)存儲的功能特性(如快照、精簡配置以及去重等)提升到軟件層次,存儲功能的實現(xiàn)將不依賴于廠商自身的存儲設(shè)備,以實現(xiàn)存儲特性與存儲硬件的解耦;同時,存儲功能軟件化將支持第三方軟件的無縫接入,支持用戶的自定義開發(fā),更多的存儲功能創(chuàng)新通過軟件定義的方式出現(xiàn)。階段三:基于通用硬件,提升軟件定義存儲的普適性。在通用硬件的基礎(chǔ)上,存儲功能完全軟件化,文件、塊和對象存儲設(shè)備將在通用的CPU、內(nèi)存、硬盤驅(qū)動器上按需創(chuàng)建、靈活擴展。軟件定義存儲功能的不斷完善和成熟,使通用硬件構(gòu)建底層存儲資源池成為可能,基于通用的硬件,搭載純軟件的產(chǎn)品將提