聯(lián)想LeoStor分布式存儲系統(tǒng)聯(lián)想LeoStor分布式存儲系統(tǒng)1新業(yè)務/應用模式帶動數(shù)據(jù)爆炸式增長新業(yè)務/應用模式帶動數(shù)據(jù)爆炸式增長大數(shù)據(jù)時代數(shù)據(jù)訪問的挑戰(zhàn)傳統(tǒng)單一的數(shù)據(jù)存儲方式無法滿足數(shù)據(jù)管理的需求大數(shù)據(jù)時代數(shù)據(jù)訪問的挑戰(zhàn)傳統(tǒng)單一的數(shù)據(jù)存儲方式無法滿足數(shù)據(jù)管傳統(tǒng)存儲面對大數(shù)據(jù)的挑戰(zhàn)開放性不足盤陣存儲標準化程度低，組件的更換常常導致系統(tǒng)故障或者硬件的升級，這些組件通常是由制造商專門開發(fā)用于此系統(tǒng)，不能輕易的利用市場上通用部件成本較高盤陣造價昂貴，導致系統(tǒng)建設成本居高不下擴展性較差傳統(tǒng)盤陣單點擴展存在容量上限和接口帶寬等限制，面對PB級的海量存儲需求，傳統(tǒng)的SAN或NAS在容量和性能的擴展上無法滿足傳統(tǒng)存儲面對大數(shù)據(jù)的挑戰(zhàn)開放性不足盤陣存儲標準化程度低，組件軟件定義存儲SDS提供靈活、高效的數(shù)據(jù)解決方案拋棄專有硬件設備的束縛，采用開放的靈活架構(gòu)，提供存儲級的性能和可管理性軟件定義存儲的特質(zhì)：軟件在存儲中處于一個核心的地位，而底層的硬件多用通用的服務器和磁盤；對資源和數(shù)據(jù)實現(xiàn)高效、整體上的有效管理；具有靈活性和高可擴展性的特質(zhì)，在對資源和數(shù)據(jù)進行整體把控的基礎上，通過軟件實現(xiàn)靈活的部署以及擴展。軟件定義存儲SDS提供靈活、高效的數(shù)據(jù)解決方案拋棄專有硬件設聯(lián)想LeoStor并行存儲系統(tǒng)聯(lián)想LeoStor并行存儲系統(tǒng)LeoStor云存儲體系架構(gòu)LeoStor云存儲體系架構(gòu)LeoStor并行存儲系統(tǒng)產(chǎn)品系列LeoStor并行存儲系統(tǒng)產(chǎn)品系列統(tǒng)一存儲平臺，滿足數(shù)據(jù)中心多種需求統(tǒng)一存儲平臺，滿足數(shù)據(jù)中心多種需求LeoStor并行存儲系統(tǒng)技術規(guī)格LeoStor并行存儲系統(tǒng)技術規(guī)格LeoStor并行存儲系統(tǒng)典型部署架構(gòu)元數(shù)據(jù)（MDS）節(jié)點集群存儲（OSS）節(jié)點集群以太網(wǎng)或IB網(wǎng)…………成對擴展，最大128對按需擴展，最大支持≥1024LeoStor并行存儲系統(tǒng)典型部署架構(gòu)元數(shù)據(jù)（MDS）節(jié)點集LeoStor提供多種類型接口LeoFSLeoStor提供多種類型接口LeoFSLeoStor智能前端切片技術切片4K~64MAP1AP2AP3存儲節(jié)點（OSS）OSS1OSS2OSS3OSS4LeoStor智能前端切片技術切片4K~64MAP1AP2ServersServersServers交換機元數(shù)據(jù)服務器通過負載均衡算法進行負載均衡運算存儲服務器客戶端算法計算元數(shù)據(jù)客戶端將元數(shù)據(jù)信息一步定位寫入元數(shù)據(jù)返回數(shù)據(jù)切片以及分布信息MDS元數(shù)據(jù)節(jié)點OSS數(shù)據(jù)節(jié)點數(shù)據(jù)寫入模式ServersServersServers交換機元數(shù)據(jù)服務器數(shù)據(jù)讀取模式15ServersServersServers客戶端算法計算文件元數(shù)據(jù)信息所在位置客戶端一步定位讀取出文件元數(shù)據(jù)信息MDS元數(shù)據(jù)節(jié)點OSS數(shù)據(jù)節(jié)點數(shù)據(jù)讀取模式15ServersServersServers客元數(shù)據(jù)工作模式16存儲系統(tǒng)索引層元數(shù)據(jù)工作模式16存儲系統(tǒng)索引層TieredStorage基于目錄的分層存儲技術TieredStorage基于目錄的分層存儲技術LeoStor基于目錄和用戶的配額管理LeoStor基于目錄和用戶的配額管理UltraRaid基于目錄的數(shù)據(jù)保護UltraRaid基于目錄的數(shù)據(jù)保護LeoStor數(shù)據(jù)自我保護LeoStor數(shù)據(jù)自我保護LeoStor的存儲容量均衡技術系統(tǒng)自動將數(shù)據(jù)均勻分配，可無需人工干預，同時增加系統(tǒng)輸出帶寬！LeoStor的存儲容量均衡技術系統(tǒng)自動將數(shù)據(jù)均勻分配，可無LeoStor智能復制技術支持構(gòu)筑多活云數(shù)據(jù)中心LeoStor智能復制技術支持構(gòu)筑多活云數(shù)據(jù)中心基于智能碎片技術的異步復制方案本地異地切片4K~64M復制時間窗口可調(diào)基于智能碎片技術的異步復制方案本地異地切片4K~64M復制時LeoStor帶寬聚合技術存儲節(jié)點（OSS）1.9GBps2.5GBpsLeoStor帶寬聚合技術存儲節(jié)點（OSS）1.9GBps2LeoStor還有更多的技術特點LeoStor還有更多的技術特點測試配置概述聯(lián)想H廠商L廠商節(jié)點配置2元數(shù)據(jù)+3存儲節(jié)點4個節(jié)點2元數(shù)據(jù)+3存儲節(jié)點數(shù)據(jù)磁盤個數(shù)（7.2K）54塊14036網(wǎng)絡配置(每節(jié)點)2*10Gb2*10Gb2*10Gb備注測試配置概述聯(lián)想H廠商L廠商節(jié)點配置2元數(shù)據(jù)+3存儲節(jié)點4個測試環(huán)境概述名稱個數(shù)備注測試節(jié)點Window2008server5均為萬兆測試環(huán)境性能測試工具AutoTest5專業(yè)測試工具延時測試工具Dmwdrp1專業(yè)測試工具測試環(huán)境概述名稱個數(shù)備注測試節(jié)點Window2008ser測試結(jié)果分析-順序讀結(jié)果分析：總帶寬上，聯(lián)想產(chǎn)品在配置較少的情況下，與H友商總性能接近，表現(xiàn)優(yōu)異；單盤效率上，Leostor有較為明顯的優(yōu)勢。測試結(jié)果分析-順序讀結(jié)果分析：測試結(jié)果分析-順序?qū)懡Y(jié)果分析：總帶寬上，聯(lián)想產(chǎn)品在配置較少的情況下，優(yōu)于兩個友商，表現(xiàn)優(yōu)異；單盤效率上，Leostor有較為明顯的優(yōu)勢。測試結(jié)果分析-順序?qū)懡Y(jié)果分析：測試結(jié)果分析-隨機讀結(jié)果分析：總帶寬上，聯(lián)想產(chǎn)品在配置較少的情況下，優(yōu)于兩個友商，表現(xiàn)優(yōu)異；單盤效率上，Leostor有較為明顯的優(yōu)勢。測試結(jié)果分析-隨機讀結(jié)果分析：測試結(jié)果分析-延時結(jié)果結(jié)果分析：

聯(lián)想產(chǎn)品在延時測試中，也取得了優(yōu)異的成績測試結(jié)果分析-延時結(jié)果結(jié)果分析：競爭分析——VSNAS架構(gòu)參數(shù)NASLoongStore帶寬NAS設備控制器存在數(shù)量限制，即數(shù)據(jù)出口少,容易成為性能瓶徑基于高效的并行存儲技術，聚合帶寬隨著存儲集群規(guī)模擴大而線性增長可靠性硬件HA備份設計；數(shù)據(jù)Raid5數(shù)據(jù)保護；Raid組內(nèi)兩塊硬盤損壞，或者單臺存儲設備失效，會造成數(shù)據(jù)丟失硬件系統(tǒng)集群化；數(shù)據(jù)冗余度可調(diào)；可以允許多塊磁盤同時損壞，甚至單臺存儲設備失效也不會影響數(shù)據(jù)的完整性并發(fā)所謂雙Active集群文件服務器,一個數(shù)據(jù)對象同時只有一臺NFS服務器能夠訪問一單個數(shù)據(jù)對象可以同時被多個數(shù)據(jù)接收端接收數(shù)據(jù)擴展性不支持在線擴展，擴展能力有限，擴展到一定程度后會造成性能的降低.容量越大，性能越低可無限的擴展,動態(tài)無縫的擴展，擴展之后性能得到提高.容量越大，性能越高文件規(guī)模單目錄十萬級文件，超過十萬目錄無法打開，文件規(guī)模龐大時，進行數(shù)據(jù)更改延遲時間長，需要進行控制器數(shù)據(jù)同步支持2000億所以上的文件，快速檢索，單目錄千萬以上故障恢復時間系統(tǒng)重構(gòu)需要中斷業(yè)務，Raid重建影響性能，時間很長在線系統(tǒng)快速重構(gòu)和數(shù)據(jù)恢復，速度是RAID的數(shù)倍，對性能幾乎沒有影響維護升級費用廠家專用磁盤，價格十分昂貴；技術支持由代理商完成，不能提供用戶環(huán)境調(diào)優(yōu)和定制開發(fā)系統(tǒng)自恢復，接近零維護；維護升級成本低；可進行用戶定制開發(fā)競爭分析——VSNAS架構(gòu)參數(shù)NASLoongStore競爭分析——VSFCSAN架構(gòu)參數(shù)FCSANLoongStore共享性能FCSAN設備本身不支持共享，需要共享文件系統(tǒng)支持，如StorNext，或EMC自己的MPFS，但這次文件系統(tǒng)都不是集群設計，性能普遍很低，支持客戶端數(shù)量也很有限。硬件上，單個LUN被共享訪問時性能會急劇下降基于高效的并行存儲技術，系統(tǒng)聚合帶寬隨著存儲規(guī)模擴大而近線性增長，帶寬可擴展至數(shù)百GB/s；單個數(shù)據(jù)對象可以被多個客戶端訪問保持性能不變擴展性僅有SymmtrixDMX3/4支持在線擴展Raid陣列，其余產(chǎn)品擴容需要停機，重新規(guī)劃空間分配；容量越大，性能越低動態(tài)無縫的擴展，擴展之后性能得到提高，容量越大，性能越高可靠性硬件HA備份設計；數(shù)據(jù)Raid5數(shù)據(jù)保護；Raid組內(nèi)兩塊硬盤損壞，或者單臺存儲設備失效，會造成數(shù)據(jù)丟失硬件系統(tǒng)集群化；數(shù)據(jù)冗余度可調(diào)；可以允許多塊磁盤同時損壞，甚至單臺存儲設備失效也不會影響數(shù)據(jù)的完整性故障恢復時間系統(tǒng)重構(gòu)需要中斷業(yè)務，時間很長在線系統(tǒng)快速重構(gòu)和數(shù)據(jù)恢復，速度是SAN的數(shù)倍，對性能幾乎沒有影響完備性SAN設備本身只提供基本存儲空間，共享、鏡像、安全都需要另購EMC或第三方軟件，要實現(xiàn)一個完整的存儲解決方案，需要一個“系統(tǒng)集成”的過程系統(tǒng)提供存儲、共享、自修復、負載均衡、安全、鏡像等完整的功能，無需另購軟件維護升級費用1、廠家私有光纖協(xié)議，需要專人學習、負責維護2、廠家專用磁盤，價格十分昂貴；3、增加客戶端需要收費昂貴通用的TCP/IP協(xié)議，任何網(wǎng)絡維護人員都能承擔維護任務；系統(tǒng)自恢復，接近零維護；維護升級成本低競爭分析——VSFCSAN架構(gòu)參數(shù)FCSANLoon競爭分析——VSHadoopFS架構(gòu)參數(shù)HDFSLoongStore開發(fā)語言Java應用程序級別C內(nèi)核級模塊定位處理型應用通用大規(guī)模文件共享存儲應用接口JavaapiPosix標準文件系統(tǒng)接口不支持文件修改write-once-read-many只能有一位寫用戶不支持軟、硬鏈接文件類型優(yōu)化大文件大、小文件文件數(shù)量支持百萬級（白皮書公布）超過300億（案例值）擴容后數(shù)據(jù)遷移不支持支持名字節(jié)點（MDS）單臺，存在單點故障集群（1~128臺）兼容性跨平臺跨平臺競爭分析——VSHadoopFS架構(gòu)參數(shù)HDFSLoo競爭分析——VSLustre架構(gòu)參數(shù)LusterLoongStore元數(shù)據(jù)服務器Active-Standby2臺服務器+SAN（為達到高可用效果需要共享存儲，如SAN）Active-Active，最大支持128臺服務器+內(nèi)置硬盤（任何類型的磁盤）可靠性方法磁盤：依靠硬件RAID保護服務：后端硬件用SAN，IO服務器之間failover；任何存儲節(jié)點宕機會影響服務連續(xù)性磁盤與服務連續(xù)性：通過使用文件副本策略，消除磁盤、存儲節(jié)點、盤陣的單點故障聚合帶寬上百GB/s上百GB/s文件數(shù)量1億2000億，實際案例300億文件可靠性屏蔽了oss宕機造成影響(Failover)，如果控制器損壞或者RAID里面多塊磁盤損壞會導致數(shù)據(jù)丟失屏蔽了存儲服務器、網(wǎng)絡、硬盤、控制器損壞等各類異常（通過文件副本策略，實現(xiàn)數(shù)據(jù)的全局恢復）擴展支持難以支持在線擴展，但是沒有數(shù)據(jù)遷移功能，擴容后數(shù)據(jù)分配不均支持在線動態(tài)擴展，擴展后可以數(shù)據(jù)遷移，重新平均數(shù)據(jù)分布（不停應用）支持平臺LinuxLinux、Windows、Mac競爭分析——VSLustre架構(gòu)參數(shù)LusterLoon競爭分析——VSPanasas架構(gòu)參數(shù)PanasasLoongStore架構(gòu)重點存儲系統(tǒng)只對大文件讀寫做了優(yōu)化，無小文件優(yōu)化策略分別對大文件和小文件讀寫做了雙重優(yōu)化硬件刀片服務器，每臺刀片帶2塊存儲磁盤，硬件要求非常高，硬件要求較高通用機架式服務器，每臺服務器可帶1-36塊磁盤，硬件要求較低單卷容量PB級（官方網(wǎng)站給出）300PB數(shù)據(jù)保護分層校驗，通過動態(tài)復制數(shù)據(jù)段進行數(shù)據(jù)塊損壞時數(shù)據(jù)保護，單點故障與整個磁盤損壞則完全通過RAID機制加以實現(xiàn)文件系統(tǒng)可自動監(jiān)測到丟失或損壞的數(shù)據(jù)塊，并根據(jù)數(shù)據(jù)塊進行恢復；可根據(jù)應用需求對存儲系統(tǒng)中的目錄分別部署不同的數(shù)據(jù)保護機制數(shù)據(jù)丟失重建500G數(shù)據(jù)重建時間在90分鐘左右，且需要借助所有刀片同時參與數(shù)據(jù)恢復，影響整體性能。750G磁盤數(shù)據(jù)恢復時間為15分鐘且數(shù)據(jù)恢復時對前端沒有絲毫影響成本高低支持平臺LinuxLinux、Windows、MAC競爭分析——VSPanasas架構(gòu)參數(shù)PanasasLo競爭分析——VSStorNextSNFS架構(gòu)參數(shù)StorNextSNFSLoongStore性能SNFS后端基于的是SAN環(huán)境，讀寫性能完全依賴于盤陣的存儲控制器，存儲控制器很容易成為性能瓶頸。在實際的測試中也發(fā)現(xiàn)即使是中高端的磁盤陣列，隨著應用并發(fā)數(shù)的提高性能會急劇下降，這也導致SNFS文件共享訪問效率下降；LoongStore使用了完全分布式的數(shù)據(jù)分布訪問的方法來消除對于單個存儲控制器性能的依賴?？梢猿浞掷眉涵h(huán)境里面硬件的并發(fā)處理能力，提供遠遠高于傳統(tǒng)存儲方案的聚合吞吐量；可靠性SNFS方案的可靠性完全是依賴于底層硬件RAID以及相應的通道冗余實現(xiàn)。而RAID的保護只能局限于單個盤陣內(nèi)，一旦單個盤陣失效將會導致數(shù)據(jù)無法訪問甚至數(shù)據(jù)丟失等嚴重故障；LoongStore的可靠性機制不會完全依賴于高端、高可靠性的硬件，而是在系統(tǒng)內(nèi)部提供了一套完整的故障自動探測與恢復機制來消除硬件損壞可能帶來的損失，在無需人員參與的情況下保證數(shù)據(jù)的安全與服務的連續(xù)性。文件管理效率SNFS的單個文件系統(tǒng)只有一個活躍的MDC提供對應的服務，當應用環(huán)境里面存在大量的文件時，前端的工作站的文件檢索請求很容易會給MDC造成巨大的訪問壓力，從而降低了整體的文件管理效率；LoongStore的單個共享文件系統(tǒng)可以由多個元數(shù)據(jù)服務器構(gòu)建的集群來支撐，即使面向存在海量文件的應用環(huán)境（數(shù)億甚至數(shù)千億