1、網絡存儲技術現(xiàn)狀與發(fā)展中國傳媒大學研究生碩士課程數(shù)字媒體存儲技術朱立谷朱立谷手 機 ： 1 8 6 0 1 1 3 7 4 2 8Email:資源和課件下載資源和課件下載1.電子書 2013年碩士研究生.rarhttp:/163.fm/WfFrpMs 提取碼：Iimzvr3E2.課件網絡存儲技術現(xiàn)狀與發(fā)展.pptxhttp:/163.fm/Y3MVGwy 提取碼：u34R9dkI內 容 網絡存儲的新技術方法02 云存儲服務03網絡存儲的技術現(xiàn)狀01 網絡存儲的發(fā)展方向04存儲面臨的問題存儲面臨的問題?業(yè)務需業(yè)務需求求更多的數(shù)據(jù)更多的數(shù)據(jù)!煩惱的煩惱的IT 經理人經理人 數(shù)據(jù)量總在不斷的數(shù)據(jù)量總

2、在不斷的增長增長CEO/CFO“減少費用減少費用!企業(yè)面臨企業(yè)面臨的挑戰(zhàn)的挑戰(zhàn)數(shù)字宇宙數(shù)字宇宙2010年全球信息突破了年全球信息突破了ZB大關。大關。每兩年翻一番。每兩年翻一番。2011年世界將創(chuàng)建一個驚人的年世界將創(chuàng)建一個驚人的1.8 zettabytes。信息量繼續(xù)以驚人的速度增長。信息量繼續(xù)以驚人的速度增長。這樣的增長和這樣的增長和“大數(shù)據(jù)大數(shù)據(jù)”正在改正在改變企業(yè)和社會的各個方面。變企業(yè)和社會的各個方面。到到2020年，數(shù)字宇宙將會膨脹到年，數(shù)字宇宙將會膨脹到40000EB，或，或40萬億萬億GB(也就是說每也就是說每個人可以均攤到個人可以均攤到5200GB以上以上)。到到2020年，

3、數(shù)字宇宙中約三分之一的數(shù)據(jù)年，數(shù)字宇宙中約三分之一的數(shù)據(jù)(超過超過13000EB)將具有大數(shù)將具有大數(shù)據(jù)價值，但只有當其據(jù)價值，但只有當其被標簽被標簽、被分析被分析時這種價值才會顯現(xiàn)。時這種價值才會顯現(xiàn)。20102010年年報告報告 2012 2012年報告年報告網絡存儲的發(fā)展網絡存儲的發(fā)展1986SCSI1986SCSI協(xié)議協(xié)議1997FC1997FC協(xié)議協(xié)議Direct-AttachedStorage (DAS)SCSIinitATAUFSEXT2NTFSand/orBlock / Cache / RAIDNetwork-AttachedStorage (NAS) IP Storage(I

4、P SAN)FC Storage AreaNetwork (SAN)NFSclEthernetEthernetCIFSNFSserCIFSTCP/IPTCP/IPSCSIinitATAUFSEXT2NTFSand/orBlock / Cache / RAIDIP NetworkSCSIinitFCand/orBlock / Cache / RAIDEXT2FC-4FC-1,2FC-0FC-3FC-0FC-1,2FC-3FC-4UFSEXT2NTFSBlockFabric2003iSCSI2003iSCSI協(xié)議協(xié)議1989NFS1989NFS協(xié)議協(xié)議EthernetATATCP/IPiSCSIE

5、thernetSCSIinitFC RAIDTCP/IPiSCSIand/oriSCSIUFSEXT2NTFSEthernetTCP/IPBlockEthernet RAIDTCP/IPiSCSIIP Network光纖通道光纖通道的優(yōu)勢的優(yōu)勢網絡網絡通道通道/ /總線總線擴展有限擴展有限距離短距離短管理有限管理有限脆弱脆弱非塊數(shù)據(jù)傳輸非塊數(shù)據(jù)傳輸錯誤檢測能力錯誤檢測能力差差光纖通道光纖通道 高速度高速度 低延遲低延遲 數(shù)據(jù)一致性數(shù)據(jù)一致性 大數(shù)據(jù)傳輸大數(shù)據(jù)傳輸 超強錯誤檢測超強錯誤檢測 路由路由 巨大連接能力巨大連接能力 長距離長距離 可管理可管理兼有網絡和總線的優(yōu)勢兼有網絡和總線的優(yōu)勢網絡

6、存儲的優(yōu)勢網絡存儲的優(yōu)勢 存儲大整合存儲大整合SAN ROI 主機大整合主機大整合VIRTUALIZATION ROIDirect AttachedStorageStorage AreaNetworkDASSANCost per megabyte of user data, based on a 3-Year total cost of ownership“Virtualization will save us $60M in OpEx and CapEx through 2010.” A large VMware enterprise customer$ cost per megabyte

7、of user data90% run in production 43% are standardizing on VMware 66% are using VM management products $0.84$0.38Channels IPFileBlockNASDistanceSharing FC SANPerformance ControlMPFSPerformanceSharingIP SANDistanceControlMPFS = Multi-path file system網絡存儲架構網絡存儲架構SANSAN的優(yōu)劣勢的優(yōu)劣勢 SAN的優(yōu)點的優(yōu)點 能接受任何數(shù)據(jù)容量能接受任何

8、數(shù)據(jù)容量(大型，中型，小型大型，中型，小型) IO帶寬的不斷提升帶寬的不斷提升(1G, 2G, 4G, 8G) 穩(wěn)定的存儲解決方案穩(wěn)定的存儲解決方案 廣泛的應用廣泛的應用 SAN的困擾的困擾 固態(tài)容量增大固態(tài)容量增大, 性能沒有提升性能沒有提升 (垂直擴展模式垂直擴展模式,有限有限擴展能力擴展能力)帶寬增加帶寬增加, 但但IOPS沒有相對的沒有相對的增加增加 (固態(tài)固態(tài)性能表現(xiàn)性能表現(xiàn))容錯和負載均要通過復雜復雜管理一切仍然以一切仍然以硬性硬性磁盤結構為中磁盤結構為中心心 (主機絕對控制權主機絕對控制權, 存儲為存儲為隨從隨從, 靜態(tài)靜態(tài)配置配置)存儲體系架構的融合存儲體系架構的融合應 用23

9、4101存儲體系架構的融合存儲體系架構的融合應用主機通過應用主機通過IP SAN訪問存儲資源訪問存儲資源應用主機通過應用主機通過CIFS或或NFS訪問訪問NAS共享資源共享資源NAS和和SAN資源共用同一存儲池資源共用同一存儲池l 通過IP SAN供給SAN資源，通過CIFS和NFS共享NAS資源l 最大限度利用存儲資源，在同一存儲池中同時分配SAN 和 NAS 資源l 為SAN和NAS同時提供存儲服務 鏡像、快照、復制、時間標記及動態(tài)容量申請等存儲功能l 統(tǒng)一的硬件和軟件的管理SAN 訪問訪問NAS 訪問訪問SAN網絡網絡統(tǒng)一存儲系統(tǒng)：SAN和NAS的融合l SAN 和 NAS的融合解決方案

10、存儲體系架構的融合存儲體系架構的融合Data Center EthernetIP Connectivity FCUltra 320 SCSIIP SANl IP SAN 和 FC SAN 融合解決方案FC SANIP SANExtension 基礎通用網絡基礎通用網絡的發(fā)展的發(fā)展14IBM Token RingInitially (1985) ran at 4 Mbit/s, in 1989 introduced 16 Mbit/sFDDIThe primary ring offers up to 100 Mbit/s capacityEthernet10 Mbits/s100 Mbits/s

11、TCP/IPNovells IPX/SPXOSIDHCP, HTTP, VPN, IPSec, IPv6八零年代九零年代1,000 Mbits/s02應用網絡的發(fā)展應用網絡的發(fā)展存儲應用網絡基礎通用網絡服務器聯(lián)系網絡光纖通道 (1G, 2G, 4G, 8G)InfiniBandEthernet1G, 10G 未來的100GFCoE201020072001以Ethernet為統(tǒng)一網絡目標網絡存儲的發(fā)展網絡存儲的發(fā)展 T11的的FCOE標準標準 FC與以太網 “混血”的FCoE 是答案嗎?仍然依賴于FC協(xié)議構思(靜態(tài)路徑)仍然依賴于固定固定配置仍然是主從式主從式結結構技術SCSISCSI的架構的架

12、構Initiator的應用層封裝好SCSI CDB后，調用SCSI傳輸協(xié)議接口Target的應用層收到SCSI CDB后，根據(jù)CDB內容進行相應處理，封裝好SCSI 響應后，調用SCSI傳輸協(xié)議接口SCSI應用SCSI傳輸協(xié)議SCSI物理連接SCSI應用SCSI傳輸協(xié)議SCSI物理連接Initiator 設備Target 設備互連協(xié)議應用協(xié)議傳輸協(xié)議傳輸協(xié)議接口互連協(xié)議接口iSCSI正是SCSI傳輸協(xié)議的一種主從式架構主從式架構MPXMPX網絡存儲平臺網絡存儲平臺MPXMPX作為視頻存儲作為視頻存儲MPX可以打造功能強大的視頻存儲系列產品可以打造功能強大的視頻存儲系列產品MPX視頻優(yōu)化視頻存儲

13、MPX+視頻管理軟件(搜索)=存儲設備視頻服務器MPX+DVR=NVRMPX集群（SCALE OUT方式）=安防大數(shù)據(jù)綜合處理平臺MPX+視頻分析處理安防大數(shù)據(jù)一體機內 容 網絡存儲的新技術方法02 云存儲服務03網絡存儲的技術現(xiàn)狀01 網絡存儲的發(fā)展方向04存儲的價值觀存儲的價值觀貫徹貫徹到底的到底的方便性方便性和和在在線性線性高高ROI/TCOROI/TCO業(yè)務持續(xù)性數(shù)據(jù)保護平臺業(yè)務持續(xù)性數(shù)據(jù)保護平臺超強的數(shù)據(jù)保護能力而不影響性能超強的數(shù)據(jù)保護能力而不影響性能容量容量高性能高性能, ,高帶寬高帶寬12容量虛擬化容量虛擬化（動態(tài)自動追加, 全掌控空間分配）云存儲云存儲（動態(tài)橫向擴展, , 多

14、變一多變一基制）（存儲大整合, 一變多一變多基制）（靜態(tài), 限制型追加/縮減空間分配）34網絡存儲的新方法網絡存儲的新方法技術層技術層技術要求技術要求技術方法技術方法數(shù)據(jù)層從靜態(tài)的以設備為導向到動態(tài)的以應用和客戶需求為導向自動數(shù)據(jù)遷移重復數(shù)據(jù)刪除網絡層真正線性的性能擴展，帶寬永遠不會成為架構瓶頸集群存儲存儲層系統(tǒng)可適應業(yè)務變化存儲虛擬化自動精簡配置存儲虛擬化存儲虛擬化 帶外的體系結構 存儲虛擬化策略定制 屏蔽存儲設備異構性 異構存儲設備多級多接口存儲虛擬化 存儲虛擬化接口的擴展研究內容自動精簡配置自動精簡配置系統(tǒng)架構研究多用戶存儲視圖技術基于邏輯卷的存儲容量動態(tài)分配策略研究空間分配和空間回收技

15、術研究基于RAID的存儲空間擴容研究自動精簡配置技術對所依附存儲系統(tǒng)的性能影響研究內容動態(tài)分級存儲動態(tài)分級存儲 分級存儲技術 數(shù)據(jù)遷移技術 數(shù)據(jù)管理策略技術研究內容 多粒度遷移 多環(huán)境分級 高速遷移 動態(tài)調控和可恢復能力關鍵技術重復數(shù)據(jù)刪除重復數(shù)據(jù)刪除 相同數(shù)據(jù)檢測算法 相似數(shù)據(jù)檢測算法 刪除技術可靠性、性能 分布式重復數(shù)據(jù)刪除研究內容 高去重率 分級重復數(shù)據(jù)刪除技術 加快相同數(shù)據(jù)檢測關鍵技術低能耗存儲設備研制低能耗存儲設備研制2011年國家支撐計劃項目（編號：年國家支撐計劃項目（編號：2011BAH04B05）通過對數(shù)據(jù)存儲和管理技術的研究，降低存儲系統(tǒng)的能耗成本和運營成本。相關的技術包括S

16、SD與傳統(tǒng)存儲混合使用，動態(tài)電源管理技術，智能數(shù)據(jù)管理技術等，通過在本課題研制的產品中應用這些技術，達到比傳統(tǒng)存儲系統(tǒng)節(jié)能30%的效果。 (a) 研究SSD固態(tài)硬盤與傳統(tǒng)存儲設備結合技術（自動數(shù)據(jù)遷移自動數(shù)據(jù)遷移）(b) 研究智能數(shù)據(jù)管理技術和各種提供存儲利用率的技術（重復數(shù)據(jù)刪重復數(shù)據(jù)刪除、存儲虛擬化、自動精簡配置除、存儲虛擬化、自動精簡配置） 存儲虛擬化、自動精簡配置、自動數(shù)據(jù)遷移、存儲虛擬化、自動精簡配置、自動數(shù)據(jù)遷移、重復數(shù)據(jù)刪除是云存儲的技術基礎。重復數(shù)據(jù)刪除是云存儲的技術基礎。IBM Smart Storage Cloud內 容 云存儲服務03 網絡存儲的新技術方法02網絡存儲的技

17、術現(xiàn)狀01 網絡存儲的發(fā)展方向04從傳統(tǒng)存儲到云存儲從傳統(tǒng)存儲到云存儲技術革新不斷降低存儲成本，最新的技術革新不斷降低存儲成本，最新的“云存儲云存儲”更是如此更是如此傳統(tǒng)存儲方案使用昂貴的專業(yè)設備搭建基于光纖的存儲網絡傳統(tǒng)存儲方案使用昂貴的專業(yè)設備搭建基于光纖的存儲網絡基于基于IPIP的存儲網絡，通過以太網互聯(lián)，既改善兼容性又降低初始成本，主導此技的存儲網絡，通過以太網互聯(lián)，既改善兼容性又降低初始成本，主導此技術的幾家創(chuàng)新公司已成功上市術的幾家創(chuàng)新公司已成功上市最新的云儲存技術使用普通服務器即可構建直連式存儲，初始和運營存儲成本都最新的云儲存技術使用普通服務器即可構建直連式存儲，初始和運營存儲

18、成本都大大降低了大大降低了 傳統(tǒng)傳統(tǒng)“巨頭巨頭” 專業(yè)存儲方案專業(yè)存儲方案 價格昂貴，光纖解價格昂貴，光纖解決方案為主（決方案為主（FC-FC-SANSAN） 專業(yè)存儲方案專業(yè)存儲方案 基于基于IPIP的解決方案的解決方案（IP-SANIP-SAN，NAS)NAS) “新新”公司公司 使用普通使用普通服務器服務器 用用”云云“達到達到NASNAS的效果的效果存儲成本由高到低存儲成本由高到低三層結構和三種服務三層結構和三種服務標準化Web服務Web瀏覽器云存儲的層次結構云存儲的層次結構服務器、存儲設備、網絡設備集群容錯、負載均衡認證、計費、租約、管理存儲空間等資源服務或虛擬主機服務云數(shù)據(jù)庫、超大

19、表等引擎平臺API及在線訂制開發(fā)工具在線應用Web瀏覽器云存儲的基本單元云存儲的基本單元采用通用硬件采用通用硬件Typically in 2 level architecture Nodes are commodity PCs 30-40 nodes/rack Uplink from rack is 3-4 gigabit Rack-internal is 1 gigabit多層次動態(tài)結構多層次動態(tài)結構WindowsLinuxAIXBSDXENUnixWareSolarisHP-UXVMwareNovell各類系統(tǒng)平臺各類互聯(lián)接口處理能力擴展存儲容量擴展多種介質整合云存儲的特性優(yōu)勢云存儲的特性

20、優(yōu)勢極強擴展能力 最大節(jié)點數(shù)百萬級 最大系統(tǒng)容量ZB級 最大IO帶寬萬GB高度靈活性 保持存儲容量單獨擴展處理單元 保持處理單元單獨擴展磁盤空間 InfiniBand / 10GbE / 8Gb FC多種主機鏈接 SSD / FC / SAS / SATA多種磁盤介質徹底實現(xiàn)全冗余 處理單元及存儲單元均無單點故障 任一單元失效時即刻重定向冗余資源 無磁盤重建過程，避免隱含故障點 冗余機制不要求磁盤容量或類型相同，不同采購周期設備可混用云存儲服務云存儲服務云存儲的核心特征云存儲的核心特征通過網絡獲得：云特征的模式易獲得：隨時隨地隨方式永不丟失：一輩的資產集體共享和下載影視作品 免費軟件學習資料

21、歌曲 云存儲服務個人資料的網絡備份異地異時分享網絡存儲服務FTPFTP云存儲服務平臺云存儲服務平臺云存儲的核心特征云存儲的核心特征通過網絡獲得：云特征的模式易獲得：隨時隨地隨方式永不丟失：一輩的資產安全：隱私保護集體共享和下載影視作品 免費軟件學習資料 歌曲 現(xiàn)有云存儲個人資料的網絡備份異地異時分享現(xiàn)有網絡存儲服務FTPFTP我們的云存儲系統(tǒng)我們的云存儲系統(tǒng)云存儲服務平臺云存儲服務平臺實現(xiàn)文件數(shù)據(jù)的復制備份、在線存儲和共享，提供本地和互聯(lián)網的統(tǒng)一文件管理視圖為全部用戶提供為全部用戶提供共享存儲服務共享存儲服務為團隊用戶為團隊用戶提供提供共享存儲服務共享存儲服務為個人用戶提供為個人用戶提供共享存

22、儲服務共享存儲服務統(tǒng)一視圖統(tǒng)一視圖本地資源與互聯(lián)網資源統(tǒng)一文件管理，本地資源與互聯(lián)網資源統(tǒng)一文件管理，多機、多設備文件同步復制多機、多設備文件同步復制數(shù)據(jù)傳輸數(shù)據(jù)傳輸多文件傳輸、大文件傳輸（斷點續(xù)多文件傳輸、大文件傳輸（斷點續(xù)傳）、分片加密傳輸傳）、分片加密傳輸資源發(fā)布資源發(fā)布資源發(fā)布、標簽添加、圖片預覽、對資源發(fā)布、標簽添加、圖片預覽、對整個在線存儲空間的文件搜索整個在線存儲空間的文件搜索云存儲服務平臺云存儲服務平臺產品定位：企業(yè)私有云存儲系統(tǒng)產品定位：企業(yè)私有云存儲系統(tǒng)（如跨國公司和總部、分公司多地辦公的情況）（如跨國公司和總部、分公司多地辦公的情況）網絡存儲架構網絡存儲架構塊塊文文件件塊

23、塊對對象象IP記記錄錄FC、IB多路徑多路徑自動精簡配置自動精簡配置重復數(shù)據(jù)刪除重復數(shù)據(jù)刪除存儲虛擬化存儲虛擬化自動數(shù)據(jù)遷移自動數(shù)據(jù)遷移數(shù)據(jù)庫數(shù)據(jù)庫OSDSANNAS網絡類型網絡類型訪訪問問方方式式云云存存儲儲融合網絡融合網絡內 容 云存儲服務03 網絡存儲的新技術方法02網絡存儲的技術現(xiàn)狀01 網絡存儲的發(fā)展方向04網絡存儲新的理論工具大規(guī)模網絡存儲新的理論工具大規(guī)模網絡存儲新的理論工具 網絡存儲實際是：存儲（時）網絡（空）網絡存儲實際是：存儲（時）網絡（空） 用時空二維理論將會獲得新的結果用時空二維理論將會獲得新的結果 例例1 1：數(shù)據(jù)遷移，存儲糾錯一遍，傳輸又：數(shù)據(jù)遷移，存儲糾錯一遍，傳

24、輸又來一遍，時空統(tǒng)一考慮，就可能只來一遍來一遍，時空統(tǒng)一考慮，就可能只來一遍 例例2 2：連續(xù)數(shù)據(jù)保護，恢復時空點：連續(xù)數(shù)據(jù)保護，恢復時空點 通 訊 ： 信 息 跨 越 空 間 的 傳 遞通 訊 ： 信 息 跨 越 空 間 的 傳 遞存 儲 ： 信 息 跨 越 時 間 的 傳 遞存 儲 ： 信 息 跨 越 時 間 的 傳 遞“數(shù)字宇宙數(shù)字宇宙”研究研究“數(shù)字宇宙數(shù)字宇宙”研究研究到2020年，數(shù)字宇宙將會膨脹到40萬億GB(人均5200GB)。數(shù)字宇宙中約三分之一的數(shù)據(jù)將具有大數(shù)據(jù)價值，但只有當其被標簽、被分析時這種價值才會顯現(xiàn)。重要結論重要結論：1)信息量以驚人的速度增長和信息量以驚人的速度

25、增長和大數(shù)據(jù)大數(shù)據(jù)對社會產生巨大影響對社會產生巨大影響 2)大數(shù)據(jù)大數(shù)據(jù)價值只有當其價值只有當其被分析被分析時才會顯現(xiàn)時才會顯現(xiàn)數(shù)字宇宙，IDC、 EMC 2012年12月大數(shù)據(jù)的產生大數(shù)據(jù)的產生如果互聯(lián)網僅有通訊，產生不了大數(shù)據(jù)（一過性的信息，產生后消逝了）；如果僅有存儲，沒有互聯(lián)網，信息孤島也產生不了大數(shù)據(jù)。大量的人，大量的信息終端，大量的攝像頭，條形碼，RFID, 產生大量的數(shù)據(jù)，經過互聯(lián)網傳輸，然后保存下去，就形成大數(shù)據(jù)。大數(shù)據(jù)的價值時空痕跡大數(shù)據(jù)是巨量信息源時空傳遞的結果時空痕跡：以武漢破獲銀行爆炸案為例 典型的大數(shù)據(jù)（25萬攝像頭，12PB容量），罪犯留下了時空痕跡 在信息充分發(fā)達時代，商業(yè)活動、日常生活、幾乎一切事件都會在大數(shù)據(jù)中留下時空痕跡，對這些時空痕跡的發(fā)掘，就會形成寶貴的財富（某孕婦的例子）存儲科學的研究新方向（一）大數(shù)據(jù)的信息挖掘與分析如何從海量的視頻提取有價值的信息將是重要課題之一 “平安城市”應用是視頻監(jiān)控領域規(guī)模最大、業(yè)務最復雜的系統(tǒng)，其視頻接入規(guī)模從幾千甚至到幾十萬都有，它涉及到了治安監(jiān)控、指揮通信、偵查破案、規(guī)范執(zhí)法、社會