云存儲(chǔ)架構(gòu)的發(fā)展內(nèi)容體驗(yàn)存儲(chǔ)技術(shù)發(fā)展簡史金山云存儲(chǔ)的技術(shù)路線簡單的存儲(chǔ)系統(tǒng)架構(gòu)討論主要開源方案簡介部分新技術(shù)點(diǎn)的簡介存儲(chǔ)技術(shù)發(fā)展簡史主要階段存儲(chǔ)設(shè)備DAS/SAN/NAS控制器架構(gòu)存儲(chǔ)集群控制器架構(gòu)的基本原理硬盤級(jí)別數(shù)據(jù)冗余RAID5/6和LUNRS碼糾錯(cuò)熱備盤條帶化RAIDRAID6N+2容錯(cuò)控制器實(shí)現(xiàn)復(fù)雜，效率降低，較少使用云存儲(chǔ)集群的基本原理多臺(tái)服務(wù)器集群物理設(shè)備級(jí)別冗余內(nèi)網(wǎng)修復(fù)金山云存儲(chǔ)技術(shù)路線需求按部署模型區(qū)分公有云存儲(chǔ)私有云存儲(chǔ)混合云存儲(chǔ)按使用場景區(qū)分高性能計(jì)算虛擬機(jī)平臺(tái)（云主機(jī)/VDI/etc）Key-Value對(duì)象存儲(chǔ)（網(wǎng)盤/Hadoop/etc）冷數(shù)據(jù)（備份/視頻監(jiān)控/etc）其他需求按分布模型分集中式異地容災(zāi)式有主控分布式對(duì)等分布式需求維度功能性能可靠性價(jià)格發(fā)展歷程2008年存儲(chǔ)實(shí)驗(yàn)室2009年WPS在線辦公空間2010年金山快盤2011年小米Cloud2012年金山云技術(shù)路線規(guī)劃開源軟件部分定制完全自主開發(fā)簡單存儲(chǔ)架構(gòu)討論存儲(chǔ)集群的基礎(chǔ)架構(gòu)API[Scheduler/調(diào)度器]Namenode/元數(shù)據(jù)節(jié)點(diǎn)Datanode/存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)集群的基礎(chǔ)架構(gòu)調(diào)度與元數(shù)據(jù)靜態(tài)Hash一致性Hash彈性Hash[一致性Hash]錯(cuò)誤檢測和修復(fù)R+W>NLoggingFixonreading數(shù)據(jù)塊組織大文件條帶化小文件塊組織快速元數(shù)據(jù)管理快速元數(shù)據(jù)管理多機(jī)房主控式對(duì)等式異步備份獨(dú)立設(shè)備/物理位置獨(dú)立兼顧寫入效率和帶寬現(xiàn)狀具有較好的獨(dú)立容錯(cuò)性原子版本功能適合對(duì)數(shù)據(jù)保全要求高的領(lǐng)域開源方案簡介較多使用的開源方案HDFS數(shù)據(jù)分析場景：HadoopMapReduce/HIVE適用于大文件流式追加和讀取非通用接口LustreGlusterFS使用NFS/CIFS代理提供通用服務(wù)使用Hash而不是元數(shù)據(jù)服務(wù)效率問題，大規(guī)模應(yīng)用案例缺失CephFUSEZFS各存儲(chǔ)方案基本原理HDFS各存儲(chǔ)方案基本原理GlusterFS各存儲(chǔ)方案基本原理Ceph部分新技術(shù)點(diǎn)簡介鏡像模式VSErasureCode鏡像模式優(yōu)勢速度快，不論寫入和恢復(fù)結(jié)構(gòu)簡單，易實(shí)現(xiàn)和維護(hù)EC較少冗余ErasurecodeVandermonde-RSandCauchy-RS常用開源庫J