《公有云技術(shù)與應(yīng)用》課件-17.分布式存儲與存儲網(wǎng)關(guān)_第1頁
《公有云技術(shù)與應(yīng)用》課件-17.分布式存儲與存儲網(wǎng)關(guān)_第2頁
《公有云技術(shù)與應(yīng)用》課件-17.分布式存儲與存儲網(wǎng)關(guān)_第3頁
《公有云技術(shù)與應(yīng)用》課件-17.分布式存儲與存儲網(wǎng)關(guān)_第4頁
《公有云技術(shù)與應(yīng)用》課件-17.分布式存儲與存儲網(wǎng)關(guān)_第5頁
已閱讀5頁,還剩17頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

公有云技術(shù)與應(yīng)用分布式存儲與存儲網(wǎng)關(guān)目錄CATALOG核心定義核心優(yōu)勢核心技術(shù)架構(gòu)應(yīng)用場景核心定義01

分布式存儲與存儲網(wǎng)關(guān)分布式存儲通過集群化架構(gòu)突破了物理硬件限制,存儲網(wǎng)關(guān)則架起了傳統(tǒng)IT環(huán)境與云端存儲的橋梁。01核心定義分布式存儲一種將數(shù)據(jù)分散存儲在多個獨立節(jié)點(服務(wù)器)的存儲架構(gòu),通過分布式算法實現(xiàn)數(shù)據(jù)分片、冗余與協(xié)同訪問。01核心定義分布式存儲其核心是“去中心化”,單個節(jié)點故障不影響整體服務(wù),支持從TB級到EB級的平滑擴容。例如,阿里云OSS底層基于分布式存儲集群,單集群可容納數(shù)十億對象。

01核心定義存儲網(wǎng)關(guān)部署在本地數(shù)據(jù)中心與云端存儲之間的中間件,提供標(biāo)準(zhǔn)存儲接口(如NFS、iSCSI、S3),實現(xiàn)本地數(shù)據(jù)與云端存儲的無縫協(xié)同。傳統(tǒng)應(yīng)用無需改造即可使用云存儲服務(wù)。

01核心定義核心技術(shù)架構(gòu)021.數(shù)據(jù)分片與分布

-采用一致性哈希算法將數(shù)據(jù)分割為固定大小的塊(如4MB/塊),均勻分布在集群節(jié)點中,避免單節(jié)點過載。

-冗余策略:通過多副本(如3副本)或糾刪碼(如12+4模式)實現(xiàn)數(shù)據(jù)容錯,確保任意3個節(jié)點故障時數(shù)據(jù)不丟失。

(一)分布式存儲關(guān)鍵技術(shù)

02核心技術(shù)架構(gòu)

2.元數(shù)據(jù)管理

-獨立的元數(shù)據(jù)服務(wù)器集群記錄數(shù)據(jù)塊位置、訪問權(quán)限等信息,采用Raft協(xié)議保證元數(shù)據(jù)一致性,支持毫秒級查詢。

3.彈性擴展

-新增節(jié)點時自動加入集群并分擔(dān)存儲負(fù)載,擴展過程不中斷服務(wù),性能隨節(jié)點數(shù)量線性增長。

(一)分布式存儲關(guān)鍵技術(shù)

02核心技術(shù)架構(gòu)

1.協(xié)議轉(zhuǎn)換

將本地應(yīng)用的NFS/SMB協(xié)議轉(zhuǎn)換為云存儲的RESTfulAPI,例如將Windows文件共享請求轉(zhuǎn)換為對象存儲的PUT/GET操作。

2.緩存加速

本地緩存熱點數(shù)據(jù),減少云端交互次數(shù),讀性能提升5-10倍。

3.數(shù)據(jù)同步

支持定時同步、實時同步兩種模式,滿足不同場景的一致性需求。

(二)存儲網(wǎng)關(guān)核心技術(shù)

02核心技術(shù)架構(gòu)

核心優(yōu)勢03

三、核心優(yōu)勢1.高擴展性與高可用

分布式存儲支持?jǐn)?shù)千節(jié)點集群,容量無上限;存儲網(wǎng)關(guān)兼容新舊系統(tǒng),保護企業(yè)既有IT投資。

2.成本優(yōu)化

分布式存儲通過x86服務(wù)器集群替代高端存儲陣列,硬件成本降低60%;存儲網(wǎng)關(guān)實現(xiàn)本地與云端存儲分層,冷數(shù)據(jù)存云端降低30%成本。

03核心優(yōu)勢

三、核心優(yōu)勢3.易用性與兼容性

分布式存儲提供統(tǒng)一API接口,簡化應(yīng)用對接;存儲網(wǎng)關(guān)支持主流操作系統(tǒng)與應(yīng)用,無需修改代碼即可上云。

4.性能均衡

分布式存儲通過并行讀寫提升吞吐量(單集群可達(dá)TB/s級);存儲網(wǎng)關(guān)緩存機制降低云端訪問延遲至毫秒級。

03核心優(yōu)勢應(yīng)用場景04

(一)互聯(lián)網(wǎng)海量數(shù)據(jù)存儲

需求:社交平臺需存儲百億級用戶圖片、視頻,支持高并發(fā)讀寫。

方案:基于分布式對象存儲構(gòu)建內(nèi)容庫,結(jié)合CDN加速分發(fā),單集群日處理上傳請求超10億次。

04典型應(yīng)用場景

(二)企業(yè)混合云存儲

需求:企業(yè)本地ERP系統(tǒng)需訪問云端備份數(shù)據(jù),同時保持核心數(shù)據(jù)本地化。

方案:部署存儲網(wǎng)關(guān),本地文件通過網(wǎng)關(guān)同步至云端,應(yīng)用通過NFS接口透明訪問本地與云端文件,實現(xiàn)“本地讀寫+云端備份”。04典型應(yīng)用場景

(三)科研數(shù)據(jù)共享

需求:高校實驗室需跨地域共享PB級科研數(shù)據(jù),支持多團隊并行分析。

方案:分布式文件存儲構(gòu)建共享數(shù)據(jù)池,存儲網(wǎng)關(guān)對接各地實驗室系統(tǒng),數(shù)據(jù)一次寫入、多地訪問。

04典型應(yīng)用場景總結(jié)與實踐任務(wù)05

分布式存儲是云時代海量數(shù)據(jù)的“地基”,存儲網(wǎng)關(guān)則是連接傳統(tǒng)與云端的“橋梁”,二者共同支撐了從本地到云端的平滑過渡。

企業(yè)需根據(jù)數(shù)據(jù)規(guī)模、訪問模式選擇合適的技術(shù)組合。

05總結(jié)與實踐任務(wù)

1.調(diào)研某云廠商的分布式存儲產(chǎn)品(如華為云OBS),分析其數(shù)據(jù)分片與冗余策略;

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論