《公有云技術(shù)與應(yīng)用》課件-24.分布式數(shù)據(jù)庫(kù)應(yīng)用_第1頁(yè)
《公有云技術(shù)與應(yīng)用》課件-24.分布式數(shù)據(jù)庫(kù)應(yīng)用_第2頁(yè)
《公有云技術(shù)與應(yīng)用》課件-24.分布式數(shù)據(jù)庫(kù)應(yīng)用_第3頁(yè)
《公有云技術(shù)與應(yīng)用》課件-24.分布式數(shù)據(jù)庫(kù)應(yīng)用_第4頁(yè)
《公有云技術(shù)與應(yīng)用》課件-24.分布式數(shù)據(jù)庫(kù)應(yīng)用_第5頁(yè)
已閱讀5頁(yè),還剩22頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

公有云技術(shù)與應(yīng)用分布式數(shù)據(jù)庫(kù)應(yīng)用目錄CATALOG定義核心技術(shù)組成核心優(yōu)勢(shì)典型應(yīng)用場(chǎng)景分布式數(shù)據(jù)庫(kù)的定義01

分布式數(shù)據(jù)庫(kù)通過(guò)將數(shù)據(jù)分散存儲(chǔ)在多節(jié)點(diǎn)集群中,實(shí)現(xiàn)海量數(shù)據(jù)的高效管理與高并發(fā)處理,成為支撐互聯(lián)網(wǎng)、金融等行業(yè)核心業(yè)務(wù)的關(guān)鍵技術(shù)。01分布式數(shù)據(jù)庫(kù)的定義

定義分布式數(shù)據(jù)庫(kù)是由多個(gè)物理上分離的節(jié)點(diǎn)組成的數(shù)據(jù)庫(kù)系統(tǒng),通過(guò)分布式算法實(shí)現(xiàn)數(shù)據(jù)分片存儲(chǔ)、跨節(jié)點(diǎn)協(xié)同計(jì)算,對(duì)外呈現(xiàn)為統(tǒng)一的數(shù)據(jù)庫(kù)服務(wù)。01分布式數(shù)據(jù)庫(kù)的定義

定義與單機(jī)數(shù)據(jù)庫(kù)相比,其核心是數(shù)據(jù)分布與協(xié)同——將海量數(shù)據(jù)按規(guī)則拆分到不同節(jié)點(diǎn)(如按用戶ID哈希分片),各節(jié)點(diǎn)并行處理請(qǐng)求,突破單機(jī)的CPU、內(nèi)存、存儲(chǔ)限制。01分布式數(shù)據(jù)庫(kù)的定義

例如,某支付平臺(tái)的交易數(shù)據(jù)庫(kù)采用分布式架構(gòu),將全國(guó)用戶交易數(shù)據(jù)按地域分片存儲(chǔ)在華東、華北、華南節(jié)點(diǎn),單節(jié)點(diǎn)處理本地請(qǐng)求,跨區(qū)域查詢通過(guò)集群協(xié)同完成,支撐每秒10萬(wàn)筆交易的峰值需求。

01分布式數(shù)據(jù)庫(kù)的定義

核心優(yōu)勢(shì)02

1海量存儲(chǔ)與線性擴(kuò)展

支持PB級(jí)數(shù)據(jù)存儲(chǔ),新增節(jié)點(diǎn)即可提升整體容量與性能(如從10節(jié)點(diǎn)擴(kuò)至20節(jié)點(diǎn),吞吐量翻倍),擴(kuò)展過(guò)程無(wú)需停機(jī),解決單機(jī)容量天花板問(wèn)題。

02核心優(yōu)勢(shì)

2高并發(fā)與低延遲

多節(jié)點(diǎn)并行處理請(qǐng)求(如讀操作分散到各分片,寫(xiě)操作按分片規(guī)則路由),并發(fā)能力可達(dá)單機(jī)數(shù)據(jù)庫(kù)的10100倍;例如,分布式MySQL集群支持每秒10萬(wàn)級(jí)讀寫(xiě),延遲控制在毫秒級(jí)。02核心優(yōu)勢(shì)

3高可用與容錯(cuò)性

每個(gè)數(shù)據(jù)分片采用多副本存儲(chǔ)(如3副本),單節(jié)點(diǎn)故障時(shí)自動(dòng)切換至副本;集群管理節(jié)點(diǎn)(如協(xié)調(diào)節(jié)點(diǎn))采用主備架構(gòu),確保全局元數(shù)據(jù)一致性,RTO1分鐘。

02核心優(yōu)勢(shì)

4成本優(yōu)化

基于x86服務(wù)器集群構(gòu)建,相比小型機(jī)高端存儲(chǔ)的傳統(tǒng)方案,硬件成本降低5070;支持按業(yè)務(wù)增長(zhǎng)逐步擴(kuò)容節(jié)點(diǎn),避免資源閑置。02核心優(yōu)勢(shì)核心技術(shù)組成03

水平分片:按行拆分?jǐn)?shù)據(jù),適合增量數(shù)據(jù)場(chǎng)景;垂直分片:按列拆分?jǐn)?shù)據(jù),適合字段訪問(wèn)頻率差異大的場(chǎng)景;分片規(guī)則通過(guò)哈希算法或范圍劃分實(shí)現(xiàn),確保數(shù)據(jù)均勻分布。

03核心技術(shù)組成1數(shù)據(jù)分片技術(shù)

采用兩階段提交(2PC)或TCC(TryConfirmCancel)協(xié)議,保證跨分片操作的原子性(如轉(zhuǎn)賬交易涉及兩個(gè)賬戶分片)部分?jǐn)?shù)據(jù)庫(kù)支持最終一致性(如異步復(fù)制),平衡性能與一致性。

03核心技術(shù)組成2分布式事務(wù)

協(xié)調(diào)節(jié)點(diǎn)負(fù)責(zé)接收請(qǐng)求、解析SQL、路由至目標(biāo)分片;

元數(shù)據(jù)服務(wù)器存儲(chǔ)分片規(guī)則、節(jié)點(diǎn)狀態(tài)等信息,通過(guò)Raft協(xié)議保證集群一致性;數(shù)據(jù)同步采用日志復(fù)制,確保副本與主分片數(shù)據(jù)一致。

03核心技術(shù)組成3集群協(xié)同機(jī)制

應(yīng)用場(chǎng)景04需求:社交平臺(tái)需存儲(chǔ)10億用戶信息,支持每秒5萬(wàn)次查詢(如用戶資料查詢、關(guān)系鏈查詢)。(一)互聯(lián)網(wǎng)高并發(fā)業(yè)務(wù)

04應(yīng)用場(chǎng)景

(一)高性能計(jì)算(HPC)方案:

采用分布式MySQL集群,按用戶ID哈希分片至20個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)存儲(chǔ)500萬(wàn)用戶數(shù)據(jù);

熱點(diǎn)用戶數(shù)據(jù)(如明星賬號(hào))單獨(dú)存儲(chǔ)并配置緩存,降低主分片壓力,查詢延遲從50ms降至10ms。

04應(yīng)用場(chǎng)景

需求:銀行核心系統(tǒng)需處理日均1億筆交易,要求強(qiáng)一致性、零數(shù)據(jù)丟失。

(二)金融核心交易系統(tǒng)

04應(yīng)用場(chǎng)景

方案:

部署分布式數(shù)據(jù)庫(kù)(如OceanBase、TiDB),按賬戶ID范圍分片,每分片采用3副本存儲(chǔ);

采用2PC協(xié)議保證跨分片交易一致性,配合定時(shí)全量備份實(shí)時(shí)增量備份,滿足金融級(jí)合規(guī)要求。

04應(yīng)用場(chǎng)景

(二)金融核心交易系統(tǒng)

需求:智能電表需存儲(chǔ)1億設(shè)備的實(shí)時(shí)讀數(shù)(每15分鐘一條記錄),支持按設(shè)備、時(shí)間范圍查詢。04應(yīng)用場(chǎng)景

(三)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)存儲(chǔ)

需求:智能電表需存儲(chǔ)1億設(shè)備的實(shí)時(shí)讀數(shù)(每15分鐘一條記錄),支持按設(shè)備、時(shí)間范圍查詢。04應(yīng)用場(chǎng)景

(三)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)存儲(chǔ)

總結(jié)與實(shí)踐任務(wù)05分布式數(shù)據(jù)庫(kù)通過(guò)分片存儲(chǔ)集群協(xié)同突破了單機(jī)限制,是海量數(shù)據(jù)與高并發(fā)場(chǎng)景的必然選擇。其技術(shù)核心在于平衡數(shù)據(jù)分布與一致性,企業(yè)需根據(jù)業(yè)務(wù)的一致性要求(強(qiáng)一致性最終一致性)、訪問(wèn)模式選擇合適的分片策略。

05總結(jié)與實(shí)踐任務(wù)

1調(diào)研某分布式數(shù)據(jù)庫(kù)(如TiDB)的分片機(jī)制,分析其如何處理跨

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論