MongoDB在金融行業(yè)的應(yīng)用技術(shù)創(chuàng)新，變革未來大綱金融業(yè)的MongoDB使用者MongoDB在微牛的架構(gòu)MongoDB在微牛實踐中遇到的問題MongoDB在福米應(yīng)用場景業(yè)務(wù)實踐

行情數(shù)據(jù)

每日增量200G

單維度業(yè)務(wù)數(shù)據(jù)超過80億條數(shù)據(jù)量

全球多數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境

1000萬級

股票交易數(shù)據(jù)用戶量

毫秒級延時

用戶請求一秒內(nèi)響應(yīng)實時性I.全球多數(shù)據(jù)中心存儲-就近原則II.毫秒級延時數(shù)據(jù)讀寫III.系統(tǒng)99.9999％高可用

架構(gòu)因素從此面朝大海

春暖花開.遇到的MongoDB案例II.多數(shù)據(jù)中心節(jié)點數(shù)據(jù)同步I.ShadingorSplitCollectionIII.IOPS與內(nèi)存IShardingorSplitCollection案例描述-ShardingorSplitCollection單表數(shù)據(jù)量超過10億，讀寫IOWait增高-CPU增高業(yè)務(wù)響應(yīng)延時大于1秒解決方案-Sharding首先想到MongoDBShardingReplicaSetxSharding+Mongos+Config

服務(wù)器資源翻N倍!!!可運維復(fù)雜度呈系數(shù)增加!!!解決方案-SplitCollectionMongoDBSharding---->>MongoDBReplicaSet+SplitCollection簡單好用實用絲滑經(jīng)濟但是應(yīng)付不了“大場面”APPRuleEngineSplit1Split2…...SplitNSplitKey:ID+DateII多數(shù)據(jù)中心節(jié)點數(shù)據(jù)同步案例描述-多數(shù)據(jù)中心節(jié)點數(shù)據(jù)同步數(shù)據(jù)高峰或者網(wǎng)絡(luò)專線抖動導(dǎo)致多端Secondary數(shù)據(jù)延時無法快速恢復(fù)關(guān)鍵業(yè)務(wù)

所有Secondary節(jié)點延時告警，延時越來越大…...Oplog落后超過38G摘除節(jié)點拷貝

傳文件重建節(jié)點警示教訓(xùn)

切記價值N月年終獎解決方案全球一個ReplicaSet集群FumiDatabusFumi-mongoFumi-mongo美國其他地區(qū)中國MongoDBReplicaSet一拆多數(shù)據(jù)中心間用Fumi-Mongo-Kafka組件實現(xiàn)IIIMongoDB內(nèi)存設(shè)置與對IOPS要求都是服務(wù)器成本限制惹的禍?zhǔn)褂肕ongoDB的樂趣文檔型數(shù)據(jù)結(jié)構(gòu)(嵌套)查詢寫入性能優(yōu)秀