DBA,Baidu肖貝貝MongoDB中國(guó)大會(huì)MongoDB數(shù)據(jù)遷移主要內(nèi)容：主要內(nèi)容介紹:MongoDB在百度云的使用

遇到的問題與解決方法MongoDB集群內(nèi)均衡MonogDB集群間遷移MongoDB在百度云

應(yīng)用：百度云首頁(yè)信息通訊錄短信人臉識(shí)別數(shù)據(jù)百度網(wǎng)盤圖片元數(shù)據(jù)日志類記錄…數(shù)據(jù)量與請(qǐng)求量：總的數(shù)據(jù)量千億以上.每秒請(qǐng)求數(shù)據(jù)量很多.MongoDB實(shí)例很多.單集群群上幾百億數(shù)據(jù).服務(wù)保證:可靠服務(wù).遇到的問題與解決方法

遇到的問題：IO問題:IO被打滿.換SSD磁盤,加分片.每個(gè)分片的組成:2-4臺(tái)SSD在線服務(wù)節(jié)點(diǎn).從是否提供讀取決于業(yè)務(wù)要求:主從延遲.0-1臺(tái)HDD,延時(shí)備份機(jī)器.數(shù)量不等的投票機(jī)器.SSD芯片的選擇

:不同芯片的SSD性能有明顯差別.iostat的util長(zhǎng)期100%遇到的問題：集群可控性問題:封禁與權(quán)限問題.問題原因:資源隔離性不夠完全.封禁需求:部分用戶非法操作:

視為攻擊行為.權(quán)限控制需求:禁止使用者做昂貴操作與可能導(dǎo)致嚴(yán)重問題的操作:創(chuàng)建索引等...刪除索引,刪除數(shù)據(jù)表等...解決辦法:

上層權(quán)限處理:添加rest接口.遇到的問題：在線建索引

:直接或者后臺(tái)建立影響性能.導(dǎo)致的問題:建立索引時(shí)出現(xiàn)查詢寫入超時(shí).解決辦法:利用復(fù)制集單節(jié)點(diǎn)失效不影響集群存活的特性,輪轉(zhuǎn)建立索引.先從后主.注意:oplog時(shí)間要足夠長(zhǎng).連接問題：每個(gè)到Mongos的連接都會(huì)創(chuàng)建一個(gè)到后端分片的連接.導(dǎo)致的問題:客戶端數(shù)量增加導(dǎo)致連接數(shù)線性增長(zhǎng).解決辦法:Monogs之前的proxy:連接池.連接問題：導(dǎo)致的問題:分片之間連接影響.解決辦法:

使用具有各分片間連接數(shù)控制的輕量proxy代替mongos.收益:一個(gè)分片響應(yīng)緩慢不再影響其他分片查詢.弊端:不再支持跨分片查詢.遇到的問題：均衡問題:服務(wù)器負(fù)載較高時(shí)的均衡性能.設(shè)置均衡時(shí)間窗口.性能原因定位:刪除數(shù)據(jù)階段IO問題.解決辦法一:

取消均衡數(shù)據(jù)的同步刪除數(shù)據(jù)階段,改為后臺(tái)刪除.緩解,不治本.解決辦法二:

完全取消均衡數(shù)據(jù)的刪除階段.BalancerMongoDB集群內(nèi)均衡

自動(dòng)的均衡：

...ConfigServerMongos將某個(gè)chunk遷移至shard2shard1shard2請(qǐng)接收數(shù)據(jù)...數(shù)據(jù)傳輸...更新ChunkManager更新ChunkManager更新Chunk信息更新Chunk緩存刪除或者不刪除...增量數(shù)據(jù)同步...我們的均衡：

...ConfigServerMongosshard1shard2數(shù)據(jù)傳輸...更新ChunkManager更新ChunkManager更新Chunk信息WriteBack時(shí)更新均衡效果：收益:速度大幅提升.限制:分片必須為復(fù)制集.可用于MongoDB數(shù)據(jù)庫(kù)擴(kuò)容/縮容.MongoDB集群間遷移

應(yīng)用場(chǎng)景：機(jī)器過保下架機(jī)器操作系統(tǒng)更換機(jī)房機(jī)器調(diào)整業(yè)務(wù)表在集群之間調(diào)整......基本思路：基礎(chǔ)數(shù)據(jù)遷移:查找寫入(export+import)或者是(find+insert)增量數(shù)據(jù)遷移:使用oplogapi切換:業(yè)務(wù)層無感知基礎(chǔ)數(shù)據(jù)遷移：find數(shù)據(jù)之后insert到目標(biāo)mongos遇到的問題:遷移工具長(zhǎng)時(shí)間運(yùn)行有意外被殺死的可能解決辦法:遷移工具進(jìn)度記錄,可以在任意時(shí)間中斷并重啟基礎(chǔ)數(shù)據(jù)遷移：find數(shù)據(jù)之后insert到目標(biāo)mongos遇到的問題:基礎(chǔ)數(shù)據(jù)量太大,遷移階段oplog滾動(dòng)一圈解決辦法:多線程find+insert,增加數(shù)據(jù)遷移速度按照shardkey范圍進(jìn)行多次遷移增量數(shù)據(jù)遷移：oplog回放操作:遇到的問題:oplog回放速度小于oplog增長(zhǎng)速度分析:

oplog有序性限制寫入.解決辦法:同類操作批量進(jìn)行,如連續(xù)寫(場(chǎng)景有限).oplog是否可以無序以實(shí)現(xiàn)并發(fā).shardkey為保證順序的最小粒度.增量數(shù)據(jù)遷移：具體操作:隊(duì)列讀寫,shardkey取模分配.隊(duì)列間并發(fā).收益:同步速度接近極限.缺點(diǎn):只適用于分片的集合.絕大多數(shù)大型集群都被分片.增量數(shù)據(jù)遷移：?jiǎn)栴}:oplog格式shardkey在某些oplog中不存在.增加shardkey到所有oplog的o字段.帶來的問題:沒發(fā)現(xiàn)問題.現(xiàn)在,我們所有的MongoDB都是修改了opl