消息中間件在大型分布式系統(tǒng)的應用馬震(鋒寒)@淘寶網(wǎng)2023-11-26個人簡介2023年——至今淘寶網(wǎng)技術專家負責消息中間件的研發(fā)之前在Ericsson和金蝶中間件工作感興趣領域：并發(fā)和網(wǎng)絡編程大型分布式系統(tǒng)的構(gòu)建海量數(shù)據(jù)的分析和處理微博：://weibo/mz1999Outline淘寶消息中間件概覽消息中間件應用場景分布式事務數(shù)據(jù)復制日志同步delayqueue播送通知總結(jié)消息中間件應用程序或組件之間的一種通訊方式可靠性異步松散耦合發(fā)送者和接收者不必了解對方，只需要認識消息發(fā)送者和接收者不必同時在線MessagingModelsPoint-to-Point(PTP)每個消息只有一個消費者發(fā)送者和接收者沒有時間依賴接收者確認消息處理成功Publish/Subscribe每個消息可以有多個訂閱者客戶端只有訂閱后才能收到消息淘寶消息中間件NotifyPush模式，消息存儲轉(zhuǎn)發(fā)支持分布式事務訂閱者集群支持多種平安級別的存儲淘寶消息中間件Metamorphosis開源MQ-kafka的Java版本消息都是持久的，保存在磁盤客戶端pull，利用sendfile系統(tǒng)調(diào)用，零拷貝吞吐量第一支持消息順序淘寶消息中間件Broker:Sharednothingarchitecture發(fā)布者、訂閱者都支持集群PublisherPublisherPublisherBrokerBrokerSubscriberSubscriberSubscriber集群集群集群ConfigServerZooKeeperNotify——分布式事務通用的消息中間件支持XA分布式事務優(yōu)點跨越多個資源ACID的保證編程模型簡單一致缺點性能和可用性都不高故障難于恢復Notify——分布式事務PublisherBrokerStorageT1發(fā)送half消息T3業(yè)務操作T4提交/回滾T2存儲half消息T5提交:更新數(shù)據(jù)庫

標識消息可發(fā)送回滾：刪除消息S1定期檢查未提交的消息S2提交/回滾本地事務域本地事務域業(yè)務操作S3提交:更新數(shù)據(jù)庫

標識消息可發(fā)送回滾：刪除消息Notify——訂閱者集群訂閱者集群：消息的一個邏輯上的訂閱者是有多個物理節(jié)點組成的一個集群BrokerPublisherA1A2A3應用AB1B2B3應用BNotify——消息存儲多種平安級別的存儲FileOracle+小型機+存儲MySQLMySQL+Replication同步寫入兩個存儲節(jié)點支持存儲節(jié)點的動態(tài)變化Meta——跟kafka有什么不同?用java替換scalaConsumerAPI沒有采用kafka的stream方式，而是同時實現(xiàn)同步獲取和異步訂閱兩種方式存儲結(jié)構(gòu)上采用自定義結(jié)構(gòu)，更簡潔緊湊客戶端的連接復用實現(xiàn)HA復制實現(xiàn)發(fā)送的軟負載支持本地和XA事務支持協(xié)議數(shù)據(jù)遷移、擴容對用戶透明Outline淘寶消息中間件概覽消息中間件應用場景分布式事務數(shù)據(jù)復制日志同步delayqueue播送通知總結(jié)場景〔一〕分布式事務為面向效勞架構(gòu)〔SOA〕提供分布式事務支持保證全局數(shù)據(jù)的一致性交易中心Broker商品管理物流CRM…付款成功消息storestorestorestore場景〔二〕數(shù)據(jù)復制利用消息中間件將數(shù)據(jù)從源頭復制到多個目的地滿足搜索、離線分析和分表規(guī)那么變化等需求DBDBSyncbinlogBrokerSearchhadoopDB場景〔三〕日志同步應用通過可靠異步方式將日志同步到消息中間件可以對日志做實時或離線分析BrokerAppAppAppHBaseStormAppApp場景〔四〕delayqueue把消息中間件當做可靠的延遲隊列分布式環(huán)境下的定時器BrokerPublisherSubscriberrecover延遲投遞場景〔五〕播送通知可靠的集群內(nèi)播送通知用于通知cache失效等事件BrokerAppA