1、開源MQ技術(shù)介紹，Kimmking 2013-6，議程，消息系統(tǒng)，協(xié)議和技術(shù)消息系統(tǒng)及其結(jié)構(gòu)STOMP/JMS/AMQP/MQTT EIP和SEDA通用開源消息中間件ZeroMQ Fqueue ActiveMQ和Apollo Kafka和MetaQ RabbitMQ MQ選擇和未來發(fā)展前景，消息系統(tǒng)，協(xié)議和技術(shù)，消息傳遞，耦合-松耦合同步-異步直接請求-緩沖壓力，系統(tǒng)A，系統(tǒng)b，單向，系統(tǒng)A，系統(tǒng)b，請求響應(yīng)，系統(tǒng)A，系統(tǒng)b，發(fā)送，系統(tǒng)發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，發(fā)送，A系統(tǒng)，c系統(tǒng)，d系統(tǒng)，f系統(tǒng)，b系統(tǒng)，e系統(tǒng)，消息傳遞部署結(jié)構(gòu)

2、，f系統(tǒng)，c系統(tǒng)，MQ，隊列，隊列，A系統(tǒng)，d系統(tǒng)，e系統(tǒng)和b系統(tǒng)。 客戶端應(yīng)用層：用于發(fā)送和接收消息的API接口，消息模型層：消息、連接、會話、事務(wù)等。消息處理層：消息交互邏輯定義和持久性，網(wǎng)絡(luò)傳輸層：序列化協(xié)議，傳輸協(xié)議，可靠機制，安全層，管理層，MQ消息中間件特性，系統(tǒng)的穩(wěn)定性和健壯性穩(wěn)定性健壯性長期穩(wěn)定運行高并發(fā)下運行消息的可靠性發(fā)送的可靠性接收事務(wù)性本地事務(wù)的可靠性分布式事務(wù)QoSDLQ，MQ消息中間件特性， 性能代理性能基于內(nèi)存隊列異步/同步持久性磁盤基于內(nèi)存順序/隨機讀/寫磁盤基于內(nèi)存持久性關(guān)系數(shù)據(jù)庫客戶端性能異步/同步發(fā)送和接收確認機制事務(wù)性會話消息積壓、內(nèi)存、消費者、生產(chǎn)者、

3、磁盤、代理、MQ消息中間件功能、高可用性高可用性集群共享負載平衡主從分段故障轉(zhuǎn)移自動手動復制同步復制異步復制、主、從、從、復制、復制、主、從、主、主、客戶端、客戶端、MQ消息中間件、 可伸縮性支持多種協(xié)議和規(guī)范，支持多種訪問和傳輸方法，支持定制的消息策略，支持定制的插件機制，可管理性，代理和隊列的管理，客戶端和連接的管理，以及集群和分片的管理，JMX或REST管理應(yīng)用編程接口，JMS(Java消息服務(wù))，關(guān)注應(yīng)用程序?qū)拥膽?yīng)用編程接口協(xié)議(類似于JDBC)消息結(jié)構(gòu)和隊列概念。 正文頭屬性，消息類型隊列主題臨時隊列臨時主題連接會話生產(chǎn)者消費者持久訂閱消息充當PTPPub-Sub持久事務(wù)機制，確認機

4、制，臨時隊列，Spring-JMS，JMSTemplate提供方便的發(fā)送方法，不需要注意異常和資源釋放。CachingConnectionFactory提供了從生產(chǎn)者/消費者到會話到連接的緩存策略，并且這些資源可以重用。提供了將消息轉(zhuǎn)換為對象的方法。STOMP(簡單文本消息協(xié)議)，簡單(或流式)面向文本的消息協(xié)議http:/stomp.github.io/是簡單的，基于框架的，基于文本的命令式操作協(xié)議，類似于HTTP/SMTP/FTP和其他協(xié)議，易于使用，跨平臺，使用telnet或nc命令與MQ在獨立的外殼下交互。STMOP操作顯示低性能。ActiveMQ的STOMP支持協(xié)議封裝和轉(zhuǎn)換http

5、://stomp.html,AMQP,高級消息隊列協(xié)議來自摩根大通，該協(xié)議滿足金融系統(tǒng)消息通信業(yè)務(wù)的要求：/線級協(xié)議，實現(xiàn)客戶與不同MQ之間的互操作性：數(shù)據(jù)類型和編碼消息傳輸、交互消息定義和行為事務(wù)安全、MQTTE、MQ遙測傳輸MQTT協(xié)議是為大量計算能力有限、工作在低帶寬的不可靠網(wǎng)絡(luò)中的遠程傳感器和控制設(shè)備之間的通信而設(shè)計的。基于TCP的簡單二進制通信協(xié)議。協(xié)議各部分的定義精確到位，最小消息為2字節(jié)。與一般的MQ長連接不同，該協(xié)議指定了保持活動的定時器參數(shù)和ping指令。服務(wù)質(zhì)量水平?jīng)Q定了交互的數(shù)量。為物聯(lián)網(wǎng)準備的消息

6、協(xié)議。EIP和SEDA，階段式事件驅(qū)動架構(gòu)/mdw/proj/seda/,通用開源消息中間件，零MQ，項目地址/是基于C開發(fā)的，內(nèi)存MQ內(nèi)核本身具有很高的性能，是一個由并發(fā)框架構(gòu)成的套接字庫，在集群環(huán)境下可以比TCP更快地支持各種通用平臺。然而，它需要額外的綁定包裝，并且基本上不支持持久性。任何程序都可以成為各種語言的MQ代理(零代理)的例子。官方文件/page:all,Fqueue,支持基于磁盤持久存儲(日志文件按順序處理)、高性能(200，000-300

7、，000寫QPS)、低內(nèi)存使用配置和簡單項目地址的memcached協(xié)議(分布式和高可用性機制)，ActiveMQ，最廣泛使用的具有高可靠性和事務(wù)性消息隊列的開源消息中間件項目開始于2005年，Codehaus在2006年成為具有440，000行Java代碼和39，000行xml代碼(5.7.0)的Apache項目。24個委員會的核心成員是一家商業(yè)公司FuseSource的員工，他們支持多種訪問協(xié)議和消息協(xié)議。Java和c客戶端支持無縫故障轉(zhuǎn)移、主動MQ-故障轉(zhuǎn)移和重新連接以及狀態(tài)復制純主從基于共享鎖JDBC主從(表排他鎖)共享文件系統(tǒng)主從(文件寫鎖)。ActiveMQ-高可用性、無共享存儲的

8、完全復制(所有消息、所有響應(yīng)、所有事務(wù))從屬服務(wù)器(備份服務(wù)器)默認情況下不啟動外部服務(wù)組件，僅同步備份主服務(wù)器的所有數(shù)據(jù)。您可以將從屬服務(wù)器配置為在主服務(wù)器掛斷后啟動服務(wù)，以充當主服務(wù)器。純主從式，可靠性好，但性能一般。如果企業(yè)數(shù)據(jù)庫已經(jīng)存在于原始系統(tǒng)中，建議使用。從屬服務(wù)器的數(shù)量沒有限制。簡單的配置。從服務(wù)器總是處于待機狀態(tài)，除非它競爭數(shù)據(jù)庫鎖，JDBC主從，建議使用它。如果現(xiàn)有存儲區(qū)域網(wǎng)絡(luò)中從屬服務(wù)器的數(shù)量是無限的，只需注意確認文件鎖是否正常，超時時間，NFSv4，共享存儲主從，安全，基于安全通道(SSL)認證文件的JAAS插件(證書，LDAP)授權(quán)目的地級別消息級別，阿波羅，http:

9、//apollo/, Apache ActiveMQ的改進版本Scala開發(fā)的主要特性：基于反應(yīng)堆的線程模型是基于hawtdispatch(線程池/Nio事件框架)Scala 2.9實現(xiàn)協(xié)議不可知(不支持JMS)SCOMP，AMQP卡夫卡和MetaQ、卡夫卡(基于Scala) O(1)、連續(xù)讀寫的持久性、高吞吐量是主要的設(shè)計目標。生產(chǎn)者、代理和消費者都是基于ZooKeeper的分布式分區(qū)消息，輕量級代理拉，消費記錄記錄在消費者端。消費者分組支持將數(shù)據(jù)并行加載到Hadoop、異步復制和異步復制。MetaQ(Java重新實現(xiàn)和改進)支持本地和分布式事務(wù)文本的監(jiān)控協(xié)議設(shè)計，基于RabbitMQ、Erlang的開發(fā)持久性模式豐富了隊列鏡像復制、使用場景和選擇兔子MQ-ha主/從節(jié)點的主動/被動對，用于異步刷新到磁盤工具和插件。事務(wù)可靠性場景(ActiveMQ)異步處理重要業(yè)務(wù)數(shù)據(jù)增量遠程同步吞吐量優(yōu)先級場景(MetaQ)通用通知日志傳輸和收集系統(tǒng)設(shè)計場景RP