01Kafka jaykreps開始組織團(tuán)隊(duì)進(jìn)行消息傳遞系統(tǒng)的研發(fā)。01Kafka高吞吐量、低延遲：Kafka每秒可以處理幾十萬(wàn)條消息，它的延遲最低只有可擴(kuò)展性：Kafka集群支持熱擴(kuò)展持久性、可靠性：消息被持久化到本地磁盤，并且支持?jǐn)?shù)據(jù)備份防止數(shù)容錯(cuò)性：允許集 點(diǎn)失?。ㄈ舾北緮?shù)量為n，則允許n-1個(gè)節(jié)點(diǎn)失敗）高并發(fā)：支持?jǐn)?shù)千個(gè)客戶端同時(shí)

件從Kafka的主要設(shè)計(jì)思想中，可以讓相關(guān)人員在短時(shí)間內(nèi)了解到Kafka相關(guān)特性Consumergroup：各個(gè)Consumer可以組成一個(gè)組，每個(gè)消息只能被組中的一個(gè)Consumer，如果一個(gè)消息可以被多個(gè)Consumer消費(fèi)的話，那么這些Consumer必須在不同消息持久化：Kafka中會(huì)把消息持久化到本地文件系統(tǒng)消息有效期：Kafka會(huì)長(zhǎng)久保留其中的消息，以便Consumer可配置從Kafka的主要設(shè)計(jì)思想中，可以讓相關(guān)人員在短時(shí)間內(nèi)了解到Kafka相關(guān)特性批量發(fā)送：Kafka支持以消息集合為單位進(jìn)行批量發(fā)送，以提高push效率push-and-pull：Kafka中的Producer和Consumer采用的是push-and-pull模式，即Producer 從brokerpull消息，兩者對(duì)消息的生產(chǎn)和消費(fèi)是異步的Kafka集群中broker之間的關(guān)系：不是主從關(guān)系，各個(gè)broker在集群中地位一地增加或刪除任何一個(gè)broker節(jié)負(fù)載均衡方面：Kafka提供了一個(gè) API來管理broker之間的負(fù)載（此方式僅 0.8.x版本而言，對(duì)于0.7.x版本主要靠ZooKeeper來實(shí)現(xiàn)負(fù)載均衡）同步異步：Producer采用異步push方式，極大提高Kafka系統(tǒng)的吞吐率（可以通過參數(shù)控制是采同步還是異步方式）一個(gè)分區(qū)中消息的順序就是Producer發(fā)送消息的順序，一個(gè)中可以有多個(gè)分區(qū)，具體分區(qū)的數(shù)量離線數(shù)據(jù)裝載：Kafka由于對(duì)可拓展的數(shù)據(jù)持久化的支持，它也非常適合向Hadoop進(jìn)行數(shù)據(jù)裝載插件支持：現(xiàn)在不少活躍的社區(qū)已經(jīng)開發(fā)出不少插件來拓展Kafka的功能，例如用來配合StormHadoop、flume相關(guān)的插件1日志收集：公司用Kafka可以收集各種服務(wù)的log，通過Kafka以統(tǒng)一接口服務(wù)的方式開放2消息系統(tǒng)：解耦、生產(chǎn)者和消費(fèi)者、緩存消息3用戶活動(dòng)：Kafka經(jīng)常被用來記錄Web用戶或者App用戶的各種活動(dòng)，如瀏覽網(wǎng)頁(yè)、搜這些topic來做實(shí)時(shí)的分析，或者裝載到Hadoop、數(shù)據(jù)倉(cāng)庫(kù)中做離線分析和挖掘。4運(yùn)營(yíng)指標(biāo)：Kafka也經(jīng)常用來記錄運(yùn)營(yíng)數(shù)據(jù)。包括收集各種分布式應(yīng)用的數(shù)據(jù)、生產(chǎn)種操作的集中反饋，比如5流式處理：比如Sparkstreaming和StormKfktopctoptopcroduce，從topiConsuer。Producer和Consuers可以同時(shí)從多個(gè)toc讀寫數(shù)據(jù)。一個(gè)Kfkfk 02Kafka技術(shù)預(yù)覽-Kafkaopic&ariion消息發(fā)送時(shí)都被發(fā)送到一個(gè)topic，其本質(zhì)就是一 ，而topic由是由一些PartitionLogs（分區(qū)02Kafka技術(shù)預(yù)覽-Kafkaopic&ariion Kafka需要維持的元數(shù)據(jù)只要一個(gè)消費(fèi)消息在Partition中的offset值，Consumer每消費(fèi)一個(gè)消息，offset就會(huì)加1。其實(shí)消息的狀態(tài)完全是由Consumer控制的，Consumer可以和重設(shè)這個(gè)offset值，這樣的話Consumer就可以任意位置的消息了。

p學(xué)習(xí)Kafka p學(xué)習(xí) 組p學(xué)習(xí) 組03Kafka 影響到數(shù)據(jù)消費(fèi)。如果對(duì)數(shù)據(jù)持久化有更高的要求，可以把副本數(shù)量設(shè)置為3或者。副本會(huì)被成Leader作為讀寫用。03Kafka 建議Partition的數(shù)量大于集群broker的數(shù)量，這樣Leader Partition就可以均勻地分布在各個(gè)bro中，最終使得集群負(fù)載均衡。在云服務(wù)每個(gè)topi都有上百個(gè)Prtitio。需要注意的是，Kfk需要為每個(gè)Partition分配一些內(nèi)存來緩存消息數(shù)據(jù)，如果Partition數(shù)量特別大，就要為Kafka分配更大的eppce。03Kafka 些元信息包括哪些機(jī)器是存活的、topic的LeaderPartition都在哪、現(xiàn)階段哪些LeaderPartition是可以直 了Producer要求LeaderPartition收到確認(rèn)的副本個(gè)數(shù)。03Kafka Kafka提供了兩套ConsumerAPI，分為High-levelAPI和Sample-api。Sample-api是一底層的PI，它維持了一個(gè)和單一broker 的連接，并且這個(gè)PI是完全無(wú)狀態(tài)的，每次請(qǐng)求都要指值，因此，這P。在Kafka中，當(dāng)前讀到消息的offset值是由Consumer來的，因此，Consumer可以自己決定如何Kafka中的數(shù)據(jù)。比如，Consumer可以通過重設(shè)offset值來重新消費(fèi)已消費(fèi)過的數(shù)03Kafka High-levelAPI封裝了對(duì)集群中一系列broker ，可以透明地消費(fèi)一個(gè)