法培訓(xùn)課程咨詢– ChinaHadoop議KafkaKafka第一節(jié)–消提供路由消息的傳遞通過(guò)消息隊(duì)列，應(yīng)用程序可獨(dú)立地執(zhí)行--松耦合第一節(jié)Kafka由Linkedin公司開(kāi)發(fā)，使用Scala語(yǔ)言編第一節(jié)在Kafka中，發(fā)送消息者稱(chēng)為Producer,而消Produce和Consumer都依賴亍來(lái)保證系統(tǒng)可用性，為集群保存一些信息。第一節(jié)第一節(jié)：Producer：消息生產(chǎn)者，就是向Kafkabroker發(fā)消息的客戶端Consumer：消息消費(fèi)者，向Kafkabroker取消息的客戶端Topic：可以理解為一個(gè)隊(duì)列。第一節(jié) 第一節(jié)ConsumerGroup議kafka第二節(jié)構(gòu)建 zookeeper-serverstart（cdh）config/perties&創(chuàng)建bin/kafka-topics.sh--create--zookeeperlocalhost:2181--replication-factor1--partitions1--topictestTopicbin/kafka-topics.sh--list--zookeeper第二節(jié)構(gòu)建模擬生產(chǎn)者topictestTopic輸入：Thisisa模擬消費(fèi)者第二節(jié)構(gòu)建機(jī)器的準(zhǔn)多臺(tái)機(jī)器代碼tar-xzfkafka_2.10-這里以兩個(gè)節(jié)點(diǎn)為例vimconfig/perties第二節(jié)構(gòu)建vimconfig/perties運(yùn)行bin/kafka-server-start.shconfig/perties第二節(jié)構(gòu)建創(chuàng)建新的bin/kafka-topics.sh--create--zookeepercmmaster:2181--replication-factor2--partitions3--topicmy-replicated-查看topic信bin/kafka-topics.sh--describe--zookeepercmmaster:2181--topicmy-replicated-topic1模擬生產(chǎn)者輸入：Thisisa模擬消費(fèi)者第二節(jié)構(gòu)建kafka–perties中設(shè)置bin/kafka-topics.sh--zookeeperlocalhost:2181--delete-topicmy-查看consumer費(fèi)的bin/kafka-run-class.sh--zookeeperlocalhost:2181--grouptest--topicmy-議KafkaKafka第三節(jié)Kafkajava語(yǔ)言的支持,下面將圍繞一下幾個(gè)示KafkaKafkacdbootcamp/kafka-mvnclean第三節(jié)Producer第三節(jié)serializer.class，配置網(wǎng)絡(luò)傳輸?shù)男蛄谢绞?，這里使KeyedMessage中3testTopictopic根據(jù)已創(chuàng)建的topic，修改topicjava-cptest_kafka-0.0.1-SNAPSHOT.jar第三節(jié)–第三節(jié)ConsumerMain方調(diào)用run第三節(jié)啟勱子進(jìn)程遍歷數(shù)第三節(jié)–Zookeeper的配zookeeper.connect:消費(fèi)一個(gè)特定的和分區(qū)信息的偏group.idconsumergroup由消費(fèi)者組成的等待zookeeper的請(qǐng)求超時(shí)時(shí) 第三節(jié)配置group名配置已創(chuàng)建的zookeeper,配置至少一個(gè)配置已創(chuàng)建的java-cptest_kafka-0.0.1-–第三節(jié)Kafka不配置文件放置在classpath目彔修改core-site.xml件中的fs.defaultFs屬性值，改為namenode所在的節(jié)點(diǎn)ip初始化hdfs目彔結(jié)構(gòu),并賦予當(dāng)前用戶使用sudo-uhdfshdfsdfs-mkdirsudo-uhdfshdfsdfs-chown-R第三節(jié)HadoopConsumerMain方調(diào)用run第三節(jié)初始化hdfs文件對(duì)第三節(jié)啟勱子進(jìn)程遍歷數(shù)第三節(jié)不之前comsumer一java-cptest_kafka-0.0.1-SNAPSHOT.jar第三節(jié)Kafka–Kafka–Kafkalowlevel–Kafka–第三節(jié)kafkasparkMaven