項(xiàng)目二分布式消息系統(tǒng)Kafka分布式消息系統(tǒng)Kafka學(xué)習(xí)目標(biāo)知識(shí)目標(biāo)：（1）掌握J(rèn)DK的配置安裝、zookeeper的配置安裝（2）了解Kafka基本概念原理和Kafka的配置安裝（3）掌握Kafka的命令行和API的使用（4）掌握KafkaStreams的使用技能目標(biāo)：（1）能敘述Kafka概念、基本結(jié)構(gòu)和應(yīng)用場(chǎng)景（2）能夠完成Kafka集群及前置環(huán)境的配置安裝（3）熟練使用Kafka命令行和API進(jìn)行創(chuàng)建主題、創(chuàng)建生產(chǎn)者等操作（4）能夠使用KafkaStreams開發(fā)流數(shù)據(jù)處理程序1JDK和Zookeeper配置安裝分布式消息系統(tǒng)KafkaCONTENTS2Kafka集群配置安裝3Kafka基本原理和使用1JDK和Zookeeper配置安裝安裝環(huán)境kafka需要linux環(huán)境部署，在本課程學(xué)習(xí)中，我們使用VMware部署三臺(tái)centos7虛擬機(jī)，并配置三臺(tái)主機(jī)名分別為node01,node02,node03。使用xshell軟件連接三臺(tái)虛擬機(jī)。在此基礎(chǔ)上，部署jdk、zookeeper集群和kafka集群。1JDK和Zookeeper配置安裝JDK的安裝由于kafka的運(yùn)行依賴Java環(huán)境，因此安裝kafka集群之前，需要先安裝并配置好JDK。（1）下載JDK（2）解壓安裝JDK（3）配置JDK環(huán)境變量（4）JDK環(huán)境變量驗(yàn)證1JDK和Zookeeper配置安裝下載JDK下載JDK：/java/technologies/javase/javase8-archive-downloads.html1JDK和Zookeeper配置安裝解壓安裝JDK在linux下解壓配置環(huán)境變量文件1JDK和Zookeeper配置安裝刷新環(huán)境變量驗(yàn)證JDK使用source命令刷新環(huán)境變量使用java-version命令查看java版本，正確顯示java版本則表示安裝成功1JDK和Zookeeper配置安裝zookeeper的下載由于kafka的運(yùn)行依賴zookeeper集群，因此安裝kafka集群之前，需要先下載安裝并配置好zookeeper。其下載地址如下1JDK和Zookeeper配置安裝解壓安裝zookeeper在linux下解壓完成環(huán)境變量文件中zookeeper的配置完成zoo.cfg文件的配置1JDK和Zookeeper配置安裝啟動(dòng)和查看zookeeper狀態(tài)

使用source命令刷新環(huán)境變量使用zkServer.shstart命令在三臺(tái)節(jié)點(diǎn)分別啟動(dòng)zookeeper進(jìn)程使用zkServer.shstatus在三臺(tái)節(jié)點(diǎn)查看zookeeper進(jìn)程狀態(tài)進(jìn)程狀態(tài)為兩個(gè)follower一個(gè)leader則說明zookeeper服務(wù)正常1JDK和Zookeeper配置安裝分布式消息系統(tǒng)KafkaCONTENTS2Kafka集群配置安裝3Kafka基本原理和使用2Kafka集群配置安裝kafka集群部署前面的章節(jié)中我們已完成jdk、zookeeper集群的部署，本小節(jié)我們需要完成linux環(huán)境下kafka集群部署2Kafka集群配置安裝kafka的下載在kafka官網(wǎng)找到對(duì)應(yīng)版本并下載，將壓縮包上傳到linux虛擬機(jī)中node01節(jié)點(diǎn)/downloads2Kafka集群配置安裝kafka的配置kafka所涉及的的配置文件包括：環(huán)境變量文件perties

配置文件在linux下解壓2Kafka集群配置安裝啟動(dòng)和停止集群前臺(tái)啟動(dòng)后臺(tái)啟動(dòng)停止集群1JDK和Zookeeper配置安裝分布式消息系統(tǒng)KafkaCONTENTS2Kafka集群配置安裝3Kafka基本原理和使用3Kafka基本原理和使用kafka基本原理完成了環(huán)境部署之后，現(xiàn)在我們進(jìn)一步了解kafka的概念和應(yīng)用3Kafka基本原理和使用kafka是什么kafka是一種發(fā)布-訂閱消息系統(tǒng)，消息被持久化到一個(gè)topic中。消費(fèi)者可以訂閱一個(gè)或多個(gè)topic，消費(fèi)者可以消費(fèi)該topic中所有的數(shù)據(jù)，在發(fā)布-訂閱消息系統(tǒng)中，消息的生產(chǎn)者稱為發(fā)布者，消費(fèi)者稱為訂閱者。3Kafka基本原理和使用kafka適用場(chǎng)景日志聚合消息系統(tǒng)網(wǎng)站運(yùn)營(yíng)3Kafka基本原理和使用kafka核心組件Kafka集群是由生產(chǎn)者（Producer）、消息代理服務(wù)器（BrokerServer）、消費(fèi)者（Consumer）組成的。發(fā)布到Kafka集群的每條消息都有一個(gè)主題（Topic），當(dāng)生產(chǎn)者發(fā)布消息到某個(gè)主題時(shí)，訂閱這個(gè)主題的消費(fèi)者都可以接收到消息。3Kafka基本原理和使用kafka常用命令創(chuàng)建主題：kafka-topics.sh--create--zookeepernode01:2181....+其他參數(shù)查看主題：

kafka-topics.sh--list--zookeepernode01:2181,node02:2181,node03:2181生產(chǎn)者：

kafka-console-producer.sh--broker-listnode01:9092....--topictest消費(fèi)者：

kafka-console-consumer.sh--from-beginning--topictest--zookeepernode01:2181....命令行操作時(shí)kafka集群的基本使用方式，生產(chǎn)者和消費(fèi)者相互通信是通過主題來實(shí)現(xiàn)的,kafka最常用的命令就包括主題命令和生產(chǎn)者消費(fèi)者命令3Kafka基本原理和使用kafka的JavaAPI除了命令行操作之外，kafka還提供了許多編程語言接口，我們可以調(diào)用JavaAPI來操作kafka集群。在Maven工程中，我們使用kafkaAPI之前必須引入如下兩個(gè)依賴包。3Kafka基本原理和使用kafkaAPI結(jié)合kafkaStreams實(shí)現(xiàn)單詞計(jì)數(shù)kafakAPI是使用編程語言訪問kafka的接口結(jié)合一種流處理方式，我們可以實(shí)現(xiàn)一個(gè)流處理案例kafkaStreams就是一套處理分析kafka中存儲(chǔ)數(shù)據(jù)的客戶端類庫3Kafka基本原理和使用kafkaAPI結(jié)合kafkaStreams實(shí)現(xiàn)單詞計(jì)數(shù)JavaAPI訪問Kafka主題kafkaStreams實(shí)現(xiàn)處理邏輯3Kafka基本原理和使用kafkaAPI結(jié)合kafkaStreams實(shí)現(xiàn)單詞計(jì)數(shù)實(shí)現(xiàn)了處理邏輯后，首先在kafka命令行創(chuàng)建生產(chǎn)者和消費(fèi)者。然后我們運(yùn)行程序，在生產(chǎn)者端輸入若干單詞，觀察消費(fèi)者端輸出結(jié)果。項(xiàng)目總結(jié)總結(jié)：

在項(xiàng)目二中，我們首先學(xué)習(xí)了JDK和zookeeper的安裝部署，這是kafka所必須依賴的環(huán)境。在此基礎(chǔ)上，我們還需要掌握kafka集群的