ELK+Kafka架構(gòu)

1、掌握ELK+Kafka集群架構(gòu)

2、掌握ELK+Kafka集群架構(gòu)1.Kafka介紹

2.ELK+Kafka架構(gòu)Kafka是一個分布式消息隊(duì)列。★Kafka對消息保存時根據(jù)Topic進(jìn)行歸類，發(fā)送消息者稱為Producer，消息接受者稱為Consumer，此外kafka集群有多個kafka實(shí)例組成，每個實(shí)例(server)稱為broker。無論是kafka集群，還是consumer都依賴于zookeeper集群保存一些meta信息，來保證系統(tǒng)可用性。Kafka介紹Kafka架構(gòu)1）Producer：消息生產(chǎn)者，就是向kafkabroker發(fā)消息的客戶端；2）Consumer：消息消費(fèi)者，向kafkabroker取消息的客戶端；3）Topic：可以理解為一個隊(duì)列；4）ConsumerGroup（CG）：這是kafka用來實(shí)現(xiàn)一個topic消息的廣播（發(fā)給所有的consumer）和單播（發(fā)給任意一個consumer）的手段。5）Broker：一臺kafka服務(wù)器就是一個broker。一個集群由多個broker組成。一個broker可以容納多個topic；Kafka基本概念6）Partition：為了實(shí)現(xiàn)擴(kuò)展性，一個非常大的topic可以分布到多個broker（即服務(wù)器）上，一個topic可以分為多個partition，每個partition是一個有序的隊(duì)列。partition中的每條消息都會被分配一個有序的id（offset）。kafka只保證按一個partition中的順序?qū)⑾l(fā)給consumer，不保證一個topic的整體（多個partition間）的順序；7）Offset：kafka的存儲文件都是按照offset.kafka來命名，用offset做名字的好處是方便查找。例如你想找位于2049的位置，只要找到2048.kafka的文件即可。當(dāng)然thefirstoffset就是00000000000.kafka。Kafka基本概念ELK+Kafka架構(gòu)圖（1）Kafka：接收用戶日志的消息隊(duì)列（2）Logstash：做日志解析，統(tǒng)一成json輸出給Elasticsearch（3）Elasticsearch：實(shí)時日志分析服務(wù)的核心技術(shù)，一個schemaless，實(shí)時的數(shù)據(jù)存儲服務(wù)，通過index組織數(shù)據(jù)，兼具強(qiáng)大的搜索和統(tǒng)計(jì)功能。（4）Kibana：基于Elasticsearch的數(shù)據(jù)可視化組件，超強(qiáng)的數(shù)據(jù)可視化能力是眾多公司選擇ELK

stack的重要原因。（5）Zookeeper