數(shù)據(jù)采集與處理項(xiàng)目4目錄CONTENTS01.ZooKeeper安裝配置02.Kafka安裝配置03.Flume安裝配置01ZooKeeper安裝配置環(huán)境搭建解壓到`/opt/module`并重命名為`zookeeper-3.7.1`。示例：`tar-zxfzookeeper-3.7.1-bin.tar.gz-C/opt/module/`。安裝ZooKeeper從官網(wǎng)下載zookeeper-3.7.1版本安裝包。示例：`zookeeper-3.7.1-bin.tar.gz`。下載ZooKeeper修改`/etc/profile.d/my_env.sh`，添加ZooKeeper環(huán)境變量。示例：`exportZOOKEEPER_HOME=/opt/module/zookeeper-3.7.1/`。添加環(huán)境變量123環(huán)境搭建修改`zoo.cfg`，設(shè)置`dataDir`和`server`。示例：`dataDir=/opt/module/zookeeper-3.7.1/zkData`。配置ZooKeeper創(chuàng)建`zkData`目錄并設(shè)置`myid`。示例：`mkdirzkData`，`echo"1">zkData/myid`。創(chuàng)建zkData目錄和myid文件0102使用`zkServer.shstart`啟動。啟動ZooKeeper使用`create/pathdata`創(chuàng)建節(jié)點(diǎn)。創(chuàng)建節(jié)點(diǎn)使用`zkServer.shstatus`查看狀態(tài)。查看狀態(tài)ZooKeeper基本操作123ZooKeeper基本操作使用`get/path`獲取節(jié)點(diǎn)數(shù)據(jù)。獲取節(jié)點(diǎn)數(shù)據(jù)1使用`get-w/path`監(jiān)聽節(jié)點(diǎn)。監(jiān)聽節(jié)點(diǎn)2使用`delete/path`刪除節(jié)點(diǎn)。刪除節(jié)點(diǎn)302Kafka安裝配置下載Kafka從官網(wǎng)下載kafka-3.3.1版本安裝包。示例：`kafka_2.12-3.3.1.tgz`。安裝Kafka解壓到`/opt/module`并重命名為`kafka`。示例：`tar-zxfkafka_2.12-3.3.1.tgz-C/opt/module/`。添加環(huán)境變量修改`/etc/profile.d/my_env.sh`，添加Kafka環(huán)境變量。示例：`exportKAFKA_HOME=/opt/module/kafka`。修改Kafka配置文件修改`perties`，設(shè)置`broker.id`和`listeners`。示例：`broker.id=1`，`listeners=PLAINTEXT://master:9092`。環(huán)境搭建04030102查看主題使用`kafka-topics.sh--list`查看主題列表。發(fā)送消息使用`kafka-console-producer.sh`發(fā)送消息。示例：`kafka-console-producer.sh--broker-listmaster:9092--topicbigdata`。消費(fèi)消息使用`kafka-console-consumer.sh`消費(fèi)消息。示例：`kafka-console-consumer.sh--bootstrap-servermaster:9092--topicbigdata--from-beginning`。創(chuàng)建主題使用`kafka-topics.sh--create`創(chuàng)建主題。示例：`kafka-topics.sh--bootstrap-servermaster:9092--create--partitions3--replication-factor3--topicbigdata`。Kafka基本操作03Flume安裝配置下載Flume從官網(wǎng)下載flume-1.10.1版本安裝包。示例：`apache-flume-1.10.1-bin.tar.gz`。解壓到`/opt/module`并重命名為`flume-1.10.1`。示例：`tar-zxfapache-flume-1.10.1-bin.tar.gz-C/opt/module/`。添加環(huán)境變量修改`/etc/profile.d/my_env.sh`，添加Flume環(huán)境變量。示例：`exportFLUME_HOME=/opt/module/flume-1.10.1`。配置日志文件路徑和控制臺輸出。示例：`<Propertyname="LOG_DIR">/opt/module/flume-1.10.1/log</Property>`。環(huán)境搭建安裝Flume修改log4j2.xml配置文件Flume數(shù)據(jù)監(jiān)控采集監(jiān)控端口數(shù)據(jù)使用NetcatSource監(jiān)聽端口數(shù)據(jù)。示例：`flume-ngagent--conf$FLUME_HOME/conf/--namea1--conf-file$FLUME_HOME/conf/nc-flume.conf`。采集文件數(shù)據(jù)到HDFS使用ExecSource采集文件數(shù)據(jù)并存儲到HDFS。示例：`flume-ngagent--conf$FLUME_HOME/conf/--namea2--conf-file$FLUME_HOME/conf/exec-hdfs.conf`。采集文件數(shù)據(jù)到Kafka使用ExecSource采集文件數(shù)據(jù)并發(fā)送到Kafka。示例：`flume-ngagent--conf$FLUME_HOME/conf/--namea3--conf-file$FLUME_HOME/conf/exec-kafka.conf`。Flume多路復(fù)用使用TaildirSource采集文件數(shù)據(jù)并多路復(fù)用到Kafka和HDFS。示例：`flume-nga