配色色系表RGB255/187/87RGB250/211/187RGB254/238/193RGB226/243/252RGB190/233/238RGB

153/54/54RGB

242/137/68RGB

253/211/81RGB

129/193/95RGB

86/196/210RGB

127/0/1RGB

237/109/0RGB

52/200/0RGB

98/178/48RGB

48/181/197RGB137/137/137RGB255/255/255RGB89/87/87RGB221/221/221RGB

35/24/21RGB181/181/181第3章Flume輕量日志采集工具本章主要講述Flume的基本技術(shù)原理通過學(xué)習(xí)本節(jié)將能夠?qū)W習(xí)Flume輕量日志采集組件的架構(gòu)原理。通過本節(jié)學(xué)習(xí)可以：Flume定義和概述Flume組件原理Flume高級(jí)特性Flume定義和概述Flume組件原理Flume高級(jí)特性Flume是什么？Flume是流式日志采集工具，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理并且寫到各種數(shù)據(jù)接受方（可定制）的能力，F(xiàn)lume提供從本地文件（spooldirectorysource)、實(shí)時(shí)日志（taildir、exec)、REST消息、Thrift、Avro、Syslog、Kafka等數(shù)據(jù)源上收集數(shù)據(jù)的能力。Flume適用環(huán)境Flume適用于應(yīng)用系統(tǒng)產(chǎn)生的日志采集，采集后的數(shù)據(jù)供上層應(yīng)用分析。Flume不適用于大量數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)采集（要求低延遲、高吞吐率）。與其他開源日志收集工具scribe比較而言，F(xiàn)lume幾乎不用用戶開發(fā)，scribe需要用戶另外開發(fā)client,而Flume每一種數(shù)據(jù)源均有相應(yīng)的source去讀取或者接收數(shù)據(jù)。Flume適用環(huán)境適用環(huán)境：提供從固定目錄下采集日志信息到目的地（HDFS,HBase,Kafka)能力。提供實(shí)時(shí)采集日志信息(taildir)到目的地的能力。Flume支持級(jí)聯(lián)（多個(gè)Flume對(duì)接起來），合并數(shù)據(jù)的能力。同時(shí)支持按照用戶定制采集數(shù)據(jù)的能力。Flume定義和概述Flume組件原理Flume高級(jí)特性Flume的外部結(jié)構(gòu)數(shù)據(jù)發(fā)生器（如：facebook,twitter）產(chǎn)生的數(shù)據(jù)被單個(gè)的運(yùn)行在數(shù)據(jù)發(fā)生器所在服務(wù)器上的agent所收集，之后數(shù)據(jù)收容器從各個(gè)agent（客戶端，數(shù)據(jù)的實(shí)際產(chǎn)生單位）上匯集數(shù)據(jù)并將采集到的數(shù)據(jù)存入到HDFS或者HBase中Flume事件事件（event）作為Flume內(nèi)部數(shù)據(jù)傳輸?shù)淖罨締卧?它是由一個(gè)轉(zhuǎn)載數(shù)據(jù)的字節(jié)數(shù)組和一個(gè)可選頭部構(gòu)成。典型的Flume事件如下面結(jié)構(gòu)所示：event將傳輸?shù)臄?shù)據(jù)進(jìn)行封裝，如果是文本文件，通常是一行記錄，event也是事務(wù)的基本單位。FlumeAgentFlume內(nèi)部有一個(gè)或者多個(gè)Agent,然而對(duì)于每一個(gè)Agent來說,它就是一獨(dú)立的守護(hù)進(jìn)程(JVM)。它從客戶端接收、收集數(shù)據(jù),或者從其他的Agent接收數(shù)據(jù)，然后迅速的將獲取的數(shù)據(jù)傳給下一個(gè)目的節(jié)點(diǎn)sink或者其他下游agent。Agent主要由三部分構(gòu)成：Source、Channel和Sink，如圖所示：FlumeSourceSource負(fù)責(zé)接收events或通過特殊機(jī)制產(chǎn)生events，并將events批量放到一個(gè)或多個(gè)Channels。有驅(qū)動(dòng)和輪詢2種類型的Source。驅(qū)動(dòng)型source:是外部主動(dòng)發(fā)送數(shù)據(jù)給Flume，驅(qū)動(dòng)Flume接受數(shù)據(jù)。輪詢source:是Flume周期性主動(dòng)去獲取數(shù)據(jù)。Source必須至少和一個(gè)channel關(guān)聯(lián)。FlumeChannelChannel位于Source和Sink之間，Channel的作用類似隊(duì)列，用于臨時(shí)緩存進(jìn)來的events，當(dāng)Sink成功地將events發(fā)送到下一跳的channel或最終目的，events從Channel移除。不同的Channel提供的持久化水平也是不一樣的:MemoryChannel:不會(huì)持久化。FileChannel:基于WAL（預(yù)寫式日志W(wǎng)rite-AheadLog）實(shí)現(xiàn)。JDBCChannel:基于嵌入式Database實(shí)現(xiàn)。Sink負(fù)責(zé)將events傳輸?shù)较乱惶蜃罱K目的，成功完成后將events從channel移除。Sink必須作用于一個(gè)確切的channel。Sink

Flume定義和概述Flume組件原理Flume高級(jí)特性Flume支持采集日志文件Flume支持將集群外的日志文件采集并歸檔到HDFS、HBase、Kafka上，供上層應(yīng)用對(duì)數(shù)據(jù)分析、清洗數(shù)據(jù)使用。Flume支持多級(jí)級(jí)聯(lián)和多路復(fù)制Flume支持將多個(gè)Flume級(jí)聯(lián)起來，同時(shí)級(jí)聯(lián)節(jié)點(diǎn)內(nèi)部支持?jǐn)?shù)據(jù)復(fù)制。Flume級(jí)聯(lián)消息壓縮加密Flume級(jí)聯(lián)節(jié)點(diǎn)之間的數(shù)據(jù)傳輸支持壓縮和加密，提升數(shù)據(jù)傳輸效率和安全性。Flume數(shù)據(jù)監(jiān)控Flumesource接受數(shù)據(jù)量、channel緩存數(shù)據(jù)量、sink寫入數(shù)據(jù)量，通過Manager圖形化呈現(xiàn)監(jiān)控指標(biāo)。支持Channel緩存、數(shù)據(jù)發(fā)送、接收失敗告警。Flume傳輸可靠性Flume在傳輸數(shù)據(jù)過程中，采用事務(wù)管理方式，保證傳輸過程中數(shù)據(jù)不會(huì)丟失，增強(qiáng)了數(shù)據(jù)傳輸?shù)目煽啃?，同時(shí)緩存在channel中的數(shù)據(jù)如果采用filechannel，進(jìn)程或者節(jié)點(diǎn)重啟數(shù)據(jù)不會(huì)丟失。請(qǐng)簡(jiǎn)述Flume的適用場(chǎng)景？請(qǐng)簡(jiǎn)述Flume的數(shù)據(jù)處理流程？講解了Flume的相關(guān)高級(jí)特性

（多選）以下哪些選項(xiàng)是Flume支持的監(jiān)控指標(biāo)？數(shù)據(jù)量channel緩存數(shù)據(jù)量sink寫入數(shù)據(jù)量總處理數(shù)據(jù)量2.以下哪個(gè)選項(xiàng)不是Flume的channel類型？A. MemoryChannelB. JDBCChannelC. HDFSChannelFileChannel描述了Flume定義和概述介紹了Flume組件原理講解了Flume高級(jí)特性學(xué)習(xí)推薦華為在線學(xué)習(xí)：/cn/華為認(rèn)證-華為人才在線：/cn/talent/#/cert參考資料華