Flume技術(shù)原理m版權(quán)所有?2018華為技術(shù)有限公司lFlume是開源日志系統(tǒng)。是一個(gè)分布式、可靠和高可用的海量日志聚合的系統(tǒng)，支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制)的能力。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁目標(biāo)l學(xué)完本課程后，您將能夠：p熟悉Flume是什么pp熟悉Flume能干什么p熟悉Flume在FusionInsight產(chǎn)品的位置p掌握Flume的系統(tǒng)架構(gòu)p掌握Flume關(guān)鍵特性介紹p熟悉Flume應(yīng)用舉例版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁目錄1.Flume簡介及架構(gòu)2.Flume關(guān)鍵特性介紹33.Flume應(yīng)用舉例版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁lFlume是流式日志采集工具，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡單處理并且寫到各種數(shù)據(jù)接受方(可定制)的能力，F(xiàn)lume提供從本地文件(地文件(spoolingdirectorysource)、實(shí)時(shí)日志(taildir、exec)、版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁l提供從固定目錄下采集日志信息到目的地(HDFS,HBase,ll提供實(shí)時(shí)采集日志信息(taildir)到目的地的能力。lFlume支持級(jí)聯(lián)(多個(gè)Flume對(duì)接起來)，合并數(shù)據(jù)的能力。lFlume支持按照用戶定制采集數(shù)據(jù)的能力。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁FlumeFlumeonInsight應(yīng)用服務(wù)層MRarkStormSolrFlume是收集、聚合事件流數(shù)據(jù)的分布式框架。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁SinkSourceChannel SourceSinkChannel SSinkSourceChannel SourceSinkChannel SourceChannelSinkLog集，存儲(chǔ)到最終的存儲(chǔ)系統(tǒng)中。主要應(yīng)用于集群外的數(shù)據(jù)集群內(nèi)。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁eventsCeventsChannelInterceptorCChannelSelectoreventsSinkProcessorSinkSourceeventsChannelPorcessorSinkRunnereventseventsChannelevents版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁基本概念-Source(1)個(gè)或多個(gè)Channels。有驅(qū)動(dòng)和輪詢2種類型的Source。eFlumelSource必須至少和一個(gè)channel關(guān)聯(lián)。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁基本概念-Source(2)或者腳本，并將其執(zhí)行結(jié)果的輸sourcecejmssource版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁。p。pFileChannel:基于WAL(預(yù)寫式日志W(wǎng)rite-AheadLog)實(shí)現(xiàn)。pJDBCChannel式Database實(shí)現(xiàn)。lChannels支持事務(wù)，提供較弱的順序保證，可以連接任何數(shù)量的基本概念-Channel(1)lChannel位于Source和Sink之間，Channel的作用類似隊(duì)列，用于臨時(shí)緩存進(jìn)來的events，當(dāng)Sink成功地將events發(fā)送到下一跳的channel或ll不同的Channel提供的持久化水平也是不一樣的:pMemoryChannel:不會(huì)持久化版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁基本概念-Channel(2)llFileChannel：對(duì)數(shù)據(jù)持久化；但是配置較為麻煩，需要配置數(shù)據(jù)目錄和checkpoint目錄；不同的filechannel均需要配置一個(gè)checkpoint可靠性；可以取代同樣具有持久特性的filechannel。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁lSink負(fù)責(zé)將events傳輸?shù)较乱惶蜃罱K目的，成功完成后將events從channel移除。l必須作用于一個(gè)確切的channel。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁avroflumethiftsinksink版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁目錄1.Flume簡介及架構(gòu)2.Flume關(guān)鍵特性介紹33.Flume應(yīng)用舉例版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁 SourceChannelSink SourceChannelSink SourceChannelSinkKafkaHBaseLogLogLog版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁ChannelSinkSourceChannelSinkChannelSinkChannelSinkSourceChannelSinkChannelSinkumelFlume支持將多個(gè)Flume級(jí)聯(lián)起來，同時(shí)級(jí)聯(lián)節(jié)點(diǎn)內(nèi)部支持?jǐn)?shù)據(jù)復(fù)制。SourceSourcee版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume級(jí)聯(lián)消息壓縮、加密lFlume級(jí)聯(lián)節(jié)點(diǎn)之間的數(shù)據(jù)傳輸支持壓縮和加密，提升數(shù)據(jù)傳輸效率和安全性。e應(yīng)用HDFS/Hive/HBase/Kafka解壓解密FlumeAPI壓縮加密版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁應(yīng)用發(fā)送量e收量量SinkChannelHDFS應(yīng)用發(fā)送量e收量量SinkChannelHDFS/Hive/HBase/Kafka版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁SourceCSourceChannelChannellFlume在傳輸數(shù)據(jù)過程中，采用事務(wù)管理方式，保證傳輸過程中數(shù)據(jù)不會(huì)丟失，增強(qiáng)了數(shù)據(jù)傳輸?shù)目煽啃?，同時(shí)緩存在channel中的數(shù)據(jù)如果采用filechannel，進(jìn)程或者節(jié)點(diǎn)重啟數(shù)丟失。SinkStarttxSendeventsStarttxTakeeventsxPuteventsx版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁SinkSinkSourceChannelSinkSinkSourceChanneliloverlFlume在傳輸數(shù)據(jù)過程中，如果下一跳的Flume節(jié)點(diǎn)故障或者數(shù)據(jù)接受異常時(shí)，可以自動(dòng)切換到另外一路上繼續(xù)傳輸。SinkSinkSourceChannelSinSinkSourcSourceChannel版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁elFlume在傳輸數(shù)據(jù)過程中，可以簡單的對(duì)數(shù)據(jù)簡單過濾、清洗，可以去掉不關(guān)心的數(shù)據(jù)，同時(shí)如果需要對(duì)復(fù)雜的數(shù)據(jù)過濾，需需要用戶根據(jù)自己的數(shù)據(jù)特殊性，開發(fā)過濾插件，F(xiàn)lume支持第三方過濾插件調(diào)用。InterceptoreventsChannelSelectorChannelPorcessoreventsChannelChannelevents版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁1.Flume簡介及架構(gòu)2.Flume關(guān)鍵特性介紹33.Flume應(yīng)用舉例版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁ll數(shù)據(jù)準(zhǔn)備p在集群某一個(gè)節(jié)點(diǎn)上創(chuàng)建日志目錄/tmp/log_test。p目錄mkdir/tmp/log_test。Flume操作示例1(1)l說明p本例子演示Flume通過采集集群內(nèi)應(yīng)用(比如網(wǎng)銀系統(tǒng))產(chǎn)生的版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(2)l下載Flume客戶端pFusionInsightHD服務(wù)管理>Flume>下載客戶版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(3)l安裝Flume客戶端p解壓客戶端fFusionInsightVRCFlumeClienttarTarxvfFusionInsightVRCFlumeClientConfig.tarsionInsightVRCFlumeClientConfigFlumeTarxvfFusionInsightFlumetar.gzp安裝客戶端properties版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(4)l配置flumesourcehssconfigurationofaoldirDirtmplogtestffixCOMPLETEDolicyneverrDirflumespoolersourcesaignorePatternchSizeserver.sources.a1.inputCharset=UTF-8lizerLINEortypereplicatingderKeyfilederfalselsch版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(5)l配置flumechannel##thechannelconfigurationofch1server.channels.ch1.type=memoryserver.channels.ch1.capacity=10000server.channels.ch1.transactionCapacity=1000server.channels.ch1.channlefullcount=10server.channels.ch1.keep-alive=3server.channels.ch1.byteCapacityBufferPercentage=20版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(6)l配置flumesinkserverserver.sinks.s1.type=hdfsserver.sinks.s1.hdfs.path=/tmp/flume_avrofixover_%{basename}server.sinks.s1.hdfs.inUseSuffix=.tmpserver.sinks.s1.hdfs.rollInterval=30rollSizeersinksshdfsrollCountbatchSizeserver.sinks.s1.hdfs.fileType=DataStreamserver.sinks.s1.hdfs.maxOpenFiles=5000server.sinks.s1.hdfs.writeFormat=WritablescallTimeoutersinksshdfsthreadsPoolSizeersinksshdfsfailcountserver.sinks.s1.hdfs.fileCloseByEndEvent=trueserver.sinks.s1.channel=ch1版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(6)l配置flumesinkathtmpflumeavronksshdfsfilePrefixdfsinUseSuffixtmpsinksshdfsrollIntervalrollSizeersinksshdfsrollCountbatchSizeTypeDataStreammaxOpenFileseFormatWritablescallTimeoutersinksshdfsthreadsPoolSizeersinksshdfsfailcountloseByEndEventtrueh版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(7)l將flumeagent的配置文件命名為perties。l上傳該配置文件版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例1(8)l向監(jiān)控目錄/tmp/log_test生產(chǎn)數(shù)據(jù)：mmv/log/log/tmp/log_testl查看數(shù)據(jù)是否sink到HDFS:hdfshdfsdfs–ls/tmp/flume_avro采集成功。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁ll數(shù)據(jù)準(zhǔn)備p在集群某一個(gè)節(jié)點(diǎn)上創(chuàng)建日志目錄/tmp/log_click。kafkatopicFlume操作示例2(1)l說明ka處理。版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例2(2)l配置flumesource：ssconfigurationofaoldirlDirtmplogclickffixCOMPLETEDolicyneverrDirflumespoolersourcesaignorePatternchSizeserver.sources.a1.inputCharset=UTF-8ortypereplicatingenameHeaderKeybasenameserver.sources.a1.deserializer.maxBatchLine=1serializermaxLineLengthlsch版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例2(3)l配置flumechannel：ationofchemorycapacityransactionCapacityrchannelschchannlefullcountserverchannelsch.keep-alive=3nnelschbyteCapacityBufferPercentage版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例2(4)l配置flumesink：##thesinkconfigurationofs1server.sinks.s1.type=org.apache.flume.sink.kafka.KafkaSinkserver.sinks.s1.kafka.topic=topic_1028server.sinks.s1.flumeBatchSize=1000nksskafkaproducertypesyncserver.sinks.s1.kafka.bootstrap.servers=5:21007tocol=SASL_PLAINTEXTserver.sinks.s1.requiredAcks=0server.sinks.s1.channel=ch1版權(quán)所有版權(quán)所有?2018華為技術(shù)有限公司頁Flume操作示例2(5)l上傳配置文件到flume。l使用kafka命令查看采集到kafkatopic_1028的