日志聚合日志聚合概念0102日志聚合分析Content目錄03日志聚合工具01

日志聚合概念典型的包括控制臺(tái)、文件和syslog等日志聚合概念就在于可以把來自不同服務(wù)器上不同應(yīng)用程序產(chǎn)生的日志聚合起來，存放在單一的服務(wù)器上，方便進(jìn)行搜索和分析在日志聚合方面，已經(jīng)有不少成熟的開源軟件可以很好的滿足需求logstash可以作為代理程序安裝到每臺(tái)需要收集日志的機(jī)器上典型的處理方式是把日志消息轉(zhuǎn)換成結(jié)構(gòu)化的字段；過濾之后的結(jié)果可以被輸出到不同的目的地，比如ElasticSearch、文件、電子郵件和數(shù)據(jù)庫等logstash采用了一種簡(jiǎn)單的處理模式輸入->過濾器->輸出日志聚合的作用本文中要介紹的是logstash一個(gè)流行的事件和日志管理開源軟件logstash提供了非常多的插件來處理不同類型的數(shù)據(jù)輸入對(duì)于輸入的數(shù)據(jù)，可以使用過濾器來進(jìn)行處理02

日志聚合分析日志聚合分析input{file{path=>["/var/log/*.log","/var/log/messages","/var/log/syslog"]type=>'syslog'}}output{stdout{debug=>truedebug_format=>"json"}}logstash配置文件示例對(duì)每種類型的輸入，都需要指定一個(gè)類型（type）該類型用來區(qū)分來自不同輸入的記錄配置文件完成之后，通過“java-jarlogstash-1.1.13-flatjar.jaragent-flogstash-simple.conf”就可以啟動(dòng)logstash輸入類型是文件（file）每種類型輸入都有相應(yīng)的配置對(duì)于文件來說，需要配置的是文件的路徑行1：定義了logstash收集日志時(shí)的輸入（input）相關(guān)配置行2：定義了logstash收集日志時(shí)輸出（output）的相關(guān)配置代碼中使用的輸出是控制臺(tái)03

日志聚合工具日志聚合工具1.ELKELK是Elasticsearch，Logstash和Kibana的縮寫本質(zhì)上是一個(gè)NoSQL的全文本搜索引擎實(shí)現(xiàn)是一個(gè)日志管道系統(tǒng)，可以提取數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)并將其加載到像Elasticsearch這樣的存儲(chǔ)中是Elasticsearch之上的可視化層它被Netflix，F(xiàn)acebook，微軟，LinkedIn和思科使用ELK是市場(chǎng)上最受歡迎的開源日志聚合工具ElasticsearchLogstashKibana這三個(gè)組件都是由Elastic開發(fā)和維護(hù)的日志聚合工具2.GraylogGraylog最近越來越受歡迎，但它是由LennartKoopmann在2010年創(chuàng)建的盡管Graylog的使用量在不斷增加，但仍遠(yuǎn)遠(yuǎn)落后于ELK。這也意味社區(qū)開發(fā)的功能更少，但Graylog與ELK堆棧保持相同的節(jié)奏Graylog在Go社區(qū)獲得了贊譽(yù)，推出了用Go編寫的GraylogCollectorSidecar兩年后，一家同名的公司誕生了獲得的認(rèn)可同類型工具差異日志聚合工具Fluentd是在TreasureData開發(fā)的，CNCF已將其作為孵化項(xiàng)目采用。3.Fluentd*Fluentd不是日志聚合系統(tǒng)Fluentd是用C和Ruby編寫的，由AWS和GoogleCloud推薦在許多部署中，F(xiàn)luentd已成為L(zhǎng)ogstash的常見替代