./ELK日志分析系統(tǒng)ELK日志分析系統(tǒng)介紹1.1傳統(tǒng)的日志統(tǒng)計(jì)及分析方式日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運(yùn)維和開發(fā)人員可以通過日志了解服務(wù)器軟硬件信息、檢查配置過程中的錯(cuò)誤及錯(cuò)誤發(fā)生的原因。經(jīng)常分析日志可以了解服務(wù)器的負(fù)荷,性能安全性,從而及時(shí)采取措施糾正錯(cuò)誤。通常,日志被分散的儲存不同的設(shè)備上。如果你管理數(shù)十上百臺服務(wù)器,你還在使用依次登錄每臺機(jī)器的傳統(tǒng)方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當(dāng)務(wù)之急我們使用集中化的日志管理,例如：開源的syslog,將所有服務(wù)器上的日志收集匯總。集中化管理日志后,日志的統(tǒng)計(jì)和檢索又成為一件比較麻煩的事情,一般我們使用grep、awk和wc等Linux命令能實(shí)現(xiàn)檢索和統(tǒng)計(jì),但是對于要求更高的查詢、排序和統(tǒng)計(jì)等要求和龐大的機(jī)器數(shù)量依然使用這樣的方法難免有點(diǎn)力不從心。1.2ELK介紹開源實(shí)時(shí)日志分析ELK平臺能夠完美的解決我們上述的問題,ELK由ElasticSearch、Logstash和Kiabana三個(gè)開源工具組成?！?、Elasticsearch是個(gè)開源分布式搜索引擎,它的特點(diǎn)有：分布式,零配置,自動(dòng)發(fā)現(xiàn),索引自動(dòng)分片,索引副本機(jī)制,restful風(fēng)格接口,多數(shù)據(jù)源,自動(dòng)搜索負(fù)載等?！?、Logstash是一個(gè)完全開源的工具,可以對日志進(jìn)行收集、過濾,并將其存儲供以后使用〔如：搜索?！?、Kibana也是一個(gè)開源和免費(fèi)的可視化工具,可以為Logstash和ElasticSearch提供的日志分析友好的Web界面,可以幫助匯總、分析和搜索重要數(shù)據(jù)日志。1.2.1Elasticsearch介紹Elasticsearch是一個(gè)基于ApacheLucene<TM>的開源搜索引擎,Lucene是當(dāng)前行業(yè)內(nèi)最先進(jìn)、性能最好的、功能最全的搜索引擎庫。但Lucene只是一個(gè)庫。無法直接使用,必須使用Java作為開發(fā)語言并將其直接集成到應(yīng)用中才可以使用,而且Lucene非常復(fù)雜,需要提前深入了解檢索的相關(guān)知識才能理解它是如何工作的。Elasticsearch也使用Java開發(fā)并使用Lucene作為其核心來實(shí)現(xiàn)所有索引和搜索的功能,但是它的目的是通過簡單的RESTfulAPI來隱藏Lucene的復(fù)雜性,從而讓全文搜索變得簡單。但Elasticsearch不僅僅值是Lucene庫和全文搜索,它還有以下用途：?分布式的實(shí)時(shí)文件存儲,每個(gè)字段都被索引并可被搜索?分布式的實(shí)時(shí)分析搜索引擎?可以擴(kuò)展到上百臺服務(wù)器,處理PB級結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)1.2.2Elasticsearch基礎(chǔ)概念Elasticsearch有幾個(gè)核心概念。從一開始理解這些概念會對整個(gè)學(xué)習(xí)過程有莫大的幫助。 〔1、接近實(shí)時(shí)〔NRTElasticsearch是一個(gè)接近實(shí)時(shí)的搜索平臺。意味著檢索一個(gè)文檔直到這個(gè)文檔能夠被檢索到有一個(gè)輕短暫的延遲〔通常是1秒。〔2、集群〔cluster集群就是由一個(gè)或多個(gè)節(jié)點(diǎn)組織在一起,它們共同持有整個(gè)的數(shù)據(jù),并一起提供索引和搜索功能。集群由一個(gè)唯一的名字標(biāo)識,這個(gè)名字默認(rèn)就是"elasticsearch"。這個(gè)名字很重要,因?yàn)橐粋€(gè)節(jié)點(diǎn)只能通過指定某個(gè)集群的名字,來加入這個(gè)集群。在產(chǎn)品環(huán)境中顯式地設(shè)定這個(gè)名字是一個(gè)好習(xí)慣,但是使用默認(rèn)值來進(jìn)行測試/開發(fā)也可以?！?、節(jié)點(diǎn)〔node節(jié)點(diǎn)是值集群中的具體服務(wù)器,作為集群的一部分,它可存儲數(shù)據(jù),參與集群的索引和搜索功能。和集群類似,一個(gè)節(jié)點(diǎn)也是由一個(gè)名字來標(biāo)識的,默認(rèn)情況下,這個(gè)名字是一個(gè)隨機(jī)名字,這個(gè)名字會在服務(wù)啟動(dòng)時(shí)賦予節(jié)點(diǎn)。這個(gè)名字對于管理者非常重要,因?yàn)樵诠芾磉^程中,需要確定網(wǎng)絡(luò)中的哪些服務(wù)器對應(yīng)于Elasticsearch集群中的哪些節(jié)點(diǎn)。節(jié)點(diǎn)可以通過配置集群名稱的方式來加入一個(gè)指定的集群。默認(rèn)情況下,每個(gè)節(jié)點(diǎn)都會被安排加入到一個(gè)叫做"elasticsearch"的集群中,這意味著如果在網(wǎng)絡(luò)中啟動(dòng)了若干個(gè)節(jié)點(diǎn),并假定它們能夠相互發(fā)現(xiàn)彼此,那么各節(jié)點(diǎn)將會自動(dòng)地形成并加入到一個(gè)叫做"elasticsearch"的集群中。在一個(gè)集群里,可以擁有任意多個(gè)節(jié)點(diǎn)。并且,如果當(dāng)前網(wǎng)絡(luò)中沒有運(yùn)行任何Elasticsearch節(jié)點(diǎn),這時(shí)啟動(dòng)一個(gè)節(jié)點(diǎn),會默認(rèn)創(chuàng)建并加入一個(gè)叫做"elasticsearch"的集群。〔4、索引〔index索引是指一個(gè)擁有相似特征的文檔的集合。比如說,你可以有一個(gè)客戶數(shù)據(jù)的索引,另一個(gè)產(chǎn)品目錄的索引,還有一個(gè)訂單數(shù)據(jù)的索引。每個(gè)索引均由一個(gè)名字來標(biāo)識〔必須全部是小寫字母的,并且當(dāng)要對對應(yīng)于這個(gè)索引中的文檔進(jìn)行索引、搜索、更新和刪除的時(shí)候,都要使用到這個(gè)名字。"索引"有兩個(gè)意思：A.作為動(dòng)詞,索引指把一個(gè)文檔"保存"到ES中的過程,某個(gè)文檔被索引后,就可以使用ES搜索到這個(gè)文檔B.作為名詞,索引指保存文檔的地方,相當(dāng)于數(shù)據(jù)庫概念中的"庫"為了方便理解,我們可以將ES中的一些概念對應(yīng)到我們熟悉的關(guān)系型數(shù)據(jù)庫上：ES索引類型文檔DB庫表行在一個(gè)集群中,可以定義任意多的索引。〔5、類型〔type在一個(gè)索引中,可以定義一種或多種類型。類型是指索引的一個(gè)邏輯上的分類/分區(qū),其語義可自定義。通常情況下,會為具有一組共同字段的文檔定義一個(gè)類型。比如說,我們假設(shè)運(yùn)營一個(gè)博客平臺并且將所有的數(shù)據(jù)存儲到一個(gè)索引中。在這個(gè)索引中,可以為用戶數(shù)據(jù)定義一個(gè)類型,為博客數(shù)據(jù)定義另一個(gè)類型,當(dāng)然,也可以為評論數(shù)據(jù)定義另一個(gè)類型?！?、文檔〔document文檔是指可被索引的基礎(chǔ)信息單元。比如,你可以擁有某一個(gè)客戶的文檔,某一個(gè)產(chǎn)品的一個(gè)文檔,當(dāng)然,也可以擁有某個(gè)訂單的一個(gè)文檔。文檔以JSON〔JavascriptObjectNotation格式來表示,而JSON是一個(gè)普遍存在的互聯(lián)網(wǎng)數(shù)據(jù)交互格式。在一個(gè)index/type里面,可以存儲任意多的文檔。注意,盡管一個(gè)文檔物理上存在于一個(gè)索引之中,但文檔必須被賦予一個(gè)索引的type?！?、分片和復(fù)制〔shards&replicas一個(gè)索引可以存儲超出單個(gè)節(jié)點(diǎn)磁盤限制的大量數(shù)據(jù)。比如以下情況,一個(gè)具有10億文檔的索引占據(jù)1TB的磁盤空間,而集群中任一節(jié)點(diǎn)都沒有這樣大的磁盤空間；或者單個(gè)節(jié)點(diǎn)處理搜索請求,響應(yīng)太慢。為了解決此問題,Elasticsearch提供了將索引劃分成多份的能力,這些份就叫做分片。當(dāng)創(chuàng)建一個(gè)索引的時(shí)候,可以指定想要的分片的數(shù)量。每個(gè)分片本身也是一個(gè)功能完善并且獨(dú)立的"索引",這個(gè)"索引"可以被放置到集群中的任何節(jié)點(diǎn)上。分片之所以重要,主要有兩方面的原因：A.允許水平分割/擴(kuò)展內(nèi)容容量B.允許在分片〔潛在地,位于多個(gè)節(jié)點(diǎn)上之上進(jìn)行分布式的、并行的操作,進(jìn)而提高性能/吞吐量至于一個(gè)分片怎樣分布,它的文檔怎樣聚合搜索請求,是完全由Elasticsearch管理的,用戶對此是透明的。在一個(gè)網(wǎng)絡(luò)/云的環(huán)境里,失敗隨時(shí)都可能發(fā)生,在某個(gè)分片/節(jié)點(diǎn)無原因就處于離線狀態(tài),或者由于任何原因消失了的情況下,Elasticsearch提供一個(gè)故障轉(zhuǎn)移機(jī)制,它允許你創(chuàng)建分片的一份或多份拷貝,這些拷貝叫做復(fù)制分片,或者直接叫復(fù)制。復(fù)制之所以重要,有兩個(gè)主要原因：A.在分片/節(jié)點(diǎn)失敗的情況下,提供了高可用性。因?yàn)檫@個(gè)原因,注意到復(fù)制分片從不與原/主要〔original/primary分片置于同一節(jié)點(diǎn)上是非常重要的。B.擴(kuò)展你的搜索量/吞吐量,因?yàn)樗阉骺梢栽谒械膹?fù)制上并行運(yùn)行總之,每個(gè)索引可以被分成多個(gè)分片。一個(gè)索引也可以被復(fù)制0次〔意思是沒有復(fù)制或多次。一旦復(fù)制了,每個(gè)索引就有了主分片〔作為復(fù)制源的原來的分片和復(fù)制分片〔主分片的拷貝之別。分片和復(fù)制的數(shù)量可以在索引創(chuàng)建的時(shí)候指定。在索引創(chuàng)建之后,可以在任何時(shí)候動(dòng)態(tài)地改變復(fù)制的數(shù)量,但是事后不能改變分片的數(shù)量。默認(rèn)情況下,Elasticsearch中的每個(gè)索引被分片5個(gè)主分片和1個(gè)復(fù)制,這意味著,如果你的集群中至少有兩個(gè)節(jié)點(diǎn),你的索引將會有5個(gè)主分片和另外5個(gè)復(fù)制分片〔1個(gè)完全拷貝,這樣的話每個(gè)索引總共就有10個(gè)分片。1.2.3Logstash介紹Logstash的主要功能是收集和過濾,類似于shell中的管道符"|"。它的工作過程是將數(shù)據(jù)進(jìn)行收集,并對收集的入職根據(jù)策略進(jìn)行分類和過濾,最后進(jìn)行輸出.實(shí)際上,Logstash是用不同的線程來實(shí)現(xiàn)收集、過濾、輸出功能的,可運(yùn)行top命令然后按下H鍵查看線程。數(shù)據(jù)在線程之間以事件的形式流傳。并且,logstash可以處理多行事件。Logstash會給事件添加一些額外信息。其中最重要的就是@timestamp,是用來標(biāo)記事件的發(fā)生時(shí)間。因?yàn)檫@個(gè)字段涉及到Logstash的內(nèi)部流轉(zhuǎn),所以必須是一個(gè)json對象,如果自定義給一個(gè)字符串字段重命名為@timestamp的話,Logstash會直接報(bào)錯(cuò),那么就需要使用filters/date插件來管理這個(gè)特殊字段。額外信息還包括以下幾個(gè)概念：A.host標(biāo)記事件發(fā)生在哪里。B.type標(biāo)記事件的唯一類型。C.tags標(biāo)記事件的某方面屬性。這是一個(gè)數(shù)組,一個(gè)事件可以有多個(gè)標(biāo)簽。也可以自定義個(gè)事件添加字段或者從事件里刪除字段。事實(shí)上事件本身就是是一個(gè)Ruby對象。1.2.4Kibana介紹Kibana是一個(gè)開源的分析與可視化平臺,用于和Elasticsearch一起使用,可以用kibana搜索、查看、交互存放在Elasticsearch索引里的數(shù)據(jù),使用各種不同的圖表、表格、地圖等kibana能夠很輕易地展示高級數(shù)據(jù)分析與可視化。Kibana對大量數(shù)據(jù)的呈現(xiàn)非常清晰。它簡單、基于瀏覽器的接口能快速創(chuàng)建和分享實(shí)時(shí)展現(xiàn)Elasticsearch查詢變化的動(dòng)態(tài)儀表盤。Kibana支持LInux、Windows等操作系統(tǒng)。版本要求：Kibana要求安裝版本要和Elasticsearch一致。Kibana版本Elasticsearch版本是否支持5.X2.X不支持5.15.0不支持5.15.1支持5.15.2支持<會有提示升級的警告>支持本次安裝部署的Kibana版本為版本,對應(yīng)Elasticsearch版本為版本。ELK安裝配置2.1系統(tǒng)架構(gòu)介紹此架構(gòu)的工作流程是Logstashagent〔shipper監(jiān)控并過濾客戶端日志,將過濾后的日志內(nèi)容發(fā)給Redis〔indexer,此處的Redis既充當(dāng)消息隊(duì)列的角色,由于其優(yōu)越的持久化機(jī)制也被用來做緩存,然后LogstashServer〔indexer從Redis的對應(yīng)位置拿出日志數(shù)據(jù),并將其輸出到ElasticSearch中,ElasticSearch獲取到數(shù)據(jù)后開始生產(chǎn)索引,然后使用Kibana進(jìn)行頁面展示。這是一個(gè)完成的日志收集、存儲、檢索流程。2.2安裝ElasticsearchOS:Centos6.5elk-node1：elk-node2：在兩臺主機(jī)上分別安裝Elasticsearch。準(zhǔn)備工作：、關(guān)閉防火墻、Selinux#iptables-F#chkconfigiptablesoff#setenforce0#vim/etc/sysconfig/selinux改為：SELINUX=disabled、配置java環(huán)境#yuminstall-yjava#java-versionjavaversion"1.7.0_151"OpenJDKRuntimeEnvironment<rhel-.el6_9-x86_64u151-b00>OpenJDK64-BitServerVM<build24.151-b00,mixedmode>、配置主機(jī)信息node1、node2節(jié)點(diǎn)分別配置：其中node1是master,node2是slave#vim/etc/hosts8elk-node17elk-node22.2.1Yum方式安裝〔1、下載并安裝GPG-Key#rpm--import〔2、添加yum倉庫[elasticsearch-2.x]name=Elasticsearchrepositoryfor2.xpackagesgpgcheck=1enabled=1〔3、安裝elasticsearch#yuminstall-yelasticsearch〔4、安裝測試軟件注：提前先下載安裝epel源：,否則yum會報(bào)錯(cuò):NoPackage#yuminstall-yredis#yuminstall-ynginx〔5、部署配置#mkdir-p/data/es-dataelk-node1：#vim/etc/elasticsearch/elasticsearch.yml:nova##集群名稱:elk-node1##節(jié)點(diǎn)名,建議和主機(jī)一致node.master:true##指定該節(jié)點(diǎn)是否有資格被選舉成為masternode,默認(rèn)是true,es是默認(rèn)集群中的第一臺機(jī)器為master,如果這臺機(jī)掛了就會重新選舉master。node.data:false##指定該節(jié)點(diǎn)是否存儲索引數(shù)據(jù),默認(rèn)為true。path.data:/data/es-data##數(shù)據(jù)存放路徑path.logs:/var/log/elasticsearch/##日志存放文件bootstrap.memory_lock:true##內(nèi)存鎖機(jī)制,鎖住內(nèi)存,不被使用到交換分區(qū)去##網(wǎng)絡(luò)主機(jī)訪問權(quán)限設(shè)置http.port:9200##web端口elk-node2：#vim/etc/elasticsearch/elasticsearch.yml:nova##集群名稱:elk-node2##節(jié)點(diǎn)名,建議和主機(jī)一致node.master:false##指定該節(jié)點(diǎn)是否有資格被選舉成為masternode,默認(rèn)是true,默認(rèn)集群中的第一臺機(jī)器為master,如果這臺機(jī)掛了就會重新選舉master。node.data:true##指定本節(jié)點(diǎn)為數(shù)據(jù)存儲節(jié)點(diǎn)path.data:/data/es-data##數(shù)據(jù)存放路徑path.logs:/var/log/elasticsearch/##日志存放文件bootstrap.memory_lock:true##內(nèi)存鎖機(jī)制,鎖住內(nèi)存,不被使用到交換分區(qū)去##網(wǎng)絡(luò)主機(jī)訪問權(quán)限設(shè)置http.port:9200##web端口discovery.zen.ping.multicast.enabled:false##多播自動(dòng)發(fā)現(xiàn)禁用開關(guān),當(dāng)前設(shè)置為關(guān)閉discovery.zen.ping.unicast.hosts:["8","7"]#chown-Relasticsearch.elasticsearch/data/〔6、啟動(dòng)服務(wù)#/etc/init.d/elasticsearchstartStartingelasticsearch:[OK]#chkconfigelasticsearchon#/etc/init.d/elasticsearchstatuselasticsearch<pid2309>isrunning...#netstat-antplu|egrep"9200|9300"tcp00:::9200:::*LISTEN2309/javatcp00:::9300:::*LISTEN2309/java、驗(yàn)證1、web瀏覽器訪問打開瀏覽器〔最好是google瀏覽器,輸入IP+端口：8:9200,查看界面顯示。驗(yàn)證正確。2、通過命令的方式查看注：即可在本機(jī)查看,也可在其他主機(jī)查看。#curl-i-XGET'8:9200/_count?pretty'-d'{"query":{"match_all":{}}}'HTTP/1.1200OK##訪問成功Content-Type:application/json;charset=UTF-8Content-Length:95{"count":0,"_shards":{"total":0,"successful":0,"failed":0}}2.2.2源碼安裝、獲取源碼包,并保存在系統(tǒng)/usr/local/src中。、解壓安裝#cd/usr/local/src#mvelasticsearch-2.4.6/usr/loca/es、創(chuàng)建es用戶及數(shù)據(jù)目錄#groupaddes#useradd-geses#mkdir-r/data/es-data#chown-Res:es/data/es-data#mkdir-r/var/log/elasticsearch#chown-Res:es/var/log/elasticsearch、es配置#vim/usr/local/es/config/elasticsearch.yml注：配置參數(shù)時(shí),需要先設(shè)置一個(gè)空格,否則啟動(dòng)時(shí)會報(bào)錯(cuò)。::elk-node3node.master:falsenode.data:truepath.data:/data/es-datapath.logs:/data/logs/espath.logs:/data/logs/eshttp.port:9200discovery.zen.ping.multicast.enabled:falsediscovery.zen.ping.unicast.hosts:["8","7","8"]、啟動(dòng)源碼安裝的es不能使用root用戶啟動(dòng),必須使用創(chuàng)建好的普通用戶進(jìn)行啟動(dòng)。#su-es$/usr/local/es/bin/elasticsearch&[2017-09-2923:57:38,334][WARN][bootstrap]unabletoinstallsyscallfilter:seccompunavailable:CONFIG_SECCOMPnotcompiledintokernel,CONFIG_SECCOMPandCONFIG_SECCOMP_FILTERareneeded[2017-09-2923:57:38,346][WARN][bootstrap]UnabletolockJVMMemory:error=12,reason=Cannotallocatememory[2017-09-2923:57:38,346][WARN][bootstrap]ThiscanresultinpartoftheJVMbeingswappedout.[2017-09-2923:57:38,346][WARN][bootstrap]IncreaseRLIMIT_MEMLOCK,softlimit:65536,hardlimit:65536[2017-09-2923:57:38,346][WARN][bootstrap]Thesecanbeadjustedbymodifying/etc/security/limits.conf,forexample: #allowuser'es'mlockall essoftmemlockunlimited eshardmemlockunlimited[2017-09-2923:57:38,347][WARN][bootstrap]Ifyouareloggedininteractively,youwillhavetore-loginforthenewlimitstotakeeffect.[2017-09-2923:57:38,704][INFO][node][elk-node3]version[2.4.6],pid[3375],build[5376dca/2017-07-18T12:17:44Z][2017-09-2923:57:38,704][INFO][node][elk-node3]initializing...[2017-09-2923:57:39,167][INFO][plugins][elk-node3]modules[lang-groovy,reindex,lang-expression],plugins[],sites[][2017-09-2923:57:39,205][INFO][env][elk-node3]using[1]datapaths,mounts[[/</dev/mapper/vg_nginx-lv_root>]],netusable_space[33.2gb],nettotal_space[36.8gb],spins?[possibly],types[ext4][2017-09-2923:57:39,205][INFO][env][elk-node3]heapsize[1015.6mb],compressedordinaryobjectpointers[true][2017-09-2923:57:39,205][WARN][env][elk-node3]maxfiledescriptors[4096]forelasticsearchprocesslikelytoolow,considerincreasingtoatleast[65536][2017-09-2923:57:40,645][INFO][node][elk-node3]initialized[2017-09-2923:57:40,645][INFO][node][elk-node3]starting...[2017-09-2923:57:40,691][INFO][transport][elk-node3]publish_address{8:9300},bound_addresses{[::]:9300}[2017-09-2923:57:40,695][INFO][discovery][elk-node3]nova/DSP41KSoR2C_RdXJNPO4zg顯示以上信息表示es啟動(dòng)成功。$netstat-antplu|grepjavatcp00:::9200:::*LISTEN3375/javatcp00:::9300:::*LISTEN3375/java端口已開啟。驗(yàn)證：$curl-i-XGET'8:9200/_count?pretty'-d'{"query":{"match_all":{}}}'HTTP/1.1200OKContent-Type:application/json;charset=UTF-8Content-Length:98{"count":78,"_shards":{"total":21,"successful":21,"failed":0}}驗(yàn)證正常。2.2.3head插件安裝、方法一：直接安裝#/usr/share/elasticsearch/bin/plugininstallmobz/elasticsearch-head安裝完成,進(jìn)行驗(yàn)證。打開瀏覽器,輸入8:9200/_plugin/head/,查看顯示結(jié)果。插件安裝成功。刪除插件：#/usr/share/elasticsearch/bin/pluginlistInstalledpluginsin/usr/share/elasticsearch/plugins:-head##當(dāng)前已安裝插件#/usr/share/elasticsearch/bin/pluginremovehead->Removinghead...Removedhead##刪除成功注：源碼安裝的es,在安裝head插件后,重啟會報(bào)錯(cuò)。報(bào)錯(cuò)信息：Exceptioninthread"main"java.lang.IllegalArgumentException:Property[version]ismissingforplugin[head]解決方案：#vim/usr/local/es/plugins/head/pertiesdescription=head-Awebfrontendforanelasticsearchclusterversion=mastersite=truename=head然后進(jìn)行重啟,重啟后正常。、方法二：源碼安裝head插件包百度云盤下載：,提取密碼：ifj7#cd/usr/local/src/#unzipelasticsearch-head-master.zip#cd/usr/share/elasticsearch/plugins/#mkdirhead#cdhead/#cp-r/usr/local/src/elasticsearch-head-master/*./#chown-Relasticsearch:elasticsearch/usr/share/elasticsearch/plugins#/etc/init.d/elasticsearchrestart#curl-i-XGET'8:9200/_count?pretty'-d'{"query":{"match_all":{}}}'命令測試插件安裝成功。Web界面顯示正確,說明插件安裝成功。2.2.4實(shí)例測試、插入數(shù)據(jù)實(shí)例測試打開"復(fù)合查詢",在POST選項(xiàng)下,任意輸入如/index-demo/test,然后在下面輸入數(shù)據(jù),查看返回結(jié)果。注：內(nèi)容之間換行的逗號不要漏掉點(diǎn)擊"驗(yàn)證JSON"->"提交請求",提交成功后,觀察右欄里出現(xiàn)的信息：有index,type,version等信息,failed:0〔成功消息測試成功。、實(shí)例測試選擇"復(fù)合查詢"選項(xiàng),選擇GET選項(xiàng),在/index-demo/test/后面輸入上面POST結(jié)果中的id號,不輸入內(nèi)容,即{}括號里為空！點(diǎn)擊"驗(yàn)證JSON"和"提交請求",觀察右欄內(nèi)顯示結(jié)果。結(jié)果中有上述插入的數(shù)據(jù),這就是elasticsearch檢索功能的具體體現(xiàn)。、實(shí)例查詢打開"基本查詢",查看下數(shù)據(jù),如下,即可查詢到〔1步驟中插入的數(shù)據(jù)。打開"數(shù)據(jù)瀏覽",也能查看到插入的數(shù)據(jù)。其中也可通過mesg和user關(guān)鍵字檢索相應(yīng)數(shù)據(jù)。2.2.5kopf監(jiān)控插件、方法一#/usr/share/elasticsearch/bin/plugininstalllmenezes/elasticsearch-kopf安裝成功。、方法二：源碼安裝#wget/lmenezes/elasticsearch-kopf/archive/master.zip#unzipmaster.zip#cd/usr/share/elasticsearch/plugins/#mkdirkopf#cdkopf#cp-r/usr/local/src/elasticsearch-kopf-master/*./#chown-Relasticsearch:elasticsearch/usr/share/elasticsearch/plugins#/etc/init.d/elasticsearchrestartStoppingelasticsearch:[FAILED]Startingelasticsearch:[OK]測試驗(yàn)證：2.3安裝Logstash安裝包：2.3.1下載源碼安裝包2.3.2安裝#tar-xvf2.3.3配置環(huán)境#vim/etc/profileexportPATH=$PATH:/usr/local/logstash/bin#source/etc/profile2.3.4重啟elasticsearch#/etc/init.d/elasticsearchrestart2.3.5數(shù)據(jù)測試logstash常用參數(shù)：-e:指定logstash的配置信息,可以用于快速測試;-f:指定logstash的配置文件；可以用于生產(chǎn)環(huán)境;〔1、基本輸入輸出〔數(shù)據(jù)未寫入elasticsearch中#logstash-e'input{stdin{}}output{stdout{}}'Settings:Defaultfilterworkers:1Logstashstartupcompletedhello##輸入2017-09-19T18:51:29.082Zhello##輸出world ##輸入2017-09-19T18:51:38.151Zworld ##輸出〔2、使用rubydebug詳細(xì)輸出〔數(shù)據(jù)未寫入elasticsearch中#logstash-e'input{stdin{}}output{stdout{codec=>rubydebug}}'Settings:Defaultfilterworkers:1Logstashstartupcompletedhello##輸入{ ##輸出下面信息"message"=>"hello","@version"=>"1","@timestamp"=>"2017-09-19T19:32:44.701Z","host"=>""}world ##輸入{ ##輸出線面信息"message"=>"world","@version"=>"1","@timestamp"=>"2017-09-19T19:32:55.357Z","host"=>""}、把輸入內(nèi)容輸出到elasticsearch中#logstash-e'input{stdin{}}output{elasticsearch{hosts=>["9:19200"]}}'Settings:Defaultfilterworkers:1Logstashstartupcompleted123456 ##輸入內(nèi)容novahelloworldSIGINTreceived.Shuttingdownthepipeline.{:level=>:warn}Logstashshutdowncompleted注：使用rubydebug和寫到elasticsearch中的區(qū)別：其實(shí)就在于后面標(biāo)準(zhǔn)輸出的區(qū)別,前者使用codec；后者使用elasticsearch。測試：寫到elasticsearch中內(nèi)容在logstash中查看,如下圖：注：master收集到日志后,會把一部分?jǐn)?shù)據(jù)碎片到salve上〔隨機(jī)的一部分?jǐn)?shù)據(jù),master和slave又都會各自做副本,并把副本放到對方機(jī)器上,這樣就保證了數(shù)據(jù)不會丟失。如下,master收集到的數(shù)據(jù)放到了自己的第3分片上,其他的放到了slave的第0,1,2,4分片上?！?、elasticsearch查看〔2、Logstash查看〔3、文本查看〔4、既寫到elasticsearch中又寫到文件中#logstash-e'input{stdin{}}output{elasticsearch{hosts=>["9:19200"]}stdout{codec=>rubydebug}}'Settings:Defaultfilterworkers:1Logstashstartupcompletedyangguoqiang##輸入 { ##輸出內(nèi)容"message"=>"yangguoqiang","@version"=>"1","@timestamp"=>"2017-09-19T21:02:36.313Z","host"=>""}nihao ##輸入{ ##輸出內(nèi)容"message"=>"nihao","@version"=>"1","@timestamp"=>"2017-09-19T21:02:39.163Z","host"=>""}Logstashshutdowncompleted注：以上文本可以長期保留、操作簡單、壓縮比大。驗(yàn)證：輸出信息被記錄在文本中,可實(shí)時(shí)查詢。2.3.6logstash的配置和文件編寫參考文檔：#mkdir/etc/logstash、logstash的配置input{stdin{}}output{elasticsearch{hosts=>["9:19200"]}stdout{codec=>rubydebug}}執(zhí)行：Settings:Defaultfilterworkers:1Logstashstartupcompletedbeijing##輸入信息{ ##輸出信息"message"=>"beijing","@version"=>"1","@timestamp"=>"2017-09-20T09:00:46.581Z","host"=>""}驗(yàn)證： 〔2、收集系統(tǒng)日志配置#vim/etc/logstash/log_file.confinput{file{path=>"/var/log/messages"type=>"system"start_position=>"beginning"}}output{elasticsearch{hosts=>["9:19200"]index=>"system-%{+YYYY.MM.dd}"}}驗(yàn)證：、收集java日志,其中包含上面講到的系統(tǒng)日志收集#vim/etc/logstash/log_java.confinput{ ##系統(tǒng)日志輸入file{path=>"/var/log/messages"type=>"system"start_position=>"beginning"}}input{ ##es-error日志輸入file{path=>"/var/log/elasticsearch/nova.log"type=>"es-error"start_position=>"beginning"}}output{ ##輸出到es中if[type]=="system"{elasticsearch{hosts=>["9:19200"]index=>"system-%{+YYYY.MM.dd}"}}if[type]=="es-error"{ ##判斷日志type,如果符合es-error字段,則輸出到es中。elasticsearch{hosts=>["9:19200"]index=>"es-error-%{+YYYY.MM.dd}"}}}注：如果你的日志中有type字段那你就不能在conf文件中使用type驗(yàn)證：案例〔3中是將每個(gè)報(bào)錯(cuò)收集成一行內(nèi)容,并不是按照一個(gè)報(bào)錯(cuò)、一個(gè)時(shí)間模塊方式收集的。、以事件方式收集報(bào)錯(cuò)信息#vim/etc/logstash/multiline.confinput{stdin{codec=>multiline{pattern=>"^\[INFO"negate=>truewhat=>"previous"}}}output{stdout{codec=>"rubydebug"}}執(zhí)行:#logstash-fmultiline.confSettings:Defaultpipelineworkers:2Pipelinemainstarted123 ##輸入456[123{ ##輸出"@timestamp"=>"2017-09-20T14:36:59.487Z","message"=>"123\n456","@version"=>"1","tags"=>[[0]"multiline"],"host"=>""}123] ##輸入[456]{ ##輸出"@timestamp"=>"2017-09-20T14:37:36.771Z","message"=>"[123\n123]","@version"=>"1","tags"=>[[0]"multiline"],"host"=>""}Pipelinemainhasbeenshutdownstoppingpipeline{:id=>"main"}注：在沒有遇到"["的時(shí)候,系統(tǒng)不會收集,只有遇見"["的時(shí)候,才算是一個(gè)事件,才收集起來。2.4Kibana安裝配置node:elk-node22.4.1安裝kibana#cd/usr/local/src#wget#mvkibana-4.3.1-linux-x64/usr/local/kibana2.4.2配置kibana#vim/usr/local/kibana/config/kibana.ymlserver.port:5601server.host:""9:19200"kibana.index:".kibana"#/usr/local/kibana/bin/kibana&#netstat-antplu|grepnodetcp00:5601:*LISTEN8716/node驗(yàn)證：打開瀏覽器,輸入：7:5601,點(diǎn)擊Setting進(jìn)行設(shè)置。2.4.3KibanaWeb界面介紹〔1、Setting窗口點(diǎn)擊"Create"進(jìn)行創(chuàng)建一個(gè)index或者Pattern,用于在分析時(shí)確定ES中的Index。Kibana會自動(dòng)加載該Index下doc的field,并自動(dòng)選擇合適的field用于圖標(biāo)中的時(shí)間字段：注：這里輸入的index或Pattern項(xiàng)必須為之前l(fā)ogstash中配置好的index。點(diǎn)擊"Discover",注意右上角是查詢的時(shí)間范圍。如果沒有查找到數(shù)據(jù),那么就需要需調(diào)整這個(gè)時(shí)間范圍。選擇時(shí)間段后,就可看到ES中的數(shù)據(jù)信息。關(guān)鍵字搜索：點(diǎn)擊右邊的保存按鈕,保存該查詢?yōu)閘ocalhost_logs,點(diǎn)擊Sava保存。〔2、Visualize窗口接下來去Visualize頁面,點(diǎn)擊新建一個(gè)柱狀圖〔VerticalBarChart,然后選擇剛剛保存的查詢localhost_logs。之后,Kibana將生成類似于下圖的柱狀圖〔只有1條日志,而且是在同一時(shí)間段的,比較丑,但足可以說明問題在左邊設(shè)置圖形的各項(xiàng)參數(shù),點(diǎn)擊ApplyChanges按鈕,右邊的圖形將被更新。同理,其他類型的圖形都可以實(shí)時(shí)更新。點(diǎn)擊右邊的保存,保存此圖,命名為localhost_logs_visual。〔3、Dashboard窗口切換到Dashboard頁面,單擊新建按鈕,選擇剛剛保存的search_all_logs_visual圖形,面板上將展示該圖。如果有較多數(shù)據(jù),我們可以根據(jù)業(yè)務(wù)需求和關(guān)注點(diǎn)在Dashboard頁面添加多個(gè)圖表：柱形圖,折線圖,地圖,餅圖等等。當(dāng)然,我們可以設(shè)置更新頻率,讓圖表自動(dòng)更新。如果設(shè)置的時(shí)間間隔夠短,就很趨近于實(shí)時(shí)分析了。到這里,ELK平臺部署和基本的測試已完成。三ELK+Redis架構(gòu)安裝部署如果生產(chǎn)環(huán)境使用Logstashagent直接連接ELK,則會出現(xiàn)以下這個(gè)問題：一旦Elasticsearch出現(xiàn)問題,就不能進(jìn)行日志采集處理了！這種情況下該怎么辦呢？解決方案：可以在Client和Elasticsearch之間添加一個(gè)中間件作為緩存,先將采集到的日志內(nèi)容寫到中間件上,然后再從中間件輸入到Elasticsearch中。這就比較完美的解決了上述的問題了。3.1Redis安裝配置3.1.1安裝依賴性#yumrepolist##獲取當(dāng)前有效rpm包。#yum-yinstallgccgcc-c++makegmakecmakezlibtcl##安裝依賴性下載源碼包,安裝redis#cd/usr/local/src##進(jìn)入軟件包目錄〔規(guī)范化#wget\\下載軟件包#tar-xzfredis-3.2.9.tar.gz##解壓并進(jìn)入redis目錄#cdredis-3.2.9##解壓并進(jìn)入redis目錄#./runtest##運(yùn)行測試#makeMALLOC=libc##預(yù)編譯編譯安裝#maketest##編譯測試#cdsrc##進(jìn)入src目錄安裝#makePREFIX=/usr/local/redisinstall##編譯安裝#cdutils/#.src/install_server.sh//腳本執(zhí)行后,所有選項(xiàng)都以默認(rèn)參數(shù)為準(zhǔn)即可Pleaseselecttheredisportforthisinstance:[6379] ##此處回車,可設(shè)置Selectingdefault:6379Pleaseselecttheredisconfigfilename[/etc/redis/6379.conf] ##此處回車,可設(shè)置Selecteddefault-/etc/redis/6379.confPleaseselecttheredislogfilename[/var/log/redis_6379.log] ##此處回車,可設(shè)置Selecteddefault-/var/log/redis_6379.logPleaseselectthedatadirectoryforthisinstance[/var/lib/redis/6379] ##此處回車,可設(shè)置Selecteddefault-/var/lib/redis/6379Pleaseselecttheredisexecutablepath[] ##默認(rèn)為[],設(shè)置為/usr/local/redis/bin/redis-serverSelectedconfig:Port:6379Configfile:/etc/redis/6379.confLogfile:/var/log/redis_6379.logDatadir:/var/lib/redis/6379Executable:/usr/local/bin/redis-serverCliExecutable:/usr/local/bin/redis-cliIsthisok?ThenpressENTERtogoonorCtrl-Ctoabort.##此處回車Copied/tmp/6379.conf=>/etc/init.d/redis_6379Installingservice...Successfullyaddedtochkconfig!Successfullyaddedtorunlevels345!##運(yùn)行等級為345StartingRedisserver...Installationsuccessful!3.1.3配置redis#vim/usr/local/redis/etc/6379.confport6379tcp-backlog511timeout60stcp-keepalive300daemonizeyessupervisednopidfile/var/run/redis_6379.pidloglevelnoticelogfile/var/log/redis_6379.logdatabases16save9001save30010save6010000stop-writes-on-bgsave-erroryesrdbcompressionyesrdbchecksumyesdbfilenamedump.rdbdir/var/lib/redis/6379repl-diskless-syncnorepl-diskless-sync-delay5repl-timeout60repl-disable-tcp-nodelaynorequirepassmimamaxclients10000maxmemory256mmaxmemory-policyvolatile-ttlmaxmemory-samples5appendonlynoappendfilename"appendonly.aof"appendfsyncalwaysno-appendfsync-on-rewritenoauto-aof-rewrite-percentage100auto-aof-rewrite-min-size64mbaof-load-truncatedyeslua-time-limit5000slowlog-log-slower-than10000slowlog-max-len128latency-monitor-threshold0notify-keyspace-events""hash-max-ziplist-entries128hash-max-ziplist-value1024list-max-ziplist-size-2list-compress-depth0set-max-intset-entries512zset-max-ziplist-entries128zset-max-ziplist-value64hll-sparse-max-bytes3000activerehashingyesclient-output-buffer-limitnormal000client-output-buffer-limitpubsub32mb8mb60hz10aof-rewrite-incremental-fsyncyes3.1.4設(shè)置守護(hù)進(jìn)程/etc/init.d/redis#chmod755/etc/init.d/redis#vim/etc/init. d/redis#!/bin/sh#SimpleRedisinit.dscriptconceivedtoworkonLinuxsystems#asitdoesuseofthe/procfilesystem.#chkconfig:-5874#description:Redis_6379isapersistentkey-valuedatabaseREDISPORT=6379EXEC=/usr/local/redis/bin/redis-serverCLIEXEC=/usr/local/redis/bin/redis-cliPIDFILE=/var/run/redis_${REDISPORT}.pidCONF="/etc/redis/${REDISPORT}.conf"case"$1"instart>if[-f$PIDFILE]thenecho"$PIDFILEexists,processisalreadyrunningorcrashed"elseecho"StartingRedisserver..."$EXEC$CONFfiecho"Redisstart";;stop>if[!-f$PIDFILE]thenecho"$PIDFILEdoesnotexist,processisnotrunning"elsePID=$<cat$PIDFILE>echo"Stopping..."$CLIEXEC-a"mima"-p$REDISPORTshutdownwhile[-x/proc/${PID}]doecho"WaitingforRedistoshutdown..."sleep1doneecho"Redisstopped"fi;;status>PID=$<cat$PIDFILE>if[!-x/proc/${PID}]thenecho'Redisisnotrunning'elseecho"Redisisrunning<$PID>"fi;;restart>$0stop$0start;;*>echo"Pleaseusestartorstopasfirstargument";;esac#chkconfig--addredis #添加系統(tǒng)服務(wù)#chkconfigredison #設(shè)置開機(jī)自啟#serviceredisstart##服務(wù)啟動(dòng)#serviceredisstatus##查看服務(wù)狀態(tài)#serviceredisstop##服務(wù)關(guān)閉#serviceredisrestart##服務(wù)重啟3.1.5測試redis#redis-cli-h7-p63797:6379>ping<error>NOAUTHAuthenticationrequired. ##認(rèn)證失敗,即未進(jìn)行密碼認(rèn)證,7:6379>auth"mima"##redis的認(rèn)證方式是auth"密碼",其中密碼是/etc/redis/6379.conf文件中的"requirepass"參數(shù)中OK7:6379>pingPONG7:6379>quit3.2ELK+redis連接配置3.2.1輸出信息到屏幕#vim/etc/logstash/log_redis.conf##logstash+redis配置input{stdin{}}output{stdout{codec=>rubydebug} ##設(shè)置輸出方式,此方式為文本輸出redis{type=>"redis-log"host=>"7" ##主機(jī)password=>"mima" ##認(rèn)證密碼port=>"6379" ##端口db=>"6" ##選擇數(shù)據(jù)庫目錄,自動(dòng)創(chuàng)建data_type=>"list" ##數(shù)據(jù)類型key=>"demo" ##鍵值對}}#logstashagent-flog_redis.conf--verbosestartingagent{:level=>:info}startingpipeline{:id=>"main",:level=>:info}Settings:Defaultpipelineworkers:2Startingpipeline{:id=>"main",:pipeline_workers=>2,:batch_size=>125,:batch_delay=>5,:max_inflight=>250,:level=>:info}Pipelinemainstartednihao ##輸入內(nèi)容{ ##輸出內(nèi)容"message"=>"nihao","@version"=>"1","@timestamp"=>"2017-09-22T11:31:30.082Z","host"=>"elk-node2"}Inputpluginsstopped!Willshutdownfilter/outputworkers.{:level=>:info}Pipelinemainhasbeenshutdownstoppingpipeline{:id=>"main"}Closinginputs{:level=>:info}Closedinputs{:level=>:info}驗(yàn)證：#redis-cli-h7-p6379##登陸redis數(shù)據(jù)庫7:6379>auth"mima"##密碼驗(yàn)證,如果此處沒有進(jìn)行密碼驗(yàn)證,則會報(bào)出錯(cuò)誤,錯(cuò)誤信息如下："NOAUTHAuthenticationrequired."OK7:6379>info##查看redis信息查看#Server##redis版本信息redis_git_sha1:00000000redis_git_dirty:0redis_build_id:2fd0f0229ac00f27redis_mode:standaloneos:Linux2.6.32-696.10.2.el6.x86_64x86_64arch_bits:64multiplexing_api:epoll##gcc版本信息process_id:24757 ##當(dāng)前Redis服務(wù)器進(jìn)程idrun_id:3563e3ab4f6739fde5a523a668bca974b202706etcp_port:6379uptime_in_seconds:357768##運(yùn)行時(shí)長〔秒uptime_in_days:4 ##運(yùn)行時(shí)長〔天hz:10lru_clock:13265422executable:/usr/local/redis/bin/redis-serverconfig_file:/etc/redis/6379.conf#Clientsconnected_clients:1##客戶端連接數(shù)client_longest_output_list:0client_biggest_input_buf:0blocked_clients:0#Memoryused_memory:1001568##Redis分配的內(nèi)存總量used_memory_human:978.09Kused_memory_rss:3497984 ##Redis分配的內(nèi)存總量<包括內(nèi)存碎片>used_memory_rss_human:3.34Mused_memory_peak:2425176used_memory_peak_human:2.31M###Redis所用內(nèi)存的高峰值total_system_memory:4010504192total_system_memory_human:3.74G##系統(tǒng)內(nèi)存總量used_memory_lua:49152used_memory_lua_human:48.00Kmaxmemory:256000000maxmemory_human:244.14Mmaxmemory_policy:volatile-ttlmem_fragmentation_ratio:3.49mem_allocator:libc#Persistenceloading:0rdb_changes_since_last_save:2rdb_bgsave_in_progress:0rdb_last_save_time:1506436853rdb_last_bgsave_status:okrdb_last_bgsave_time_sec:0rdb_current_bgsave_time_sec:-1aof_enabled:0##redis是否開啟了aofaof_rewrite_in_progress:0aof_rewrite_scheduled:0aof_last_rewrite_time_sec:-1aof_current_rewrite_time_sec:-1aof_last_bgrewrite_status:okaof_last_write_status:ok#Statstotal_connections_received:346605##運(yùn)行以來連接過的客戶端的總數(shù)量total_commands_processed:4084150##運(yùn)行以來執(zhí)行過的命令的總數(shù)量instantaneous_ops_per_sec:0total_net_input_bytes:197967251total_net_output_bytes:78672012instantaneous_input_kbps:0.00instantaneous_output_kbps:0.00rejected_connections:0sync_full:0sync_partial_ok:0sync_partial_err:0expired_keys:0evicted_keys:0keyspace_hits:346624keyspace_misses:898947pubsub_channels:0pubsub_patterns:0latest_fork_usec:195migrate_cached_sockets:0#Replicationrole:master##當(dāng)前實(shí)例的角色master還是slaveconnected_slaves:0##當(dāng)前連接slave數(shù)量master_repl_offset:0repl_backlog_active:0repl_backlog_size:1048576repl_backlog_first_byte_offset:0repl_backlog_histlen:0#CPUused_cpu_sys:289.65##CPU 系統(tǒng)使用量used_cpu_user:4.06 ##CPU用戶使用量used_cpu_sys_children:0.01 ##CPU系統(tǒng)子進(jìn)程使用量used_cpu_user_children:0.00 ##CPU用戶子進(jìn)程使用量#Clustercluster_enabled:0 ##集群模式啟動(dòng)#Keyspacedb0:keys=1,expires=0,avg_ttl=0##各個(gè)數(shù)據(jù)庫的key的數(shù)量,以及帶有生存期的key的數(shù)量db1:keys=1,expires=0,avg_ttl=0db6:keys=1,expires=0,avg_ttl=07:6379[1]>select6##選擇db6庫目錄OK7:6379[6]>keys* ##查看當(dāng)前庫目錄下的所有key值1>"demo" ##當(dāng)前庫目錄下只有"demo"一個(gè)key值7:6379[6]>LINDEXdemo1##查看"demo"key的第二個(gè)value"{\"message\":\"2\",\"@version\":\"1\",\"@timestamp\":\"2017-09-26T15:57:10.167Z\",\"host\":\"elk-node2\"}"7:6379[6]>LINDEXdemo-1##查看"demo"key的最后一個(gè)value"{\"message\":\"8\",\"@version\":\"1\",\"@timestamp\":\"2017-09-26T15:57:13.467Z\",\"host\":\"elk-node2\"}"以上實(shí)驗(yàn)證明輸入信息可以正常輸出到redis數(shù)據(jù)庫對應(yīng)庫中,并以key：value簡直對的形式存儲。3.2.2輸出信息到Elasticsearch#vim/etc/logstash/log_es_redis.confinput{redis{host=>"7"password=>"mima"##redis認(rèn)證密碼port=>"6379" ##redis端口db=>"6" ##此處的db庫名應(yīng)與此前寫入redis數(shù)據(jù)庫的庫名一致。data_type=>