1、提提 綱綱ELK基礎(chǔ)知識基礎(chǔ)知識Packetbeat知識介紹知識介紹Watcher知識介紹知識介紹業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研ElasticSearch特點ElasticSearch 是一個基于Apache Lucene的開源數(shù)據(jù)搜索引擎，它的特點有：l實時：可以進行實時的數(shù)據(jù)搜索和分析l分布式：分布式文件存儲，并將每個字段都編入索引lRESTful API：對外提供一系列基于JAVA和HTTP的API，用于索引、查詢、修改大多數(shù)配置lJSON：輸入輸出格式為JSON，快捷方便l多租戶：可根據(jù)不同用途分索引，同時操作多個索引ElasticSearch使用案例l維基百科使用 El

2、asticsearch 來進行全文搜索并高亮顯示關(guān)鍵詞，以及提供search-as-you-type、did-you-mean等搜索建議功能。l英國衛(wèi)報使用 Elasticsearch 來處理訪客日志，以便能將公眾對不同文章的反應(yīng)實時地反饋給各位編輯。lStackOverflow 將全文搜索與地理位置和相關(guān)信息進行結(jié)合，以提供more-like-this相關(guān)問題的展現(xiàn)。lGitHub 使用 Elasticsearch 來檢索超過1300億行代碼。l每天，Goldman Sachs 使用它來處理5TB數(shù)據(jù)的索引，還有很多投行使用它來分析股票市場的變動。ElasticSearch安裝ES的安裝很簡

3、單，可參考官網(wǎng)https:/www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html服務(wù)啟動后測試下是否運行正常：head插件：elasticsearch/bin# ./plugin install mobz/elasticsearch-headKopf插件：elasticsearch/bin# ./plugin install lmenezes/elasticsearch-kopfElasticSearch插件安裝ES插件，來查看集群狀態(tài)、查看數(shù)據(jù)信息等。Logstrash簡介Logstash是一個接

4、收，處理，轉(zhuǎn)發(fā)日志的工具，由Jruby語言編寫，并運行在Java虛擬機上。在Logstrash的生態(tài)系統(tǒng)中主要分為4大組件：lShipper：日志收集者。負責監(jiān)控本地日志文件的變化，及時把日志文件的最新內(nèi)容收集起來，輸出到Redis暫存。lBroker and Indexer：接受并索引化事件lSearch and Storage：允許對時間進行搜索和存儲lWeb Interface：基于WEB的展示頁面Logstrash簡介Logstash使用管道方式進行日志的搜集處理和輸出。主要做3件事：lCollect：數(shù)據(jù)輸入lEnrich：數(shù)據(jù)加工，如過濾，改寫等lTransport：數(shù)據(jù)輸出Kib

5、ana介紹Kibana 是一個使用 Apache 開源協(xié)議，基于瀏覽器的 Elasticsearch 分析和搜索儀表板。Kibana安裝配置Kibana安裝比較簡單，可參考官網(wǎng)https:/www.elastic.co/downloads/kibana默認情況下，Kibana 會連接運行在 localhost 的 Elasticsearch。要連接其他 Elasticsearch 實例，修改kibana.yml 里的 Elasticsearch URL，然后重啟 Kibana。從 Kibana 訪問 Elasticsearch 索引的配置方法1.配置包含時間戳的索引：可以用來做基于時間的處理2

6、.索引定期生成且索引名中包含時間戳：提高搜索性能，Kibana 會至搜索你指定的時間范圍內(nèi)的索引。Kibana-Discover在 Discover 頁交互式探索數(shù)據(jù)。你可以訪問到所匹配的索引模式的每個索引的每條記錄。你可以提交過濾搜索請求，然后查看文檔數(shù) 據(jù)。你還可以看到匹配搜索請求的文檔總數(shù)，獲取字段值的統(tǒng)計情況。如果索引模式配置了時間字段，文檔的時序分布情況會在頁面頂部以柱狀圖的形式展示出來。Kibana-Discover在 Discover 頁提交一個搜索，你就可以搜索匹配當前索引模式的索引數(shù)據(jù)了?？梢灾苯虞斎牒唵蔚恼埱笞址?，也就是用 Lucene query syntax，也可以用

7、完整的基于 JSON 的 Elasticsearch Query DSL。l簡單文本搜索：直接輸入文本字符串l搜索特定字段中的值：格式：字段名:值l搜索值的范圍：格式：字段名:【start_value TO end_value】l指定復(fù)雜搜索標準：使用布爾操作符 AND，OR，NOTkibana-Visualize你可以用 Visualize 頁來設(shè)計可視化?？梢员４婵梢暬蛘吆喜⒌?dashboard 里。創(chuàng)建一個新的可視化：第一步：選擇一個可視化的類型：區(qū)塊圖、折線圖等第二步：選擇數(shù)據(jù)源：可以選擇新建或者讀取一個已保存的搜索，作為你可視化的數(shù)據(jù)源。第三步：可視化編輯器kibana-Visu

8、alize-區(qū)塊圖Y軸是數(shù)值維度，有以下聚合可用Count:返回元素的計數(shù)Average：返回一個數(shù)值字段的平均值Sum：返回一個數(shù)值字段的總和Median：返回一個數(shù)值字段的中間值Min：返回一個數(shù)值字段的最小值Max：返回一個數(shù)值字段的最大值Unique Count：返回一個數(shù)值字段的去重數(shù)值Percentiles：返回一個數(shù)值字段的百分比分布圖形的 X 軸是buckets 維度，指明從你的數(shù)據(jù)集中將要檢索什么信息，支持以下聚合Date Histogram:基于時間的展示Histogram：基于數(shù)值字段創(chuàng)建，指定數(shù)值間隔Range：基于數(shù)值字段創(chuàng)建，指定一系列區(qū)間Date Range：基于

9、時間創(chuàng)建，指定時間區(qū)間IPv4 Range：基于IPv4創(chuàng)建，指定IPv4區(qū)間Terms：展示一個字段的元素值Filters：添加過濾器Significant Terms：展示實驗性聚合結(jié)果kibana-Visualize-區(qū)塊圖kibana-Visualize-區(qū)塊圖kibana-Visualize-折線圖kibana-Visualize-表格數(shù)據(jù)定義metrics表格列，定義 buckets 來切割表格成行kibana-Visualize-Metric為你選擇的聚合顯示一個單獨的數(shù)字kibana-Visualize-餅圖餅圖的分片大小通過 metrics 聚合定義。這個維度可以支持以下聚合

10、：Count:返回元素的計數(shù)Sum：返回一個數(shù)值字段的總和Unique Count：返回一個數(shù)值字段的去重數(shù)值buckets 聚合指明從你的數(shù)據(jù)集中將要檢索什么信息。kibana-Visualize-餅圖kibana-Visualize-豎條圖kibana-Visualize-地圖地圖顯示一個由圓圈覆蓋著的地理區(qū)域。這些圓圈則是由你指定的 buckets 控制地圖使用 Geohash 聚合作為他們的初始化聚合。從下拉菜單中選擇一個坐標字段。Precision 滑動條設(shè)置圓圈在地圖上顯示的顆粒度大小。一旦你定義好了一個 X 軸聚合。你可以繼續(xù)定義子聚合來完善可視化效果。kibana-Dashbo

11、ard一個 Kibana dashboard 能讓你自由排列一組已保存的可視化。然后你可以保存這個儀表板，用來分享或者重載。簡單的儀表板：用戶可以對儀表板做多樣化操作：1.添加可視化到儀表板2.保存儀表板3.加載已保存的儀表板4.定義儀表板元素5.移動容器6.改變?nèi)萜鞔笮?.刪除容器8.修改可視化9.分享儀表板并嵌入到其他用戶的儀表板中ELK 套裝 logstash agent 監(jiān)控并過濾日志，將過濾后的日志內(nèi)容發(fā)給redis(只處理隊列不做存儲)，logstash index將日志收集在一起交給全文搜索服務(wù)ElasticSearch ，通過Kibana 結(jié)合自定義搜索進行頁面展示提提 綱綱E

12、LK基礎(chǔ)知識基礎(chǔ)知識Packetbeat知識介紹知識介紹Watcher知識介紹知識介紹業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研幾種beats在生產(chǎn)環(huán)境中，數(shù)據(jù)搜索需求會更復(fù)雜一些，通過logstash寫正則，實在是個費時費勁的事。而beats就比較簡單高效。beats是一個代理，將不同類型的數(shù)據(jù)發(fā)送到elasticsearch。beats可以直接將數(shù)據(jù)發(fā)送到elasticsearch，也可以通過logstash將數(shù)據(jù)發(fā)送elasticsearch。beats有三個典型的例子：Filebeat、Topbeat、Packetbeat。lFilebeat：用來收集日志lTopbeat：用來收集系

13、統(tǒng)基礎(chǔ)設(shè)置數(shù)據(jù)，如cpu、內(nèi)存、每個進程的統(tǒng)計信息lWinlogbeat：監(jiān)控windows下面的日志信息lPacketbeat：是一個網(wǎng)絡(luò)包分析工具，統(tǒng)計收集網(wǎng)絡(luò)信息。Packetbeat是網(wǎng)絡(luò)協(xié)議抓包和處理的一個框架，用來嗅探和分析網(wǎng)絡(luò)流量，關(guān)聯(lián)他們到事物，并且使用Elasticsearch來分析，然后進行點對點查詢。Packetbeat介紹Packetbeat的安裝很簡單，可參考官網(wǎng)https:/www.elastic.co/downloads/beats/packetbeat配置文件： /etc/packetbeat/packetbeat.yml在ES中加載Packetbeat索引模板

14、，執(zhí)行命令curl -XPUT http:/localhost:9200/_template/packetbeat -d/etc/packetbeat/packetbeat.template.json啟動Packetbeat： sudo /etc/init.d/packetbeat startPacketbeat協(xié)議目前支持了常見的一些協(xié)議：ICMP、DNS、HTTP、MySQL、PostgreSQLRedis、Thrift-RPC、MongoDB、Memcache，也可進行協(xié)議的擴展。協(xié)議擴展開發(fā)可參考：https:/www.elastic.co/guide/en/beats/packetb

15、eat/current/new-protocol.htmlhttp:/ 綱綱ELK基礎(chǔ)知識基礎(chǔ)知識Packetbeat知識介紹知識介紹Watcher知識介紹知識介紹業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研Watcher介紹Watcher是Elasticsearch的一個插件，提供警報和通知，并可定義基于數(shù)據(jù)的變化簡單地定義一個條件，觸發(fā)指定條件后Watcher會執(zhí)行相關(guān)的警報和通知。 幾大功能特點：1.根據(jù)ES數(shù)據(jù)的變化自動觸發(fā)通知如異常登錄失敗、應(yīng)用程序響應(yīng)時間高于平均值，或者發(fā)生意外錯誤時發(fā)送通知。 2.主動監(jiān)控Elasticsearch集群對接Watcher與Marvel服務(wù)?？梢员O(jiān)

16、控集群狀態(tài)，如節(jié)點加入或離開集群，查詢高峰，內(nèi)存使用率太高時候可以發(fā)送通知。 3.自定義通知可以輕松設(shè)置電子郵件通知，也可以既集成到第三方的監(jiān)控服務(wù)，如通過Watcher發(fā)送警報給Nagios，PagerDuty等 4.分析歷史記錄可以在Kibana服務(wù)中查詢Watcher的歷史觸發(fā)記錄,支持嵌套或者多級的通知 5.高可用支持Watcher作為ElasticSearch集群的一部分運行，能夠很好的應(yīng)對部分硬件和網(wǎng)絡(luò)故障。Watcher案例介紹 配置流程： 1.設(shè)置定時器和輸入源(錯誤數(shù)據(jù)的查詢條件) 2.設(shè)置觸發(fā)條件（是否查詢到了錯誤數(shù)據(jù)） 3.設(shè)置觸發(fā)動作(發(fā)現(xiàn)錯誤后執(zhí)行Action)監(jiān)控錯

17、誤數(shù)據(jù)案例，每監(jiān)控錯誤數(shù)據(jù)案例，每10秒搜索一次數(shù)據(jù)，發(fā)現(xiàn)錯誤后，記錄一秒搜索一次數(shù)據(jù)，發(fā)現(xiàn)錯誤后，記錄一條錯誤記錄。條錯誤記錄。 Watcher案例介紹監(jiān)控監(jiān)控ElasticSearch集群狀態(tài)：每集群狀態(tài)：每10秒檢測一次集群狀態(tài)，如果集群狀態(tài)錯秒檢測一次集群狀態(tài)，如果集群狀態(tài)錯誤，則發(fā)送郵件給運維誤，則發(fā)送郵件給運維Watcher在kibana上的監(jiān)控當一個Watcher被觸發(fā)后，watch_record文件被創(chuàng)建且添加到watcher歷史索引中，名稱形式為watch_history-YYYY.MM.dd，可以像其他Elasticsearch索引一樣，搜索watcher歷史，在Kiban

18、a中監(jiān)控和可視化watch的執(zhí)行情況。在Kibana中配置監(jiān)控watches：Watcher在kibana上的監(jiān)控通過kibana監(jiān)控Watcher的歷史數(shù)據(jù)提提 綱綱ELK基礎(chǔ)知識基礎(chǔ)知識Packetbeat知識介紹知識介紹Watcher知識介紹知識介紹業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研開源數(shù)據(jù)分析系統(tǒng)（Moloch、haka、bro、beats）云利來iMAPRiverbed SteelCentral AppResponseBigSwitch自帶分析系統(tǒng)協(xié)議IP、HTTP、DNS、IP Address、Hostname、SSH、IRC、SSL/TLS、DHC

19、P、ICMP、MySQL、PostgreSQL、Redis、Thrift-RPC、MongoDB、MemcacheTCP、UDP、HTTP、DNSIP、HTTP、TCP、UDP、DHCP、ICMP等DHCP、DNS、ICMP字段解析byte、byte_in、byte_out、client_ip、client_port、client_proc、connection_id、source.ip，dest.ip，dest.ipv6，direction，type（thrift、http、mysql、pgsql、mongodb、redis、dns、flow），transport，responsetime，

20、port，source.port，dest.port，ip，，dns.response_code，dns.id，icmp_id，method，status，_bytes_totalbit、in_bit、out_bit、retransmit、server_latency、client_latency、protocol、protocol_dport、byte、packet、sip、dip、p_oo_oder、out_packet、in_packet、syn_receive、province、city、dport、t_gt400、t_flow、status、doma

21、in、url、t_fail、retname、address、amqp-tcp、gre、webm-https-tcp、ssdp-udp、mpc-lifenet-udp、MS-WBT-SRV-TCP、NETBIOS-NS-UDP、mysql-tcp、limnr-udp、vrrp、netbios-dgm-udp（應(yīng)用），payload（server、client）、packet throughput、response time、packet loss、connect faileddhcprequest、dhcppack、chaddr、ciaddr、cname、yiaddr、dhcpoptions、l

22、easetime、hops、xid、dnsmessge、clientip、serverName、qnamelist、eventtype、alias、policyname、sHost、dHost、ipAddr、macAddr告警支持告警，但需后臺腳本或api執(zhí)行創(chuàng)建TCP延遲告警，TCP重傳告警，HTTP延遲告警，HTTP狀態(tài)告警、DDoS提供告警且?guī)椭焖俣ㄎ痪W(wǎng)絡(luò)性能問題的關(guān)鍵業(yè)內(nèi)大數(shù)據(jù)分析系統(tǒng)調(diào)研開源數(shù)據(jù)分析系統(tǒng)（Moloch、haka、bro、beats）云利來iMAPRiverbed SteelCentral AppResponseBigSwitch自帶分析系統(tǒng)可分析協(xié)議展示客戶端地理坐標，web鏈接數(shù)，數(shù)據(jù)庫（mysql、pgsql、mongodb）請求數(shù)，redis發(fā)生數(shù)，RPC發(fā)生數(shù)，響應(yīng)時間分布，錯誤和成功發(fā)生數(shù)，數(shù)據(jù)庫性能，TCP UDP協(xié)議分布，應(yīng)用層協(xié)議分布，UDP流量，TCP流量，TCP響應(yīng)時間，UDP響應(yīng)時間，TCP端口分布，UDP端口分布，ICMP請求數(shù)統(tǒng)計，DNS請求數(shù)統(tǒng)計，服務(wù)器概況TCP流量、TCP重傳率、TCP延遲、TCP流量協(xié)議分布、TCP端口分布、TCP服務(wù)器、TCP包數(shù)、TCP SYN包數(shù)、TC