1、ELK Packetbeat網絡數(shù)據(jù)監(jiān)控、概覽、ELK基本知識Packetbeat知識簡介Watcher知識簡介行業(yè)大規(guī)模數(shù)據(jù)分析系統(tǒng)研究、ElasticSearch功能、ElasticSearch功能、elastic search是Apache luce cearch實時：允許實時數(shù)據(jù)搜索和分析，將分布式文件存儲和每個字段編入索引RESTful API:提供索引、查詢、用于大多數(shù)配置的基于JAVA和HTTP的API JSON:將輸入和輸出格式設置為JSON，快速、輕松的多租戶：可以根據(jù)不同的用途對索引進行分區(qū)并同時操作多個索引。ElasticSearch使用案例，Wikipedia使用Ela

2、sticsearch執(zhí)行全文搜索，姜潮顯示關鍵字，并提供搜索建議功能，如search-as-you-type和did-you-mean。英國衛(wèi)報通過Elasticsearch處理訪問者日志，允許公眾對各種報道的反應實時反饋給編輯。StackOverflow將全文搜索與地理位置和相關信息結合起來，以顯示與more-like-this相關的問題。GitHub使用Elasticsearch搜索超過1300億行代碼。Goldman Sachs用于每天處理5TB數(shù)據(jù)的索引，許多投資線用于分析股票市場的變化。ElasticSearch安裝，ES位于主頁https:/www . elastic . co/g

3、uide/en/elastic search/reference/current/_ installation，Head插件：elastic search/bin #。/plugin install mobz/elastic search-head kopf插件：elastic search/bin #。安裝/plugin install lmenezES/elastic search-kopf、elastic search插件、ES插件以查看群集狀態(tài)、查看數(shù)據(jù)信息等。Logstrash簡介，Logstash是接收、處理和傳遞日志的工具，它以Jruby語言編寫，并在Java虛擬機上運行。Log

4、strash的生態(tài)系統(tǒng)主要分為四個組件：Shipper:log collector。負責監(jiān)視本地日志文件中的更改，及時收集日志文件中的最新內容并將其輸出到Redis暫存。Broker and Indexer:允許搜索和保存事件和索引：web界面：基于web的顯示頁，Logstrash簡介，可以使用管道收集和輸出日志。主要執(zhí)行三個任務：Collect:數(shù)據(jù)輸入Enrich:過濾、復蓋等數(shù)據(jù)處理Transport:數(shù)據(jù)輸出、Kibana介紹、Kibana是Apache開源協(xié)議，它使用基于瀏覽器的Elasticsearch分析和搜索儀表板。Kibana安裝配置，Kibana安裝比較簡單，可以參考主頁

5、https:/www . elastic . co/downloads/Kibana。默認情況下，kiba na連接到在localhost上運行的Elasticsearch。要連接其他Elasticsearch實例，請在kibana.yml中修改Elasticsearch URL，然后重新啟動kibana。從Kibana訪問Elasticsearch索引的配置方法，1 .配置包含時間戳的索引：可以用作基于時間的處理2。定期生成索引，索引名稱包含時間戳：提高搜索性能，Kibana搜索您指定的時間范圍內的索引。在Kibana-Discover、Discover頁上交互檢索數(shù)據(jù)?？梢栽L問匹配索引模式

6、中每個索引的每個記錄。您可以提交篩選器搜索請求并確認文檔數(shù)。您還可以查看與搜索請求匹配的文檔總數(shù)，并獲取字段值的統(tǒng)計信息。如果在索引模式下配置了時間字段，文檔的時間分布將在頁面頂部顯示為條形圖。在Kibana-Discover、Discover頁上提交搜索時，可以搜索與當前索引樣式匹配的索引數(shù)據(jù)。您可以直接輸入簡單請求字符串。這意味著您可以使用Lucenequery syntax，也可以使用完整的基于JSON的Elasticsearch查詢DSL。簡單文本搜索：文本字符串搜索直接輸入特定字段的值。格式：字段名：值搜索值的范圍：格式：字段名： start _ value to end _ val

7、ue指定復雜的搜索標準：布爾運算符AND，OR，not，kiba na-visue可以保存可視化或將其合并到dashboard中。，創(chuàng)建新的可視化：第一步：選擇可視化類型：區(qū)塊圖、折線圖等第二步：選擇數(shù)據(jù)源：選擇新搜索，或者將保存的搜索讀取為可視化數(shù)據(jù)源。第3步：可視化編輯器，kiba na-visualization-方框圖，y軸是數(shù)字維，可以使用以下聚合：Count:返回元素的數(shù)量Average。返回數(shù)字字段的平均值Sum:數(shù)字字段的總和。Median:返回數(shù)字字段的中間值Min。返回數(shù)字字段的最小值。Max:返回數(shù)字字段的最大值。Unique Count:返回數(shù)字字段的數(shù)值。Percen

8、tiles:數(shù)據(jù)塊維(表示要從數(shù)據(jù)集檢索的信息)的百分比分布，日期Histogram :基于時間的顯示Histogram:創(chuàng)建基于數(shù)字字段的顯示，指定數(shù)字間隔Range:創(chuàng)建基于數(shù)字字段的顯示，指定范圍Date Range:創(chuàng)建基于時間的顯示，指定時間間隔iii 用于表行剪切的buckets定義、kiba na-visualization-metric、用戶選擇的聚集的單獨數(shù)字顯示、kiba na-visualization-餅圖以及餅圖的碎片大小是通過metrics聚集定義的。 Count:返回元素的數(shù)量Sum。返回數(shù)字字段的總和。Unique Count:返回數(shù)字字段的數(shù)值，buckets

9、聚合表示要從數(shù)據(jù)集檢索的信息。kiba na-visualization-餅圖、kiba na-visualization-垂直條形圖、kiba na-visualization-地圖和地圖顯示由圓包圍的地理區(qū)域。該圓由使用Geohash聚合作為初始化聚合的用戶指定的buckets控制。從下拉菜單中選擇“坐標”字段。Precision滑塊設置圓在地圖中顯示的顆粒性大小。一旦定義了x軸聚合。要改進可視化，可以繼續(xù)定義子集。使用Kibana-Dashboard、Kibanadashboard可以自由排列已保存的可視化組。然后可以保存、共享或重新加載此儀表板。簡單的儀表板：用戶可以使儀表板多樣化。1

10、 .向儀表板添加可視化2 .保存儀表板3。加載保存的儀表板4。定義儀表板元素5。移動容器6。更改容器大小7。永久刪除貨柜8。視覺化修正9。共享儀表板，包含在其他用戶的儀表板中，ELK軟件包、logstash agent監(jiān)視和篩選日志。將過濾后的日志內容發(fā)送到redis(僅隊列不能處理和存儲)后，logstash index將日志收集到全文搜索服務ElasticSearch中，通過Kibana與自定義搜索一起顯示頁面、概述、ELK基礎知識分子Packetbeat知識介紹Watcher知識介紹業(yè)界大規(guī)模數(shù)據(jù)分析系統(tǒng)調查，多個banaBeats更簡單、更高效。beats是將其他類型的數(shù)據(jù)徐璐傳輸?shù)絜

11、lasticsearch的代理。Beats可以直接將數(shù)據(jù)發(fā)送到elasticsearch，也可以通過logstash發(fā)送到elasticsearch。Beats包含三個典型示例：Filebeat、Topbeat和Packetbeat。Filebeat:用于日志收集Topbeat:用于收集系統(tǒng)首選項數(shù)據(jù)(如CPU、內存、每個進程的統(tǒng)計信息)Winlogbeat:在windows中監(jiān)視日志信息Packetbeat:用于統(tǒng)計收集網絡信息的網絡包分析工具。Packetbeat是網絡協(xié)議捕獲和處理的框架，它可以探測和分析網絡流量，將網絡流量連接到事物，使用Elasticsearch進行分析和點對點查詢。

12、，packetbeat簡介，packetbeat位于主頁https:/www . elastic . co/downloads/beats/packet beat配置文件：/etc /etc/packetbeat，協(xié)議擴展開發(fā)參考：https:/www . elastic . co/guide/en/beats/packet beat/current/new-protocol . html/etc/eetc否則，這是默認端口。Packetbeat簡介、顯示kibana中的Packetbeat視圖：協(xié)議可視化圖表(包括基于Packetbeat創(chuàng)建TCP)、Packetbeat安裝后界面顯示基于H

13、TTP的應用層數(shù)據(jù)分析演示，并允許您在discover頁上查看Packetbeat提供的分析字段：Kibana一章，基于Packetbeat創(chuàng)建TCP的協(xié)議可視化圖表，摘要：由于當前可添加到Packetbeat的字段有限，可視圖標顯示也是相關統(tǒng)計信息，如延遲、重發(fā)、地圖、鏈接分析，概述，ELK基礎知識Packetbeat知識介紹業(yè)界大型數(shù)據(jù)分析系統(tǒng)研究簡介幾個主要特征：1。根據(jù)ES數(shù)據(jù)更改自動觸發(fā)通知，例如例外登錄失敗、平均以上應用產品回應時間或出現(xiàn)意外錯誤時發(fā)送通知。2.Elasticsearch群集塢站預監(jiān)控Watcher和Marvel服務。您可以監(jiān)督叢集狀態(tài)，例如節(jié)點加入或退出叢集、查詢

14、上限、記憶體使用量過高時傳送通知等。3.自定義通知可以方便地設置電子郵件通知，也可以集成到第三方監(jiān)視服務中，如通過Watcher發(fā)送警報(在Nagios、PagerDuty等中)。分析歷史記錄可以從Kibana服務查詢Watcher的歷史觸發(fā)器歷史記錄，并支持嵌套或多步驟通知。5。高可用性支持Watcher作為ElasticSearch群集的一部分運行，可以很好地應對某些硬件和網絡錯誤。Watcher示例簡介，配置過程：1。計時器設置和輸入源(無效數(shù)據(jù)的查詢條件)2。設置觸發(fā)條件(是否查詢了無效數(shù)據(jù))3。設定觸發(fā)動作(發(fā)現(xiàn)錯誤后執(zhí)行Action)、監(jiān)視錯誤資料案例、每10秒擷取資料，以及發(fā)現(xiàn)錯誤后記錄錯誤。watcher案例簡介，ElasticSearch群集狀態(tài)監(jiān)視：每10秒檢測群集狀態(tài)，在群集狀態(tài)無效時將郵件發(fā)送到生產維，在kibana中監(jiān)視Watcher，在觸發(fā)Watcher時創(chuàng)建watch