1、課程介紹課程名稱：日志監(jiān)控告警系統(tǒng)基于的日志進行監(jiān)控，監(jiān)控需要一定規(guī)則，對觸發(fā)監(jiān)控規(guī)則的日志信息進行告警，告警的方式，是短信和郵件。log4j-error,info,debug 應用程序程序的日志 error級別 TimeOutException 角標越界IndexXXXException .Errorcom.alibaba.jstorm.daemon.worker.WorkerData-INFO Current worker taskList:1, 2, 3, 4, 5, 6, 7String.contains.( taskList )-當訂單量觸發(fā)一千萬時，告警通知，讓大家慶祝下。Orde

2、rtotalNum：1000萬課程目標：1、 掌握Storm編程的應用場景及編程模型2、 掌握Storm開發(fā)生態(tài)圈各知識點3、 掌握短信和郵件告警功能課程大綱：1、 背景知識2、 需求分析3、 功能分析4、 架構設計5、 代碼開發(fā)課程內容1、背景知識一款優(yōu)秀的軟件需要具備的特點l 軟件的實用性。所謂有的放矢，軟件的誕生是為了解決特定的問題，比如現在流行的MVC 框架，早期的沒有MVC 開發(fā)的時候，耦合度很大，后期維護更新成本高，難度大，這樣MVC 框架就孕育而生；比如陌陌這種社交軟件，是為了解決陌生人之間交流的問題；比如疼醒這種軟件是為了解決人們遠程溝通的問題；比如OA系統(tǒng)為了解決公司協同流程

3、、項目管理、知識管理等問題所以一款優(yōu)秀的軟件必須能夠解決一個領域內的問題。l 軟件的穩(wěn)定性。軟件的實用性問題解決之后，急需要解決的問題就是軟件的穩(wěn)定性。一般線上系統(tǒng)都會承載企業(yè)的某項業(yè)務，系統(tǒng)的穩(wěn)定性直接影響了業(yè)務是否能夠正常運營。很多創(chuàng)業(yè)公司在前期只注重業(yè)務的發(fā)展，不太在意系統(tǒng)的穩(wěn)定性，一旦用戶兩比較大的之后，就會出現很多性能的問題。這種情況就好比，你找了一個妹子，并準備深入交往后結婚，卻發(fā)現這個妹子總是有很多異性朋友在聯系l 代碼的規(guī)范性鐵打的營盤流水的兵，一款優(yōu)秀的軟件不僅僅是功能的實現。整體架構、功能模塊、代碼注釋、擴展性等問題也也需要考慮，畢竟在一個軟件的生命周期過程中，參與的人實在

4、是太多了，主創(chuàng)人員也可能隨時流式。所以代碼的規(guī)范性就難能可貴了。l 升級保持向前兼容性。如果一個軟件平常使用挺好的，但是升級卻越來越費勁，或者升級后穩(wěn)定性大打折扣，也難以稱得上一個好的軟件。l 基本的使用手冊文檔、文檔、文檔、一個簡單有效的使用手冊，才是程序的王道，知其然才能知其所以然。能讓用戶一目了然，功能、架構、設計思路、代碼等等。2、需求分析隨著公司業(yè)務發(fā)展，支撐公司業(yè)務的各種系統(tǒng)越來越多，為了保證公司的業(yè)務正常發(fā)展，急需要對這些線上系統(tǒng)的運行進行監(jiān)控，做到問題的及時發(fā)現和處理，最大程度減少對業(yè)務的影響。目前系統(tǒng)分類有：1) 有基于Tomcat的web應用2) 有獨立的Java Appl

5、ication應用3) 有運行在linux上的腳本程序4) 有大規(guī)模的集群框架（zookeeper、Hadoop、Storm、SRP）5) 有操作系統(tǒng)的運行日志主要功能需求分為：監(jiān)控系統(tǒng)日志中的內容，按照一定規(guī)則進行過濾發(fā)現問題之后通過短信和郵件進行告警3、功能分析l 數據輸入使用flume客戶端獲取個系統(tǒng)的數據；用戶通過頁面輸入系統(tǒng)名稱、負責人觸發(fā)規(guī)則等信息l 數據存儲使用flume采集數據并存放在kafka集群中l(wèi) 數據計算使用storm編寫程序對日志進行過濾，將滿足過濾規(guī)則的信息，通過郵件短信告警并保存到數據庫中l(wèi) 數據展示管理頁面可以查看觸發(fā)規(guī)則的信息，系統(tǒng)負責人，聯系方式，觸發(fā)信息明

6、細等4、原型設計產品經理設計產品原形5、架構設計5.1、整體架構設計主要架構為應用+flume+kafka+storm+mysql+Java web。數據流程如下：1. 應用程序使用log4j產生日志2. 部署flume客戶端監(jiān)控應用程序產生的日志信息，并發(fā)送到kafka集群中3. storm spout拉去kafka的數據進行消費，逐條過濾每條日志的進行規(guī)則判斷，對符合規(guī)則的日志進行郵件告警。4. 最后將告警的信息保存到mysql數據庫中，用來進行管理。5.2、Flume設計l Flume說明Flume是一個分布式、可靠地、可用的服務，用來收集、聚合、傳輸日志數據。它是一個基于流式數據的架構

7、，簡單而靈活。具有健壯性、容錯機制、故障轉移、恢復機制。它提供一個簡單的可擴展的數據模型，容許在線分析程序。FFlume作為cloudera開發(fā)的實時日志收集系統(tǒng)，受到了業(yè)界的認可與廣泛應用。l Flume 設計摘要使用 Flume EXEC執(zhí)行一個linux命令來生成數據源。例如，可以用tail命令監(jiān)控一個文件，那么，只要文件增加內容，EXEC就可以將增加的內容作為數據源發(fā)送出去。使用org.apache.flume.plugins.KafkaSink，將Flume EXEC產生的數據源發(fā)送到Kafka中。5.3、Kafka設計l Kafka說明kafka是一個分布式消息隊列：生產者、消費者

8、的功能。l Kakfa設計摘要部署kafka集群，在集群中添加一個Topic：monitor_realtime_javaxy5.4、Storm設計l KafkaSpout讀取數據，需要配置Topic：monitor_realtime_javaxyl FilterBolt判斷規(guī)則l NotifyBolt用來發(fā)送郵件或短信息l Save2DB用來將告警信息寫入mysql數據庫5.5、 數據模型設計5.5.1、用戶表用來保存用戶的信息，包括賬號、手機號碼、郵箱、是否有效等信息5.5.2、應用表用來保存應用的信息，包括應用名稱、應用描述、應用是否在線等信息5.5.3、應用類型表用來保存應用的類型等信息5.5.4、規(guī)則表用來保存規(guī)則的信息，包括規(guī)則名稱，規(guī)則描述，規(guī)則關鍵詞等信息5.5.5、規(guī)則記錄表用來保存觸發(fā)規(guī)則后的記錄，包括告警編號、是否短信告知、是否郵件告知、告警明細等信息。6、 代碼開發(fā)6.1、 整體結構6.2、 LogMonitorTopologyMain驅動類6.3、 KafkaSpout獲取數據源6.4、FilterBolt用來過濾日志信息