中國移動數(shù)據(jù)網(wǎng)管二期日志分析組件的設計與實現(xiàn)的中期報告設計背景移動數(shù)據(jù)網(wǎng)(datanet)是中國移動公司建設的專門服務于移動用戶的數(shù)據(jù)通信網(wǎng)。數(shù)據(jù)網(wǎng)管(deploy)是數(shù)據(jù)網(wǎng)絡運維管理系統(tǒng)，有助于操作人員對網(wǎng)絡進行監(jiān)測、分析、優(yōu)化以及故障處理，提高網(wǎng)絡服務質(zhì)量及用戶滿意度。中國移動數(shù)據(jù)網(wǎng)管二期日志分析組件的設計與實現(xiàn)是旨在提高數(shù)據(jù)網(wǎng)管操作效率、減輕工作負擔的組件。設計目標1.實現(xiàn)對移動數(shù)據(jù)網(wǎng)日志的在線分析、存儲與檢索功能；2.支持自定義日志解析規(guī)則；3.提供靈活的日志分析方式，可按時間范圍、關(guān)鍵詞等條件查詢、統(tǒng)計日志信息；4.提供郵件、短信等報警功能，對數(shù)據(jù)網(wǎng)管日志異常進行及時預警；5.實現(xiàn)日志處理自動化，減少人工干預，提高工作效率。設計思路數(shù)據(jù)網(wǎng)管日志文件較大，多達幾十G，要進行在線分析存儲不現(xiàn)實。為了解決這一問題，我們先設計了一個預處理模塊，對日志文件進行分塊處理，處理后的塊存儲在Hadoop分布式文件系統(tǒng)中，每個塊可包含若干記錄。預處理模塊包括日志文件讀取模塊、日志解析模塊、文件分塊存儲模塊等。日志讀取模塊負責讀取數(shù)據(jù)網(wǎng)管日志文件，將讀取的日志記錄交給日志解析模塊進行分析，解析模塊根據(jù)用戶自定義規(guī)則，將日志記錄中的關(guān)鍵信息解析出來，將解析結(jié)果交給文件分塊模塊進行存儲。文件分塊存儲模塊用來管理數(shù)據(jù)塊的存儲和檢索。當數(shù)據(jù)塊達到一定大小時，模塊會自動進行拆分，并按時間為前綴進行命名，方便后續(xù)的檢索與查詢。查詢模塊包括日志索引、搜索、統(tǒng)計等功能。用戶可根據(jù)時間范圍、關(guān)鍵字、IP地址、錯誤碼等條件查詢或統(tǒng)計日志信息，并可根據(jù)需要以圖表方式展示。報警模塊用來監(jiān)測日志信息是否異常，在系統(tǒng)檢測到異常時，將通過郵件、短信等方式及時通知相應的人員，以便及時處理?？傮w流程以下為數(shù)據(jù)網(wǎng)管日志分析組件整體的流程：預處理模塊（LogPreprocessing）：讀取數(shù)據(jù)網(wǎng)管日志文件，將讀取的日志記錄對解析模塊進行分析，解析模塊將關(guān)鍵信息解析出來，將解析結(jié)果交給文件分塊模塊進行存儲。查詢模塊(LogRetrieval)：用戶可通過查詢模塊按時間范圍、關(guān)鍵字、IP地址、錯誤碼等條件查詢或統(tǒng)計日志信息，并以圖表形式呈現(xiàn)，方便查看。報警模塊(LogAlert)：通過監(jiān)測日志信息是否異常，系統(tǒng)檢測到異常時，將通過郵件、短信等方式及時通知相應的人員，以便及時處理。目前已實現(xiàn)的功能及進展：1.數(shù)據(jù)預處理模塊中的日志讀取模塊實現(xiàn)完成，并經(jīng)過測試，能夠讀取大部分數(shù)據(jù)網(wǎng)管日志文件，并將其轉(zhuǎn)化為日志記錄，并進行分塊存儲；2.建立了Hadoop分布式文件系統(tǒng)，確保數(shù)據(jù)的安全性和可靠性；3.通過Logstash等工具搭建了日志收集系統(tǒng)，使得數(shù)據(jù)收集更加自動化，方便后續(xù)的日志分析；4.完成了數(shù)據(jù)查詢模塊的設計，主要實現(xiàn)了時間、關(guān)鍵字、IP地址、錯誤碼等關(guān)鍵字的模糊匹配檢索，并能夠?qū)⒔Y(jié)果以圖表形式呈現(xiàn)。工作計劃：1.完成數(shù)據(jù)預處理模塊中的日志解析模塊的設計，實現(xiàn)用戶自定義日志解析規(guī)則，提高日志分析的準確性；2.完成報警模塊的設計，實現(xiàn)通