./通用組件系統(tǒng)設計之日志系統(tǒng)文檔歷史日期作者備注2017-10-14陽榮安創(chuàng)建2017-10-17高勇增加系統(tǒng)概述一節(jié)系統(tǒng)概述針對目前從運維側看到的一些問題〔文件過大,打印信息缺乏標準〕,希望對日志系統(tǒng)進行規(guī)X。提供統(tǒng)一的API,定義一定的規(guī)則,并為有效支撐后續(xù)日志系統(tǒng)的發(fā)展提供支撐。功能定義日志的主要作用是用來還原現場,協助我們分析問題,幫助重現歷史。在日常具體工作中,用得最多的是協助我們直接定義問題的系統(tǒng)維護類日志,以與用來統(tǒng)計分析系統(tǒng)的運行狀態(tài)的數據上報類日志。我們的日志未來也要具備這類能力。系統(tǒng)維護類日志系統(tǒng)維護類日志界別的分類如下。編號級別描述1DEBUG調試應用程序使用2INFO突出強調關鍵動作3WARN出現了預知的錯誤4ERROR出現不期望的故障,還能hold住5FATAL嚴重問題,搞不定了為了輔助我們回溯相關問題,考慮到多個模塊、多機器、多進程、多線程的問題,對日志進行區(qū)分,并設定一些參考格式,便于日志檢索,如下供開發(fā)人員參考。編號內容備注1日志級別DEBUG2日期時間20171017-155600-1233機器節(jié)點4模塊名ORDER5文件名Main.cpp6文件行號127進程號1238線程號119日志消息體靈活定義,建議控制大小在一定X圍內數據上報類日志數據上報類日志嚴格遵從制定的格式,便于分析匯總。如下是以調用者身份上報被調用服務使用狀態(tài)的日志格式。每一項之間用|分割,供參考。編號內容例子1版本12日期時用方IDCGI4調用方所在節(jié)點IDWX15被調方IDORDERSVR6被調方節(jié)點IDLG17服務與方法IDCreate8返回碼09耗時10ms性能定義后端日志應該統(tǒng)一規(guī)X,通過API達成共識,并實現易用性。并發(fā)保持不交叉,寫入能力應該發(fā)揮系統(tǒng)能力,并不再并發(fā)時降低。日志的格式應該統(tǒng)一。驗收辦法,如下表：編號并發(fā)用例場景完成時長〔ms〕檢查11線程單線程打印1000萬行日志210線程每線程打印100萬行日志310進程每進程打印100萬行日志4100線程每線程打印10萬行日志5100進程每線程打印10萬行日志系統(tǒng)設計日志整體如下圖,編號模塊職責1日志API按統(tǒng)一規(guī)X打印日志,確保單臺節(jié)點并發(fā)不亂,性能高2系統(tǒng)維護日志應用借助日志API輸出的日志文件,用于系統(tǒng)維護3數據上報日志應用借助日志API輸出的日志文件,用于數據上報4日志AGENT在單臺節(jié)點上,處理并上報結果到隊列對數據上報日志進行匯總處理,并形成結果對系統(tǒng)維護日志踐行檢查預處理,并形成結果5日志收集隊列Kafuka,用來匯總分散的日志6日志分析服務器從隊列獲取單節(jié)點日志結果,形成最終日志結果,輸出到日志倉庫7日志倉庫按制定格式存放日志,并建立索引8模塊間調用門戶呈現模塊健康狀態(tài),供管理參考9集中日志呈現門戶集中檢索日志,供定位分析問題門戶UI參考集中日志呈現門戶輸入日志文件名,或者模塊名,日期X圍,給出所有日志列表。模塊間調用門戶用來描述系統(tǒng)間調用健康狀態(tài),同樣也可以用來表達掉級的查詢指定服務間調用情況查看調用者依賴的被調使用情況查看按返回碼和服務節(jié)點分布的情況系統(tǒng)調用關系圖建設X圍編號內容備注1一期搞定日志API,解決系統(tǒng)維護日志的輸出問題系統(tǒng)設計日志庫功能設計要點日志通用組件滿足的需求。C++和PHP統(tǒng)一日志目錄和格式規(guī)X。依據IP/服務名稱/上下文編號,聚合和追溯日志。記錄服務接口,請求返回數據,正確性,響應時間等信息。記錄調用方,請求返回數據,正確性,響應時間等信息。日志庫的未來架構圖。規(guī)劃設計圖日志庫概要設計。日志級別所有級別的日志輸出到同一個日志文件中；DEBUG〔開發(fā)人員調試日志〕/INFO〔業(yè)務流程日志〕/WARN〔警告信息日志〕/ERROR〔系統(tǒng)錯誤日志〕；ERROR級別日志,屬于嚴重錯誤,需要開發(fā)人員與時處理,反映系統(tǒng)服務質量和穩(wěn)定性的重要指標；定義通用返回碼接口調用方日志記錄log_client_req〔客戶端請求接口數據〕log_client_rsp〔客戶端請求后返回數據〕接口服務方日志記錄log_server_req〔服務端接收請求數據〕log_server_rsp〔服務端返回請求數據〕開發(fā)階段分解和本期實現內容。日志基礎組件庫開發(fā)〔C++\PHP統(tǒng)一調用〕〔一期,本期實現〕日志分析上報和聚合〔統(tǒng)一查詢多臺服務器日志,區(qū)分IP/hostname〕〔二期〕日志分析統(tǒng)計運行質量〔接口調用次數,正確率,響應時間等〕〔三期〕日志庫目錄結構設計自動讀取etc目錄下的所有xml配置文件,xml文件以業(yè)務系統(tǒng)模塊劃分,新增的xml文件,在重啟服務后,可以自動生成寫日志文件。xml配置文件起到,服務日志先注冊后使用。日志文件采用,日期自動更換回滾的寫入方式。接口通用返回碼返回碼類型返回碼編碼返回碼說明成功0調用成功請求方錯誤1xxx請求方錯誤1001請求參數字段缺失1002請求參數字段類型錯誤1003請求參數字段為空1004請求接口未找到1005請求接口報文格式解析錯誤1006請求接口版本號錯誤1007請求接口報文頭