Para

Analytics

LA大數(shù)據(jù)日志分析派拉日志分析PLA基于大數(shù)據(jù)的運(yùn)維分析IT運(yùn)維面臨的挑戰(zhàn)大型數(shù)據(jù)中心:數(shù)以千記的服務(wù)器+網(wǎng)絡(luò)+存儲(chǔ)+中間件，每天產(chǎn)生大約幾TB的日志、可用性和性能數(shù)據(jù)互聯(lián)網(wǎng)金融所帶來的Web及移動(dòng)應(yīng)用所要求的研發(fā)與敏捷開發(fā)，產(chǎn)生的數(shù)據(jù)量則大到難以統(tǒng)計(jì)每秒交易量可達(dá)3000筆+性能與可用性運(yùn)維覆蓋的指標(biāo)記錄，通常每分鐘或幾分鐘在各實(shí)例上進(jìn)行采集，平均每分鐘采集與落地的數(shù)據(jù)達(dá)到GB級(jí)由異常偵測(cè)產(chǎn)生IT事件量若不經(jīng)過壓縮關(guān)聯(lián)，每秒都會(huì)產(chǎn)生IT運(yùn)維面對(duì)環(huán)境數(shù)據(jù)多、交易快、種類雜的嚴(yán)峻挑戰(zhàn)，在如此巨大的外在壓力下，傳統(tǒng)處理手段遠(yuǎn)遠(yuǎn)跟不上應(yīng)用規(guī)模的發(fā)展。多

快

雜網(wǎng)絡(luò)流量與事務(wù)處理日志文件報(bào)警與事件性能指標(biāo)核心文件與內(nèi)存痕跡配置文件服務(wù)請(qǐng)求故障通知單社交媒體庫存與資產(chǎn)用戶文檔與技術(shù)文檔調(diào)研發(fā)現(xiàn)，IT運(yùn)維數(shù)據(jù)的價(jià)值被企業(yè)廣泛認(rèn)同Source:資料來源：“分析：大數(shù)據(jù)在真實(shí)世界的應(yīng)用：創(chuàng)新型企業(yè)如何在不確定性數(shù)據(jù)中提煉價(jià)值”，IBM商業(yè)價(jià)值研究院及牛津大學(xué)SAID商學(xué)院

/common/ssi/ecm/en/gbe03519usen/GBE03519USEN.PDF運(yùn)維優(yōu)化交易日志事件電郵IT運(yùn)維大數(shù)據(jù)分析（ITOA）定義IT運(yùn)維大數(shù)據(jù)分析，國外叫做IT

Operations

Analytics，簡(jiǎn)稱ITOAGartner定義：Technology

or

service

that

collects,

stores,

presents,

and

performs

deductive

and/orinductive

inferences

about

large

volumes

of

IT

operations

data.對(duì)大量IT運(yùn)維數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、展現(xiàn)、進(jìn)行演繹和/或歸納推理的技術(shù)或者服務(wù)。Forrester定義：The

use

of

mathematicalalgorithms

and

other

innovations

toextractmeaningfulinformation

from

the

sea

of

raw

data

collected

by

management

and

monitoringtechnologies.從管理和監(jiān)控技術(shù)所采集的海量原始數(shù)據(jù)，通過數(shù)學(xué)算法及其他創(chuàng)新手段來提取有用信息的運(yùn)用。IT運(yùn)維大數(shù)據(jù)分析藍(lán)圖系統(tǒng)畫像運(yùn)維數(shù)據(jù)技術(shù)平臺(tái)運(yùn)維主題基于大數(shù)據(jù)技術(shù)安全性運(yùn)維主題整理當(dāng)前運(yùn)維盲點(diǎn)痛點(diǎn)進(jìn)行運(yùn)維打破原有運(yùn)維壁壘，歸納總結(jié)運(yùn)維場(chǎng)景主動(dòng)/預(yù)測(cè)式的方法，建立系統(tǒng)畫像。改變?cè)瓉淼呢Q井式運(yùn)維，以運(yùn)維場(chǎng)景為基礎(chǔ)以主動(dòng)式預(yù)測(cè)為手段實(shí)現(xiàn)智能化運(yùn)維運(yùn)維數(shù)據(jù)采集各種運(yùn)維結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)通過統(tǒng)一接口進(jìn)行匯總清洗聚合索引完善數(shù)據(jù)體系建立運(yùn)維標(biāo)簽和特征引擎技術(shù)平臺(tái)開源軟件Hadoop/SPARK大數(shù)據(jù)技術(shù)采用可超百臺(tái)集群部署X86硬件服務(wù)器通過靈活的算法庫實(shí)現(xiàn)智能化運(yùn)維借助系統(tǒng)畫像，運(yùn)維人員可以更直觀，更系統(tǒng)的整合運(yùn)維主題和運(yùn)維數(shù)據(jù)，以推動(dòng)數(shù)據(jù)中心智能化運(yùn)維將大數(shù)據(jù)分析技術(shù)應(yīng)用于IT運(yùn)維的漸進(jìn)發(fā)展模式預(yù)防：如何事先預(yù)防或采取對(duì)策預(yù)警：什么將要發(fā)生分析：為什么發(fā)生了報(bào)告：發(fā)生過什么監(jiān)控：現(xiàn)在發(fā)生了什么業(yè)務(wù)價(jià)值復(fù)雜度Log

Analysis產(chǎn)品架構(gòu)更快的搜索日志信息；清晰的定位問題根源；有效的進(jìn)行問題預(yù)警；更大的發(fā)掘日志價(jià)值；整合日志與性能和告警；大大提升運(yùn)維能力。應(yīng)用性能分析日志數(shù)據(jù)抽取分析實(shí)時(shí)流式計(jì)算Rule

Engine規(guī)則引擎數(shù)據(jù)分析模塊日志全文搜索分析報(bào)表大數(shù)據(jù)運(yùn)維門戶Dashboard數(shù)據(jù)可視化引擎系統(tǒng)日志數(shù)據(jù)庫/中間件日志日志采集模塊展現(xiàn)層大數(shù)據(jù)分析層采集層日志數(shù)據(jù)應(yīng)用日志網(wǎng)絡(luò)日志性能采集模塊系統(tǒng)/網(wǎng)絡(luò)性能數(shù)據(jù)大數(shù)據(jù)存儲(chǔ)（HDFS、NOSQL）性能數(shù)據(jù)告警數(shù)據(jù)告警數(shù)據(jù)告警采集模塊內(nèi)涵意義的解析和提取日志文件[10/9/12

5:51:38:295

GMT+05:30]

0000006aservlet

Ecom.ibm.ws.webcontainer.servlet.ServletWrapper

service

SRVE0068E:Uncaught

exception

created

in

one

of

the

service

methods

of

the

servletTradeAppServlet

in

application

DayTrader2-EE5.

Exception

created

:javax.servlet.ServletException:

TradeServletAction.doSell(...)

exceptionselling

holding

3111

for

user

=uid:43atorg.apache.geronimo.samples.daytrader.web.TradeServletAction.doSell(TradeServletAction.java:708)日志分析服務(wù)器文本分析以及規(guī)則性表述Schema

on

WriteSchema

on

Read出錯(cuò)代碼線程ID靈活的搜索可點(diǎn)擊下鉆視圖化展現(xiàn)Dashboard靈活的報(bào)警設(shè)置報(bào)警開關(guān)報(bào)警方式靈活的報(bào)警設(shè)置靈活設(shè)置報(bào)警條件常用日志開箱即用的支持系統(tǒng)日志：Syslog，Eventlog，AIX

Error

Log數(shù)據(jù)庫：Oracle，SQL

Server，DB2，MySQL中間件：WAS，Weblogic，Tomcat，JBOSS，MQ/MBWeb

Server：Apache，IIS，NGINXMicrosoft：Exchange，AD常用日志開箱即用的支持開箱即用的日志解析開箱即用的Dashboard開箱即用的告警設(shè)置日志分析應(yīng)用場(chǎng)景—問題診斷運(yùn)行在Apache，WAS，Oracle環(huán)境中的Trade

Application。用戶發(fā)現(xiàn)交易響應(yīng)非常慢，運(yùn)維團(tuán)隊(duì)使用日志分析查詢應(yīng)用和中間件日志進(jìn)行診斷。應(yīng)用交易響應(yīng)時(shí)間升高查找WebServer日志中的出錯(cuò)信息查找WAS日志中的出錯(cuò)信息查找數(shù)據(jù)庫日志中的出錯(cuò)信息日志分析應(yīng)用場(chǎng)景—問題診斷從業(yè)務(wù)儀表盤上看到，在應(yīng)用日志中發(fā)現(xiàn)用

戶交易響應(yīng)時(shí)間異常變慢查看相近時(shí)間段的其他日志源，發(fā)現(xiàn)

WebServer的AccessLog中出現(xiàn)500返回碼錯(cuò)誤，表征發(fā)生了交易失敗同時(shí)看到WAS中間件的日志中也出現(xiàn)大量出錯(cuò)信息，點(diǎn)擊查看詳細(xì)內(nèi)容，發(fā)現(xiàn)主要是數(shù)據(jù)庫連接的問題進(jìn)一步查看數(shù)據(jù)庫日志儀表盤，發(fā)現(xiàn)相近時(shí)間出現(xiàn)大量鎖等待信息，懷疑是導(dǎo)致交易問題的根源為進(jìn)一步明確問題根源，在日志搜索界面中選擇

WAS和數(shù)據(jù)庫日志源，對(duì)問題發(fā)生時(shí)間前半小時(shí)的日志進(jìn)行搜索。搜索結(jié)果顯示了交易問題發(fā)生之前應(yīng)用中間件和數(shù)據(jù)庫的日志中的出錯(cuò)信息對(duì)搜索結(jié)果進(jìn)行圖形化展現(xiàn)，可以直觀地看出中間件出錯(cuò)信息和數(shù)據(jù)庫出錯(cuò)信息之間的相關(guān)性，從而診斷出問題根源DBA解決了數(shù)據(jù)庫鎖的問題，應(yīng)用交易恢復(fù)正常運(yùn)行在Apache，WAS，Oracle環(huán)境中的Trade

Application。用戶發(fā)現(xiàn)交易響應(yīng)非常慢，運(yùn)維團(tuán)隊(duì)使用日志分析查詢應(yīng)用和中間件日志進(jìn)行診斷。日志分析應(yīng)用場(chǎng)景—應(yīng)用性能監(jiān)控從應(yīng)用的交易日志中提取交易量、響應(yīng)時(shí)間、成功率等關(guān)鍵性能指標(biāo)，是實(shí)現(xiàn)APM的主流方式。能夠關(guān)聯(lián)多個(gè)交易環(huán)節(jié)的日志實(shí)現(xiàn)端到端的交易監(jiān)控交易響應(yīng)時(shí)間交易量交易成功率日志分析應(yīng)用場(chǎng)景—日志審計(jì)現(xiàn)狀：環(huán)境復(fù)雜，日志分散，難以管理。合規(guī)性要求：重要日志文件不少于半年。能根據(jù)審計(jì)記錄進(jìn)行數(shù)據(jù)分析，并生成統(tǒng)計(jì)報(bào)表。避免審計(jì)記錄遭受未預(yù)期的刪除、修改或覆蓋。實(shí)施信息系統(tǒng)的統(tǒng)一安全策略，實(shí)現(xiàn)集中審計(jì)。搭建統(tǒng)一的日志管理系統(tǒng)各種來源、格式、用途的日志集中存儲(chǔ)集中管理大數(shù)據(jù)技術(shù)提供足夠的存儲(chǔ)空間和備份歸檔策略滿足存儲(chǔ)時(shí)間要求數(shù)據(jù)冗余保證日志的完整性便于搜索查詢對(duì)審計(jì)記錄的保護(hù)部署統(tǒng)一策略，實(shí)現(xiàn)集中審計(jì)。日志分析應(yīng)用場(chǎng)景—安全事件分析用戶行為分析發(fā)現(xiàn)用戶訪問中的異常行為和潛在的風(fēng)險(xiǎn)關(guān)聯(lián)系統(tǒng)、應(yīng)用、網(wǎng)絡(luò)等多種日志，追蹤非法訪問的來源建立用戶行為模型惡意軟件和網(wǎng)絡(luò)異常檢測(cè)信息泄露檢測(cè)垃圾郵件過濾（SPAM

Filter）IT運(yùn)維大數(shù)據(jù)分析對(duì)IT