智能運(yùn)維：從0搭建AIOps系統(tǒng)智能運(yùn)維：從0搭建AIOps系統(tǒng)1目錄概述：我們離AIOps理想王國還有多遠(yuǎn)1準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)2啟程：穩(wěn)！構(gòu)建AIOps大舞臺(tái)3爆發(fā)：智能決策，決勝千里4目錄概述：我們離AIOps理想王國還有多遠(yuǎn)1準(zhǔn)備：以終為始，2我們離AIOps理想王國還有多遠(yuǎn)是什么？怎么實(shí)現(xiàn)？還要多久？我們離AIOps理想王國還有多遠(yuǎn)是什么？怎么實(shí)現(xiàn)？還要多久？3理想是什么？概述：我們離AIOps理想王國還有多遠(yuǎn)？不背鍋不起夜沒有7x24小時(shí)理想是什么？概述：我們離AIOps理想王國還有多遠(yuǎn)？不背鍋不4概述：我們離AIOps理想王國還有多遠(yuǎn)？理想如何實(shí)現(xiàn)？5W-1H分析法概述：我們離AIOps理想王國還有多遠(yuǎn)？理想如何實(shí)現(xiàn)？5理想如何實(shí)現(xiàn)？概述：我們離AIOps理想王國還有多遠(yuǎn)？coding…理想如何實(shí)現(xiàn)？概述：我們離AIOps理想王國還有多遠(yuǎn)？cod6實(shí)現(xiàn)理想還要多久？康波周期（康德拉季耶夫長波理論）Joseph

Alois

Schumpeter周期理論概述：我們離AIOps理想王國還有多遠(yuǎn)？實(shí)現(xiàn)理想還要多久？概述：我們離AIOps理想王國還有多遠(yuǎn)？7概述：我們離AIOps理想王國還有多遠(yuǎn)？實(shí)現(xiàn)理想還要多久？概述：我們離AIOps理想王國還有多遠(yuǎn)？實(shí)現(xiàn)理想還要多久？8目錄概述：我們離AIOps理想王國還有多遠(yuǎn)1準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)2我是一個(gè)標(biāo)題3爆發(fā)：智能決策，決勝千里4目錄概述：我們離AIOps理想王國還有多遠(yuǎn)1準(zhǔn)備：以終為始，9以終為始，看準(zhǔn)目標(biāo)行業(yè)落地現(xiàn)狀如何？目標(biāo)是什么？什么是AIOps基礎(chǔ)設(shè)施三駕馬車？以終為始，看準(zhǔn)目標(biāo)行業(yè)落地現(xiàn)狀如何？目標(biāo)是什么？什么是AIO10準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)BATXJATM行業(yè)現(xiàn)狀（第一梯隊(duì)）XYZ…特點(diǎn)：人多、人牛、錢多、體量大、起步早結(jié)論：追不上了準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)BATXJATM行業(yè)現(xiàn)狀（第一梯隊(duì)）11準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)XXX…特點(diǎn)：重業(yè)務(wù)，從0到1開始有秘籍：《Devops三十六計(jì)》《企業(yè)級(jí)

AIOps

實(shí)施建議》《智能運(yùn)維：從0搭建大規(guī)模分布式AIOps系統(tǒng)》行業(yè)現(xiàn)狀（第二梯隊(duì)）準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)XXX…行業(yè)現(xiàn)狀（第二梯隊(duì)）12準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)自研開源行業(yè)現(xiàn)狀（第一、二梯隊(duì)技術(shù)差別）準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)自研開源行業(yè)現(xiàn)狀（第一、二梯隊(duì)技術(shù)差13準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)可用性目標(biāo)是什么？SRE穩(wěn)定性可靠性性能：latency/

rt

/

tps

/

qps

/并發(fā)度…準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)可用性目標(biāo)是什么？SRE穩(wěn)定性14準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)MTTRMTBF目標(biāo)是什么？可用性（Availability）MTBF備注：MTBF：平均故障間隔時(shí)間MTTR：平均修復(fù)時(shí)間+=準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)MTTRMTBF目標(biāo)是什么？可用性（15準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)運(yùn)維基礎(chǔ)設(shè)施三駕馬車monitoralertauto

CI/CD感知執(zhí)行準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)運(yùn)維基礎(chǔ)設(shè)施三駕馬車monitora16目錄概述：我們離AIOps理想王國還有多遠(yuǎn)1準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)2啟程：從0開始！構(gòu)建AIOps大舞臺(tái)3爆發(fā)：智能決策，決勝千里4目錄概述：我們離AIOps理想王國還有多遠(yuǎn)1準(zhǔn)備：以終為始，17從0開始，構(gòu)建AIOps大舞臺(tái)從0開始構(gòu)建：對癥下藥！數(shù)據(jù)為王！開源力量大！從0開始，構(gòu)建AIOps大舞臺(tái)從0開始構(gòu)建：對癥下藥！數(shù)據(jù)為18從0開始！構(gòu)建AIOps大舞臺(tái)VS理想

VS

現(xiàn)實(shí)25K12K大數(shù)據(jù) big

dataalot

of

data 數(shù)據(jù)大人工智能 machine

artificialhuman

bream 智能人工機(jī)器學(xué)習(xí) machine

learningrules 規(guī)則引擎算法 algorithmarchitecture 工程認(rèn)清現(xiàn)狀，對癥下藥從0開始！構(gòu)建AIOps大舞臺(tái)VS25K12K大數(shù)據(jù) big19數(shù)據(jù)采集標(biāo)準(zhǔn)、非標(biāo)準(zhǔn)、異構(gòu)數(shù)據(jù)多數(shù)據(jù)源數(shù)據(jù)存儲(chǔ)持久化存儲(chǔ)、緩存、kv存儲(chǔ)還是關(guān)系型，大規(guī)模數(shù)據(jù)數(shù)據(jù)計(jì)算實(shí)時(shí)計(jì)算or離線計(jì)算，實(shí)時(shí)數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)分析為最終結(jié)果負(fù)責(zé)，目標(biāo)導(dǎo)向數(shù)據(jù)為王（核心驅(qū)動(dòng)）從0開始！構(gòu)建AIOps大舞臺(tái)數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算數(shù)據(jù)分析數(shù)據(jù)為王（核心驅(qū)動(dòng)）從0開始20ConclusionFilebeat在資源利利用率上具有優(yōu)勢，比較適合微博廣告數(shù)據(jù)采集的應(yīng)用場景采集工具從0開始！構(gòu)建AIOps大舞臺(tái)示例：數(shù)據(jù)采集工具對比Conclusion采集工具從0開始！構(gòu)建AIOps大舞臺(tái)示21支持filter可以通過配置顧慮策略，在數(shù)據(jù)搜集過程對數(shù)據(jù)進(jìn)行過濾數(shù)據(jù)準(zhǔn)確性可以通過OUTPUT端反饋，決定是否傳播數(shù)據(jù)，因此有可能出現(xiàn)數(shù)據(jù)重復(fù)問題自動(dòng)流量控制將根據(jù)數(shù)據(jù)消費(fèi)端（output）調(diào)整數(shù)據(jù)文件讀取速度采集工具從0開始！構(gòu)建AIOps大舞臺(tái)示例：數(shù)據(jù)采集filebeat技術(shù)原理支持filter數(shù)據(jù)準(zhǔn)確性采集工具從0開始！構(gòu)建AIOps大22采集工具從0開始！構(gòu)建AIOps大舞臺(tái)測試?環(huán)?境???????測試文件大小：單條日志大?。?????????KafkaPartition:10?Kafka?????required_acks=CPU核：1數(shù)據(jù)壓縮方式：snappy內(nèi)存隊(duì)列：10000性能測結(jié)試果機(jī)房：大白樓總耗時(shí)：838sTPS：40805.75

條/s傳輸量：27.24Mb/s內(nèi)存占用量：286MB

total采集工具從0開始！構(gòu)建AIOps大舞臺(tái)測試?環(huán)?境?????23數(shù)據(jù)前置目標(biāo)引導(dǎo)案例：為了進(jìn)行故障根源診斷，縮小范圍和快速定位問題，對其他團(tuán)隊(duì)進(jìn)行必要的引導(dǎo)數(shù)據(jù)采集采集器是否需要進(jìn)行預(yù)處理？日志格式能否標(biāo)準(zhǔn)化？數(shù)據(jù)越多越好？運(yùn)維如何影響開發(fā)、產(chǎn)品？從0開始！構(gòu)建AIOps大舞臺(tái)數(shù)據(jù)前置目標(biāo)引導(dǎo)案例：為了進(jìn)行故障根源診斷，縮小范圍和快速定24原始數(shù)據(jù)存HDFS（從日志到標(biāo)準(zhǔn)化數(shù)據(jù)）離線模型數(shù)據(jù)存HDFS（Hive建模）處理后的數(shù)據(jù)存TS類數(shù)據(jù)庫（grafite、druid、clickhouse等）核心數(shù)據(jù)存強(qiáng)一致性數(shù)據(jù)庫（mysql）熱數(shù)據(jù)存緩存（redis、rocksdb、Aerospike、memcache等）數(shù)據(jù)存儲(chǔ)從0開始！構(gòu)建AIOps大舞臺(tái)原始數(shù)據(jù)存HDFS（從日志到標(biāo)準(zhǔn)化數(shù)據(jù)）數(shù)據(jù)存儲(chǔ)從0開始！構(gòu)25從0開始！構(gòu)建AIOps大舞臺(tái)

Exactly

once

精準(zhǔn)度通過checkpoint機(jī)制保證數(shù)據(jù)計(jì)算性能指標(biāo)實(shí)時(shí)系統(tǒng)秒級(jí)數(shù)據(jù)規(guī)模：超過20億條/天關(guān)聯(lián)準(zhǔn)確率：98%實(shí)時(shí)系統(tǒng)支持任意的日志進(jìn)行切分、連接、

json轉(zhuǎn)換、截取、unoin、join數(shù)值計(jì)算等25個(gè)算子從0開始！構(gòu)建AIOps大舞臺(tái) Exactlyonce26報(bào)警系統(tǒng)技術(shù)選型開源：zabbix核心思路規(guī)則引擎集成到監(jiān)控平臺(tái)各環(huán)節(jié)高可用從0開始！構(gòu)建AIOps大舞臺(tái)報(bào)警系統(tǒng)從0開始！構(gòu)建AIOps大舞臺(tái)27核心思想統(tǒng)一代碼管理（git/svn）統(tǒng)一權(quán)限管理（root）集成QA環(huán)境和自動(dòng)化測試功能Immutable

Infrastructure從0開始！構(gòu)建AIOps大舞臺(tái)自動(dòng)化CI/CD核心思想從0開始！構(gòu)建AIOps大舞臺(tái)自動(dòng)化CI/CD28從0開始！構(gòu)建AIOps大舞臺(tái)monitoragentalertagentstorageproxy(requestlog,frequencylog,

etc.)aggregation

/associationrealtime

computingspark-streaming/storm/flink,

etcvisualizationtime-serialengineonline

learningmodel

trainingquerylabel/taggingrealtime

feedbackkylin/druid/clickhouse,

etcHDFSmetricsfeatures整體架構(gòu)messageQueueHDFSalert

strategiesonline

system/modules/platformCI/CD

systemcachelogsHeterogeneous

dataalerttensorflowps

server從0開始！構(gòu)建AIOps大舞臺(tái)monitoragenta29目錄概述：我們離AIOps理想王國還有多遠(yuǎn)1準(zhǔn)備：以終為始，看準(zhǔn)目標(biāo)2啟程：穩(wěn)！構(gòu)建AIOps大舞臺(tái)3爆發(fā)：智能決策，決勝千里4目錄概述：我們離AIOps理想王國還有多遠(yuǎn)1準(zhǔn)備：以終為始，30智能決策，決勝千里！AIOps初體驗(yàn)，AIOps的高階技能智能決策，決勝千里！AIOps初體驗(yàn)，AIOps的高階技能31智能決策，決勝千里AIOps初體驗(yàn)異常檢測基于統(tǒng)計(jì)模型基于鄰近度基于密度正態(tài)分布（3sigma）案例：異常檢驗(yàn)識(shí)別速率：秒覆蓋率：100%準(zhǔn)確率：90%效果：智能決策，決勝千里AIOps初體驗(yàn)基于統(tǒng)計(jì)模型基于鄰近度基于32智能決策，決勝千里AIOps初體驗(yàn)報(bào)警聚合AOI算法attribute

oriented

induction

基于屬性的歸納歸納關(guān)鍵影響

某機(jī)器故障，引發(fā)發(fā)博文的異常案例：建立規(guī)則引擎進(jìn)行報(bào)警聚合智能決策，決勝千里AIOps初體驗(yàn)AOI算法attribut33智能決策，決勝千里AIOps初體驗(yàn)根因分析K-meansApriori算法關(guān)聯(lián)規(guī)則決策樹案例：通過構(gòu)建決策樹進(jìn)行根因分析智能決策，決勝千里AIOps初體驗(yàn)K-meansAprior34智能決策，決勝千里AIOps初體驗(yàn)關(guān)聯(lián)分析案例：對不同類型指標(biāo)進(jìn)行關(guān)聯(lián)分析基于走勢相似度智能決策，決勝千里AIOps初體驗(yàn)案例：對不同類型指標(biāo)進(jìn)行關(guān)35智能決策，決勝千里AIOps進(jìn)階—預(yù)測智能決策，決勝千里AIOps進(jìn)階—預(yù)測36智能決策，決勝千里AIOps進(jìn)階—預(yù)測

TS數(shù)據(jù)基本特性Trend特性Seasonality特性CyclicalRandom案例：根據(jù)歷史走勢進(jìn)行趨勢預(yù)測智能決策，決勝千里AIOps進(jìn)階—預(yù)Trend特性Seaso37智能決策，決勝千里AIOps進(jìn)階—預(yù)測歷史n個(gè)點(diǎn)走勢歷史所有點(diǎn)走勢加權(quán)ARIMA算法p

AR/Auto-Regressive項(xiàng)，表示時(shí)序數(shù)據(jù)本身的滯后數(shù)d

Integrated項(xiàng)，表示數(shù)據(jù)需要進(jìn)行幾階差分化，才是穩(wěn)定的q

MA/Moving

Average項(xiàng)，表示預(yù)測誤差的滯后數(shù)實(shí)際值預(yù)測值平均誤差率：4.839%基于ARIMA算法進(jìn)行趨勢預(yù)測效果：智能決策，決勝千里AIOps進(jìn)階—預(yù)測歷史n個(gè)點(diǎn)走勢歷史所38案例：曝光趨勢預(yù)測（配合報(bào)警進(jìn)行動(dòng)態(tài)閾值設(shè)定）2/3作為模型訓(xùn)練1/3作為預(yù)測實(shí)際值RMSprop算法作為權(quán)

重參數(shù)的迭代更新方案取8天歷史數(shù)據(jù)進(jìn)行訓(xùn)練，并按2:1拆分訓(xùn)練集和測試集效果：總體誤差率：0.97%平均誤差率：2.839%超過1.5CPM