1、IT運(yùn)維場景下的數(shù)據(jù)運(yùn)營化與智能化技術(shù)創(chuàng)新，變革未來第1頁，共43頁。目錄運(yùn)維演進(jìn)歷程1智能運(yùn)維技術(shù)實(shí)踐2典型案例-質(zhì)量提高3典型案例-成本優(yōu)化4典型案例-效率提升5第2頁，共43頁。讓我們先看看工業(yè)的演進(jìn)歷程第3頁，共43頁。手工作坊簡單純粹鍛煉身體效率低下第4頁，共43頁。蒸汽機(jī)的出現(xiàn)18世紀(jì)中期機(jī)器替代人力 生產(chǎn)力提高 工作細(xì)分資源消耗嚴(yán)重第5頁，共43頁。車間流水線的出現(xiàn)19世紀(jì)20年代標(biāo)準(zhǔn)化零件流水線操作生產(chǎn)力大幅提高簡單重復(fù)勞動工人成為工具第6頁，共43頁。工業(yè)3.0全面信息化 自動化控制 供應(yīng)鏈管理第7頁，共43頁。工業(yè)4.0物聯(lián)網(wǎng)數(shù)據(jù)流動自動化人工智能第8頁，共43頁。讓我們再

2、看看運(yùn)維的演進(jìn)歷程第9頁，共43頁。手工操作時代手工登錄機(jī)器操作優(yōu)點(diǎn)靈活酷炫缺點(diǎn)依賴專家經(jīng)驗(yàn)容易出錯操作時間久第10頁，共43頁。自動化時代開發(fā)自動化腳本優(yōu)點(diǎn)效率提高缺點(diǎn)依賴開發(fā)能力腳本和配置可能不一致第11頁，共43頁。平臺化時代大量使用開源工具系統(tǒng)間集成參考DevOps/SRE等理論基礎(chǔ)優(yōu)點(diǎn)：可靠，高效，信息集中管理缺點(diǎn)依然依賴人的經(jīng)驗(yàn)第12頁，共43頁。智能化時代第13頁，共43頁。智能運(yùn)維要解決的問題質(zhì)量安全效率成本提高業(yè)務(wù)連續(xù)性監(jiān)控分析，日志分析 異常檢測，根因分析 告警收斂，瓶頸分析容量規(guī)劃，彈性調(diào)度 性能分析，利用率分析 預(yù)算預(yù)估，成本分析合理使用資源提高人效無人看守，工單自動化

3、 智能問答，智能變更 運(yùn)行報告，統(tǒng)計分析網(wǎng)絡(luò)防護(hù)，黑產(chǎn)識別機(jī)房巡檢，智能安防安全防護(hù)第14頁，共43頁。智能運(yùn)維中的各角色運(yùn)維工程師算法工程師運(yùn)維開發(fā)AIOPS第15頁，共43頁。運(yùn)維開發(fā)工程師做什么?運(yùn)維開發(fā)前端平臺開發(fā)后端大數(shù)據(jù)開發(fā)數(shù)據(jù)采集數(shù)據(jù)處理數(shù)據(jù)存儲第16頁，共43頁。大數(shù)據(jù)技術(shù)-數(shù)據(jù)流動數(shù)據(jù)采集流式計算數(shù)據(jù)存儲實(shí)時監(jiān)控實(shí)時儀表盤監(jiān)控大屏報表推送跑批計算業(yè)務(wù)系統(tǒng)數(shù)據(jù)加工健康分析讓數(shù)據(jù)流動起來第17頁，共43頁。大數(shù)據(jù)技術(shù)-技術(shù)棧-以開源技術(shù)舉例SparkHiveHDFS實(shí)時監(jiān)控實(shí)時儀表盤監(jiān)控大屏報表推送健康分析讓數(shù)據(jù)流動起來SqoopFlume頁面API數(shù)據(jù)庫MQ日志HbaseEST

4、SDBKafkaPhoenixImpala源系統(tǒng)數(shù)據(jù)應(yīng)用數(shù)據(jù)采集加工數(shù)據(jù)存儲數(shù)據(jù)分析Azkaban第18頁，共43頁。運(yùn)維數(shù)據(jù)集市第19頁，共43頁。運(yùn)維算法工程師做什么？第20頁，共43頁。數(shù)據(jù)獲取特征 工程模型 部署運(yùn)行監(jiān)控運(yùn)維經(jīng)驗(yàn)轉(zhuǎn)化為運(yùn)維模型業(yè)務(wù) 分析模型 訓(xùn)練數(shù)據(jù)分析模型評估業(yè)務(wù)理解模型應(yīng)用數(shù)據(jù)處理模型學(xué)習(xí)統(tǒng) 排 時 交 計 序 序 互 特 特 特 特 征 征 征 征評 估 指 標(biāo)無 半 有 監(jiān) 監(jiān) 監(jiān) 督 督 督 模 模 模 型 型 型應(yīng) 工 異 用 單 常 健 機(jī) 檢 康 器 測 分 人 析平 數(shù) 穩(wěn) 據(jù) 性 周 分 期 析 性補(bǔ) 歸 數(shù) 差 一 據(jù) 值 化 采集容 自 迭 器

5、動 代 化 部 父署 模型析可 結(jié)AB測 視 果試 化 分第21頁，共43頁?；谝?guī)則的模型基于統(tǒng)計方法的模型以及基于機(jī)器學(xué)習(xí)方法的模型都是建立規(guī)則庫的過程?；谝?guī)則的模型更加傾向于一種表達(dá)方式?；谝?guī)則的模型很大一部分都是基于歷史數(shù)據(jù)標(biāo)記的情況下進(jìn)行建立關(guān)聯(lián)規(guī)則，對數(shù)據(jù)未標(biāo)記的情況會缺乏討論。基于規(guī)則的模型如：異常告警中，將告警原因與告警類型關(guān)聯(lián)建立告警關(guān)聯(lián)規(guī)則，進(jìn)行異常檢測。第22頁，共43頁?；诮y(tǒng)計方法的模型基于統(tǒng)計方法的模型（1）基于參數(shù)檢驗(yàn)的方式：假設(shè)采樣數(shù)據(jù)中大部分為正常點(diǎn)，以數(shù)據(jù)點(diǎn)的均值、眾數(shù)、中位數(shù) 等作為正常點(diǎn)統(tǒng)計模型，當(dāng)參數(shù)在正常點(diǎn)附近波動時，認(rèn)為KPI正常,反之異常。（

6、2）基于非參數(shù)檢驗(yàn)方式：采用歷史數(shù)據(jù)的分布函數(shù)和經(jīng)驗(yàn)分布函數(shù)等作為正常模型，將新數(shù)據(jù)的分布與原始分布進(jìn)行對比，分布一致則認(rèn)為正常，否則異常。（3）將參數(shù)描述成時間序列: 對序列的相似性、周期性、線性/非線性相關(guān)、趨勢、時頻特征等 進(jìn)行建模，形成時序特征模型，當(dāng)新數(shù)據(jù)不滿足建立的特性模型時，KPI數(shù)據(jù)被判別成異常。不足之處統(tǒng)計檢驗(yàn)對分布、回歸擬合等存在假設(shè)，此方法針對多 變量分析時擴(kuò)展性較低；基于統(tǒng)計方法的模型利用正常點(diǎn)數(shù)據(jù)占 主導(dǎo)的特點(diǎn)來建立正常模型，忽略歷史 數(shù)據(jù)中異常點(diǎn)對于模型的影響，使得正 常模型存在偏差，模型魯棒性較差。第23頁，共43頁?；跈C(jī)器學(xué)習(xí)方法的模型基于機(jī)器學(xué)習(xí)方法的模型與

7、基于統(tǒng)計方法的模型相同點(diǎn)都是通過歷史數(shù)據(jù)建立KPI正常狀態(tài)模型， 與正常模型匹配判定KPI異常狀態(tài)。機(jī)器學(xué)習(xí)最大的優(yōu)點(diǎn)不需要假定參數(shù)的分布或者參數(shù)之間的關(guān)系， 直接通過學(xué)習(xí)的方法得到模型，對海量數(shù)據(jù)、 高維數(shù)據(jù)、復(fù)雜場景等具有較強(qiáng)的適應(yīng)性與擴(kuò) 展性。基于機(jī)器學(xué)習(xí)方法的模型主要分為三類：（1）基于已經(jīng)標(biāo)記異常的歷史數(shù)據(jù)，采用監(jiān)督學(xué)習(xí)的方法學(xué)習(xí)異常和正常群體的歷史表現(xiàn)，進(jìn) 行新數(shù)據(jù)監(jiān)測時，可以通過模型輸出異常情況。（2）基于無標(biāo)記的歷史數(shù)據(jù)分析，采用無監(jiān)督的方法進(jìn)行異常識別。比如，在進(jìn)行高維度連續(xù)數(shù)據(jù)的異常檢測時，可選用孤立森林算法，通過多棵iTree樹形成森林來判斷是否異常。（3）基于半監(jiān)督的方

8、法擴(kuò)充標(biāo)簽樣本庫，盡快滿足有監(jiān)督學(xué)習(xí)方法的數(shù)據(jù)量級要求第24頁，共43頁。統(tǒng)計算法&無監(jiān)督算法&有監(jiān)督算法離線訓(xùn)練分類器歷史數(shù)據(jù)統(tǒng)計算法&無監(jiān)督算法輸出疑似異常群體樣本庫（人工打標(biāo)）+（半監(jiān)督擴(kuò)充）特征工程（時序特征計算）有監(jiān)督算法（訓(xùn)練）在線檢測及模型迭代數(shù)據(jù)提取統(tǒng)計算法&無監(jiān)督算法輸出疑似異常群體加載有監(jiān)督 模型特征工程（時序特征計算）有監(jiān)督算法進(jìn)行預(yù)測（輸出異常）人工審核模型部署第25頁，共43頁。模型評估模型效果測試（1）準(zhǔn)確率：人工抽查，查看告警出來的時序序列和時間點(diǎn)是否準(zhǔn)確輔助工具：人工打標(biāo)（2）召回率：人工從業(yè)務(wù)中選擇一批異常的時間序列和相應(yīng) 的時間點(diǎn)，通過現(xiàn)有的模型作預(yù)測，看是

9、否被召回輔助工具：樣本庫管理告警通過打標(biāo)驗(yàn)?zāi)Ｐ统槿‘惓Ｍㄟ^模型預(yù)測驗(yàn)?zāi)Ｐ涂词欠癖徽倩氐?6頁，共43頁。技術(shù)總覽第27頁，共43頁。目錄運(yùn)維演進(jìn)歷程1智能運(yùn)維技術(shù)實(shí)踐2典型案例-質(zhì)量提高3典型案例-成本優(yōu)化4典型案例-效率提升5第28頁，共43頁。運(yùn)維監(jiān)控要監(jiān)控什么？業(yè)務(wù)監(jiān)控應(yīng)用監(jiān)控 主機(jī)監(jiān)控網(wǎng)絡(luò)監(jiān)控 日志監(jiān)控第29頁，共43頁。日志監(jiān)控集中查詢海量日志的準(zhǔn)實(shí)時查詢數(shù)據(jù)挖掘與分析優(yōu)化建議第30頁，共43頁。APM應(yīng)用性能監(jiān)控秒級分析海量方法調(diào)用量和延時智能調(diào)用鏈分析和容量規(guī)劃結(jié)合日志、告警快速定位問題快速定制業(yè)務(wù)類監(jiān)控-銀行大盤第31頁，共43頁。異常點(diǎn)檢測閾值規(guī)則監(jiān)控?zé)o監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí)第32頁，共43頁。根因分析第33頁，共43頁。智能變更第34頁，共43頁。目錄運(yùn)維演進(jìn)歷程1智能運(yùn)維技術(shù)實(shí)踐2典型案例-質(zhì)量提高3典型案例-成本優(yōu)化4典型案例-效率提升5第35頁，共43頁。容量規(guī)劃容量水位線 瓶頸預(yù)估 磁盤預(yù)測 彈性擴(kuò)容第36頁，共43頁。資源使用率報表第37頁，共43頁。目錄運(yùn)維演進(jìn)歷程1智能運(yùn)維技術(shù)實(shí)踐2典型案例-質(zhì)量提高3典型案例-成本優(yōu)化4典型案例-效率提升5第38頁，共43頁。RPA自動處理流程自動處理審批基于業(yè)務(wù)知識庫基于CMDB數(shù)據(jù)分析自定義規(guī)則引擎低風(fēng)險操作自動執(zhí)行RPA（ /wiki