1、自動(dòng)化運(yùn)維技術(shù)及最佳實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)傳統(tǒng)運(yùn)維面臨的挑戰(zhàn)排查問(wèn)題ClientDatabaseOSNetWorkMiddle-WareApplicationH/W嘿！業(yè)務(wù)出問(wèn)題了！數(shù)據(jù)庫(kù)供應(yīng)商網(wǎng)絡(luò)廠商中間件廠商應(yīng)用開發(fā)商硬件供應(yīng)商OS供應(yīng)商誰(shuí)也不知道系統(tǒng)到底怎么了？信息滯后一、誰(shuí)也不知道系統(tǒng)到底是什么情況，只有出事了才知道系統(tǒng)存在問(wèn) 題，甚至出事了都不知道系統(tǒng)有啥問(wèn)題二、有時(shí)候領(lǐng)導(dǎo)都聽說(shuō)系統(tǒng)出問(wèn)題了，運(yùn)維部門還不知道 三、運(yùn)維人員往往擔(dān)任的是“救火隊(duì)員”的角色。人員一、編制和經(jīng)費(fèi)緊張，沒(méi)辦法請(qǐng)專家在一線坐鎮(zhèn)。出問(wèn)題后，專家到 現(xiàn)場(chǎng)才發(fā)現(xiàn)很多數(shù)據(jù)沒(méi)采集，無(wú)法定位問(wèn)題二、單位里的高水平人員太少，

2、一旦高手休假或者調(diào)離崗位，運(yùn)維風(fēng) 險(xiǎn)就急劇增加，運(yùn)維了十多年，運(yùn)維水平的提升似乎遇到了瓶頸環(huán)境一、系統(tǒng)往往是分階段建設(shè)，基礎(chǔ)環(huán)境復(fù)雜。往往包含多種主機(jī)類型、 多套業(yè)務(wù)系統(tǒng)。技術(shù)要求較高。二、系統(tǒng)變更頻繁，運(yùn)維人員甚至不清楚數(shù)據(jù)中心的拓?fù)淝闆r。三、運(yùn)維和開發(fā)之間的矛盾。缺乏強(qiáng)有力的證據(jù)證明系統(tǒng)是否存在問(wèn) 題。四、運(yùn)維服務(wù)外包給第三方公司，但是第三方公司的支撐力度無(wú)法滿 足不斷提高的運(yùn)維要求的需要。技術(shù)更新迭代快速Oracle一般每34年推出新版本數(shù)據(jù)庫(kù)產(chǎn)品，每個(gè)版本中都相對(duì)之前版本具有新特性。 客戶目前數(shù)據(jù)中心主流軟件版本為10g、11g。隨著12CR2的正式發(fā)布，已有客戶廣泛使用12C中CDB

3、/PDB特性、in memory option特性。 甚至有客戶已開始使用18C自愈數(shù)據(jù)庫(kù)進(jìn)行邊緣業(yè)務(wù)交付。12C幾個(gè)重要的新特性適應(yīng)一個(gè)新版本的特性往往需要幾個(gè)月甚至半年的專業(yè)學(xué)習(xí)。 需要學(xué)習(xí)新特性的含義，最優(yōu)參數(shù)配置，最高效使用方式。自動(dòng)化運(yùn)維技術(shù)發(fā)展史運(yùn)維發(fā)展時(shí)間表無(wú)序化運(yùn)維腳本化運(yùn)維自動(dòng)化運(yùn)維智能化運(yùn)維沒(méi)有規(guī)矩，不成方圓少量場(chǎng)景自動(dòng)化1、讓機(jī)器干機(jī)械的事2、標(biāo)準(zhǔn)化是前提1、讓機(jī)器干人的事2、機(jī)器學(xué)習(xí)+人工智能運(yùn)維發(fā)展階段在很長(zhǎng)一段時(shí)間內(nèi)，手工運(yùn)維、自動(dòng)化運(yùn)維、智能化運(yùn)維將三者并存文檔化運(yùn)維知識(shí)手冊(cè)+個(gè)人經(jīng)驗(yàn)工具化運(yùn)維部分場(chǎng)景自動(dòng)化純?nèi)斯み\(yùn)維：沒(méi)有規(guī)矩，不成方圓純手工敲命令查詢相應(yīng)的SQ

4、L來(lái)獲取需要的信息，將信息記錄并整理，對(duì)比后得出 結(jié)論和解決方法高度依賴個(gè)體工程師價(jià)值，運(yùn)維質(zhì)量難以保障！師傅領(lǐng)進(jìn)門，修行在個(gè)人。培養(yǎng)成本極高！人不夠了？招！導(dǎo)致：人才無(wú)法線性擴(kuò)張！耗時(shí)長(zhǎng)，數(shù)據(jù)對(duì)比繁瑣，恢復(fù)時(shí)間長(zhǎng)！腳本化工具化：常見通過(guò)shell腳本來(lái)快速查詢相應(yīng)的多條SQL語(yǔ)句，獲取需要的信息。通過(guò)一定的定時(shí)任務(wù)觸發(fā)相應(yīng)的檢查腳本，每天都需要將腳本輸出信息進(jìn)行 查看，排序，且腳本輸出一般為純文字形式，顯示不直觀。同樣依賴個(gè)體工程師價(jià)值來(lái)進(jìn)行腳本編寫，問(wèn)題解決，運(yùn)維質(zhì)量難以保障！標(biāo)準(zhǔn)化運(yùn)維：人+工具（文檔）+流程工具流程職責(zé)權(quán)限技能人員變更故障實(shí)施監(jiān)控告警文檔增加標(biāo)準(zhǔn)化監(jiān)控設(shè)備，通過(guò)監(jiān)控設(shè)備

5、及時(shí)觸發(fā)告警信息，轉(zhuǎn)變運(yùn)維服務(wù)模式，增加文檔知識(shí)庫(kù)的建立。規(guī)范化變更、故障解決、實(shí)施流程，將運(yùn)維交付進(jìn)行標(biāo)準(zhǔn)化。規(guī)范人員職責(zé)劃分，權(quán)限分類來(lái)更好的進(jìn)行運(yùn)維規(guī)范。oracle EM cloud control 12C我們有時(shí)候會(huì)使用oracle EM來(lái)進(jìn)行監(jiān)控。使用Oracle SQL Tunning和SQL Access Advise來(lái)進(jìn)行SQL優(yōu)化優(yōu)點(diǎn)：能夠給出性能瓶頸點(diǎn)，可以快速對(duì)癥下藥 弊端： EM cloud control 12C 需要license且部署繁瑣自動(dòng)化運(yùn)維少量運(yùn)維專家+運(yùn)維機(jī)器人-參考：裴丹落地生根：AIOps路線圖標(biāo)準(zhǔn)自動(dòng)化運(yùn)維：讓機(jī)器干機(jī)械的事大規(guī)模機(jī)器，大數(shù)據(jù)量。

6、應(yīng)用場(chǎng)景如下：實(shí)時(shí)監(jiān)控日志分析自動(dòng)巡檢快速部署彈性擴(kuò)容故障處理（常規(guī)故障，二維故障）自動(dòng)化運(yùn)維的前提互聯(lián)網(wǎng)企業(yè)具有天然的優(yōu)勢(shì)，在自動(dòng)化運(yùn)維方面會(huì)早一些。但傳統(tǒng)企 業(yè)及中小企業(yè)幾乎為零起步，大部分企業(yè)還處于原始人工運(yùn)維的階段。 標(biāo)準(zhǔn)化是最最最重要的前提，標(biāo)準(zhǔn)化指的是：1、設(shè)備標(biāo)準(zhǔn)化2、系統(tǒng)標(biāo)準(zhǔn)化3、數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)化4、接口(日志)標(biāo)準(zhǔn)化智能化運(yùn)維的未來(lái)發(fā)展方 向背景絕大部分公司目前AIOps還處于探索階段，小部分公司處于系統(tǒng)性建設(shè) 基礎(chǔ)的階段。很多吹得神乎其神的AIOps落地的公司或組織，我覺(jué)得很少能在大規(guī)模 場(chǎng)景下經(jīng)得起推敲。很多情況下，使用的都還是傳統(tǒng)的統(tǒng)計(jì)分析方法，只是被包裝了一個(gè) AIOps

7、的名字而已。但同時(shí)這也是任何事物發(fā)展過(guò)程中的一個(gè)必經(jīng)階段。目標(biāo)未來(lái)集中主要在兩個(gè)大方面： 1、成本，需要從節(jié)約成本。2、可用性，需要以提高效率為根本宗旨，做到及時(shí)發(fā)現(xiàn)問(wèn)題，快 速定位問(wèn)題，最終解決問(wèn)題。系統(tǒng)可用性量化指標(biāo)業(yè)界用N 個(gè)9 來(lái)量化可用性， 最常說(shuō)的就是類似 “4個(gè)9(也就是99.99%)” 的可用性。智能化運(yùn)維：基于機(jī)器學(xué)習(xí)很多運(yùn)維場(chǎng)景都可以總結(jié)成一些規(guī)則化的東西，可以經(jīng)過(guò)提煉 總結(jié)生成人工經(jīng)驗(yàn)庫(kù)。除了人工經(jīng)驗(yàn)以外，還可以通過(guò)AI算法 對(duì)歷史數(shù)據(jù)進(jìn)行分析，得到一些由機(jī)器生成的規(guī)則。運(yùn)維大數(shù)據(jù)：機(jī)器學(xué)習(xí)為主，經(jīng)驗(yàn)為輔為機(jī)器學(xué)習(xí)提供素材，掌握系統(tǒng)業(yè)務(wù)節(jié)奏（全局和局部），明確 資源臨界點(diǎn)

8、（閥值）智能化運(yùn)維很大程度上取決于數(shù)據(jù)的質(zhì)量及樣本的豐富性。也就 是說(shuō)，如果樣本很少，數(shù)據(jù)本身帶有傾向性，質(zhì)量不高，那么 AIOps的準(zhǔn)確性和效果就會(huì)大打折扣。運(yùn)維大數(shù)據(jù)：機(jī)器學(xué)習(xí)為主，經(jīng)驗(yàn)為輔風(fēng)險(xiǎn)異常預(yù)測(cè) 資源異常預(yù)測(cè)，如空間、CPU、內(nèi)存、I/O等 性能異常預(yù)測(cè) 故障規(guī)律預(yù)測(cè)為決策提供依據(jù)圖：硬盤故障趨勢(shì)智能化運(yùn)維：讓機(jī)器干人的事運(yùn)維自動(dòng)化運(yùn)維大數(shù)據(jù)預(yù)測(cè)智能化運(yùn)維四大要素機(jī)器 學(xué)習(xí)經(jīng)驗(yàn) 算法分析研判故障處理后臺(tái)架構(gòu)機(jī)器學(xué)習(xí)引擎變化監(jiān)測(cè)引擎CPU內(nèi)存I/O網(wǎng)絡(luò)數(shù)據(jù)庫(kù)參數(shù) 數(shù)據(jù)庫(kù)配置 統(tǒng)計(jì)信息 DML頻率 對(duì)象DDL業(yè)務(wù)模型TOP SQL TOP OSW會(huì)話登錄SQL解析SQL執(zhí)行SQL提交網(wǎng)

9、絡(luò)返回性能解析模塊主機(jī)資源數(shù)據(jù)庫(kù)資源性能測(cè)試模塊小型數(shù)據(jù)庫(kù)指主機(jī)資源負(fù)載較低，并發(fā)不高的數(shù)據(jù)庫(kù)，空間小于500GB。其性能問(wèn) 題往往是由SQL執(zhí)行效率引起。中大型數(shù)據(jù)庫(kù)指主機(jī)資源負(fù)載或者事務(wù)并發(fā)較高的數(shù)據(jù)庫(kù)。其性能問(wèn)題往往由主機(jī)資源不 足、數(shù)據(jù)庫(kù)資源沖突、SQL執(zhí)行效率等相關(guān)。AI性能運(yùn)維需求：不同類型的數(shù)據(jù)庫(kù)，AI性能運(yùn)維需求不同以結(jié)果為導(dǎo)向，傻瓜式的操作指南過(guò)程性的關(guān)聯(lián)告警，明確問(wèn)題方向誰(shuí)需要AI運(yùn)維？小白。性能優(yōu)化難點(diǎn)不報(bào)錯(cuò)無(wú)頭緒時(shí)好時(shí)壞所有性能優(yōu)化目標(biāo)：性能拐點(diǎn)后移找到變化=找到問(wèn)題方向性能優(yōu)化關(guān)鍵點(diǎn)1：尋找變化分類，樸實(shí)無(wú)華的名詞：流程化肢解性能問(wèn)題AI性能優(yōu)化關(guān)鍵點(diǎn)2：分類AI性能

10、優(yōu)化關(guān)鍵點(diǎn)3：尋找拐點(diǎn)和突變點(diǎn)突變點(diǎn)：拐點(diǎn)：主要用途：應(yīng)用于多種場(chǎng)景，如性能告警，判斷各子模塊性能異常肢解+標(biāo)簽AI性能優(yōu)化關(guān)鍵點(diǎn)4：智能標(biāo)簽AI性能優(yōu)化關(guān)鍵點(diǎn)5：機(jī)器學(xué)習(xí)1、學(xué)習(xí)曲線規(guī)律（數(shù)據(jù)庫(kù)指標(biāo)特征）2、預(yù)測(cè)變化趨勢(shì)3、修正告警閥值、性能預(yù)警數(shù)據(jù)統(tǒng)一分析引擎和智能閾值事件和時(shí)序關(guān)聯(lián)分析：時(shí)序數(shù)據(jù)庫(kù)(RRD、Whisper/TSDB）智能運(yùn)維：邏輯讀超過(guò)正常水平分析自動(dòng)化運(yùn)維主流技術(shù)手段及框架開源工具隨著互聯(lián)網(wǎng)的發(fā)展及開源框架的興起，很多企業(yè)逐漸意識(shí)到借助 開源工具能夠大幅度提高運(yùn)維效率，這也大大縮短了企業(yè)實(shí)施 DevOps的周期，為進(jìn)一步實(shí)施AIOps打下了基礎(chǔ)。因此，從節(jié)奏 和趨勢(shì)來(lái)講

11、，AIOps落地會(huì)比想象更快。載體DockerKVMAnsible經(jīng)典的ELK一臺(tái)服務(wù)器怎么打補(bǔ)?。可先f(wàn)臺(tái)服務(wù)怎么打補(bǔ)??？自動(dòng)化運(yùn)維平臺(tái)目前自動(dòng)化運(yùn)維產(chǎn)品主流部署模式主流產(chǎn)品類型適用于本身具有高級(jí)技術(shù)的DBA維護(hù)人員。通過(guò)大量的信息提示能夠能自行對(duì)比數(shù)據(jù)之間的差異變化，判斷問(wèn)題產(chǎn)生原因，找到解決問(wèn)題的方向。通過(guò)積累的大量專業(yè)知識(shí)快速使用命令解決問(wèn)題。維護(hù)人員本身具有快速發(fā)現(xiàn)，排查，解決問(wèn)題的能力。適用于沒(méi)有專業(yè)DBA技術(shù)的維護(hù)人員。通過(guò)監(jiān)控運(yùn)維平臺(tái)快速感知問(wèn)題癥結(jié)點(diǎn)。通過(guò)運(yùn)維軟件中封裝的大量運(yùn)維工具能夠快速獲取解決方案，解決運(yùn)維問(wèn)題快速恢復(fù)業(yè)務(wù)或提前解決預(yù)警問(wèn)題。美創(chuàng)眼中的自動(dòng)化運(yùn)維自動(dòng)化運(yùn)維

12、之框架監(jiān)控何為監(jiān)控？監(jiān)控是給不懂的人看的監(jiān)控不是指標(biāo)的簡(jiǎn)單展示監(jiān)控之間的指標(biāo)不是孤立的監(jiān)控容易做，告警很難做監(jiān)控是需要精確反映問(wèn)題的DBA日常都在做些什么？能否通過(guò)監(jiān)控展示出來(lái)？DBA最關(guān)注的性能是什么？能否通過(guò)監(jiān)控展示出來(lái)？如何避免告警泛濫？平安短信關(guān)聯(lián)告警DBA日常在關(guān)注些什么？可用性性能可靠性錯(cuò)誤變化DBA最關(guān)注的性能是什么？考慮以下幾個(gè)問(wèn)題：如何挑選幾個(gè)指標(biāo)準(zhǔn)確描述數(shù)據(jù)庫(kù)狀態(tài)？SQL執(zhí)行流程如何在大屏中展示？預(yù)警，分為案例庫(kù)匹配預(yù)警、自發(fā)性預(yù)警告警，特征值過(guò)程性關(guān)聯(lián)告警知識(shí)庫(kù)，根據(jù)告警內(nèi)容自動(dòng)匹配知識(shí)庫(kù)數(shù)據(jù)中心一體化監(jiān)控運(yùn)維平臺(tái)簡(jiǎn)單指標(biāo)采樣運(yùn)維大數(shù)據(jù)日常巡檢機(jī)器 學(xué)習(xí)經(jīng)驗(yàn) 算法故障修復(fù)

13、性能優(yōu)化知識(shí)庫(kù)操作簡(jiǎn)單：無(wú)需繁雜的參數(shù)配置，復(fù)雜的界面跳轉(zhuǎn)，能夠通過(guò)鼠標(biāo)點(diǎn)擊 完成任何功能實(shí)現(xiàn) “數(shù)據(jù)簡(jiǎn)單”：將用戶需要的信息從復(fù)雜的信息海洋中提煉出來(lái)，展示 出直觀的數(shù)據(jù)庫(kù)狀態(tài)，不再讓用戶尋找判斷問(wèn)題癥結(jié)。使用簡(jiǎn)單：通過(guò)報(bào)告直接給出解決方案和建議，大大降低用戶的DBA技術(shù) 門檻，完成高級(jí)DBA才能完成的工作高效、專業(yè)、豐富高效：內(nèi)置各種功能都能夠快速達(dá)到客戶目標(biāo)。通過(guò)幾個(gè)簡(jiǎn)單的步驟就 能快速輸出針對(duì)當(dāng)前問(wèn)題的解決方案。專業(yè)：產(chǎn)品開發(fā)公司需要有足夠的DBA技術(shù)積累，才能夠?qū)⒓夹g(shù)積累開發(fā) 成產(chǎn)品進(jìn)行交付，平臺(tái)中的任何工具都必須要有足夠的專業(yè)性，內(nèi)部封 裝的各類采集器都需要做到最優(yōu)化，減少客戶環(huán)境

14、中的資源消耗問(wèn)題。 盡量避免產(chǎn)品本身BUG。產(chǎn)品要具有前瞻性。豐富：需要豐富的功能列表，考慮到客戶日常運(yùn)維過(guò)程中盡可能多的運(yùn) 維難題，才能更好的發(fā)展運(yùn)維監(jiān)控平臺(tái)的功能監(jiān)控，以過(guò)程為導(dǎo)向。實(shí)時(shí)反映系統(tǒng)健康狀態(tài)巡檢，監(jiān)控的補(bǔ)充。檢查遺留問(wèn)題、故障隱患軟件配置可用性安全性資源參數(shù)可靠性實(shí)例監(jiān)聽服務(wù)容災(zāi)備份弱密碼高權(quán)限主機(jī)資源數(shù)據(jù)庫(kù)資源主機(jī)參數(shù)數(shù)據(jù)庫(kù)參數(shù)RDBMSGRID巡檢平臺(tái)會(huì)話登錄解析執(zhí)行提交/返回內(nèi)存資源主機(jī)資源數(shù)據(jù)庫(kù)參數(shù)RAC Statistics以SQL生命周期為依據(jù)，流程化解析數(shù)據(jù)庫(kù)性能動(dòng)態(tài)評(píng)估SQL執(zhí)行效率，分析SQL執(zhí)行計(jì)劃性能解析故障處理的難點(diǎn)： 未來(lái)還沒(méi)發(fā)生的故障 不同因素之間的

15、干擾當(dāng)前能做的： 解決容量不足類故障 保留故障現(xiàn)場(chǎng) 快速止損故障處理故障處理快速止損是當(dāng)前數(shù)據(jù)庫(kù)智能化運(yùn)維領(lǐng)域中最易實(shí)現(xiàn)的監(jiān)聽重啟實(shí)例重啟kill進(jìn)程空間擴(kuò)容固化執(zhí)行計(jì)劃Kill鎖主機(jī) 資源擴(kuò)容現(xiàn)場(chǎng)保存閥值告警快速止損的常見手段：構(gòu)建策略知識(shí)庫(kù)01美創(chuàng)選擇的運(yùn)維開發(fā)運(yùn)維人員掌握開發(fā)技術(shù)，面對(duì)復(fù)雜的環(huán)境、大批量的目標(biāo)，通過(guò)寫簡(jiǎn)單的小程序，多快好省的完成工作， 就是DevOps。02為什么是Python可供使用的模塊多。比Java簡(jiǎn)單。和操作系統(tǒng)打交道方便。開發(fā)周期短：同樣實(shí)現(xiàn)一個(gè)功能，C語(yǔ)言需要1000行，JAVA需要100行，Python僅僅只需要10行。等等。DevOps：運(yùn)維開發(fā)03Dev

16、Ops：運(yùn)維開發(fā)這個(gè)Python程序只有42行（算上空行）， 實(shí)現(xiàn)的效果卻十分驚人，它可以批量在多臺(tái)主 機(jī)上運(yùn)行指定腳本。roothzmc tools# ./case1.py -host host_list.txt -cmd cmd_list.aop # 192.168.200.222 #Space:FilesystemSizeUsedAvailUse%Mounted on/dev/sda1241G31G198G14%/tmpfs3.9G911M3.0G24%/dev/shmFree Memory:cachedtotalusedfreesharedbuffersMem:785831244733

17、02242371-/+ buffers/cache:5287330Swap:999909999Process count:233# 192.168.200.223 #Space:Used Avail Use% Mounted onFilesystem/dev/sda1 tmpfsSize 241G7.8G83G146G37% /72K7.8G1% /dev/shmFree Memory:totalusedfreesharedbuffers768582520312150814429287971215937cached Mem: 5864-/+ buffers/cache:Swap:9999Pro

18、cess count: 210這是運(yùn)行的效果，在多臺(tái)主機(jī)（畫面上顯示的 是兩臺(tái)）上顯示空間、內(nèi)存和進(jìn)程數(shù)。腳本接收兩個(gè)參數(shù)，一個(gè)是命令文件： cmd_list.aop，一個(gè)是目標(biāo)列表文件： host_list.txt。這個(gè)是主機(jī)列表文件：roothzmc tools# cat host_list.txt TARGET1IPADDR = 192.168.200.222USER = oracle PASSWORD = hzmcdba SCRIPT_DIR = /tmpTARGET2IPADDR = 192.168.200.223USER = oracle PASSWORD = hzmcdba SCRIPT_DIR = /tmp這個(gè)是命令文件：roothzmc tools# cat cmd_list.aop echo Space:df -hechoecho Free Memory: free -mechoech