如果運(yùn)維可以重來一次自我介紹曾經(jīng)的全棧工程師一個(gè)十年運(yùn)維老兵騰訊社交網(wǎng)絡(luò)運(yùn)營(yíng)部助理總經(jīng)理騰訊技術(shù)運(yùn)營(yíng)通道會(huì)長(zhǎng)全民K歌QQ秀興趣部落天天P圖團(tuán)隊(duì)介紹……紅米空間首發(fā)天津大爆炸2億調(diào)度春節(jié)紅包一個(gè)可靠和值得信賴的團(tuán)隊(duì)運(yùn)維能力2億多活躍用戶億級(jí)在線千萬在1億線多活躍用戶億級(jí)在線4億多活躍用戶745萬預(yù)約

單秒14.8萬搶購(gòu)90秒10萬臺(tái)超過1億點(diǎn)贊完美支持2次QQ春節(jié)紅包擴(kuò)容5000臺(tái)

477萬次／秒為什么是這個(gè)題目回顧團(tuán)隊(duì)10年運(yùn)維歷程，如果運(yùn)維團(tuán)隊(duì)有機(jī)會(huì)可以重來一次，團(tuán)隊(duì)最該優(yōu)先做好哪些事情？回顧審思前行運(yùn)維首先應(yīng)讓自己維護(hù)的系統(tǒng)可靠、讓自己的工作高效，才去追求更高的目標(biāo)容錯(cuò)方案容錯(cuò)機(jī)制灰度方案決策調(diào)度名字路由資源鏡像流程系統(tǒng)決策系統(tǒng)統(tǒng)一框架包管理L5系統(tǒng)CMDBA流程系統(tǒng)決策系統(tǒng)有效監(jiān)控DLPROOT容量對(duì)我們高效、可靠幫助最大的是什么資源管理代碼管控資源組織L5（L5

CMLB

TGW)L5取名意為希望所有服務(wù)器能像設(shè)備廠商提供的5級(jí)維保承諾一樣可以

2周內(nèi)才處理。同時(shí)延展出了路由、灰度、接口監(jiān)控等能力世界上管理服務(wù)器最多的系統(tǒng)……L5

DNSL5－主機(jī)／接口級(jí)的容錯(cuò)原理CGIL5agent模塊ID+命令I(lǐng)DIP+PORT(根據(jù)成功率和延遲)成功情況和延遲L5

agentCGICGI

CGICGIL5

agentCGICGI

CGICGIHOST

1HOST

2L5

agentCGICGICGICGIHOST

NL5

DNS織云L5的灰度、容錯(cuò)、路由、負(fù)載均衡能力L5

DNS……1100100

10010010070100

95060100灰度容錯(cuò)路由負(fù)載均衡L

5對(duì)運(yùn)維的幫助減少了80~90%的日常故障不再需要頻繁的變更ip+port（也是故障源）同過名字便利的服務(wù)上下線可通過權(quán)重灰度上線模塊訪問關(guān)系可幫助定位根源故障接口的延遲和失敗率可用來監(jiān)控集容錯(cuò)、負(fù)載均衡、路由、灰度、監(jiān)控能力于一身統(tǒng)一框架和架構(gòu)推廣標(biāo)準(zhǔn)的統(tǒng)一開發(fā)框架，“減少”運(yùn)維所維護(hù)的運(yùn)維對(duì)象減少“個(gè)性化“，大幅提升對(duì)所管理服務(wù)的“熟悉”程度統(tǒng)一框架管道 消息隊(duì)列

FIFO 信號(hào)文件鎖 記錄鎖 有/無名信號(hào)燈共享內(nèi)存對(duì)象 文件映射內(nèi)存分POSIX和SystemV兩類迭代服務(wù)器epoll

IO復(fù)用服器進(jìn)程/線程池：零時(shí)創(chuàng)建進(jìn)程/線程池：提前創(chuàng)建Select

pollIo復(fù)用服器進(jìn)程/線程池：提前創(chuàng)建+分發(fā)進(jìn)程/線程進(jìn)程/線程池：提前創(chuàng)建+鎖模式統(tǒng)一框架socket()connec()send()recv()close()socket()bind()listen()accept()recv()send()recv()close()阻塞等待連接3次握手業(yè)務(wù)邏輯業(yè)務(wù)邏輯結(jié)束通知處理請(qǐng)求客戶端服務(wù)器網(wǎng)絡(luò)、進(jìn)程間通訊、吞吐效率、穩(wěn)定性、統(tǒng)計(jì)等形成框架，持續(xù)完善運(yùn)維配置，部署，維護(hù)業(yè)務(wù)邏輯部分，以SO動(dòng)態(tài)庫(kù)方式編寫，與框架分離部署，類似WEB服務(wù)器上的CGI統(tǒng)一框架:接入和邏輯框架邏輯分離接入邏輯QZHTTPSPP/SF統(tǒng)一框架：存儲(chǔ)訪問量存儲(chǔ)量小大大Cbitmap位圖CDB關(guān)系sqlCSSDSSD

K-VCMEMGROCERY內(nèi)存K-VCKVL5SPPSPPSPPSPPSPPSPP…QzhttpQzhttpQzhttpQzhttpQzhttpQzhttp…TGW接入層邏輯層存儲(chǔ)層統(tǒng)一框架：標(biāo)準(zhǔn)架構(gòu)視圖，管理管理節(jié)點(diǎn)L5accessaccessCDB集群/主備CKV集群/主備CBITMAP集群/主備access統(tǒng)一框架對(duì)運(yùn)維的幫助12345網(wǎng)絡(luò)框架和業(yè)務(wù)邏輯SO分離管理運(yùn)維人員學(xué)習(xí)成本大大降低框架穩(wěn)定性極大提高可跨業(yè)務(wù)統(tǒng)一維護(hù)運(yùn)維效率提升最高可達(dá)10倍資源打包管理，形成進(jìn)程運(yùn)轉(zhuǎn)需要的完整鏡像運(yùn)維標(biāo)準(zhǔn)深入研發(fā)環(huán)節(jié)的落地方法；進(jìn)程運(yùn)行依賴環(huán)境和資源的完整組合；開發(fā)的標(biāo)準(zhǔn)交付物；一個(gè)進(jìn)程運(yùn)轉(zhuǎn)的完整鏡像所有程序統(tǒng)一打包startstoprestartmonitorinstallA

Process’s

Packag運(yùn)維看到的所有服務(wù)，都是標(biāo)準(zhǔn)的package“包”具備標(biāo)準(zhǔn)操作接口diskclearuninstallchecksum打包管理對(duì)運(yùn)維的幫助部署規(guī)范統(tǒng)一，再也不擔(dān)心找不到標(biāo)準(zhǔn)化了操作界面，極易學(xué)習(xí)掌支持前后置腳本做準(zhǔn)備和善進(jìn)程級(jí)運(yùn)轉(zhuǎn)的所有資源的完整鏡像資源登記到二級(jí)CMDB形成服務(wù)的虛擬鏡像除了傳統(tǒng)基礎(chǔ)配置信息，把一個(gè)模塊依賴的資源，全部記錄進(jìn)2級(jí)CMDB，形成一個(gè)模塊的虛擬鏡像CMDB＋資源＝虛擬鏡像CMDB虛擬鏡像對(duì)運(yùn)維的幫助記錄了模塊運(yùn)轉(zhuǎn)所依賴的所有資源一個(gè)模塊運(yùn)轉(zhuǎn)的所有資源的

“完整鏡像”

不再需要文檔說明決策調(diào)度自動(dòng)執(zhí)行流程織云自動(dòng)部署流程23步業(yè)務(wù)測(cè)試獲取資源發(fā)布部署灰度上線申請(qǐng)?jiān)O(shè)備發(fā)布自檢1.獲取參數(shù)列表2.屏蔽負(fù)載事件通知3.查詢?cè)O(shè)備調(diào)度接口4.根據(jù)模塊ID查域名5.獲取資源配置6.申請(qǐng)權(quán)限接口7.獲取設(shè)備IP地址8.屏蔽告警9.安裝程序包10.同步文件11.獲取CC參數(shù)12.發(fā)配置13.執(zhí)行腳本14.主調(diào)擴(kuò)容20.VIP添加RS21.L5被調(diào)擴(kuò)容22.告警屏蔽解除23.開啟負(fù)載事件通知18.查詢授權(quán)結(jié)果19.自動(dòng)化測(cè)試15.啟動(dòng)軟件包16.進(jìn)程端口掃描17.上報(bào)變更日志騰訊織云自動(dòng)化運(yùn)維體系資源倉(cāng)庫(kù)進(jìn)程 目錄 文件 配置…資源1…進(jìn)程 目錄 文件 配置資源N…業(yè)務(wù)模塊A…業(yè)務(wù)模塊BCMDB模塊A資源1資源2資源3模塊B資源3資源4資源7名字＋容錯(cuò)＋灰度決策系統(tǒng)基礎(chǔ)監(jiān)控ROOTDLP進(jìn)階監(jiān)控關(guān)鍵告警根源告警流程引擎監(jiān)控體系高效可靠織云全自動(dòng)擴(kuò)縮容我們運(yùn)維規(guī)范的推進(jìn)歷程10～13年L5容錯(cuò)名字服務(wù)

08～10年

組件標(biāo)準(zhǔn)化06～08年打包規(guī)范13～now資源登記權(quán)限中心智能化自動(dòng)化運(yùn)維最大的困難是？（歷史問題）美國(guó)西南航空公司的神話1971年成立美國(guó)第二大航空公司超過33年的持續(xù)盈利創(chuàng)造世界民航業(yè)神話只購(gòu)買波音－737型飛機(jī)，網(wǎng)狀去樞紐化營(yíng)運(yùn)策略如果運(yùn)維可以重來一次運(yùn)維一直在解決的歷史問題如果運(yùn)維可以重來一次如果有再來一次的機(jī)會(huì)，是否可以在最開始的頂層設(shè)計(jì)輕松解決？而運(yùn)維是否可以始終堅(jiān)守自己的原則？Devops運(yùn)維定標(biāo)準(zhǔn)運(yùn)維開發(fā)串流程開發(fā)建根基騰訊云－業(yè)界領(lǐng)先的公有云服務(wù)能力基礎(chǔ)IAAS平臺(tái)彈性計(jì)算