IOT運維之路Seraphim大數(shù)據(jù)/運維高級總監(jiān)AboutMobike的一天樊>25,000,000人次>7,000,000輛勰斂180+城市摩拜單車消耗卡路里4329億個漢堡全國用戶共消耗389.62億卡路里的熱量，相當(dāng)于消耗了4329億個漢堡（一個漢堡大約900卡路里）中國曾是自行車王國在過去20年里，我們有了2.2億汽車和3億司機城市交通擁堵&空氣污染/襲疇H髯騎行5三個區(qū)域由g提高德地圖：摩拜緩解交通擁堵顯著北示CBD晚高峰擁堵時|司明顯縮短高德追蹤2016年1月1日至2017年6月30HCBD高峰擁堵延時指數(shù)，數(shù)據(jù)顯示，隨著摩拜單車在CBD周邊投放量從0增至4000輛，CBD擁堵延時指數(shù)同比有所下降，CBD下降幅度最快，達16%,平均車輛時速由21公里提升至24.36公里。廣州規(guī)劃院：82%的廣州市民放棄乘坐黑車廣州市交通規(guī)劃研究院通過7個月對廣州昌崗地鐵站周邊黑車數(shù)量進行統(tǒng)計，摩拜單車出現(xiàn)后，82%的市民放棄乘坐黑車，黑車收入下降超過70%,37%的地鐵站點再無黑車，黑車交通事故下降超過22%。減少城市五類車隱患_—-----------、—------比降超過42%—37%82%82%的人群放棄乘坐五類車37%的地鐵站點再無五類車5站5單匹/一――'2016/102016/112016/122017/012017/022017/032017/G4Or

：fl|--4fE)3*40f*-*ftK11aftIB?1KfsXa?在圾多月舛廠卻曰國地淳略網(wǎng)辺運由ii關(guān)季55里近打拭計五類車收入下降超過70%五類車交通事故下降超過22%fOfmooiKe■祥■在BRAZIL.BOLWCHUURqeNTINASeamlessIntegrationofCutting-edgeGPStrackingAdjustableseat+SafetybellIII一■■一.[&SoftwareHardwarePuncture-freeairlesstiresOrangefive-spokewheelsEasypaymentWorld'sfirstloTsmartlock5IDBIUDUsuspensionCrank&Shaft\transmission7「ry=maintenance-freedesignwithover30+patentsatapDetail.7*04lUBAajSoftwareandHardwareTechnologies2QRcodeunlockk上割FullaluminumbodymoolKeJ?拜最車Q刖bikesMobikeLite發(fā)現(xiàn)問題線上問題總是業(yè)務(wù)先發(fā)現(xiàn)NOC值班靠感覺啥是監(jiān)控?好看的圖嗎?業(yè)務(wù)監(jiān)控基礎(chǔ)監(jiān)控鏈路監(jiān)控_______丿______r大數(shù)據(jù)監(jiān)控異常日志監(jiān)控Sentry業(yè)務(wù)監(jiān)控dashboardEventLogTracing全鏈路監(jiān)控^^OncallrotationHadoop^AlertManagerAFilebeatFilebeatFilebeat11^1勺anaMesosExporterMesosExporterNodeExporterNodeExporterNodeExporterMesosExporterQPrometheus*&,elasticElastAlertPrometheus匯總監(jiān)控數(shù)據(jù)：EIasticSearch匯總?cè)罩?__1.生態(tài)相對成熟，相關(guān)文檔很全面，從通用的到專用的各種exporter也很豐富。__2.查詢語句和配置簡單易上手。3.原生具有分布式屬性。______4.所有組件都可以部署在Docker容器內(nèi)。MesosExporter:1、可以用來收集容器的各項運行指標(biāo)。__2、并且本身他消耗的資源也很少，每個容器分配0.2CPU,128MB內(nèi)存也毫無壓力。MesosExporter:______1、對比cAdvisorocAdvisor是一個Google開源的項目，跟MesosExporter收集的信息八成以上都是類似___的；而且也可以通過image字段也可以變相實現(xiàn)關(guān)聯(lián)服務(wù)__與容器，______2、Mesosexporter里面的source字段可以直接關(guān)聯(lián)到____marathon^applicationid,更力口直觀一些。____3、同時cAdvisor還可以統(tǒng)十^一些自定義事件，而我們更多的用日志去收集類似數(shù)據(jù)，再加上MesosExporter__也可以統(tǒng)計一些Mesos本身的指標(biāo)，比如已分配和未分配的資源。AlertManager!?MiIFilebeatFilebeatFilebeat*elasticElastAlertMesosExporterNodeExporterMesosExporterMesosExporterNodeExporterNode短信風(fēng)暴沒人看短信Oncall睡覺了報警數(shù)據(jù)庫模版中心?

短信?策略調(diào)度?

微信報警策略?call最大的難點并不是實際業(yè)務(wù)代碼的編寫,而是服務(wù)的監(jiān)控和調(diào)試以及容器的編排ZipkinEyeAppdash(二次開發(fā))Trace073fa77aba1eda32(Permalink|ExportasJSON)clientclient(8ms)useruser(16ms)accountaccount(7ms)userworkuserwork(8ms)userphotouseractionuserphoto(10ms)wechatwechat(12ms)userrelation/endpoint1.cs-ClientStarto客戶端發(fā)起一次請求時記錄2.sr-ServerReceive。服務(wù)器收到請求并開始處理，和cs的差值就是網(wǎng)絡(luò)延時和時鐘誤差3.ss-ServerSend:服務(wù)器完成處理并返回給客戶端，ss和的差值就是實際的處理時長__4.cr-ClientReceive:客戶端收到回復(fù)時建立。標(biāo)志著一個span的結(jié)束。我們通常認為一但被記錄了,一個RPC調(diào)用也就完成了。其他的annotation則在整個請求的生命周期里建立以記錄更多的信息。由特定RPC的一系列annotation構(gòu)成Span序列，span記錄了很多特定信息如traceld,spandld,parentld和RPCnameo一個trace中所有的span都共享一個根span,trace就是一個擁有共同traceid的span的集合，所有的span按照spanid和父spanid來整合成樹形，從而展現(xiàn)一次請求的調(diào)用鏈。目前每次請求由PHP端生成traceid,并將span寫入Ktrace,沿調(diào)用鏈傳遞traceid,每個service自己在有需要的地方埋點并寫入Ktraceo效率平臺InPIaceDepIoyment1vlb維護頁面2、downtimemonitor3、更新、測試完成4、恢復(fù)monitorRollingUpdateDepIoyment1、通知lbdisable服務(wù)器。2、部署成功，測試完成后，lbenable已更親斤的服務(wù)器，undowntime監(jiān)控服務(wù)。3、重復(fù)2的步驟，直至所有服務(wù)器都更新完成Red-BIackDepIoymentNetfIix部署手段1\通過AutoScaIingGroup用包含新版本應(yīng)用的AMI的LaunchConfiguration創(chuàng)建2、失敗，銷毀新生成的服務(wù)器以及AutosealingGroupo3、通過，則將ELB指向新的服務(wù)器集群，然后銷毀掉舊的服務(wù)器集群以及AutoScaIingGroupBIue-GreenDepIoymentBlue/ActiveGreen/lnActiveLBLBRequestRequestGreen/lnActiveBlue/ActiveBatchUpgradeV2v2Test-?1111vlv]vlvlV2v2v2v2MultiRegionDepIoymentRequestTJNSPODTfNSPOD集成交付CICDDeploymentSystem??HAWAIITriggerTestResultTestResult_____TestResult________________________JenkinsSUBVERSIONDockerRegistrynProductbits______________________■metadata-SCMhooksTestbox_________"imageDeployAlphaEnvironmentDeployProdEnvironmentReleasecandidateimage十..Release______Testbox_candjdate__’mageimage______霍空蘭霹—霹timageimageHjmage________________________Release丿candidateimageCompileArchive—>tiDeployQAEnvironmentUT4FT4ManualJA■Test_____111fflDOmarathonJenkinsMaster1DockerRegistryJenkinsMaster2JenkinsMaster3SlaveSlavepoolBuildboxpoolTestboxpoolXXXboxpool2I9A6boo|1621poxboo|XXXpoxboo|DevTeamBMaster