美團ServiceMesh技術實踐與落地挑戰(zhàn)俊美團ServiceMesh介紹QOCTOQOCTOQ3OCTOOCTO1.0：美團第一代服務治理體系OCTO2.0：美團第二代服務治理體系(美團ServiceMesh)美團ServiceMesh介紹協(xié)議?美團RPC統(tǒng)一協(xié)議(基于thrift)功能?流量調(diào)度：服務分組(同機房、同城市)、機器權重、主備機基于SDK的服務治理基于Sidecar的服務治理業(yè)務進業(yè)務進程業(yè)務邏輯服務治理SDK路由尋址服務鑒權流量錄制通訊協(xié)議連接管理超時重試負載均衡跟蹤服務發(fā)現(xiàn)業(yè)務進業(yè)務進程業(yè)務邏輯MeshSDK連接管理通訊協(xié)議服務發(fā)現(xiàn)服務鑒權負載均衡服務發(fā)現(xiàn)服務鑒權負載均衡超時重試路由尋址鏈路跟蹤流量錄制通訊協(xié)議連接管理注冊中心眾多治理平臺密鑰系統(tǒng)集中式健康檢查系統(tǒng)統(tǒng)一變更分發(fā)中心節(jié)點管理系統(tǒng)監(jiān)控預警系統(tǒng)控制面節(jié)點注冊xDS增強面節(jié)點注冊中心眾多治理平臺密鑰系統(tǒng)集中式健康檢查系統(tǒng)統(tǒng)一變更分發(fā)中心節(jié)點管理系統(tǒng)監(jiān)控預警系統(tǒng)控制面節(jié)點注冊xDS增強面節(jié)點信協(xié)議Octo-ProxyAgentUDS穩(wěn)定性保障系統(tǒng)穩(wěn)定性保障系統(tǒng)?提供各種服務治理能力，如服務注冊發(fā)現(xiàn)、服務鑒權等控制平面?中心與全局管控能力?適配原有服務治理系統(tǒng)?數(shù)組面組件全部配置信息的來源?流量接管，完全接管業(yè)務流量?服務治理，完備的服務治理能力Octo-Proxy業(yè)務進程UDS業(yè)務進Octo-Proxy業(yè)務進程UDS業(yè)務進程?管理數(shù)據(jù)面組件的發(fā)布與升級MetaServer系統(tǒng)控制面節(jié)點注冊發(fā)現(xiàn)系統(tǒng)業(yè)務進程WorkerThreadecodekmsrhinoencodeConnectionPoolTL SOctoProxyxDSAdmin業(yè)務進程WorkerThreadecodekmsrhinoencodeConnectionPoolTL SOctoProxyxDSAdminLSStatFlushingScodeProcessManagementWorkerThread kmsrhinoencodeLibevent運維管理ConnectionPool控制面控制面?相同的線程模型和事件回調(diào)模型?完全兼容的xDS格式?增加對thrift編解碼支持?美團內(nèi)服務治理功能支持?修改后的xDS交互：支持按需訂閱、延啟動特性?…服務消費者MeshSDK監(jiān)聽UDS監(jiān)聽UDS監(jiān)聽9001Octo-ProxyTCP請求:9001核心能力-流量接管服務消費者MeshSDK監(jiān)聽UDS監(jiān)聽UDS監(jiān)聽9001Octo-ProxyTCP請求:9001UDS直連(Unixdomainsocket)?Sidecar代替業(yè)務進程監(jiān)聽TCP端口?Sidecar和業(yè)務進程之間通過本地UDS連接?Sidecar之間通過TCP直接連接優(yōu)勢?簡化運維成本：不用維護異構(gòu)環(huán)境的iptables?更好的性能：去掉TCP協(xié)議棧和iptables開銷4.訂閱remoteAppkey服務提供者MeshSDKOcto-ProxyremoteAppkey:9001Pilot/控制平面3.注冊:90016.3.注冊:9001MNS/命名中心4.FetchA業(yè)務進程2.資源列表增加A7.4.FetchA業(yè)務進程2.資源列表增加A7.SaveA閱請求A3.FetchA6.ResponseA5.ResponseA全量訂閱不適合美團數(shù)十萬節(jié)點的業(yè)務規(guī)模大規(guī)模集群下的服務訂閱?全量訂閱問題-按需訂閱?資源預熱問題-訂閱結(jié)果檢查?啟動順序問題-SDK重試邏輯?重啟信息丟失-訂閱信息落盤MNS/命名中心Pilot/控制平面8.8.CheckAxDSClustergerMeshSDKHttpAdmin9.通知結(jié)果roxyhttp通信/拉取可用pilot列表周期性檢查健康度更新cluster 更改健康狀態(tài)拉取節(jié)點列表記錄連接結(jié)果Metaserverfetcher被動http通信/拉取可用pilot列表周期性檢查健康度更新cluster 更改健康狀態(tài)拉取節(jié)點列表記錄連接結(jié)果Metaserverfetcher被動健康檢查模塊xDSclient/WithRetryFeatureoProxy和一臺Pilot建立連接API分發(fā)策略干預/容災獨立的服務發(fā)現(xiàn)?不能依賴現(xiàn)有服務發(fā)現(xiàn)能力?Pilot負載均衡，考慮IDC等等因素?Pilot水平分片，根據(jù)不同服務分發(fā)可靠的連接?ADS重連機制，連接失敗重試?被動健康檢查，減少控制面壓力?TCPkeepalive機制，保障長連接有效平臺注冊面集群LEGO-.升級通知LEGO-.升級通知3.版本下載Downloader技術方案選擇?美團異構(gòu)的生產(chǎn)環(huán)境：容器、虛擬機、物理機?LEGO平臺的優(yōu)勢：在大規(guī)模場景下經(jīng)歷了較長時間的考驗主要功能?進程粒度的升級重啟?靈活的灰度發(fā)布與回滾策略?支持Sidecar的監(jiān)控保護?支持Sidecar的熱重啟模式進程gentLEGOagenttoProxy4.執(zhí)行熱升級一些問題什么阻力呢？有什么解決方案嗎？應該從哪里入手開始推廣落地工作呢？我們團隊只有幾個人，如何低風險、高效率地推廣數(shù)萬服務呢？落地推廣面臨的挑戰(zhàn)獨立試點解解決業(yè)務同學的困惑部全面推廣解解決大規(guī)模推廣的難點?如何在推廣過程中保障整體風險可控?如何提高整體推廣的效率整體升級Mesh帶來的收益主要收益詳細描述SDK更輕量級，小語種可以支持更多服務治理能力加速治理能力迭代服務治理能力可以獨立升級、加速迭代降低兼容性維護成本服務治理功能下沉，線上30多個版本SDK會逐漸收斂，版本兼容性維護成本與風險下降6.流量控制eshMesh管理界面lot3.DSS動態(tài)策略下發(fā)2.下發(fā)配置6.流量控制eshMesh管理界面lot3.DSS動態(tài)策略下發(fā)2.下發(fā)配置5.獲取配置普通流量普通流量+灰度Mesh流量互聯(lián)互通、流量兼容業(yè)務進程MeshSDKMeshSDK流量模塊WorkerThreadMainThread4.分發(fā)配置OctoProxy升級Mesh的接入成本可視化管理平臺?無修改、無發(fā)布?一鍵接入、無感接入、自動接入?灰度流量、灰度機器?可觀測、可報警、可回滾測試環(huán)境?2核4G極限場景下，增加延遲平均不超過0.2ms時?QPS可以達到3.5萬實際場景下，業(yè)務QPS不超過1萬時?實際增加延遲不超過0.1ms?平均業(yè)務請求延遲為8ms，增加不超過1.25%延遲原本延遲增加延遲tfilterSidecar心跳模塊塊心跳探活業(yè)務進程tfilterSidecar心跳模塊塊心跳探活業(yè)務進程請求發(fā)送開關Mesh通信模塊Mesh通路流量原來RPC通路流量單機器降級?SDK通過心跳探活Sidecar單服務降級?自動檢測灰度Mesh流量錯誤率?Mesh流量錯誤率高于普通流量一定閾值時自動回切并報警這個接入對我們來說沒有業(yè)務收益，但是有穩(wěn)定性風險這個操作有風險嗎？如這個接入對我們來說沒有業(yè)務收益，但是有穩(wěn)定性風險這個操作有風險嗎？如果沒有風險我們可以考慮升級一下我們服務對性能要求很高，這個會不會影響性能啊好的，來俊，我們先了解下及可能帶來的收益，后續(xù)可隨我們業(yè)務需求一起再切換這這個我知道，我就想知道現(xiàn)在穩(wěn)定性如何，有多少人用，接入成本如何這這個接入對我們來說沒有業(yè)務收益，但是有穩(wěn)定性風險整體推廣的風險控制??控制風險，有節(jié)奏地進行接入支持驗證推廣方案?先線下接入，再線上接入?先非核心服務，再核心服務?控制流量逐步提高，驗證大規(guī)模流量場景?控制節(jié)點逐步提高，驗證大規(guī)模節(jié)點場景下非核心節(jié)點逐步增加流量逐步提高上非核心核心核心獨立試點獨立試點整體推廣的效率提升人人工運營推廣?篩選可以接入Mesh的服務?找到業(yè)務同學進行溝通接入?檢查接入Mesh的狀態(tài)?統(tǒng)計業(yè)務推廣情況?…線線上數(shù)據(jù)?服務是否接入?部門接入比例?Mesh端到端請求錯誤率?…人工操作下沉到自動化平臺線上數(shù)據(jù)收集運營大盤?多維度篩選?接入條件檢測?消息通知?監(jiān)控報警?…運營大盤?整體數(shù)據(jù)概覽?核心指標監(jiān)控?…落地推廣解決方案MeshMesh帶來的收益?多語言支持?分別迭代，加速服務治理功能迭代?收斂SDK版本，減少兼容性成本與風險升級升級Mesh的成本?用戶管理界面?一鍵接入、自動接入?按機器、按流量灰度接入MeshMesh對性能的影響?不超過1萬QPS時，延遲低于0.1ms升升級Mesh的穩(wěn)定性保障?針對機器的降級措施?針對服務的降級措施整體推廣的風險控制整體推廣的風險控制?先線下、在線上；先非