業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用基礎(chǔ)架構(gòu)能力抽象&標(biāo)準(zhǔn)化業(yè)務(wù)應(yīng)用中間件底層硬件底層硬件?架構(gòu)敏捷和運(yùn)維精益的極致?開發(fā)測(cè)試運(yùn)維體系融合容器化微服務(wù)化無(wú)服務(wù)器化從疑惑到成熟：云計(jì)算領(lǐng)域技術(shù)趨于成熟，市場(chǎng)空間、社區(qū)關(guān)注度提高業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用基礎(chǔ)架構(gòu)能力抽象&標(biāo)準(zhǔn)化業(yè)務(wù)應(yīng)用中間件底層硬件底層硬件?架構(gòu)敏捷和運(yùn)維精益的極致?開發(fā)測(cè)試運(yùn)維體系融合容器化微服務(wù)化無(wú)服務(wù)器化從疑惑到成熟：云計(jì)算領(lǐng)域技術(shù)趨于成熟，市場(chǎng)空間、社區(qū)關(guān)注度提高從穩(wěn)態(tài)到敏態(tài)：業(yè)務(wù)亟待敏捷變革，需求趨于多樣性，業(yè)務(wù)發(fā)展急需技術(shù)支撐?外包托管機(jī)房?傳統(tǒng)應(yīng)用虛擬化應(yīng)用無(wú)狀態(tài)化運(yùn)維自動(dòng)化服務(wù)規(guī)?；?分布式去中心化部署?運(yùn)維管控統(tǒng)一托管在PaaS層底層硬件底層硬件云原生容器技術(shù)的所帶來(lái)的是一種應(yīng)用交付模式的變革所以今天關(guān)于云原生落地實(shí)踐的分享將包括?DevOpsCI/CD流程設(shè)計(jì)?容器網(wǎng)絡(luò)規(guī)劃方案?分布式存儲(chǔ)對(duì)接?所以今天關(guān)于云原生落地實(shí)踐的分享將包括?DevOpsCI/CD流程設(shè)計(jì)?容器網(wǎng)絡(luò)規(guī)劃方案?分布式存儲(chǔ)對(duì)接?但還不夠本次分享核心內(nèi)容：K8S體系下的應(yīng)用變更與發(fā)布管控風(fēng)險(xiǎn)：發(fā)現(xiàn)問(wèn)題后如何做到快速止損，甚至線上零故障？?需求背景：變更“三板斧”?Kubernetes原生發(fā)布能力：Deployment/ReplicaSet?具備高階發(fā)布策略的關(guān)鍵CRD擴(kuò)展：CAFEDeployment?更多能力介紹與發(fā)展規(guī)劃分組灰度發(fā)布：?感知底層拓?fù)?，按機(jī)房/部署單元進(jìn)行發(fā)布?分組灰度發(fā)布：?感知底層拓?fù)?，按機(jī)房/部署單元進(jìn)行發(fā)布?分批次發(fā)布、暫停、驗(yàn)證無(wú)損發(fā)布：?摘流保障和優(yōu)雅下線?原地注入/平滑升級(jí)過(guò)程追溯：需求背景：變更“三板斧”可灰度：可灰度：?應(yīng)用發(fā)布進(jìn)程可控，允許灰度、分組和精細(xì)化驗(yàn)證可應(yīng)急：可應(yīng)急：?隨時(shí)暫停、回滾，任何變更有據(jù)可查?跨可用區(qū)部署，保證雙活和故障切換可監(jiān)控：可監(jiān)控：?接入監(jiān)控告警體系，全程保證可觀測(cè)性?Deployment聲明Pod模版和發(fā)布方式?ReplicaSet管理Pod數(shù)量?重建發(fā)布：先刪干凈，從頭開始?滾動(dòng)發(fā)布策略，根據(jù)步長(zhǎng)，創(chuàng)建新Pod，銷毀舊PodApplicationViewCafeDeploymentInPlaceSetInPlaceSetApplicationViewCafeDeploymentInPlaceSetInPlaceSetClusterClusterViewCafeDeployment datacenter=dc-b datacenter=dc-b?提供跨部署單元的發(fā)布管理功能，聲明最終Pod按底層拓?fù)湫枨笞靼l(fā)布?使Pod均勻發(fā)布到各機(jī)房，也可按需求指定?部署單元是邏輯概念，通?？膳c以下節(jié)點(diǎn)拓?fù)鋵傩杂成洌嚎捎脜^(qū)（AZ）同城獨(dú)立物理機(jī)房（DataCenter）具備一定風(fēng)火水電隔離能力的機(jī)架（Rack）其他指定屬性kindkind:CafeDeploymentpodSetType:InPlaceSetstrategy:batchSize:4needWaitingForConfirm:truetopology:autoReschedule:enable:true#是否啟動(dòng)Pod自動(dòng)重調(diào)度initialDelaySeconds:10unitType:CellunitReplicas:CellA:4#固定某部署單元的Pod數(shù)目values:#部署單元 分組發(fā)布策略：以分三組為例，盡量讓應(yīng)用在每一組都平均分布在每個(gè)部署單元beta分組：每個(gè)部署單元發(fā)布變更一個(gè)Pod，作最小可用驗(yàn)證 分組發(fā)布策略：以分三組為例，盡量讓應(yīng)用在每一組都平均分布在每個(gè)部署單元beta分組：每個(gè)部署單元發(fā)布變更一個(gè)Pod，作最小可用驗(yàn)證關(guān)鍵特性：?精準(zhǔn)分組，自定義拓?fù)?分組暫停，充分線上驗(yàn)證?按需回滾，及時(shí)降低變更風(fēng)險(xiǎn)Replica/PartitionAllocatorInPlaceSetControllerkind:CafeDeploymentpodSetType:InPlaceSetstrategy:batchSize:4needWaitingForConfirm:truetopology:ControllerLoadBalancerControllerOtherprotectionControllers添加finalizer添加finalizer發(fā)布完成?配合外圍網(wǎng)絡(luò)組件進(jìn)行流量切換&恢復(fù)檢查?通過(guò)ReadinessGate控制Pod上下線ReadinessGate=false等待3s外部流量：ControllerLoadBalancerControllerOtherprotectionControllers添加finalizer添加finalizer發(fā)布完成?配合外圍網(wǎng)絡(luò)組件進(jìn)行流量切換&恢復(fù)檢查?通過(guò)ReadinessGate控制Pod上下線ReadinessGate=false等待3s外部流量：執(zhí)行升級(jí)ReadinessGate=true發(fā)布完成Service/EndpointControllerReadinessGate=true變更過(guò)程中：處理剩余請(qǐng)求 升級(jí)完成摘除finalizer添加finalizer摘除finalizer添加finalizer?阿里云SOFAStack控制臺(tái)應(yīng)用服務(wù)配置(復(fù)雜但強(qiáng)大的發(fā)布控制)kubectlgetpod-ocustom-columns（kubectleditcafedeployment（分組暫停–確認(rèn)–繼續(xù)發(fā)布）/openkruise/kruise?Kruise項(xiàng)目源自于阿里巴巴經(jīng)濟(jì)體應(yīng)用過(guò)去多年的大規(guī)模應(yīng)用部署、發(fā)布與管理的最佳實(shí)踐?解決Kubernetes之上應(yīng)用的自動(dòng)化，包括，部署，升級(jí)，彈性擴(kuò)縮容，Qos調(diào)節(jié)，健康檢查，遷移修復(fù)等等?一套增強(qiáng)版controller組件用于應(yīng)用的部署和級(jí)和運(yùn)維：AdvancedStatefulSetBroadcastJobSidecarSetCloneSetUnitedDeployment?UnitedDeployment核心貢獻(xiàn)者吳珂來(lái)自SOFAStack團(tuán)隊(duì)，主導(dǎo)CafeDeployment的設(shè)計(jì)和開發(fā)?正在努力減少商業(yè)版與社區(qū)版的差異，兩者將趨于統(tǒng)一場(chǎng)景案例：前置風(fēng)險(xiǎn)：高峰期自動(dòng)規(guī)避后置風(fēng)險(xiǎn)：變更后業(yè)務(wù)下跌調(diào)度層工作異常導(dǎo)致實(shí)際變更失敗場(chǎng)景案例：前置風(fēng)險(xiǎn)：高峰期自動(dòng)規(guī)避后置風(fēng)險(xiǎn)：變更后業(yè)務(wù)下跌調(diào)度層工作異常導(dǎo)致實(shí)際變更失敗基于算法與規(guī)則匹配的后置業(yè)務(wù)檢查基于算法與規(guī)則匹配的后置業(yè)務(wù)檢查…變更防控變更推進(jìn)主流分布式云平臺(tái)終將向云原生架構(gòu)演進(jìn)基于虛擬機(jī)的微服務(wù)應(yīng)用基于虛擬機(jī)的微服務(wù)應(yīng)用經(jīng)典運(yùn)維體系新架構(gòu)混合部署虛擬機(jī)實(shí)例技術(shù)棧腳本/運(yùn)維管道虛擬機(jī)實(shí)例技術(shù)棧腳本/運(yùn)維管道虛擬機(jī)實(shí)例技術(shù)棧腳本/運(yùn)維管道虛擬機(jī)實(shí)例技術(shù)棧腳本/運(yùn)維管道應(yīng)用程序包代碼經(jīng)典運(yùn)維體系2014-2017過(guò)渡期?上層交付運(yùn)維體系保持不變?應(yīng)用與基礎(chǔ)資源池解耦?基礎(chǔ)設(shè)施邁向K8S容器調(diào)度平臺(tái)云原生架構(gòu)2019-2020?云原生敏捷應(yīng)用交付?極致彈性充分利用計(jì)算資源?擁抱生態(tài)享受技術(shù)紅利流水線交付物彈性基礎(chǔ)設(shè)施應(yīng)用程序包經(jīng)典經(jīng)典PaaS運(yùn)維平臺(tái)經(jīng)典運(yùn)維體系+云原生基礎(chǔ)設(shè)施應(yīng)用程序包物理機(jī)物理機(jī)云原生運(yùn)維體系+云原生基礎(chǔ)設(shè)施容器鏡像容器組Pod應(yīng)用鏡像容器組Pod應(yīng)用鏡像單元化聯(lián)邦集群管控安全容器運(yùn)行時(shí)應(yīng)用交付安全容器SecureContainer應(yīng)用交付安全容器SecureContainer前沿創(chuàng)新業(yè)務(wù)原型實(shí)驗(yàn)系統(tǒng)互聯(lián)網(wǎng)應(yīng)用敏捷響應(yīng)市場(chǎng)金融核心系統(tǒng)傳統(tǒng)架構(gòu)資產(chǎn)應(yīng)用（雙模交付）應(yīng)用包Buildpack統(tǒng)一聯(lián)邦發(fā)布能力統(tǒng)一聯(lián)邦發(fā)布能力虛擬機(jī)虛擬機(jī)VirtualMachine彈性機(jī)房(計(jì)算、存儲(chǔ)、網(wǎng)絡(luò))彈性機(jī)房(計(jì)算、存儲(chǔ)、網(wǎng)絡(luò))BAAB數(shù)據(jù)平面AABKubernetesApiserver+SOFACAFEExtensionsBABA安全容器運(yùn)行時(shí)管控平面基礎(chǔ)設(shè)施基礎(chǔ)設(shè)施BAAB數(shù)據(jù)平面AABKubernetesApiserver+SOFACAFEExtensionsBABA安全容器運(yùn)行時(shí)管控平面基礎(chǔ)設(shè)施基礎(chǔ)設(shè)施公共云/行業(yè)云集群聯(lián)邦管控統(tǒng)一研發(fā)效能與技術(shù)風(fēng)險(xiǎn)統(tǒng)一代碼管理統(tǒng)一代碼管理統(tǒng)一研發(fā)流程統(tǒng)一研發(fā)流程統(tǒng)一變更管控統(tǒng)一變更管控統(tǒng)一監(jiān)控分析統(tǒng)一監(jiān)控分析統(tǒng)一系統(tǒng)自愈統(tǒng)一系統(tǒng)自愈統(tǒng)一應(yīng)用巡檢統(tǒng)一應(yīng)用巡檢…應(yīng)用發(fā)布管控經(jīng)典應(yīng)用服務(wù)流程編排單元化混合云應(yīng)用服務(wù)容災(zāi)服務(wù)容器應(yīng)用服務(wù)PaaS基礎(chǔ)核心服務(wù)應(yīng)用管理安全容器環(huán)境資源管理服務(wù)目錄權(quán)限認(rèn)證應(yīng)用發(fā)布管控經(jīng)典應(yīng)用服務(wù)流程編排單元化混合云應(yīng)用服務(wù)容災(zāi)服務(wù)容器應(yīng)用服務(wù)PaaS基礎(chǔ)核心服務(wù)應(yīng)用管理安全容器環(huán)境資源管理服務(wù)目錄權(quán)限認(rèn)證OpenAPI研發(fā)效能研發(fā)效能流水線對(duì)接監(jiān)控分析平臺(tái)業(yè)務(wù)實(shí)時(shí)監(jiān)控業(yè)務(wù)實(shí)時(shí)監(jiān)控事件審計(jì)中心事件審計(jì)中心技術(shù)風(fēng)險(xiǎn)技術(shù)風(fēng)險(xiǎn)平臺(tái)對(duì)接跨集群狀態(tài)分發(fā)/匯聚跨集群網(wǎng)絡(luò)跨集群鏡像管理跨集群資源管理跨集群發(fā)布策略多集群管理跨集群管理應(yīng)用層流量調(diào)撥數(shù)據(jù)層流量調(diào)撥接入層流量調(diào)撥跨集群狀態(tài)分發(fā)/匯聚跨集群網(wǎng)絡(luò)跨集群鏡像管理跨集群資源管理跨集群發(fā)布策略多集群管理跨集群管理應(yīng)用層流量調(diào)撥數(shù)據(jù)層流量調(diào)撥接入層流量調(diào)撥彈性流量管理單元化能力藍(lán)綠發(fā)布彈性建站/下站灰度分組發(fā)布容器騰挪/遷移Mesh流調(diào)撥和治理應(yīng)急預(yù)案管理藍(lán)綠發(fā)布彈性建站/下站灰度分組發(fā)布容器騰挪/遷移Mesh流調(diào)撥和治理應(yīng)急預(yù)案管理…（DRM/Scheduler/Message）容災(zāi)切換和恢復(fù)容災(zāi)切換和恢復(fù)變更管控原生資源管理配額管理集群伸縮管理精細(xì)化調(diào)度運(yùn)維原子操作基礎(chǔ)發(fā)布運(yùn)維變更管控原生資源管理配額管理集群伸縮管理精細(xì)化調(diào)度運(yùn)維原子操作批次發(fā)布批次發(fā)布容器鏡像管理容器鏡像管理容器層CAFECAFEAPIServerAggregationLayer（Docker/Pouch/安全容器）SOFAStack?（ScalableOpenFinancialArchitectureStack）是構(gòu)建金融級(jí)云原生架構(gòu)的應(yīng)用平臺(tái)，提供“端到端”金融級(jí)能力敏捷研發(fā)分布式平臺(tái)容災(zāi)保障研發(fā)效能項(xiàng)目協(xié)作項(xiàng)目協(xié)作代碼托管代碼托管持續(xù)交付持續(xù)交付消息隊(duì)列消息隊(duì)列任務(wù)調(diào)度分布式組件分布式事務(wù)分布式事務(wù)數(shù)據(jù)同步服務(wù)數(shù)據(jù)訪問(wèn)代理數(shù)據(jù)訪問(wèn)代理高可用應(yīng)急高可用應(yīng)急資金安全監(jiān)控資金安全監(jiān)控容災(zāi)服務(wù)容災(zāi)服務(wù)流程編排流程編排數(shù)據(jù)庫(kù)分布式關(guān)系型數(shù)據(jù)庫(kù)分布式關(guān)系型數(shù)據(jù)庫(kù)OceanBase微服務(wù)核心微服務(wù)核心微服務(wù)平臺(tái)微服務(wù)服務(wù)網(wǎng)格分布式鏈路跟蹤分布式鏈路跟蹤測(cè)試平臺(tái)測(cè)試平臺(tái)KubernetesKubernet