揚(yáng)帆起航百度智能云容器產(chǎn)品布局和創(chuàng)新01020304容器技術(shù)在百度內(nèi)部發(fā)展歷程百度智能云容器的商業(yè)化實(shí)踐容器化創(chuàng)新應(yīng)用和解決方案附錄目錄Since

2012自研百度的Borg幾十萬機(jī)器單集群上萬千萬級(jí)別容器資源利用率資源交付效率混布和混部內(nèi)部所有業(yè)務(wù)托管智能云前記-百度Matrix容器操作系統(tǒng)萌芽階段CRM、報(bào)表百AI計(jì)算、云原生應(yīng)用萬、十萬2012年2015年變更自動(dòng)化持續(xù)迭代、交付資源利用率、成本混合云、多云、靈活性2018年（現(xiàn)在所處階段）腳本統(tǒng)計(jì)、腳本監(jiān)控、工具化機(jī)器級(jí)管理、conf、bin制品庫分離cp、mv、restartuid、進(jìn)程ulimit對(duì)接內(nèi)部專業(yè)平臺(tái)服務(wù)網(wǎng)關(guān)包管理系統(tǒng)、版本管理系統(tǒng)應(yīng)用框架CgroupWarden（CF）專業(yè)平臺(tái)原生支持容器開發(fā)框架考慮容器環(huán)境支持鏡像中心、多地域、分發(fā)優(yōu)化鏡像規(guī)范、獨(dú)立部署器Matrix-Container、DockerQOSCNCF生態(tài)產(chǎn)品化、互操作性K8S部署模型自定義CRD安全容器、KVM強(qiáng)租戶主要業(yè)務(wù)規(guī)模中間件部署發(fā)布資源隔離發(fā)展階段在線廣告系統(tǒng)幾千檢索后端流行階段資源云化新計(jì)算階段內(nèi)部私有云PaaS演化過程一次部署，多次修改熱升級(jí)計(jì)算和存儲(chǔ)綁定字典索引全局有狀態(tài)上下游耦合藍(lán)綠發(fā)布以空間換效率無狀態(tài)、弱端口業(yè)務(wù)利舊（歷史習(xí)慣、龐大規(guī)模、穩(wěn)定性和效率）新的準(zhǔn)則（互操作性、不可變基礎(chǔ)設(shè)施、可編程性）資源插件化舊世界和新世界-沖突部署基于鏡像的增量發(fā)布容器生命周期接管數(shù)據(jù)配送高性能主機(jī)網(wǎng)絡(luò)多端口管理PortAMRouter包管理精細(xì)化版本管理鏡像傳輸優(yōu)化異步編譯和合并依賴模塊組織關(guān)系多模塊單獨(dú)管理，合并部署配置模板化舊世界和新世界

-

折衷eth09kube-proxydocker0/24containereth08080containereth080806000160008iptablesKUBE-POSTROUTINGall--anywhere

anywhereDNATtcp--anywhereanywheretcpdpt:56292to:1:8080BNSetcdNATNAT單機(jī)解決方案全機(jī)房方案內(nèi)網(wǎng)入口不變實(shí)現(xiàn)A區(qū)多機(jī)房流量調(diào)度核心問題網(wǎng)絡(luò)拓?fù)洌篕8S為容器網(wǎng)絡(luò)有多層虛擬IP，依賴復(fù)雜Iptables（穩(wěn)定性）三層路由必須依賴overlay網(wǎng)絡(luò)（高版本內(nèi)核依賴）Underlay扁平網(wǎng)絡(luò)，容器上萬，IP地址管理（地址耗盡）服務(wù)暴露：流量入口不易遷移還有對(duì)內(nèi)部服務(wù)調(diào)用解決方案容器尋址：降維:

放棄容器網(wǎng)絡(luò)，犧牲容器點(diǎn)對(duì)點(diǎn)通信端口換IP:

開放宿主機(jī)預(yù)留高端口區(qū)域，NAT容器出口全局集中管理全網(wǎng)NAT信息服務(wù)接入：打通統(tǒng)一Naming

Service，以NAT信息注冊(cè)服務(wù)舊世界和新世界

-

折衷

-

網(wǎng)絡(luò)接入核心問題設(shè)計(jì)理念和需求沖突pets

&

cattle,

提倡cattle內(nèi)部上云場景需要pets業(yè)界沒有方案且需求復(fù)雜增量更新原地重啟不破壞原生功能解決方案富容器定位，當(dāng)輕量級(jí)“虛機(jī)”進(jìn)程樹模型自定義init，保容器活常駐service進(jìn)程，保業(yè)務(wù)活接管所有外部指令富容器進(jìn)程樹設(shè)計(jì)實(shí)現(xiàn)舊世界和新世界

-

折衷

-

熱部署20172008201520092010AWSElastic-Beanstalk2012-2014BAE（基礎(chǔ)版下線）JAE（下線）騰訊CEE（下線）ACE（下線）搜狐云景（下線）IBM

BlueMixPivotalWeb

Services201620192018SAEGAEGoogle

GKEAzureACS華為 CCE阿里云

AKS騰訊云

TKE百度云

CCEAzureAKSAWS

FargateGoogle

Anthos公有云CaaS、企業(yè)PaaS公有云PaaS、應(yīng)用托管 Containerized Serverless、多云Vendor

Lock互操作性定位和受眾可運(yùn)維性安全性公有云泛容器類產(chǎn)品發(fā)展路徑（歷史）ECSEKSFargateAWSPLATFORM

SERVICEAWS

InfrastructureSERVICE

MiddlewarePivotalPASPKSMulti-Cloud

InfraPFSSERVICEBROKERACKECIEDASAliyunInfrastructureSERVICE

MiddlewareFunctionRKEWorkloadMgrHybird/Multi-Cloud

InfraUnifiedClusterMgrRancherCCEBCICNAPBaiduCloudInfrastructureSERVICE

MiddlewareCFCAWS Aliyun Baidu

Cloud以上內(nèi)容來自于各產(chǎn)品介紹，如有侵權(quán)，請(qǐng)聯(lián)系刪除公有云泛容器類產(chǎn)品發(fā)展路徑（現(xiàn)狀）容器運(yùn)行時(shí)容器運(yùn)行時(shí)鏡像環(huán)境隔離進(jìn)程樹資源限制卷虛擬網(wǎng)絡(luò)事件流容器運(yùn)行時(shí)容器運(yùn)行時(shí)容器運(yùn)行時(shí)容器編排容器編排資源管理IP和端口管理調(diào)度、彈性伸縮可用性、負(fù)載均衡容器生命周期管理容器分組、任務(wù)合約可發(fā)現(xiàn)性、連接和依賴性卷管理、遠(yuǎn)程訪問任務(wù)調(diào)度容器編排容器編排容器平臺(tái)容器平臺(tái)高可用性區(qū)、多集群跨平臺(tái)、多云適配安全策略、資源監(jiān)控、多租戶、平臺(tái)在線自升級(jí)、備份、恢復(fù)容器平臺(tái)PaaS應(yīng)用

+

微服務(wù)DockerK8SCaaSPaaS從云原生應(yīng)用中的一個(gè)環(huán)節(jié)向現(xiàn)代化應(yīng)用基礎(chǔ)設(shè)施OS轉(zhuǎn)變?nèi)萜骰A(chǔ)設(shè)施的抽像理解產(chǎn)品定位利用容器技術(shù)抹平基礎(chǔ)設(shè)施差異

，降低上層PaaS和物理資源的對(duì)接成本加快上層服務(wù)化技術(shù)落地跨云、異構(gòu)等復(fù)雜場景核心適配層，提供一致、透明的資源交付體驗(yàn)ABC

Stack容器套件 公有云容器服務(wù)容器化邊緣IaaS

+

PaaS標(biāo)準(zhǔn)CCE私有化純裸機(jī)容器化CCE容器引擎

BCI容器實(shí)例編排CDN邊緣容器實(shí)例端設(shè)備統(tǒng)一Runtime混合云連接器云邊協(xié)同控制計(jì)算網(wǎng)絡(luò)異構(gòu)資源邊資源基礎(chǔ)資源存儲(chǔ)容器集群管理集群高可用自動(dòng)擴(kuò)縮容云資源驅(qū)動(dòng) 數(shù)據(jù)采集鏡像API基于Kubernetes構(gòu)建的通用容器基礎(chǔ)設(shè)施百度智能云的容器基礎(chǔ)設(shè)施化容器引擎

——

CCE集群管理工作負(fù)載管理Virtual-KubeletHelm倉庫Docker

鏡像倉庫百度云基礎(chǔ)架構(gòu)服務(wù)

——IaaS容器實(shí)例

——

BCI邊緣容器

——

BEC業(yè)務(wù)支撐云服務(wù)器BCCGPU服務(wù)器物理服務(wù)器BBC云磁盤CDS容器實(shí)例WebShell事件日志訪問管理配置&存儲(chǔ)管理Docker

RuntimeKubernetes

開源標(biāo)準(zhǔn)監(jiān)控訪問入口邊緣容器持久化存儲(chǔ)邊緣服務(wù)云原生微服務(wù)應(yīng)用平臺(tái)DevOps

-

效率云區(qū)塊鏈BaaSAI開發(fā)平臺(tái)Infinite函數(shù)計(jì)算CFC流式計(jì)算BSC監(jiān)控事件日志私有網(wǎng)絡(luò)VPC對(duì)象存儲(chǔ)BOS文件存儲(chǔ)CFS彈性網(wǎng)卡IPV6百度智能云容器技術(shù)產(chǎn)品生態(tài)https:///PaddlePaddle/product/infinite.html適用于AI場景的容器化實(shí)踐數(shù)據(jù)采集傳輸計(jì)算與存儲(chǔ)特征工程模型訓(xùn)練在線預(yù)測數(shù)據(jù)存儲(chǔ)平臺(tái)資源與效率任務(wù)/數(shù)據(jù)/模型管理Internet

Clientsweb

browsermobile

appsIoT

devicesKubernetesNative

Pipeline適用于AI場景的容器化實(shí)踐

–

工程化彈性高性能容錯(cuò)復(fù)雜作業(yè)模型QoS復(fù)雜作業(yè)資源動(dòng)態(tài)調(diào)整GPU細(xì)粒度調(diào)度、拓?fù)鋬?yōu)化高性能網(wǎng)絡(luò)適配ElasticDeepLearningController

（CRD）/PaddlePaddle/edl適用于AI場景的容器化實(shí)踐

–

關(guān)鍵問題Label&NodeAffinity多型號(hào)GPUs（K40,

P40,

V100混合調(diào)度）Pserver&TrainerPod

AffinityScheduler：減小資源碎片優(yōu)化Device

Plugin與Kubelet協(xié)議增加DevicesToAllocate()rpc接口Device

Plugin選擇通信效率的最高的卡適用于AI場景的容器化實(shí)踐

-

關(guān)鍵問題舉例Membership&

SponsorshipGoldmemberofCNCFin

2019GoldsponsorofKubeConChina

2019PlatinumsponsorofLC3Beijingin2018（Linux

Foundation）CertificationCertifiedKubernetesConformance

ProgramKubernetesCertifiedService

ProviderContribution2019Q2TotalPullRequestMerged:

70+KubernetesSIGsInvolved: