構(gòu)建云服務(wù)容器實(shí)例服務(wù)構(gòu)建云服務(wù)存儲(chǔ)實(shí)例服務(wù)第一節(jié)第一節(jié)多種容器產(chǎn)品形態(tài)對(duì)比TKE@黑石優(yōu)點(diǎn)：資源開(kāi)銷小沒(méi)有租戶間共享缺點(diǎn)：節(jié)點(diǎn)管理,擴(kuò)縮容都不靈活HostOSContainerContainerContainer租戶獨(dú)占物理機(jī)TKE@CVM優(yōu)點(diǎn)：節(jié)點(diǎn)管理和擴(kuò)縮容比較方便缺點(diǎn)：VM帶來(lái)額外資源開(kāi)銷VM給客戶帶來(lái)額外管理負(fù)擔(dān)租戶AHostOSContainerContainerContainerGuestOSGuestOS租戶BCIS租戶AHostOSContainerLightOSContainerLightOSContainerLightOS租戶A租戶BCISwithvirtual-kubeletContainerInstancevirtual-kubeletNodeNodeuser'skubernetesclusterContainerInstanceContainerInstance第二節(jié)第二節(jié)輕量級(jí)虛擬化方案對(duì)比CIS輕量級(jí)虛擬化方案調(diào)研hyper.shClearContainerskataContainers他們性能如何？如何選擇？特性對(duì)比差異點(diǎn)CCHyper實(shí)現(xiàn)方式1、包含cc-runtime、cc-shim、cc-proxy、cc-agent、miniOS（kernel和rootfs）2、只實(shí)現(xiàn)runtime，把原來(lái)runc拆分成cc-runtime和cc-agent，再加上VM帶來(lái)的額外通信機(jī)制1、包含hyperctl、hyperd、hyperkernel、hyperstart2、和docker類似，實(shí)現(xiàn)一個(gè)前端命令hyperctl，和一個(gè)后臺(tái)daemonhyperdHypervisor1、只支持qemu，并且高度定制qemu2、只支持qemu2.7.0，后續(xù)會(huì)遷移至2.9.01、支持qemu、XEN、VirtualBox等2、支持qemu2.0以后的任何版本硬件平臺(tái)1、支持Intelx86_641、支持Intel、ARM64、PPC等其他依賴1、go1.8.0以上2、docker1.2.1以上、gcc-6.2.0、json-glib-1.2.2、glib-2.46.2、gmp-6.1.0、mpfr-3.1.41、go1.7.0以上基本參數(shù)對(duì)比DockerCCHyper容器啟動(dòng)時(shí)間632ms1249ms3256msVM鏡像大小0M62M11M容器內(nèi)存開(kāi)銷15M136M80Mpinghost平均時(shí)延0.05ms0.14ms0.2msCPU：8核Intel(R)Xeon(R)CPUX3440@2.53GHz系統(tǒng)：CentOSLinuxrelease7.2(Final)內(nèi)核：3.10.0-693_12.tl2Docker版本：1.12.6CC版本：3.0.14Hyper版本：1.0網(wǎng)絡(luò)架構(gòu)虛線為控制流，實(shí)線為網(wǎng)絡(luò)數(shù)據(jù)流CC為每個(gè)容器創(chuàng)建一個(gè)networknamespaceVM不支持vethpair，創(chuàng)建cc-bridge連接tap和vethpair網(wǎng)絡(luò)性能對(duì)比測(cè)試機(jī)型：浪潮SA5212M5(6133*2/32G*12/SSD-480G*2RAID/NVMe-4T*12/25GE*2)磁盤(pán)IO性能對(duì)比測(cè)試機(jī)型：浪潮SA5212M5(6133*2/32G*12/SSD-480G*2RAID/NVMe-4T*12/25GE*2)第三節(jié)第三節(jié)CISv1實(shí)現(xiàn)架構(gòu)CISv1架構(gòu)概覽CISv1架構(gòu)概覽CISv1架構(gòu)概覽和原則ControlCluter本身是一個(gè)TKE托管集群每個(gè)節(jié)點(diǎn)是特殊類型的CVM節(jié)點(diǎn)的生命周期由vstation管理每個(gè)節(jié)點(diǎn)比CIS實(shí)例規(guī)格稍大用戶購(gòu)買(mǎi)一個(gè)CIS，后臺(tái)在ControlCluster中創(chuàng)建一個(gè)Pod，通過(guò)NodeSelector調(diào)度到相應(yīng)規(guī)格的CVM通過(guò)CVM的自動(dòng)伸縮組，控制節(jié)點(diǎn)的增加和刪除實(shí)現(xiàn)原則：盡量復(fù)用騰訊云和k8s已有功能，提升CIS上線速度和穩(wěn)定性。ASG自動(dòng)打標(biāo)簽給ASG關(guān)聯(lián)一組標(biāo)簽，ASG創(chuàng)建出來(lái)的節(jié)點(diǎn)，會(huì)自動(dòng)打上k8s標(biāo)簽CIS實(shí)例請(qǐng)求->CVMASG(model:1C2G)Kubernetes

MasterKubernetes

MasterKubernetes

MasterCIS

ControlClusterASG(model:2C4G)deploymentwithNodeSelectormodel:1C2GcontainercontainerInstanceENICVMcontainerInstanceENICVMcontainerInstanceENICVMcontainerInstanceENICVMClusterAutoscalerENIcontrollercloud-provider請(qǐng)求ContainerInstance(規(guī)格1C2G)CIS-GW根據(jù)標(biāo)簽選擇對(duì)應(yīng)的ASGCVM->CIS實(shí)例ASG(model:1C1G)Kubernetes

MasterKubernetes

MasterKubernetes

MasterCIS

ControlClusterASG(model:1C2G)deploymentwithNodeSelectormodel:1C2GcontainercontainerInstanceENICVMcontainerInstanceENICVMcontainerInstanceENICVMcontainerInstanceENICVMClusterAutoscalerENIcontrollercloud-provider請(qǐng)求ContainerInstance(規(guī)格1C2G)CIS-GWENIcontroller創(chuàng)建彈性網(wǎng)卡ENI(根據(jù)Podannotation)

CVM上配置和啟動(dòng)kubelet等

kubeletcni-eni節(jié)點(diǎn)加入集群kubelet拉起POD調(diào)度POD到節(jié)點(diǎn)CIS網(wǎng)絡(luò)架構(gòu)每個(gè)POD綁定一個(gè)彈性網(wǎng)卡，不綁定veth設(shè)備，不連bridge同VPC的POD可以互通，不同VPC的POD不能通信POD跟節(jié)點(diǎn)之間不能通信nfs等volume插件需要修改，直接在容器中掛載第四節(jié)CISv2第四節(jié)如何管理katacontainerCISv2-如何管理katacontainer方案一在底層把katacontainer當(dāng)作一種新的CVM機(jī)型，完全交給vstation來(lái)管理。Pro:-復(fù)用云主機(jī)系統(tǒng)的母機(jī)管理和虛擬機(jī)管理機(jī)制Con:-需要自己實(shí)現(xiàn)相關(guān)Pod語(yǔ)義，以便支持