002深?理解Kubernetes的資源管理03基于云原?技術(shù)的成本管理最佳實(shí)踐0404GPU資源成本優(yōu)化云原?基?會(huì)2021年調(diào)查顯示，云原?的部署率已經(jīng)達(dá)到調(diào)查樣本的歷史性新?云原?基?會(huì)2021年調(diào)查顯示，云原?的部署率已經(jīng)達(dá)到調(diào)查樣本的歷史性新?96%的組織已經(jīng)在調(diào)研或使?KubernetesFlexeraFlexera發(fā)布的《2021云計(jì)算市場(chǎng)發(fā)展?fàn)顟B(tài)報(bào)告》30%-35%的云?出被浪費(fèi)了 TKE客戶(hù)數(shù)據(jù)分析和調(diào)研，客戶(hù)集群中資源成本浪費(fèi)?常嚴(yán)重，有眾多客戶(hù)提出關(guān)于提?資源利?率的訴求。后云原?時(shí)代的成本管理挑戰(zhàn)集中式財(cái)務(wù)預(yù)算和IT管理模式在向以業(yè)務(wù)為導(dǎo)向的分布式?jīng)Q策轉(zhuǎn)型。的年增?率快速增加。導(dǎo)致云費(fèi)?隨業(yè)務(wù)負(fù)載不斷變化。上云以后缺乏資源優(yōu)化意002深?理解Kubernetes的資源管理03基于云原?技術(shù)的成本管理最佳實(shí)踐0404GPU資源成本優(yōu)化深?理解Kubernetes中的節(jié)點(diǎn)資源spec:iispec:-/24status:cpu"capacity:cpu"cpu:1典型資源利?率以及?量分配率和使?率資源總量實(shí)際資源?量未分配資源過(guò)多分配資源業(yè)務(wù)波?閑置資源應(yīng)?擴(kuò)容是指在應(yīng)?接收到的并發(fā)請(qǐng)求已經(jīng)處于其處理請(qǐng)求極限邊界所謂橫向伸縮是指通過(guò)增加應(yīng)?實(shí)例數(shù)量分擔(dān)負(fù)載的?式來(lái)提升應(yīng)?整體處理能?的?式ticalScaling所謂縱向伸縮是指通過(guò)增加單個(gè)應(yīng)?實(shí)例資源以提升式CPU段資源配置彈性業(yè)務(wù)穩(wěn)定性O(shè)當(dāng)CPU發(fā)?搶占時(shí)以cpu.sharesO?法確保延遲敏感型業(yè)務(wù)的穩(wěn)定性002深?理解Kubernetes的資源管理03基于云原?技術(shù)的成本管理最佳實(shí)踐0404GPU資源成本優(yōu)化全鏈路降2.K8s原?調(diào)度策略是默認(rèn)均衡優(yōu)先務(wù)穩(wěn)定1.業(yè)務(wù)存在波峰波?2.存在復(fù)雜任務(wù)類(lèi)型時(shí)(?優(yōu)在線(xiàn)任務(wù)、低個(gè)業(yè)務(wù)單獨(dú)配置超賣(mài)?1.1.提升節(jié)點(diǎn)裝箱率2.提升資源利?率峰值3.提升資源利?率均值超過(guò)?標(biāo)值時(shí)進(jìn)?友好驅(qū)逐(驅(qū)逐時(shí)先增加間和?量?jī)蓚€(gè)維度進(jìn)?聚類(lèi)2.對(duì)聚類(lèi)后的業(yè)務(wù)進(jìn)?反相似性和錯(cuò)峰部署資源緊張時(shí)對(duì)低優(yōu)業(yè)務(wù)進(jìn)?搶占和壓制，保障業(yè)務(wù)穩(wěn)定性?運(yùn)維可?鍵配置最?裝箱率(?如200%)中?化團(tuán)隊(duì)驅(qū)動(dòng)FinOps心實(shí)時(shí)報(bào)表助?決策心業(yè)務(wù)價(jià)值驅(qū)動(dòng)決策心靈活利?云上成本模型 Ops 管理層 財(cái)務(wù)/采購(gòu)業(yè)務(wù)/產(chǎn)品負(fù)責(zé) 財(cái)務(wù)/采購(gòu) ?程/運(yùn)維ge理解?量和成本理解?量和成本績(jī)效跟蹤和展示?量?jī)?yōu)化組織?撐CraneCloudResourceAnalyticsandEconomicsCraneCloudResourceAnalyticsandEconomics???評(píng)分和PKI????sionMakingCosts開(kāi)展FinOps布道《降本之源-云原?成本管理??書(shū)》《云成本優(yōu)化節(jié)能減排??書(shū)》FinOps開(kāi)源項(xiàng)?Crane制定FinOps標(biāo)準(zhǔn)FinOps國(guó)內(nèi)?家頂級(jí)會(huì)員信通院云管優(yōu)秀案例牽頭《云原?FinOps能?成熟度模型》參與《云成本優(yōu)化?具技術(shù)要求》參與《企業(yè)云成本優(yōu)化能?與效果成熟度模型》參與《云財(cái)務(wù)運(yùn)營(yíng)成熟度模型》成?FinOps產(chǎn)業(yè)聯(lián)盟榮譽(yù)信通院云原?產(chǎn)業(yè)聯(lián)盟《2022年度云原?技術(shù)創(chuàng)新領(lǐng)航者》云計(jì)算標(biāo)準(zhǔn)和開(kāi)源推進(jìn)委員會(huì)《2022年度云優(yōu)化優(yōu)秀案例》分配視化多維擴(kuò)縮容數(shù)據(jù)運(yùn)營(yíng)平臺(tái)Crane控制臺(tái)CranedBaradMetrics-Server監(jiān)控系統(tǒng)數(shù)據(jù)運(yùn)營(yíng)平臺(tái)Crane控制臺(tái)CranedBaradMetrics-Server監(jiān)控系統(tǒng)CPU騰訊TLinux全資源QoS標(biāo)準(zhǔn)K8S集群TKE托管節(jié)電池EKS彈性集群?盤(pán)/彈性數(shù)據(jù)分析?盤(pán)/彈性數(shù)據(jù)分析業(yè)務(wù)定級(jí)業(yè)務(wù)定級(jí)與SLO?級(jí)CPU管理?級(jí)CPU管理部署模式零零侵?基基于原??為的擴(kuò)展可擴(kuò)可擴(kuò)展??鍵部署成本分析–業(yè)務(wù)利?分析?該模型從平臺(tái)側(cè)以及業(yè)務(wù)側(cè)考核各個(gè)BG的云資源使?情況?總成熟度得分=業(yè)務(wù)側(cè)得分*50%+平臺(tái)側(cè)得分*50%持續(xù)優(yōu)化–業(yè)務(wù)優(yōu)化視化?視化??量?基于預(yù)測(cè)的趨勢(shì)分析成本和浪費(fèi)識(shí)別?與計(jì)費(fèi)API整合的費(fèi)?展示?按部??按項(xiàng)??按應(yīng)?類(lèi)型?按?定義標(biāo)簽?可?持原地升降配的規(guī)格優(yōu)化?三條??曲線(xiàn)展示推薦值的來(lái)源平臺(tái)側(cè)優(yōu)化–節(jié)點(diǎn)容量縮放和?位管理集群?盤(pán)可視化?集群總體利?率?節(jié)點(diǎn)利?率熱?圖致?靈活的異常檢測(cè)策略?靈活的異常檢測(cè)策略?綜合指標(biāo)考量??優(yōu)業(yè)務(wù)CPU絕對(duì)搶占?低優(yōu)業(yè)務(wù)主動(dòng)驅(qū)逐定義?平臺(tái)運(yùn)維定義基于PriorityClass的沖突處理策略?業(yè)務(wù)運(yùn)維為業(yè)務(wù)定級(jí)沖突檢測(cè)與主動(dòng)回避敏感業(yè)務(wù)穩(wěn)定性?xún)?nèi)部?規(guī)模落地的成效?在騰訊內(nèi)部?研業(yè)務(wù)?部署?數(shù)百個(gè)?管控?cái)?shù)百萬(wàn)CPU核?盤(pán)總核數(shù)縮減25%002深?理解Kubernetes的資源管理03基于云原?技術(shù)的成本管理最佳實(shí)踐004GPU資源成本優(yōu)化GPU虛擬化業(yè)界問(wèn)題GPU算?&顯存利?率低不同客戶(hù)、任務(wù)之間存在資源的搶占和?擾?GPUshare等不?持QoS?vCUDA需要侵?式修改cuda庫(kù)APPAPPAPPAPPAPPAPPqGPUdriver擬化存+算?+故障強(qiáng)隔離提供在離線(xiàn)混部能?GPU0GPU/vGPU實(shí)例K8S?Kubernetesscheduler集群調(diào)度算法K8S?Kubernetesscheduler集群調(diào)度算法戶(hù)?幅節(jié)約GPU資源成本。等如何使用qGPUqGPU支持的3種隔離策略L(fǎng)abel值?名含義best-effort(默認(rèn)BestEffort爭(zhēng)搶模式fixed-sharexedShareburst-sharethBurst保證配額加彈性?測(cè)試環(huán)境?測(cè)試模型??測(cè)試環(huán)境?測(cè)試模型?性能指標(biāo)?性能指標(biāo)?Latency?期望結(jié)果qGPU性能分析-單podqGPU性能分析–多pod業(yè)界GPU虛擬化方案對(duì)比指標(biāo)項(xiàng)業(yè)內(nèi)某產(chǎn)品精準(zhǔn)算?隔離Y(nvidia外唯?)YNY在離在線(xiàn)混部Y(業(yè)界唯?)NNNYYYNYYYYYYYYYYYYYNYYYNYYNY