目錄7+供應(yīng)商200+云產(chǎn)品6+地域千萬(wàn)核級(jí)CPU算力萬(wàn)卡級(jí)GPU算力成本洞察云資源成本多少，業(yè)務(wù)知不知道自己花了多少錢？資源用量歸屬是否準(zhǔn)確，成本分?jǐn)傄?guī)則是否合理？業(yè)務(wù)目標(biāo)和資源動(dòng)因是什么，單位資源成本是多少？成本優(yōu)化

云產(chǎn)品折扣是否有下降空間，是否存在供應(yīng)商獨(dú)家“壟斷”？

是否存在閑置資源，是否正確配置數(shù)據(jù)存儲(chǔ)周期以及介質(zhì)？

有沒(méi)有辦法提升有效工作負(fù)載占比，充分發(fā)揮昂貴資源的超強(qiáng)算力？成本運(yùn)營(yíng)

云資源的開通權(quán)限是否完成收口，是否配套資源申請(qǐng)流程？

實(shí)際資源成本相比預(yù)算計(jì)劃，是否符合預(yù)期，是否定期組織

review？成本洞察Inform成本優(yōu)化Optimize成本運(yùn)營(yíng)Operation資源歸屬，資源托管方并非實(shí)際使用方，資源算誰(shuí)的，如何衡量各方優(yōu)化做工成本分?jǐn)?，業(yè)務(wù)部門只收到賬單金額但看不到實(shí)際用量（共享資源）廠商折扣，商務(wù)合同折扣屬于高度機(jī)密信息，如何讓業(yè)務(wù)感知成本但屏蔽折扣目標(biāo)：對(duì)外統(tǒng)一混合云計(jì)費(fèi)賬單模型，對(duì)內(nèi)屏蔽折扣、提供量?jī)r(jià)對(duì)應(yīng)的資源賬單，看清成本并實(shí)現(xiàn)精細(xì)化運(yùn)營(yíng)方案收益中臺(tái)自持資源成本占比從15%+下降到5%

權(quán)責(zé)分明，采購(gòu)負(fù)責(zé)商務(wù)

saving，中臺(tái)技術(shù)提升效率，業(yè)務(wù)技術(shù)優(yōu)化用量工作量代價(jià)內(nèi)外賬金額偏差控制

中臺(tái)產(chǎn)品上架管理，資源用量上報(bào)、計(jì)費(fèi)項(xiàng)定價(jià)與計(jì)費(fèi)出賬CPU利用率（峰值/均值）資源使用方式（獨(dú)占/共享/搶占）潮汐規(guī)律（小時(shí)/天/周）VM

跨

NUMA

訪問(wèn)遠(yuǎn)端內(nèi)存

VM

跨

Socket

訪問(wèn)遠(yuǎn)端內(nèi)存同Socket下VM鄰居相互干擾內(nèi)存訪問(wèn)延遲的差異是CPU利用率分層的關(guān)鍵因素，RT表現(xiàn)：本地訪問(wèn)<跨NUMA訪問(wèn)<跨Socket訪問(wèn)numa

node內(nèi)存使用分布不均衡，局部訪問(wèn)壓力難以控制，性能不一大量跨numa訪問(wèn)延遲劣化整體性能物理資源售賣率與VM性能保障之間 的取舍，內(nèi)存規(guī)格越大，越容易出現(xiàn) 這個(gè)問(wèn)題相同socket相同numa

node下，

VM鄰居之間也會(huì)競(jìng)爭(zhēng)共享內(nèi)存資源，負(fù)載跑得越高，競(jìng)爭(zhēng)越為激烈頻繁page

fault造成RT抖動(dòng)定位分析內(nèi)核對(duì)CPU利用率的抖動(dòng)干擾，不改一行業(yè)務(wù)代碼也能拿到數(shù)倍性能提升的“意外”收獲系統(tǒng)內(nèi)存管理策略調(diào)整前，服務(wù)原來(lái)CPU跑到30%就開始抖動(dòng)，優(yōu)化后可以跑到85%，QPS提升280%透明大頁(yè)使用不當(dāng)CPU過(guò)高在機(jī)器內(nèi)存碎片化嚴(yán)重情況下，透明 大頁(yè)開了跟沒(méi)開一樣并帶來(lái)了額外開 銷，direct

compact引發(fā)抖動(dòng)大量IPI中斷導(dǎo)致CPU波動(dòng)業(yè)務(wù)代碼沒(méi)有實(shí)現(xiàn)內(nèi)存復(fù)用，機(jī)型升配后進(jìn)程共享核數(shù)增加，CPU遍歷大量發(fā)送IPI中斷搶鎖，性能嚴(yán)重退化VM的內(nèi)存帶寬、網(wǎng)絡(luò)帶寬、磁盤IO等限制，均會(huì)阻礙了CPU利用率進(jìn)一步提升內(nèi)存帶寬早于

CPU

到達(dá)瓶頸 內(nèi)存帶寬打滿觸發(fā)

CPU

throttle 爆發(fā)請(qǐng)求量超出

VM

處理能力大VM小Pod策略申請(qǐng)大規(guī)格VM，單socket單VM，避免云底層虛擬化黑盒不受控的問(wèn)題；多業(yè)務(wù)混跑，打散熱點(diǎn)分布，降低某種資源共振帶來(lái)的使用瓶頸（CPU/網(wǎng)絡(luò)/內(nèi)存帶寬）；通過(guò)K8s調(diào)度和內(nèi)核burst能力，提升每個(gè)Pod的彈性和容忍度，不要VM:Pod=1:1完全限制死。效果：CPU分層顯著緩解，峰值利用率提升10%+，服務(wù)Pod副本數(shù)節(jié)省30%+，全局利用率提升5%GPU利用率GPU飽和度（MFU模型浮點(diǎn)運(yùn)算利用率/TensorCore利用率）計(jì)算類型分布（BF16/FB32/FP8……）卡型用途（訓(xùn)練/推理）使用列存格式（Parquet）和數(shù)據(jù)湖技術(shù)存儲(chǔ)和管理訓(xùn)練數(shù)據(jù)多云統(tǒng)一AI訓(xùn)練數(shù)據(jù)集，減少冗余存儲(chǔ)，通過(guò)近端緩存，優(yōu)化跨云數(shù)據(jù)傳輸，異構(gòu)介質(zhì)分層管理數(shù)據(jù)策略搜索的流程分析模型（模型參數(shù)，activation內(nèi)存占用大?。┨剿鱖eRO階段（評(píng)估所需最小內(nèi)存<可用內(nèi)存）調(diào)優(yōu)微批量大小、梯度累計(jì)步長(zhǎng)實(shí)驗(yàn)與優(yōu)化（嘗試不同配置組合）選擇最佳配置（評(píng)價(jià)指標(biāo)：吞吐、延遲、FLOPS）探索終止條件輸出最終設(shè)置FP8低精度訓(xùn)練加速?gòu)埩靠s放(Tensor

Scaling)，量化單位縮小至tensor通過(guò)延遲Scaling高效獲取scale值，使用Tensor的amax

history來(lái)預(yù)測(cè)當(dāng)前的amax選擇性替換Transformer_Engine相關(guān)Module,權(quán)衡性能與精度實(shí)踐：H20部署Qwen2

7B模型進(jìn)行Full

SFT全參數(shù)監(jiān)督微調(diào)，F(xiàn)P8性能相比BF16提升Post-Training階段蒸餾知識(shí)獲取與知識(shí)遷移的組合結(jié)合Sequence-Level和Feature-Level蒸餾對(duì)教師模型的推理數(shù)據(jù)篩選過(guò)濾，與原始訓(xùn)練數(shù)據(jù)共同構(gòu)成新的數(shù)據(jù)集除了使用序列標(biāo)簽外，將教師模型的輸出分布作為目標(biāo)分布訓(xùn)練學(xué)生模型效果：IFEval評(píng)估通用指令跟隨能力下降2~3%，推理性能提升

倍，成本節(jié)省多部門協(xié)同踐行FinOps，從成本洞察、成本優(yōu)化和成本運(yùn)營(yíng)方向合理控制資源成本增長(zhǎng)成本洞察，通過(guò)商品化實(shí)現(xiàn)了內(nèi)外賬分離，看清資源使用量以及相應(yīng)成本費(fèi)用成本優(yōu)化，分享了CPU和GPU計(jì)算資源使用效率提升的實(shí)踐例子CPU：基于大VM小Pod策略的在線混部，通過(guò)時(shí)空復(fù)用避免某種資源共振導(dǎo)致的抖動(dòng)GPU：從數(shù)據(jù)、訓(xùn)練、壓縮等方面介紹了內(nèi)容大模型的降本增效實(shí)踐AI

for

FinOpsAI技術(shù)可以更好的幫我們做成本優(yōu)化，AI