云財(cái)務(wù)管理實(shí)踐白皮書華為云計(jì)算技術(shù)有限公司：孟凡忠、顧昊、劉麗娟、溫嘉佳、楊善數(shù)字經(jīng)濟(jì)步入全面發(fā)展階段，企業(yè)逐漸從上云階段走向深度用云階段，傳統(tǒng)“粗放式”的上云用云帶來(lái)的云成本問題已經(jīng)超越云安全成為頭號(hào)挑戰(zhàn)，在企業(yè)依托云助力數(shù)字化轉(zhuǎn)型的持續(xù)性動(dòng)作中，如何精細(xì)化管理云成本以增加資金效率、降低用云復(fù)雜度，在此背景下，華為云聯(lián)合中國(guó)信息通信研究院云計(jì)算與大數(shù)據(jù)研究所撰寫本白皮書，從行業(yè)發(fā)展背景、云上成本關(guān)鍵挑戰(zhàn)、FinOps方面，詳細(xì)闡述深度用云管云階段企業(yè)如何精細(xì)化管理云成本，最大化云價(jià)值，支撐企業(yè)提升資源利用率，以增強(qiáng)核心競(jìng)爭(zhēng)力。本步入深度用云階段，管理云成本成頭號(hào)挑戰(zhàn)01企業(yè)管理云成本的四大難點(diǎn)02企業(yè)管理云成本優(yōu)秀框架FinOps03企業(yè)通過(guò)云財(cái)務(wù)管理實(shí)踐FinOps，精細(xì)化管理云成本044.1云財(cái)務(wù)管理全景 4.2成本可視 4.2.1預(yù)測(cè)和規(guī)劃 4.2.2管理與控制 4.2.3分配和可視 4.3成本優(yōu)化 4.3.1優(yōu)化優(yōu)先級(jí) 4.3.2計(jì)費(fèi)優(yōu)化 4.3.3資源優(yōu)化 4.3.4架構(gòu)優(yōu)化 4.4持續(xù)運(yùn)營(yíng) 實(shí)踐案例135.1華為終端云深入實(shí)踐FinOps，實(shí)現(xiàn)降本增效 5.2嗶哩嗶哩實(shí)踐FinOps，降低數(shù)億IT成本 5.3極氪智能科技運(yùn)用FinOps理念及云原生技術(shù)降低IT成本 5.4美的樓宇科技基于云原生技術(shù)的成本優(yōu)化實(shí)踐 5.5陌陌基于容器技術(shù)實(shí)現(xiàn)資源成本優(yōu)化 5.6順豐基于資源精細(xì)化運(yùn)營(yíng)平臺(tái)的降本實(shí)踐 未來(lái)展望27 數(shù)字經(jīng)濟(jì)是當(dāng)今世界最重要的經(jīng)濟(jì)形態(tài)，數(shù)字化浪潮正席卷所有行業(yè)，企業(yè)能否跟上時(shí)代潮流及數(shù)字化轉(zhuǎn)型尤為重要，這需要先進(jìn)的基礎(chǔ)設(shè)施來(lái)支撐。云計(jì)算已從IT資源的服務(wù)形式演變?yōu)樾乱淮浖軜?gòu)范式，支撐企業(yè)實(shí)現(xiàn)以資源為中心到以應(yīng)用為中心，成為企業(yè)數(shù)字化轉(zhuǎn)型和智能升級(jí)的基石。國(guó)務(wù)院《“十四五”數(shù)字經(jīng)云、上平臺(tái)，降低技術(shù)和資金壁壘，加快企業(yè)數(shù)字化轉(zhuǎn)型”。以云為底座開展數(shù)字化已成為行業(yè)共識(shí)，在政策、產(chǎn)政企是行業(yè)數(shù)字化轉(zhuǎn)型的主力軍，也是云化的先行者，用云的深度和政企數(shù)字化程度息息相關(guān)，決定了能否最大化釋放數(shù)字生產(chǎn)力。隨著數(shù)字化轉(zhuǎn)型的深入，行業(yè)加速?gòu)臉I(yè)務(wù)上云向深度用云轉(zhuǎn)型，管理云成本成為行業(yè)普遍需 越來(lái)越多的企業(yè)在利用云的敏捷高效、創(chuàng)新、彈性擴(kuò)展優(yōu)勢(shì)時(shí)，遇到云成本管理方面的一系列難題，主要有如按需彈性使用，云成本隨著業(yè)務(wù)動(dòng)態(tài)變化，如高峰流量時(shí)云資源占用多、升級(jí)擴(kuò)容時(shí)動(dòng)態(tài)開通新資源等。云成本可變導(dǎo)致靜態(tài)規(guī)劃的預(yù)算和業(yè)務(wù)實(shí)際產(chǎn)生的后云資源消費(fèi)貫穿用云整個(gè)過(guò)程，采購(gòu)責(zé)任也從集中采購(gòu)變?yōu)槿ブ行幕少?gòu)，即工程師直接購(gòu)買資源而非傳統(tǒng)的采購(gòu)人員購(gòu)買。工程師在消費(fèi)云資源時(shí)成本的調(diào)優(yōu)方案。而且云廠商持續(xù)發(fā)布新服務(wù)、新實(shí)例類型和新的優(yōu)惠。面對(duì)云上新，但也容易產(chǎn)生資源浪費(fèi)。如為了追求性能和質(zhì)量，業(yè)務(wù)團(tuán)隊(duì)配置的資源大于運(yùn)行工作負(fù)載實(shí)際需要，產(chǎn)生過(guò)度配置；部分項(xiàng)目新建環(huán)境或者擴(kuò)容實(shí)例企業(yè)面對(duì)這些問題時(shí)，發(fā)現(xiàn)難以精細(xì)化管理云成本，也難以選擇最優(yōu)的成本調(diào)優(yōu)路徑，且實(shí)施的優(yōu)化措施成效FinOps是“Finance”和FinOps是“Finance”和金會(huì)將FinOps定義為“不斷發(fā)展的云財(cái)務(wù)管理紀(jì)律和文化實(shí)踐，通過(guò)幫助工程、財(cái)務(wù)、技術(shù)和業(yè)務(wù)團(tuán)隊(duì)在數(shù)據(jù)驅(qū)動(dòng)的支出決策上進(jìn)行協(xié)作，使組織獲得最大的業(yè)企業(yè)云資源消費(fèi)貫穿用云的整個(gè)過(guò)程，管理云成本也需要持續(xù)迭代優(yōu)化。FinOps框架提出三階段(可視、優(yōu)化、持續(xù)運(yùn)營(yíng))實(shí)踐模型，指導(dǎo)企業(yè)持續(xù)優(yōu)化。在優(yōu)化時(shí)，F(xiàn)inOps指導(dǎo)企業(yè)找到成本、質(zhì)量與效率的平衡，避免企業(yè)為了極低成本導(dǎo)致業(yè)務(wù)效率和穩(wěn)定性受影響。在一個(gè)公司FinOps進(jìn)展不一，不同團(tuán)隊(duì)可能FinOps指導(dǎo)企業(yè)通過(guò)多團(tuán)隊(duì)協(xié)作和基于數(shù)據(jù)決策，精細(xì)化管理云成本。各業(yè)務(wù)團(tuán)隊(duì)成本可業(yè)基于數(shù)據(jù)決策云投資，保障企業(yè)核心業(yè)務(wù)和戰(zhàn)略業(yè)務(wù)方向的支出。企業(yè)應(yīng)用FinOps后，持續(xù)降FinOpsFinOpsOperateInformOptimize活用戶數(shù))FinOps 企業(yè)通過(guò)云財(cái)務(wù)管理實(shí)踐FinOpsFinOps企業(yè)通過(guò)云財(cái)務(wù)管理實(shí)踐FinOps，4.1云財(cái)務(wù)管理全景企業(yè)需要E2E的云財(cái)務(wù)管理能力進(jìn)行FinOps實(shí)踐，實(shí)現(xiàn)管好云，降低用云復(fù)雜度，加速企業(yè)數(shù)字化轉(zhuǎn)型。建議企業(yè)優(yōu)先使用云廠家提供的云財(cái)務(wù)管理方案，從小規(guī)模開始，在適合本企業(yè)的FinOps活動(dòng)成熟的情況下逐步擴(kuò)大規(guī)同時(shí)，企業(yè)云消費(fèi)貫穿上云的整個(gè)過(guò)程，企業(yè)需要從組織、文化、流程等方面建設(shè)成本運(yùn)營(yíng)體系，構(gòu)建長(zhǎng)效機(jī)在云成本可變情況下，成本所有支出需要有跟蹤和可視。通過(guò)成本監(jiān)控，運(yùn)行時(shí)及時(shí)管控異常成本，變事后通過(guò)多維度精細(xì)化分析，看清成本結(jié)構(gòu)與趨勢(shì)；將成本分配到責(zé)任團(tuán)隊(duì)，使各責(zé)任團(tuán)隊(duì)清晰了解自己業(yè)務(wù)成在云成本可變情況下，成本所有支出需要有跟蹤和可視。通過(guò)成本監(jiān)控，運(yùn)行時(shí)及時(shí)管控異常成本，變事后通過(guò)多維度精細(xì)化分析，看清成本結(jié)構(gòu)與趨勢(shì)；將成本分配到責(zé)任團(tuán)隊(duì)，使各責(zé)任團(tuán)隊(duì)清晰了解自己業(yè)務(wù)成本，加強(qiáng)團(tuán)隊(duì)成本意識(shí)，支4.2成本可視成本可視是理解成本構(gòu)成和優(yōu)化成本的基礎(chǔ)。成本可視使企業(yè)看清成本結(jié)構(gòu)和趨勢(shì)、預(yù)測(cè)未來(lái)云開支，讓企業(yè)通過(guò)數(shù)據(jù)支撐決策，最終確保云支出與業(yè)務(wù)目標(biāo)保持一致。分配到業(yè)務(wù)團(tuán)隊(duì)的成本報(bào)告也有助于加強(qiáng)團(tuán)隊(duì)成本意無(wú)論已經(jīng)用云，還是剛剛開始云遷移之旅，都需要定期完成未來(lái)規(guī)劃并做好計(jì)劃跟蹤，實(shí)現(xiàn)規(guī)劃先行。規(guī)劃階段首先需要規(guī)劃匹配企業(yè)管理模型云上IT治理架構(gòu)，合理預(yù)估未來(lái)云成本，并通過(guò)4.2.1預(yù)測(cè)和規(guī)劃隨著經(jīng)營(yíng)范圍和規(guī)模的不斷擴(kuò)大，企業(yè)不斷建立子公司、分公司，子公司再建立孫公司，大部門也逐步拆分成多個(gè)小部門，組織結(jié)構(gòu)的層級(jí)也就越來(lái)越多。企業(yè)的IT治理架構(gòu)也會(huì)受到組織結(jié)構(gòu)的影響，需要匹配企業(yè)管理模型，幫助企業(yè)以多層級(jí)組織的方式管理人、財(cái)、物，所有資源都可以找到責(zé)任團(tuán)隊(duì)。企業(yè)根據(jù)組織結(jié)構(gòu)合理規(guī)劃IT治理架構(gòu)后，可將成本分配到業(yè)務(wù)團(tuán)隊(duì)，讓各利用云廠商的企業(yè)組織+多賬號(hào)、項(xiàng)目、標(biāo)簽?zāi)芰?，助力企業(yè)合理規(guī)劃組織，通過(guò)合理的IT治理架構(gòu)支撐各部?中小型企業(yè)以及單賬號(hào)客戶：優(yōu)先使用項(xiàng)目來(lái)映射組織。如果存在更多維度、更細(xì)粒度規(guī)劃的訴求，可以使用標(biāo)簽作為組織規(guī)劃的補(bǔ)充。比如用標(biāo)簽來(lái) 企業(yè)通過(guò)云財(cái)務(wù)管理實(shí)踐FinOps，精細(xì)隨著企業(yè)深度上云，企業(yè)云上支出持續(xù)高速增長(zhǎng)，如何預(yù)估未來(lái)云成本對(duì)企業(yè)的規(guī)劃至關(guān)重要。企業(yè)未來(lái)用云業(yè)務(wù)或者出海等在其他區(qū)域提供服務(wù)產(chǎn)生的云成本。由于云支出是可變的，沒有一種預(yù)測(cè)方法可以適用所有場(chǎng)景，結(jié)合基于趨勢(shì)（已上云業(yè)務(wù)的歷史支出作為輸入）的預(yù)測(cè)和基于業(yè)務(wù)驅(qū)動(dòng)因素（例如新業(yè)務(wù)上云或區(qū)域擴(kuò)張）的預(yù).利用成本預(yù)測(cè)能力，結(jié)合機(jī)器學(xué)習(xí)和基于規(guī)則，根據(jù)客戶的歷史波動(dòng)預(yù)測(cè)未來(lái)時(shí)間范圍的成本.利用價(jià)格計(jì)算器，根據(jù)新規(guī)劃業(yè)務(wù)所需的資源，自主搭配估算未來(lái)成本。預(yù)算超支是管理云成本核心難題之一。完成組織和成本的規(guī)劃后，企業(yè)可以為各業(yè)務(wù)團(tuán)隊(duì)制定預(yù)算，并跟蹤各業(yè)務(wù)團(tuán)隊(duì)預(yù)算執(zhí)行情況。通過(guò)預(yù)算跟蹤，確保各業(yè)務(wù)團(tuán)隊(duì)及時(shí)看到預(yù)算執(zhí)行情況，并根據(jù)實(shí)際成本和預(yù)算的差異及利用云廠家預(yù)算管理能力，對(duì)規(guī)劃的預(yù)算做跟蹤，并可以精細(xì)化4.2.2管理與控制云資源按需靈活擴(kuò)展，云成本在用云過(guò)程中不再固定不變。為了避免意外賬單，需要在用云過(guò)程中精細(xì)化控分析根因也至關(guān)重要。如發(fā)現(xiàn)異常成本時(shí)，需要確認(rèn)是業(yè)務(wù)發(fā)展導(dǎo)致，還是資源過(guò)度配置或資源閑置導(dǎo)致，并根據(jù)云廠家提供多種能力幫助企業(yè)監(jiān)控處理運(yùn)行時(shí)異常成本。包括異常成本監(jiān)控和根因分析、超預(yù)算監(jiān)控、資金可.超預(yù)算監(jiān)控：設(shè)置預(yù)算超支預(yù)警，及時(shí)接收系統(tǒng)發(fā)出的短信或郵件預(yù)警。對(duì)應(yīng)責(zé)任人可結(jié)合成本分析和業(yè)務(wù).可用額度監(jiān)控：監(jiān)控資金可用額度是否不足，避.資源包預(yù)警：監(jiān)控資源包剩余量，避免資源包用盡自動(dòng)轉(zhuǎn)為按需計(jì)費(fèi)。 企業(yè)通過(guò)云財(cái)務(wù)管理實(shí)踐FinOps，精細(xì)云廠商會(huì)向客戶出具實(shí)際消費(fèi)的賬單，企業(yè)可以根據(jù)云廠商的賬單，快速評(píng)估每月支出是否和預(yù)計(jì)一致，并對(duì)每一筆消費(fèi)都明明白白。如果支出和預(yù)期不一致，企?從匯總到明細(xì)看清每一筆消費(fèi)。使用多維度匯總賬單(按產(chǎn)品類型、企業(yè)項(xiàng)目、區(qū)域、計(jì)費(fèi)模式)、明細(xì)賬單?各企業(yè)對(duì)賬流程存在差異，可通過(guò)個(gè)性化對(duì)賬提升對(duì)賬效率和體驗(yàn)，包括自定義信息卡片布局，自定義匯總維度(按產(chǎn)品匯總、按產(chǎn)品規(guī)格)，自定義嵌套方式(賬號(hào)、計(jì)費(fèi)模式、產(chǎn)品類型、賬單類型)。4.2.3分配和可視成本分配支撐企業(yè)將成本分配到各業(yè)務(wù)團(tuán)隊(duì)中，使得各業(yè)務(wù)團(tuán)隊(duì)的成本清晰可見。根據(jù)清晰的成本，業(yè)務(wù)部門可準(zhǔn)確定價(jià)，并平衡成本、穩(wěn)定性和性能，經(jīng)濟(jì)高效的提供領(lǐng)先方案。企業(yè)管理者基于數(shù)據(jù)決策各業(yè)務(wù)的云開支，品牌A成本分析報(bào)告(成本占比) 企業(yè)通過(guò)云財(cái)務(wù)管理實(shí)踐FinOps，精細(xì)成本分析報(bào)告(成本占比)?公共成本分配：利用云廠商公共成本拆分能力，將公共成本（例如共享資源&平臺(tái)服務(wù)等公共成本、未及時(shí)￥￥總成本自定義規(guī)則分配部門A拆分公告成本拆分公告成本針對(duì)跨團(tuán)隊(duì)共享使用的云資源成本，如CDN、直播、共享帶寬等，各業(yè)務(wù)團(tuán)隊(duì)使用量比例變化較大，則需要?按布局維度查看云成本，針對(duì)災(zāi)備、分析、轉(zhuǎn)碼、運(yùn)維等網(wǎng)絡(luò)容忍度高模塊，分析是否可使用烏蘭察布、貴 企業(yè)通過(guò)云財(cái)務(wù)管理實(shí)踐FinOps，精細(xì)4.3成本優(yōu)化各業(yè)務(wù)成本可視后，就可以針對(duì)主要支出驅(qū)動(dòng)因素（例如計(jì)算、數(shù)據(jù)庫(kù)、存儲(chǔ)、網(wǎng)絡(luò)或其他高階服務(wù)）進(jìn)行優(yōu)化改善。典型業(yè)務(wù)云化模型包括布局、資源、數(shù)據(jù)，以及短信、云中間件等，需要從業(yè)務(wù)角度考察成本與業(yè)務(wù)之間的平衡，發(fā)現(xiàn)潛在降本方向，在以業(yè)務(wù)穩(wěn)定性、可靠性為前提，并兼顧業(yè)務(wù)云支出的主要影響因素是費(fèi)率和用量，結(jié)合云化業(yè)務(wù)模型和成本數(shù)據(jù)分析優(yōu)化措施，包括費(fèi)用優(yōu)化、資源優(yōu)化和業(yè)務(wù)架構(gòu)優(yōu)化三種類型。對(duì)多種優(yōu)化措施，企業(yè)需要首先基于業(yè)務(wù)目標(biāo)、對(duì)業(yè)務(wù)影響、優(yōu)化投入和收益等維度確4.3.1優(yōu)化優(yōu)先級(jí)企業(yè)根據(jù)業(yè)務(wù)目標(biāo)、對(duì)業(yè)務(wù)影響、優(yōu)化代價(jià)和收益的評(píng)估，確定優(yōu)化目標(biāo)和優(yōu)化措施優(yōu)先級(jí)。確定優(yōu)化措施優(yōu)先級(jí)后，就可制定優(yōu)化目標(biāo)與計(jì)劃，按計(jì)劃實(shí)施優(yōu)化。優(yōu)化措施執(zhí)行完畢后，企業(yè)通過(guò)成本可視及時(shí)評(píng)估優(yōu)化效 企業(yè)通過(guò)云財(cái)務(wù)管理實(shí)踐FinOps，精細(xì)4.3.2計(jì)費(fèi)優(yōu)化云服務(wù)存在按需、包年包月、資源包、競(jìng)價(jià)實(shí)例等多種計(jì)費(fèi)模式，不同的計(jì)費(fèi)模式有著不同的適用場(chǎng)景。企業(yè)根據(jù)自己的需要，合理選擇各種計(jì)費(fèi)模式來(lái)適配不同的業(yè)務(wù)?包年包月：通過(guò)預(yù)付一定周期的資源使用費(fèi)用，來(lái)獲取優(yōu)惠的計(jì)費(fèi)模式。一般適用于資源長(zhǎng)期使用，業(yè)務(wù)較利用云廠家計(jì)費(fèi)優(yōu)化能力，基于歷史消費(fèi)數(shù)據(jù)，通過(guò)智能消費(fèi)預(yù)測(cè)算法和優(yōu)化建議算法進(jìn)行綜合對(duì)比測(cè)算，降?通過(guò)資源包的使用率/覆蓋率分析，了解已購(gòu)資源包的使用情況，識(shí)別資源包購(gòu)買過(guò)多（使用率低），還是），4.3.3資源優(yōu)化使用云廠商資源優(yōu)化能力，根據(jù)歷史消費(fèi)和資源使用情況，識(shí)別低利用率資源并獲得優(yōu)化建議。企業(yè)可參考給出的優(yōu)化建議、節(jié)省金額，協(xié)同業(yè)務(wù)團(tuán)隊(duì)實(shí)施優(yōu)化，提升資源利用率。如識(shí)別空閑云主機(jī)后，針對(duì)長(zhǎng)時(shí)間不再使用的閑置資源進(jìn)行關(guān)停；對(duì)低負(fù)載使用的資源進(jìn)行降配；對(duì)有忙時(shí)閑時(shí)使用的場(chǎng)景，通過(guò)靈活計(jì)費(fèi)方式(節(jié)省計(jì)劃+按4.3.4架構(gòu)優(yōu)化結(jié)合企業(yè)業(yè)務(wù)場(chǎng)景優(yōu)化方案架構(gòu)，對(duì)業(yè)務(wù)布局、資源規(guī)劃、數(shù)據(jù)各層次成本進(jìn)行優(yōu)化，如在線離線業(yè)務(wù)混合部署提升資源利用率、存算分離使計(jì)算和存儲(chǔ)各自按需使用避免綁定浪費(fèi)國(guó)家已啟動(dòng)“東數(shù)西算”工程，將東部發(fā)達(dá)地區(qū)的數(shù)據(jù)，傳輸?shù)轿鞑克懔Y源豐富的地區(qū)進(jìn)行運(yùn)算、存儲(chǔ)。西部數(shù)據(jù)中心綜合成本有明顯優(yōu)勢(shì)，低PUE低能耗，如貴陽(yáng)資源價(jià)格比廣州上海等區(qū)域低10%左右。企業(yè)可將災(zāi)備、離線分析、轉(zhuǎn)碼、運(yùn)維等對(duì)網(wǎng)絡(luò)要求低的系統(tǒng) 企業(yè)通過(guò)云財(cái)務(wù)管理實(shí)踐FinOps，精細(xì)廣告電商等在線作業(yè)服務(wù)SLA要求較高，高峰時(shí)段明顯，使用資源存在潮汐現(xiàn)象；大數(shù)據(jù)/轉(zhuǎn)碼等離線作業(yè)容錯(cuò)性高，計(jì)算需求大，可容忍較高的時(shí)延。為了保證在線業(yè)務(wù)的性能和穩(wěn)定性，通常按波峰時(shí)需要申請(qǐng)資源，這樣在傳統(tǒng)大數(shù)據(jù)方案計(jì)算和存儲(chǔ)融合部署，擴(kuò)容磁盤時(shí)必須擴(kuò)容計(jì)算節(jié)點(diǎn)，在實(shí)際使用時(shí)產(chǎn)生浪費(fèi)。如某導(dǎo)購(gòu)網(wǎng)站日志分析業(yè)務(wù)，存儲(chǔ)經(jīng)常擴(kuò)容，計(jì)算需求沒有明顯增長(zhǎng)，計(jì)算資源浪費(fèi)；某互聯(lián)網(wǎng)客戶推薦業(yè)務(wù)，存儲(chǔ)容量緩慢線性增加，計(jì)算突發(fā)需求大，峰值計(jì)算資源消耗是低使用對(duì)象存儲(chǔ)代替HDFS/本地盤，計(jì)算存儲(chǔ)分離，多種計(jì)算組件獨(dú)立部署，計(jì)算和存儲(chǔ)各自按需使用，避免綁 企業(yè)通過(guò)云財(cái)務(wù)管理實(shí)踐FinOps，精細(xì)4.4持續(xù)運(yùn)營(yíng)企業(yè)云消費(fèi)貫穿上云的整個(gè)過(guò)程，企業(yè)需要從組織、文化、流程等方面?聯(lián)席例會(huì)：組織多角色參與的例會(huì)(如月度例會(huì))，審視預(yù)算執(zhí)行情況、討論風(fēng)險(xiǎn)應(yīng)對(duì)策略、總結(jié)優(yōu)化經(jīng)驗(yàn)和?主動(dòng)推送預(yù)算報(bào)告給業(yè)務(wù)責(zé)任人，讓業(yè)務(wù)團(tuán)隊(duì)根據(jù)預(yù)算執(zhí)行情況調(diào)整云使用，避免超支；業(yè)務(wù)團(tuán)隊(duì)預(yù)算超支減少人工工作量，提升運(yùn)營(yíng)效率。如設(shè)置自動(dòng)啟停云資源策略、設(shè)置超過(guò)額度后限制開通新資源?評(píng)估下一輪優(yōu)化目標(biāo)和方案，啟動(dòng)下一輪“可視、優(yōu)化、持5.1華為終端云深入實(shí)踐FinOps，實(shí)現(xiàn)降本增效華為終端云業(yè)務(wù)量非常大，數(shù)億的終端和賬號(hào)會(huì)隨時(shí)連接云端，產(chǎn)生數(shù)億的并發(fā)連接。華為終端云從百萬(wàn)用戶到數(shù)億用戶的發(fā)展過(guò)程中，云的靈活和彈性讓基礎(chǔ)設(shè)施和應(yīng)用架構(gòu)快速適應(yīng)了業(yè)務(wù)的發(fā)展。隨著云的大量和深度使用，云資源規(guī)模變得非常大，帶來(lái)了資源使用率的下降，成本的上升高于業(yè)務(wù)的上升。因此華為終端云基于華為云的云財(cái)務(wù)管理解決方案和自身實(shí)踐，建設(shè)了成本洞察、成本優(yōu)化、成本運(yùn)營(yíng)的端到端能力，還把FinOps作為一種文化，融入到研發(fā)、運(yùn)維和財(cái)務(wù)的各環(huán)節(jié)中。最終不但帶來(lái)巨大的直接成本收益，還規(guī)范了云資源的使用，成為華為數(shù)據(jù)的可視化是基礎(chǔ)，確?？梢猿尸F(xiàn)出基本的成本數(shù)據(jù)。華為終端云不僅要求成本“能看到”，還要能對(duì)數(shù)據(jù)對(duì)每個(gè)云資源都建立好標(biāo)簽。標(biāo)簽的關(guān)鍵信息包括組織（歸屬哪個(gè)團(tuán)隊(duì)、哪個(gè)部門、哪個(gè)項(xiàng)目等），業(yè)務(wù)信息（歸團(tuán)隊(duì)、部門等企業(yè)內(nèi)部組織建立關(guān)聯(lián)，同時(shí)還華為終端云管理成本的一個(gè)核心是預(yù)算，預(yù)算為云資源的使用框定了一個(gè)基本的范圍。對(duì)于超出預(yù)算范圍的資源使用，需要業(yè)務(wù)團(tuán)隊(duì)、平臺(tái)團(tuán)隊(duì)和SRE一起去審視。所以針對(duì)預(yù)算，形成了全方位的視圖，包括：預(yù)算目標(biāo)、預(yù)云上的資源類型繁多復(fù)雜，華為終端云針對(duì)不同類型的資源，建立了一套完整的指標(biāo)體系，用于全方位的了解資源的使用情況，作為提升資源利用率的基礎(chǔ)。以云上的虛擬機(jī)為例，首先從指標(biāo)上看，需要重點(diǎn)關(guān)注CPU利用率和內(nèi)存使用率；同時(shí)，要定義好CPU利用率和內(nèi)存使用率的目標(biāo)，可以看到虛擬機(jī)CPU利用率和內(nèi)存使用率的視 云上資源除了種類繁多復(fù)雜，其合同、單價(jià)、折扣率、結(jié)算等信息，不同資源也是不同的，需要綜合考慮最優(yōu)方案。華為終端云針對(duì)合同與價(jià)格等商務(wù)層面信息，建立了一套數(shù)字化的體系。對(duì)于技術(shù)人員來(lái)說(shuō)，需要綜合考慮價(jià)格因素做選型，比如說(shuō)，從單價(jià)上看包年包月實(shí)例折扣率更低，整體價(jià)格優(yōu)勢(shì)下，在一些彈性場(chǎng)景下也可以選擇包年包月。對(duì)財(cái)務(wù)（比如要制定怎樣的框架合同）、供應(yīng)鏈（比如某個(gè)服務(wù)的折扣對(duì)整體影響最大）、規(guī)劃（根據(jù)歷史結(jié)算信息預(yù)測(cè)未來(lái)使用）人員來(lái)說(shuō)，可以利用這些信息做整體設(shè)把云上的資源信息，通過(guò)大數(shù)據(jù)的分析，形成成本上的綜合視圖，為成本的優(yōu)化提供最直觀的輸入。包括：成2.成本優(yōu)化，建設(shè)上百種工程能力，覆蓋華為終端云把歷史上成本優(yōu)化的能力，形成可復(fù)制的工程化能力，覆蓋了主要的云上服務(wù)，包括：計(jì)算、網(wǎng)有了成本優(yōu)化的武器庫(kù)是不夠的，還要有精細(xì)的管理方法去驅(qū)動(dòng)組織去做成本優(yōu)化。華為終端云管理驅(qū)動(dòng)措施對(duì)于華為終端云這樣幾千人的大團(tuán)隊(duì)，每個(gè)人都有不同角色，屬于不同團(tuán)隊(duì)，負(fù)責(zé)不同業(yè)務(wù)，面臨的成本問題千人千面。每個(gè)人都可以通過(guò)跟AI助手對(duì)話，獲取成本優(yōu)化的相應(yīng)信息：有哪些方面的成本還可以優(yōu)化，如何進(jìn)行管理云成本涉及到的領(lǐng)域多，每個(gè)人都需參與進(jìn)來(lái)，需要有一整套的數(shù)字化工具。對(duì)于華為終端云，這套數(shù)字化工具就承載在成本運(yùn)營(yíng)平臺(tái)上。數(shù)字化平臺(tái)的底層需要利用大數(shù)據(jù)技術(shù)，對(duì)原始數(shù)據(jù)進(jìn)行處理建模；上層的可視化報(bào)表，盡管已經(jīng)提供了常用視角的洞察，但仍然完全滿足每個(gè)角色的需要。通過(guò)引入低代碼技術(shù)，運(yùn)營(yíng)平臺(tái)的用確保預(yù)算按計(jì)劃執(zhí)行是管理云成本的關(guān)鍵之一。華為終端云對(duì)預(yù)算的執(zhí)行有一套完善機(jī)制，預(yù)算制定好以后，需要持續(xù)的監(jiān)控預(yù)算的執(zhí)行情況：業(yè)務(wù)部門對(duì)云資源的使用，需要有專門的平臺(tái)部門（通常是SRE）對(duì)預(yù)算的使用進(jìn)行管控，確保在預(yù)算范圍內(nèi)對(duì)資源進(jìn)行使用。執(zhí)行過(guò)程中做好流程設(shè)置，既要讓避免資源的隨意使用造成浪費(fèi)，MLOps關(guān)注于提升GPU/NPU的使用率。除了對(duì)云資源的直接使用，財(cái)務(wù)、供應(yīng)量等團(tuán)隊(duì)也會(huì)把成本治理的相關(guān)要 5.2嗶哩嗶哩實(shí)踐FinOps，降低數(shù)億IT成本制和執(zhí)行，那么問題則是成本控制力度不足，缺乏成本數(shù)據(jù)導(dǎo)致各業(yè)務(wù)團(tuán)隊(duì)沒法深度參與。從2022年開始，基于FinOps的一整套理論，開展了成本洞察、成本優(yōu)化和成本運(yùn)營(yíng)等一系列的工作，各業(yè)務(wù)也都積極參與到降本工作據(jù)。支持全域賬單，對(duì)所有IT成本按照業(yè)務(wù)、組織、服務(wù)進(jìn)行拆分，通過(guò)技術(shù)賬單推廣，讓業(yè)務(wù)研發(fā)快速、全面地支持定期技術(shù)賬單的中臺(tái)出賬、業(yè)務(wù)對(duì)賬、賬單分析、針對(duì)優(yōu)化、效果反饋的對(duì)賬流程，對(duì)賬中分析現(xiàn)有成本的組成與分配，跟進(jìn)當(dāng)期成本優(yōu)化項(xiàng)目效果，確定未來(lái)降本增效方向，實(shí)現(xiàn)成本問題的精細(xì)化、可視化、責(zé)任化，涵蓋服務(wù)器、套餐類資源利用率數(shù)據(jù)的采集、可視化、自定義查詢。制定利用率目標(biāo)，建立公司內(nèi)各類技術(shù)中臺(tái)建立效能模型，支持平臺(tái)資源水位線管理，度量使打通多部門數(shù)據(jù)壁壘，采集并清洗和轉(zhuǎn)換基礎(chǔ)數(shù)據(jù)，建設(shè)資產(chǎn)、成本、使用率數(shù)倉(cāng)，支持成本優(yōu)化項(xiàng)目的多維度數(shù)據(jù)需求。通過(guò)使用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和可視化工具，輔助業(yè)務(wù)根據(jù)成本模型數(shù)據(jù)分析，點(diǎn)播帶寬的優(yōu)化主要思路是降低碼率和降低單價(jià)。具體實(shí)現(xiàn)包括窄帶高清編碼系統(tǒng)、AV1覆蓋、機(jī)器學(xué)習(xí)優(yōu)化轉(zhuǎn)碼預(yù)測(cè)、清晰度策略、廉價(jià)帶寬占比提升、自建CDN專線互聯(lián)、內(nèi)容分層、削峰填谷服務(wù)器成本優(yōu)化的主要手段包括硬件迭代和服務(wù)器虛擬化混部。硬件迭代速度極快，每一次迭代在降低單位算力的成本，因此應(yīng)盡量引導(dǎo)業(yè)務(wù)配合硬件升級(jí)。服務(wù)器虛擬化混部主要基于資源的效能模型，包括提升容器總資源量、池化率、分配率和利用率等手段。此外，混部也是提升利用率的一大利器，可以利用不同業(yè)務(wù)的潮汐效應(yīng)，分根據(jù)業(yè)務(wù)特性適配資源是云上項(xiàng)目的重要一環(huán)。網(wǎng)絡(luò)流量的計(jì)費(fèi)方式有按帶寬計(jì)費(fèi)和按流量計(jì)費(fèi)，網(wǎng)絡(luò)線路類型也有不同選擇，需根據(jù)業(yè)務(wù)特點(diǎn)選擇最優(yōu)計(jì)費(fèi)方式。IaaS類資源多以實(shí)例使用時(shí)長(zhǎng)的形式計(jì)費(fèi)，可在申請(qǐng)階段就控制新增資源量。其他產(chǎn)品采用自研或公有云方案，需根據(jù)產(chǎn)品的功能需求、成本等因素進(jìn)行選擇。混合云方案可為了降低成本并實(shí)現(xiàn)成本最優(yōu)化，需要更加嚴(yán)格地控制預(yù)算。由于預(yù)算實(shí)際執(zhí)行的時(shí)間可能與預(yù)算規(guī)劃時(shí)間相隔較長(zhǎng)，內(nèi)部和外部都可能發(fā)生變化，因此需要及時(shí)根據(jù)變化進(jìn)行調(diào)整，以盡量減少金額。通過(guò)上述的技術(shù)手段來(lái)協(xié)助進(jìn)行預(yù)算控制。使用數(shù)據(jù)分析工具來(lái)監(jiān)控和分析預(yù)算執(zhí)行情況通過(guò)資源的生命周期管理，定期Review資源利用率，及時(shí)清退低利用率資源，減少資源5.3極氪智能科技運(yùn)用FinOps理念及云原生技術(shù)降低IT成本極氪智能科技面臨著電動(dòng)汽車和智能駕駛等新技術(shù)的迅速發(fā)展。為了提高競(jìng)爭(zhēng)力，企業(yè)決定運(yùn)用FinOps理念優(yōu)化IT基礎(chǔ)設(shè)施降低運(yùn)營(yíng)成本。首先，企業(yè)通過(guò)成本預(yù)測(cè)和預(yù)算規(guī)劃，讓未來(lái)成本可視；其次，運(yùn)行對(duì)賬和異?？刂疲屩С龊彤惓３杀究梢?；最后，分析現(xiàn)有成本的組成與分配，實(shí) 企業(yè)發(fā)現(xiàn)，由于多個(gè)數(shù)據(jù)中心的維護(hù)及多種IT基礎(chǔ)設(shè)施之間的運(yùn)維復(fù)雜性，造成了高昂的運(yùn)營(yíng)成本。因此，企業(yè)決定采用多云策略，將部分非關(guān)鍵業(yè)務(wù)遷移到云端，實(shí)現(xiàn)按需付企業(yè)分析發(fā)現(xiàn)，當(dāng)前IT基礎(chǔ)設(shè)施資源利用率較低，存在大量閑置或低效使用的資源。企業(yè)決定采用容器化技術(shù)，實(shí)現(xiàn)應(yīng)用的快速部署和輕量化管理，提高資源利用率，同時(shí)減少軟硬件維護(hù)成本。極氪汽車自動(dòng)駕駛需要采購(gòu)多臺(tái)GPU硬件設(shè)備，同時(shí)為了資源可以高效利用，采用多臺(tái)GPU組件容器云的方案來(lái)共享資源，通過(guò)技術(shù)手段降低在深入了解業(yè)務(wù)需求和IT基礎(chǔ)設(shè)施現(xiàn)狀后，企業(yè)發(fā)現(xiàn)數(shù)據(jù)處理和存儲(chǔ)方面存在冗余和不合理的配置。企業(yè)采用存算分離的技術(shù)方案，將計(jì)算和存儲(chǔ)資源分離，使得資源可以根據(jù)需求進(jìn)行靈企業(yè)建立了專門的FinOps團(tuán)隊(duì)，跨部門協(xié)同工作，共同為企業(yè)IT基礎(chǔ)設(shè)施降本增效。團(tuán)隊(duì)成員分別來(lái)自技術(shù)、企業(yè)倡導(dǎo)全員參與，普及成本意識(shí)，鼓勵(lì)員工在日常工作中關(guān)注企業(yè)制定了明確的成本運(yùn)營(yíng)目標(biāo)，并將其分解為各個(gè)部門和個(gè)人層面，確保目標(biāo)的實(shí)現(xiàn)。同時(shí)，企業(yè)定期審查企業(yè)每季度進(jìn)行一次成本復(fù)盤，總結(jié)過(guò)去的經(jīng)驗(yàn)教訓(xùn)，及時(shí)調(diào)整和優(yōu)化成本控制策略。同時(shí)，企業(yè)鼓勵(lì)員工提.構(gòu)建成本的自動(dòng)化管理能力握資源使用情況；利用自動(dòng)化腳本，實(shí)現(xiàn)資源的自動(dòng)調(diào)通過(guò)以上舉措，極氪汽車制造商成功地運(yùn)用FinOps理念及云原生技術(shù)實(shí)現(xiàn)了IT成本的降低，也充分展示了FinOps理念在實(shí)際應(yīng)用中的價(jià)值，以及云原生技術(shù)在降低企業(yè)IT成本方面的潛力。企業(yè)應(yīng)充分利用這些理念和技5.4美的樓宇科技基于云原生技術(shù)的成本優(yōu)化實(shí)踐數(shù)據(jù)技術(shù)已成為企業(yè)競(jìng)爭(zhēng)和創(chuàng)新的重要支撐，作為暖通行業(yè)和智慧樓宇行業(yè)的領(lǐng)軍企業(yè)，美的樓宇科技深知數(shù)據(jù)技術(shù)在其發(fā)展中的不可或缺性，然而面對(duì)著業(yè)務(wù)的快速擴(kuò)張、數(shù)據(jù)極速暴漲的情況，導(dǎo)致資源成本居高不下，業(yè)根據(jù)當(dāng)前的業(yè)務(wù)布局，從區(qū)域維度（海內(nèi)外、國(guó)內(nèi)區(qū)域分布）、業(yè)務(wù)分級(jí)、業(yè)務(wù)分類等方面進(jìn)行分析，尋找可根據(jù)云資源、本地資源的分配情況，持續(xù)利用率情況，結(jié)合業(yè)務(wù)場(chǎng)景，分析并列舉需要增降配、分離或合并、根據(jù)年度成本結(jié)構(gòu)，按月查看各資源線、業(yè)務(wù)線的成本結(jié)構(gòu)和成本走向趨勢(shì)，分析成本構(gòu)成，挖掘可降本資經(jīng)過(guò)深入分析，我們發(fā)現(xiàn)在數(shù)據(jù)平臺(tái)的架構(gòu)、存儲(chǔ)管理和監(jiān)控、數(shù)據(jù)備份和恢復(fù)策略等方面，具有采用云原生首先，采用數(shù)據(jù)壓縮、去重、快照等技術(shù)來(lái)優(yōu)化存儲(chǔ)空間的使用，并確保備份和恢復(fù)策略的可靠性和效率，避免不必要的存儲(chǔ)資源浪費(fèi)，例如，只備份必要的數(shù)據(jù)、避免重復(fù)備份等，再通過(guò)引入存儲(chǔ)管理和監(jiān)控工具，精確監(jiān)視數(shù)據(jù)存儲(chǔ)的使用情況，及時(shí)發(fā)現(xiàn)問題并進(jìn)行解決，并對(duì)存儲(chǔ)資源進(jìn)行分類管理，將不同等級(jí)、不同訪問頻率的數(shù) 另外，采取冷熱數(shù)據(jù)分離策略，將熱數(shù)據(jù)存儲(chǔ)在高性能設(shè)備上、冷數(shù)據(jù)存儲(chǔ)在低成本介質(zhì)上，在保障整體數(shù)據(jù)處理性能的同時(shí)，實(shí)現(xiàn)成本最小化。我們分析發(fā)現(xiàn)，數(shù)據(jù)中臺(tái)80%是冷數(shù)據(jù)，且只有20%的冷數(shù)據(jù)需要在特定時(shí)期此外，我們將數(shù)據(jù)存儲(chǔ)在多個(gè)分布式源站上，以提高數(shù)據(jù)的可靠性，同時(shí)也為數(shù)據(jù)的備份提供更全面的保障。采取該方案，可以將數(shù)據(jù)備份的時(shí)間縮短50%以上，在降低備份成本的同時(shí)提供更可靠的數(shù)據(jù)備份與恢復(fù)策略，并相比于之前的架構(gòu)，新架構(gòu)使得機(jī)器成本降低了50%以上、聚合上卷查詢，關(guān)聯(lián)查詢方面性能可以提升20-30同時(shí)，容器技術(shù)可以用來(lái)保持?jǐn)?shù)據(jù)分析應(yīng)用程序的隔離性，使它們更容易管理，并針對(duì)不同業(yè)務(wù)容器執(zhí)行不同在未來(lái)的數(shù)字化發(fā)展進(jìn)程中，降本增效是企業(yè)必然要面對(duì)的事情，樓宇科技iBUILDING美的樓宇數(shù)字化平臺(tái)在不斷豐富和完善數(shù)字化能力，滿足建筑智能化市場(chǎng)的需求，并不斷地利用云原生技術(shù)進(jìn)行創(chuàng)新，為市場(chǎng)帶來(lái)性價(jià)比5.5陌陌基于容器技術(shù)實(shí)現(xiàn)資源成本優(yōu)化我們發(fā)現(xiàn)相對(duì)傳統(tǒng)虛機(jī)，容器在資源管理上粒度更細(xì)，更有助力提升資源的利用率，因此首先我們將相關(guān)業(yè)務(wù)?單節(jié)點(diǎn)上實(shí)例的平均部署密度非常低：平均每個(gè)節(jié)點(diǎn)只有10幾個(gè)實(shí)例，主要受限于K8s原生靜態(tài)調(diào)度缺陷導(dǎo)?在線業(yè)務(wù)集群的流量有明顯的波峰波谷特征：晚高峰期間峰值足夠高，但是凌晨又非常低，導(dǎo)致日平均利用節(jié)點(diǎn)負(fù)載長(zhǎng)尾的問題不僅制約了資源利用率提升，還會(huì)影響業(yè)務(wù)的穩(wěn)定性，所以我們優(yōu)先針對(duì)節(jié)點(diǎn)負(fù)載長(zhǎng)尾的問題和方案進(jìn)行了分析。該問題的根因在于，實(shí)例調(diào)度時(shí)所參考的實(shí)例資源、節(jié)點(diǎn)資源申請(qǐng)量與業(yè)務(wù)在晚高峰時(shí)的解決這個(gè)問題的關(guān)鍵在于，調(diào)度實(shí)例時(shí)能預(yù)測(cè)出節(jié)點(diǎn)在下一個(gè)晚高峰時(shí)的真實(shí)使用率，考慮到節(jié)點(diǎn)所消耗資源是由運(yùn)行在上面的服務(wù)實(shí)例所占用的，因此可以通過(guò)預(yù)測(cè)晚高峰時(shí)段服務(wù)因?yàn)橥环?wù)每天利用率變化很小，所以我們通過(guò)某服務(wù)前一天晚高峰的利用率直接獲取當(dāng)天晚高峰的利用率，然后將所預(yù)測(cè)的服務(wù)晚高峰數(shù)據(jù)后，轉(zhuǎn)化成實(shí)際的資源損耗，再聚合成節(jié)點(diǎn)粒度的資源損耗，最終得出節(jié)點(diǎn)的同時(shí)，為了解決節(jié)點(diǎn)上服務(wù)實(shí)例組合不斷變化的問題，我們?cè)谙到y(tǒng)初始化時(shí)將節(jié)點(diǎn)利用率的預(yù)測(cè)值設(shè)置為當(dāng)前時(shí)刻節(jié)點(diǎn)上所包含實(shí)例在上一個(gè)晚高峰時(shí)段利用率的聚合，當(dāng)實(shí)例有新增或者刪除時(shí)，系統(tǒng)基于informer機(jī)制實(shí)時(shí) 在將服務(wù)晚高峰數(shù)據(jù)轉(zhuǎn)換成節(jié)點(diǎn)數(shù)據(jù)過(guò)程中，會(huì)存在一些數(shù)據(jù)合并不準(zhǔn)確的問題，如上圖所示，如果只是把前一天服務(wù)實(shí)例晚高峰的利用率疊加，那么會(huì)得到預(yù)測(cè)曲線B的結(jié)果，但由于晚高峰期間節(jié)點(diǎn)上所有服務(wù)實(shí)例的負(fù)載以服務(wù)器的真實(shí)利用率要低于所有服務(wù)實(shí)例的max之和。為了解決這類問題，我們把聚合維度縮小到了10分鐘，晚高峰從(19:00到23:00）每10分鐘采集聚合1次，這樣就能盡可能獲取到接近真實(shí)利用率曲線的預(yù)測(cè)序列，序列形成基于以上方案，我們有效地解決了容器集群中的節(jié)點(diǎn)負(fù)載長(zhǎng)尾的問題，上線后的實(shí)際效果如下基于底層的容器資源信息，構(gòu)建上層的業(yè)務(wù)資源用量平臺(tái)，幫助業(yè)務(wù)更清楚地了解到部門內(nèi)資源開銷都聚焦在定期制定成本運(yùn)營(yíng)目標(biāo)：制定合理的年度、季度的成本優(yōu)化目標(biāo)，多維度多團(tuán)隊(duì)配合推進(jìn)，從少買服務(wù)器到不圍繞容器集群進(jìn)行全面的指標(biāo)體系建設(shè)：從調(diào)度、容量、畫像多個(gè)角度進(jìn)行精細(xì)化運(yùn)營(yíng)，及時(shí)發(fā)現(xiàn)存在的不合5.6順豐基于資源精細(xì)化運(yùn)營(yíng)平臺(tái)的降本實(shí)踐順豐作為物流行業(yè)龍頭企業(yè)，海量數(shù)據(jù)的存儲(chǔ)、計(jì)算成本占據(jù)IT成本的一大部分，通過(guò)探索和落地FinOps，順豐建立了以資源數(shù)字化運(yùn)營(yíng)為基礎(chǔ)的，成本可洞察、可優(yōu)化的資源 ?存算一體的基礎(chǔ)設(shè)施架構(gòu)無(wú)法進(jìn)行存儲(chǔ)或計(jì)算的定向按需伸縮?冗余數(shù)據(jù)、垃圾數(shù)據(jù)占據(jù)不小的存儲(chǔ)資源，有很大.打造彈性大數(shù)據(jù)底盤能力我們以順豐本地IDC機(jī)房為基礎(chǔ)，打造跨機(jī)房+公有云彈性資源供給資源進(jìn)行縮減，高峰時(shí)借助別的機(jī)房閑置資源和公有云資源進(jìn)行補(bǔ)充擴(kuò)容以滿足業(yè)務(wù)需求，從而使資源利用率得到1)存儲(chǔ)跨機(jī)房融合：數(shù)據(jù)多機(jī)房自動(dòng)分布，數(shù)據(jù)副本異步實(shí)時(shí)自動(dòng)分布到不同機(jī)房，對(duì)比傳統(tǒng)方式，做到了2)緩存精細(xì)化、智能化：數(shù)據(jù)透明緩存，緩存的讀寫對(duì)用戶透明無(wú)感，可以0門檻使用，緩存數(shù)據(jù)生命周期3)資源精