企業(yè)數(shù)據(jù)治理之算力治理方案算力治理-問題分析存量任務數(shù)量多、增長快，平臺上有大量異常（或無效）

任務新增任務無“查重”檢測機制，平臺存在冗余或相似任務存在沒人使用（無價值）的任務，長期空跑平臺缺乏任務治理產(chǎn)品數(shù)據(jù)傾斜等慢任務，缺乏診斷工具，優(yōu)化工具

計算引擎以MR/Tez為主，Spark引擎使用占比不足5%，算力利用效率不高缺少算力量化指標，任務價值量化算力使用粗放，資源成本意識弱算力使用需要精細化運營專項一：提高有效算力占比①

獲取無效任務（異常、冗余）②

建立治理規(guī)則引擎③

效果評估④

建立“識別-治理-分析”閉環(huán)產(chǎn)品專項二：提升平臺計算資源利用效率①

Hive->Spark遷移工程②

hive優(yōu)化診斷工具③

任務分發(fā)④

在離線混合部署專項三：建立算力增長可控體系①

算力量化、任務價值量化②

治理效果評估③

算力/任務

健康度監(jiān)測④

算力管理、資源拆分算力治理-整體架構(gòu)提升有效算例占比提高算力能效集群計算引擎升級 tez spark在離線服務混部在離線物理集群劃分分時錯峰復用資源調(diào)度底層功能算力采集算力量化任務日志收集任務日志解析支撐單任務診斷工具工具鏈路任務診斷工具功能無效任務下線問題任務識別重復計算識別相似任務識別報警推送系統(tǒng)報警推送任務白名單用戶問題任務優(yōu)化重復計算緩存相似任務合并核心任務保障API數(shù)據(jù)地圖奧丁 ……數(shù)據(jù)來源任務價值量化功能核心任務保障調(diào)度策略編排算力健康度監(jiān)控看板算力治理-任務治理流程日志數(shù)倉集市業(yè)務指標交換Odin數(shù)據(jù)平臺識別引擎（留下有效算力）規(guī)則庫識別模型（價值分、相似度）成功失敗1.

進入2.1

判定2.2

進入計算模型3

判定治理策略引擎（治理無效算力）下線修復優(yōu)化合并收益模型（量化治理效果）用戶團隊平臺4

量化治理閉環(huán)系統(tǒng)（反饋機制）（治理率、算力收益、健康分、價值分、等效成本）用戶參與規(guī)則、模型評測平臺量化分析5

反饋6.1

迭代6.3

迭代6.2

迭代算力量化業(yè)務價值數(shù)據(jù)收集信息采集價值挖掘任務治理規(guī)則庫沉淀模型治理規(guī)則庫挖掘價值量化模型完善治理體系規(guī)則庫迭代識別模型：相似模型、價值量化模型治理策略引擎：優(yōu)化、合并策略開發(fā)收益模型（量化平臺/團隊/用戶治理效果）用戶參與/反饋機制規(guī)則、計算模型效果評測價值分、健康分治理閉環(huán)P1

任務價值量化P2

完善治理閉環(huán)P3

冗余計算消除核心舉措算力治理：HiveSQL向SparkSQL遷移算力治理：Hive優(yōu)化診斷工具通過調(diào)度日志獲取任務Application

id通過Tez

ui接口獲取DAG列表等相關(guān)信息Loading

Data

耗時異常File

Merge

耗時異常Map

端數(shù)據(jù)傾斜Reduce

端數(shù)據(jù)傾斜切片耗時異常重復使用大表輸入超時任務ID根據(jù)問題類型選擇優(yōu)化策略整理制作郎豐利1519算力治理：在離線混部算力治理-建立算力增長可控體系1、全局視角：算力使用現(xiàn)狀是否健康？2、什么時候

該增加機器？3、增加多少機器？算力增長可控的四個階段：L0-自然增長：無治理，算力不可量化L1-初步可控：任務消耗算力可采集量化，實現(xiàn)治理產(chǎn)品閉環(huán)，算力成本可分攤（當前階段）L2-中等可控：算力增長趨勢可預估，算力價值可量化，計算效率大幅提升，算力擴容流程產(chǎn)品化L3-完全可控：算力分配實現(xiàn)自動化彈性伸縮，任務的智能診斷與優(yōu)化說不清！算力治理-健康度監(jiān)測謝謝聆聽整理制作：郎豐利