天穹數(shù)倉自治能力新實踐張功貫-騰訊科技-數(shù)據(jù)技術(shù)架構(gòu)師DataFunCon#2024個人簡介Spark StarrocksSpark10多年大數(shù)據(jù)技術(shù)工作積累，2021年加入職騰訊，KafkaFlume負(fù)責(zé)平臺智能的數(shù)據(jù)架構(gòu)工作，推動天穹AI4DataHBaseKafkaFlumeOoziePresto的能力體系建設(shè)OoziePrestoSqoopPulsarHiveAzkabanImpalaLogstashPulsarHiveAzkabanImpalaLogstash大模型數(shù)據(jù)智能HDFS大模型數(shù)據(jù)智能HDFS1.大數(shù)據(jù)自治的背景2.天穹大數(shù)據(jù)自治能力建設(shè)3.天穹大數(shù)據(jù)自治的落地與進展4.未來規(guī)劃和展望大數(shù)據(jù)自治涵蓋的范疇數(shù)據(jù)治理數(shù)據(jù)治理幫助解決問題數(shù)據(jù)接入數(shù)據(jù)采集數(shù)據(jù)存儲數(shù)據(jù)接入數(shù)據(jù)采集數(shù)據(jù)存儲數(shù)據(jù)應(yīng)用業(yè)務(wù)發(fā)生問題數(shù)據(jù)研發(fā)數(shù)據(jù)研發(fā)數(shù)據(jù)使用管理數(shù)據(jù)整個生命周期數(shù)據(jù)使用傳統(tǒng)數(shù)倉OracleRAC、DB2、Teradata、GreenPlum大數(shù)據(jù)數(shù)倉數(shù)智數(shù)倉大模型(LLM) ETL（1990-2015）ELT（2005-2020）EtLT（2020至今）數(shù)倉模式演進：EtLT崛起EExtractEExtractTransformSoftwareAPISaaSAPITypeTransformLLoadDataDataJDBCLogSyncReverseETLTTransformCheckingBusinessETL提前建模湖倉一體SchemaOnWrite靈活性、擴展性較差無需提前建模Schema無需提前建模SchemaOnRead高靈活性存儲、計算復(fù)雜度全面升級1.大數(shù)據(jù)自治的背景2.天穹大數(shù)據(jù)自治能力建設(shè)3.天穹大數(shù)據(jù)自治的落地與進展4.未來規(guī)劃和展望騰訊天穹自治平臺雙引擎策略資源資源資源組健康分相似計算數(shù)據(jù)采集傳統(tǒng)機器學(xué)習(xí)傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治計算數(shù)據(jù)基線運行時長智能優(yōu)化雙引擎決策診斷力研效定位問題預(yù)判問題平臺自治計算數(shù)據(jù)基線運行時長智能優(yōu)化雙引擎決策診斷力研效定位問題預(yù)判問題攔截問題數(shù)據(jù)應(yīng)用在自治能力建設(shè)中“感知能力”放首位做到對數(shù)據(jù)相關(guān)“進程”粒度的感知傳統(tǒng)機器學(xué)習(xí)傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治感知力平臺自治1雙引擎決策診斷力可觀測能力的建設(shè)傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治觀測力雙引擎?zhèn)鹘y(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治觀測力雙引擎讓大數(shù)據(jù)生態(tài)的“黑盒”更加透明化11決策診斷力22全鏈路診斷能力的構(gòu)建傳統(tǒng)機器學(xué)習(xí)傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治平臺自治1雙引擎決策診斷力決策22組件間的毛刺，穩(wěn)定性，異常信息不規(guī)范，數(shù)據(jù)計算過程中細(xì)粒度的根因分析定位算子粒度的異常識別傳統(tǒng)機器學(xué)習(xí)針對SQL任務(wù)，做到算子粒度的診斷傳統(tǒng)機器學(xué)習(xí)平臺自治專家經(jīng)驗Querystage平臺自治專家經(jīng)驗QuerystageJoinMerge雙引擎Join-2決策診斷力1JoinMerge雙引擎Join-2決策診斷力Mapjoin優(yōu)化數(shù)據(jù)膨脹/笛卡爾積…智能體2Join-1…QuerystageJoinMergeTableScan-3智能體2Join-1…QuerystageJoinMergeTableScan-3QuerystageQuerystageQuerystageQuerystageTableScan-1TableScan-2平臺自治平臺自治大數(shù)據(jù)自治的難點與痛點雙引擎?zhèn)鹘y(tǒng)機器學(xué)習(xí)雙引擎?zhèn)鹘y(tǒng)機器學(xué)習(xí)專家經(jīng)驗1決策診斷力優(yōu)化力2優(yōu)化力2“數(shù)據(jù)計算”是日常業(yè)務(wù)中的高頻問題資源資源性能性能SparkSpark/Flink資源優(yōu)化，任務(wù)智能基線等SQLSQL引擎選擇，智能SQLHint，智能RSS等SQLSQL優(yōu)化改寫，SQL語法糾錯，SQL診數(shù)據(jù)驅(qū)動的資源優(yōu)化傳統(tǒng)機器學(xué)習(xí)傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治平臺自治1雙引擎決策診斷力讓SQL計算更加高效傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治雙引擎優(yōu)化力傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治雙引擎優(yōu)化力SQL計算引擎的自動選擇11決策診斷力22反哺計算引擎?zhèn)鹘y(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治SQL粒度的數(shù)據(jù)體系雙引擎決策診斷力優(yōu)化力Tencent傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治SQL粒度的數(shù)據(jù)體系雙引擎決策診斷力優(yōu)化力TencentSuperSQL實現(xiàn)SQL編譯過程中的智能優(yōu)化1122智能SQLHint，智能RSS等第二引擎-SQL智能體70%以上的任務(wù)都是SQL任務(wù)平臺自治傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗HiveSpark…SQL、Java等StormFlinkSparkStreaming…秒級/毫秒級Scala等MysqlOracleDB2…SQL分批分時/實時入庫PrestoKylinClickHouseStarrocks…秒級/毫秒級SQL雙引擎決策122第二引擎-SQL智能體傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治SQL智能體雙引擎SQLAnswer傳統(tǒng)機器學(xué)習(xí)專家經(jīng)驗平臺自治SQL智能體雙引擎SQLAnswer混元LLM讓SQL從研發(fā)到計算更加簡單高效11決策診斷力22多輪對話，問診模式構(gòu)建平臺自治平臺自治第二引擎-SQL智能體雙引擎?zhèn)鹘y(tǒng)機器學(xué)習(xí)雙引擎?zhèn)鹘y(tǒng)機器學(xué)習(xí)專家經(jīng)驗1決策診斷力22讓大模型擁有更強大的SQL領(lǐng)域知識現(xiàn)網(wǎng)指令微調(diào)基座模型基座模型1.大數(shù)據(jù)自治的背景2.天穹大數(shù)據(jù)自治能力建設(shè)3.天穹大數(shù)據(jù)自治的落地與進展4.未來規(guī)劃和展望算子粒度的回放和診斷細(xì)粒度診斷定位，SQL計算過程清晰的數(shù)據(jù)流透視支持約40個算子粒度的問題點診斷SQL算子粒度的優(yōu)化通過數(shù)據(jù)持續(xù)打造深度優(yōu)化的能力SQL粒度的數(shù)據(jù)體系TencentSuperSQLPresto上測試Case：內(nèi)存節(jié)省90.2GB降至295MTPC-DS測試：99條SQL測試集,支持自動mapjoin的sql數(shù)量為57，占比57.75%。SQL引擎選擇規(guī)避率=(HBO+ML規(guī)避SQL數(shù))/(規(guī)避數(shù)+Failover數(shù))作業(yè)任務(wù)資源優(yōu)化黑盒和白盒相結(jié)合機制，提升穩(wěn)定性，并且在資源節(jié)省上取得很大的收獲?超過50%的內(nèi)存成本?30%的CPU成本節(jié)省在運行時間和資源中尋求一種平衡，β是平衡因子。最優(yōu)解的尋找方向，從運行的Tmax和Rmax向下尋求最優(yōu)解。SQL邏輯正確性解析并轉(zhuǎn)換In算子查詢自動優(yōu)化改寫成InnerJoin正確性驗證性能對比17.19%一定長度的SQL也有優(yōu)化能力對一定長度的SQL，刪除不必要的排序，來進行SQL優(yōu)化SQL復(fù)雜度：中等具備一定的代表性SQL邏輯簡化通過臨時表的優(yōu)化方式來對Sql進行優(yōu)化SQL更加簡化邏輯性更強1.大數(shù)據(jù)自治的背景2.天穹大數(shù)據(jù)自治能力建設(shè)3.天穹大數(shù)據(jù)自治的落地與進展4.未來規(guī)劃和展望未來規(guī)劃和愿景第三階段第一階段第二階段第三階段第一階段數(shù)據(jù)存儲數(shù)據(jù)存儲湖倉智能自治數(shù)據(jù)研發(fā)采集/接入/集成數(shù)據(jù)湖倉智能自治數(shù)據(jù)研發(fā)采集/接入/集成數(shù)據(jù)計算數(shù)據(jù)應(yīng)用智能化的解決方案：?進一步優(yōu)化計算場景的能力智能化的解決方案：?進一步優(yōu)化計算場景的能力。?