大模型時(shí)代金融大數(shù)據(jù)構(gòu)建騰訊云大數(shù)據(jù)首席架構(gòu)師GenAI時(shí)代數(shù)據(jù)分析方式發(fā)生極速變化數(shù)據(jù)平臺(tái)使用對(duì)象的演進(jìn)路徑由內(nèi)部IT應(yīng)用數(shù)據(jù)分析師終端用戶AIAgent由Gartner預(yù)測(cè)，2028年33%的企業(yè)會(huì)將AgenticAI用于分析和決策，而2024年這個(gè)占比不及1%現(xiàn)在現(xiàn)在未來AI-poweredanalyticsmakesdecisi①“分析最近三個(gè)月的銷售趨勢(shì)并預(yù)測(cè)下季度的庫存需求?！雹贏gent自動(dòng)連接到銷售數(shù)據(jù)庫，調(diào)用AI模型生成預(yù)測(cè)，并以③Agent還能主動(dòng)提出建議，比如“根據(jù)趨勢(shì)，建議增加A產(chǎn)品的庫存，同時(shí)減少B產(chǎn)品的采購量?！盇genticAnalytics是一種數(shù)據(jù)分析過程，通過在Data-to-Insight的工作流程中應(yīng)用AIAgent，以半自主或自主的方式協(xié)調(diào)任務(wù)，朝著AI主動(dòng)洞察&決策的目標(biāo)推進(jìn)。傳統(tǒng)數(shù)據(jù)生產(chǎn)業(yè)務(wù)人員人無感知的后臺(tái)人無感知的后臺(tái)是建模工程師是建模工程師否否是數(shù)據(jù)管理員數(shù)據(jù)工程師數(shù)據(jù)管理員數(shù)據(jù)工程師GenAI時(shí)代數(shù)據(jù)生產(chǎn)GenAI時(shí)代數(shù)據(jù)應(yīng)用場(chǎng)景發(fā)生變化傳統(tǒng)數(shù)據(jù)平臺(tái)傳統(tǒng)數(shù)據(jù)平臺(tái)AI時(shí)代的數(shù)據(jù)平臺(tái)AI時(shí)代的數(shù)據(jù)平臺(tái)典型應(yīng)用場(chǎng)景大數(shù)據(jù)+AI融合典型應(yīng)用場(chǎng)景Data+AI場(chǎng)景延伸Data+AI場(chǎng)景延伸BI看板&離線報(bào)表分析師精心處理、分析而形成的“固定“數(shù)據(jù)洞察DataOpsBI看板&離線報(bào)表分析師精心處理、分析而形成的“固定“數(shù)據(jù)洞察DataOps+AIOps一體化一體化數(shù)據(jù)分析和AI應(yīng)用，降低運(yùn)維與開發(fā)成本Data+AI一體化Data+AI一體化離線數(shù)據(jù)處理（ETL）數(shù)倉分層&數(shù)據(jù)預(yù)處理離線數(shù)據(jù)處理（ETL）數(shù)倉分層&數(shù)據(jù)預(yù)處理AISearch（RAG）可提供一站式的高精度全文檢索+向量檢索RAG方案在一份數(shù)據(jù)基礎(chǔ)上，支持離線處理和AD-Hoc業(yè)務(wù)負(fù)載Data+AI高效實(shí)時(shí)Data+AI高效實(shí)時(shí)交互式分析毫秒級(jí)實(shí)時(shí)數(shù)據(jù)AD-Hoc分析批流一體增量計(jì)算增量計(jì)算框架實(shí)現(xiàn)批處理+實(shí)時(shí)處理一體化智能體（Agent）交互式分析毫秒級(jí)實(shí)時(shí)數(shù)據(jù)AD-Hoc分析批流一體增量計(jì)算增量計(jì)算框架實(shí)現(xiàn)批處理+實(shí)時(shí)處理一體化企業(yè)內(nèi)業(yè)務(wù)數(shù)據(jù)融合LLM，產(chǎn)生更好的GenAI應(yīng)用智能化智能化大數(shù)據(jù)自治系統(tǒng)AI-Driven的數(shù)據(jù)平臺(tái)資源管理與運(yùn)維管理，極大簡(jiǎn)化超大規(guī)模數(shù)據(jù)平臺(tái)的系統(tǒng)運(yùn)維工作GenAI時(shí)代數(shù)據(jù)平臺(tái)的變革趨勢(shì)一應(yīng)用”傳統(tǒng)數(shù)據(jù)平臺(tái)趨勢(shì)一應(yīng)用”傳統(tǒng)數(shù)據(jù)平臺(tái)CC示例：基于用戶購物數(shù)據(jù)的創(chuàng)意推薦創(chuàng)意內(nèi)生成容趨勢(shì)二趨勢(shì)二面向數(shù)據(jù)工程+數(shù)據(jù)科學(xué)的一體化平臺(tái)X“更一體化”面向數(shù)據(jù)工程+數(shù)據(jù)科學(xué)的一體化平臺(tái)Xae一份數(shù)據(jù)ae趨勢(shì)三趨勢(shì)三智能化大數(shù)據(jù)自治系統(tǒng)“更智能”智能化大數(shù)據(jù)自治系統(tǒng)AIDriven的方式提升運(yùn)營(yíng)效率和系統(tǒng)效率趨勢(shì)1：數(shù)據(jù)分析進(jìn)入3.0時(shí)代根據(jù)需求自助問數(shù)數(shù)據(jù)分析師基層業(yè)務(wù)人員ChatBI適用人群：老板、業(yè)務(wù)負(fù)責(zé)人等學(xué)習(xí)成本：定制根據(jù)需求自助問數(shù)數(shù)據(jù)分析師基層業(yè)務(wù)人員ChatBI適用人群：老板、業(yè)務(wù)負(fù)責(zé)人等學(xué)習(xí)成本：定制數(shù)據(jù)分析師高基層業(yè)務(wù)人員問答式分析小白都會(huì)用秒級(jí)響應(yīng)出結(jié)果隨時(shí)隨地便捷分析核心能力：自然語言查詢NL2SQL用戶可通過自然語言描述，快速查詢分析數(shù)據(jù)，無需SQL相關(guān)的專業(yè)培訓(xùn)與學(xué)習(xí)接著上文繼續(xù)提問，能結(jié)合上下文回答接著上文繼續(xù)提問，能結(jié)合上下文回答提問太模糊時(shí)智能追問，澄清意圖簡(jiǎn)單輸入關(guān)鍵詞，快速找到想要的提問智能推薦相關(guān)問題，持續(xù)分析不間斷交互方式從SQL到自然語言交互分析SQLSQLContent-basedSchemabasedKnowledgeKnowledge混核心能力：AISearch關(guān)鍵需求用戶可通過自然語言描述，快速查詢分析數(shù)據(jù)，無需SQL相關(guān)的專業(yè)培訓(xùn)與學(xué)習(xí)關(guān)鍵需求解決方案：一站式AISearch?企業(yè)知識(shí)文檔格式多樣需良好多模態(tài)處理能力?嚴(yán)謹(jǐn)場(chǎng)景應(yīng)用下，知識(shí)問答要求準(zhǔn)確率要求高知識(shí)檢索難度大，包括多文檔組合知識(shí)檢索、大表格、不規(guī)則表格檢索等業(yè)界難題知識(shí)、無關(guān)知識(shí)能力要求高文本自定義模型上傳趨勢(shì)2：以Data-CentricAI重新定義數(shù)智融合訓(xùn)練評(píng)測(cè)訓(xùn)練評(píng)測(cè)訓(xùn)練微調(diào)配置評(píng)測(cè)訓(xùn)練微調(diào)配置評(píng)測(cè)模型設(shè)計(jì) 訓(xùn)練數(shù)據(jù)開發(fā)評(píng)測(cè)數(shù)據(jù)開發(fā)數(shù)據(jù)維護(hù)數(shù)據(jù)切片數(shù)據(jù)合成{{{數(shù)據(jù)理解樣本分布內(nèi)數(shù)據(jù)收集數(shù)據(jù)切片數(shù)據(jù)合成{{{數(shù)據(jù)理解樣本分布內(nèi)數(shù)據(jù)收集算法資源數(shù)據(jù)嫁接數(shù)據(jù)標(biāo)注算法資源數(shù)據(jù)嫁接數(shù)據(jù)標(biāo)注數(shù)據(jù)質(zhì)量數(shù)據(jù)準(zhǔn)備數(shù)據(jù)降維數(shù)據(jù)質(zhì)量數(shù)據(jù)準(zhǔn)備數(shù)據(jù)降維{{樣本分布外{數(shù)據(jù)加速數(shù)據(jù)增強(qiáng)對(duì)抗擾動(dòng)樣本分布外{數(shù)據(jù)加速數(shù)據(jù)增強(qiáng)對(duì)抗擾動(dòng)分布偏移分布偏移數(shù)據(jù)驗(yàn)證數(shù)據(jù)驗(yàn)證數(shù)據(jù)可視化數(shù)據(jù)可視化質(zhì)量檢測(cè)質(zhì)量檢測(cè)質(zhì)量改進(jìn)質(zhì)量改進(jìn)資源分配資源分配查詢加速查詢加速核心能力：新一代數(shù)智開發(fā)平臺(tái)在一份數(shù)據(jù)基礎(chǔ)上，支持多種大數(shù)據(jù)及AI業(yè)務(wù)負(fù)載，幫助企業(yè)有效簡(jiǎn)化架構(gòu)，提升數(shù)據(jù)分析效率未來：Data+未來：Data+AI一體化架構(gòu)批處理批處理|交互式查詢|流式處理|數(shù)據(jù)科學(xué)|LLM批處理批處理|交互式查詢|流式處理|數(shù)據(jù)科學(xué)|LLM流式處理數(shù)據(jù)科學(xué)交互式查詢交互式查詢VirtualWarehouseCompactionVirtualWarehouseCompaction數(shù)據(jù)拷貝-拷貝數(shù)據(jù)湖存儲(chǔ)機(jī)器學(xué)習(xí)平臺(tái)存儲(chǔ)數(shù)倉存儲(chǔ)挑戰(zhàn)開發(fā)成本高系統(tǒng)復(fù)雜度高挑戰(zhàn)開發(fā)成本高系統(tǒng)復(fù)雜度高趨勢(shì)3：智能化大數(shù)據(jù)自治系統(tǒng)AI-Driven的系統(tǒng)交互、資源管理與運(yùn)維管理功能，顯著提升數(shù)據(jù)平臺(tái)易用性、系統(tǒng)效率AIOps實(shí)現(xiàn)運(yùn)維“自動(dòng)駕駛”基于AI的負(fù)載感知與彈性資源規(guī)劃AIOps實(shí)現(xiàn)運(yùn)維“自動(dòng)駕駛”資源利用率最大化，降低客戶資源成本基于傳統(tǒng)ML模型與DeepSeek，實(shí)現(xiàn)系統(tǒng)資源利用率最大化，降低客戶資源成本時(shí)序預(yù)測(cè)異常檢測(cè)參數(shù)調(diào)優(yōu)智能體MetricEventDeepSeek時(shí)序預(yù)測(cè)異常檢測(cè)參數(shù)調(diào)優(yōu)智能體MetricEventDeepSeek+混元基礎(chǔ)數(shù)據(jù)底層依賴用戶查詢智能查詢優(yōu)化智能負(fù)載感知多虛擬集群計(jì)算資源分析預(yù)測(cè)模型智能資源預(yù)測(cè)資源調(diào)度彈性資源池核心能力：存算獨(dú)立擴(kuò)展公共層計(jì)算層存儲(chǔ)層MetadataServiceSparkFlinkTrinoTCHouseHiveLogicalDataLake分布式文件系統(tǒng)兼容POSIX、HDFS和S3協(xié)議騰訊云COS騰訊云COS對(duì)象存儲(chǔ)…對(duì)象存儲(chǔ)支持多廠商Hadoop數(shù)據(jù)系統(tǒng)和對(duì)象存儲(chǔ)，兼容客?存算按需伸縮，高度彈性?存算故障域相互隔離?計(jì)算層無狀態(tài)，擴(kuò)容時(shí)無需數(shù)據(jù)重分布?支持?jǐn)?shù)據(jù)共享，無需搬遷?計(jì)算引擎支持多版本，方便升級(jí)與回滾?不鎖定組件和廠商，計(jì)算插件化，存儲(chǔ)多樣化，支持多廠商Hadoop數(shù)據(jù)系統(tǒng)和對(duì)象存儲(chǔ)?基于對(duì)象存儲(chǔ)原生實(shí)現(xiàn)分布式文件系統(tǒng)，兼容POSIX、HDFS和S3協(xié)議?提供統(tǒng)一的元數(shù)據(jù)服務(wù)和存儲(chǔ)緩存加速機(jī)制核心能力：元數(shù)據(jù)統(tǒng)一管理統(tǒng)一數(shù)據(jù)管控面，旨在幫助用戶快速構(gòu)建和管理湖倉架構(gòu)，實(shí)現(xiàn)全方位湖倉管理統(tǒng)一數(shù)據(jù)/元數(shù)據(jù)管理視圖數(shù)據(jù)智能調(diào)優(yōu)調(diào)優(yōu)全托管，優(yōu)化可觀測(cè)，大幅提升性能并降低管理成本