零基礎(chǔ)搭建企業(yè)智能問答服務(wù)和多模態(tài)數(shù)據(jù)處理服務(wù)阿里云高級技術(shù)專家02零基礎(chǔ)搭建企業(yè)智能問答服務(wù)03零基礎(chǔ)搭建多模態(tài)檢索服務(wù)一站式構(gòu)建AIGC業(yè)務(wù)APSARA云棲大會的生產(chǎn)力?通過SQL來實現(xiàn)模型訓(xùn)練、管理和推理，降低Storage/Managemeng/Processing/Science?數(shù)據(jù)不出庫，提升效率同時滿足數(shù)據(jù)監(jiān)管要求?ML/AI工程化落地流程復(fù)雜，涉及數(shù)據(jù)準(zhǔn)備、?數(shù)據(jù)庫企業(yè)級優(yōu)勢，如高可用、加密、審計等APSARA云棲大會數(shù)據(jù)引擎層查詢層數(shù)據(jù)引擎層查詢層計算層存儲層云原生多模數(shù)據(jù)庫云原生多模數(shù)據(jù)庫Lindorm統(tǒng)一體驗統(tǒng)一查詢引擎LSQL統(tǒng)一查詢引擎LSQL多模數(shù)據(jù)統(tǒng)一訪問，兼容MySQL通信協(xié)議開源兼容層LProxy開源兼容層LProxy兼容hbase、es、kafka、influxdb等接口智能計算ETL、交互分析、機器學(xué)習(xí)流引擎LStream流引擎LStream流計算模型管理、推理多模互通寬表引擎寬表引擎搜索引擎搜索引擎列存引擎列存引擎消息引擎消息引擎存算分離分布式文件系統(tǒng)分布式文件系統(tǒng)LDFS(X86/ARM/倚天)塊存儲塊存儲(ESSDPL1/PL0高效)對象存儲對象存儲本地盤本地盤(SSD/HDD)按需插拔APSARA云棲大會?數(shù)據(jù)與模型一站式管理，滿足安全、監(jiān)管需求CREATEMODELrqa_modelFROMdoc_tableTARGETdoc_fieldTASKRETRIEVAL_QAALGORITHMCHATGLM_6B語義檢索多模態(tài)檢索應(yīng)用層結(jié)構(gòu)化數(shù)據(jù)模型倉庫共享存儲語義檢索多模態(tài)檢索應(yīng)用層結(jié)構(gòu)化數(shù)據(jù)模型倉庫共享存儲非結(jié)構(gòu)化數(shù)據(jù)知識問答數(shù)據(jù)存取數(shù)據(jù)存取 Embedding跨框架支持LindormAI引擎模型編排彈性擴展模型服務(wù)DashScope外部模型平臺與服務(wù)通義千問一行一行SQL實現(xiàn)模型部署服務(wù)?原生SQL交互，結(jié)合數(shù)據(jù)庫原有能力實現(xiàn)多模融合分析?支持豐富SQL生態(tài)工具和SDK，便于開發(fā)、運維靈活模型導(dǎo)入，無縫對接外部模型平臺與服務(wù)靈活模型導(dǎo)入，無縫對接外部模型平臺與服務(wù)?支持一鍵導(dǎo)入模型平臺（ModelScope、HuggingFace）中的模型?支持以API方式對接模型服務(wù)靈積（DashScope）?支持用戶上傳自己的模型彈性異構(gòu)計算彈性異構(gòu)計算?云原生架構(gòu)，支持彈性部署云上異構(gòu)計算資源，包括CPU和GPU機型?AI推理引擎和多模引擎通過共享存儲打通，節(jié)省數(shù)據(jù)傳輸開銷，實現(xiàn)靠近數(shù)據(jù)的推理優(yōu)化APSARA云棲大會APSARA云棲大會業(yè)通用模型缺少行業(yè)私域數(shù)據(jù)專有問題解答效果差通用模型缺少行業(yè)私域數(shù)據(jù)專有問題解答效果差涉及新信息的問題效果差缺少模型訓(xùn)練后產(chǎn)生的新信息解法精準(zhǔn)推理數(shù)據(jù)樣本(公開數(shù)據(jù)集)私域知識庫私域知識庫{context}根據(jù)上述已知信息，簡潔和專業(yè)的回答問題。如果無法從中得到答案，請說“根據(jù)已知信息無法回答該問題”，不允許在答案中添加編造成分，答案請使用中文。問題是：{question}"""?文檔源數(shù)據(jù)存儲?文檔源數(shù)據(jù)存儲?AI模型（Embedding、LLM等）部署?向量數(shù)據(jù)庫開發(fā)和運維?應(yīng)用開發(fā)和部署、維護(hù)系統(tǒng)架構(gòu)和流程復(fù)雜?文檔格式繁雜，涉及大量預(yù)處理工作?文本分割策略選擇?向量檢索召回率和性能優(yōu)化業(yè)務(wù)落地挑戰(zhàn)大?數(shù)據(jù)安全、私密性等?高級功能支持：如多輪對話等其他考慮APSARA云棲大會用戶準(zhǔn)備文檔數(shù)據(jù)文本轉(zhuǎn)換成向量9876查詢轉(zhuǎn)換成查詢/問題輸出Topk關(guān)聯(lián)內(nèi)容（通義千問、ChatGLM，準(zhǔn)備文檔數(shù)據(jù)文本轉(zhuǎn)換成向量9876查詢轉(zhuǎn)換成查詢/問題輸出Topk關(guān)聯(lián)內(nèi)容（通義千問、ChatGLM，ChatGPT等）5數(shù)據(jù)預(yù)處理、數(shù)據(jù)預(yù)處理、格式轉(zhuǎn)換合法合規(guī)校驗2、將源數(shù)據(jù)按格式要求做預(yù)處理，將格式轉(zhuǎn)換成文本5、將轉(zhuǎn)換后的向量，及對應(yīng)的數(shù)據(jù)按要求存放到向量敵據(jù)庫6、用戶輸入查詢問題7、引入或開發(fā)合法合規(guī)校驗系統(tǒng)，校驗用戶問題的合規(guī)性8、將詢問題轉(zhuǎn)換成向量9、調(diào)用向量數(shù)據(jù)庫向量查詢接口，做語義檢索10、向量數(shù)據(jù)庫返回檢索到的topK關(guān)聯(lián)內(nèi)容11、用戶將topK內(nèi)容以查詢問題,填入到prompt模板12、部署LLM，輸入prompt給LLM，LLM返回答案方案亮點知識庫即服務(wù)方案亮點知識庫即服務(wù)（開箱即用用戶僅需兩步就可便捷構(gòu)建私域知識大腦。流程，由平臺全自動完成。系統(tǒng)自動完成查詢問題向量轉(zhuǎn)換、語義檢索。并將問題和語義檢索得到的topK關(guān)聯(lián)內(nèi)支持導(dǎo)入自研及客戶的算法模型。文檢索，多路召回。單實例支持千萬級向量，可擴展分布式支持億級向兼容主流LLM：通義千問、ChatGLM等，滿足客戶個性化、多樣性需求?？s、監(jiān)控告警等豐富的企業(yè)級功能，保障數(shù)據(jù)安全，保障系統(tǒng)高可用。版APSARA云棲大會預(yù)處理、格式轉(zhuǎn)換。并寫入數(shù)據(jù)預(yù)處理、格式轉(zhuǎn)換。并寫入數(shù)據(jù)文本分割Text寬表引擎：數(shù)據(jù)存取(結(jié)構(gòu)化/半結(jié)構(gòu)化)搜索引擎：向量檢索、全文檢索流引擎：數(shù)據(jù)訂閱、增量處理輸出TopK關(guān)聯(lián)內(nèi)容對接已部署好的模型服務(wù)通義千問、ChatGLM等3、網(wǎng)站、網(wǎng)頁等板查詢/問題合法合規(guī)校驗構(gòu)筑PromptSQL寫入查詢用戶U知識庫精準(zhǔn)問答AIGCAPSARA云棲大會三個步驟體驗三個步驟體驗企業(yè)智能問答服務(wù)現(xiàn)有多模態(tài)檢索應(yīng)用常見問題現(xiàn)有多模態(tài)檢索應(yīng)用常見問題整體解決方案涉及多個系統(tǒng)和服務(wù)，架構(gòu)復(fù)雜，開發(fā)運向量和標(biāo)量數(shù)據(jù)共存，方便融合檢索同時也帶來一些問題?向量本身無語義，影響直接通過CLI訪問的體驗 ?AI模型調(diào)優(yōu)迭代，向量可能需要頻繁更新APSARA云棲大會多模態(tài)檢索多模態(tài)檢索多模態(tài)檢索應(yīng)用對象存儲服務(wù)AI推理服務(wù)關(guān)系數(shù)據(jù)庫向量數(shù)據(jù)庫視頻視頻APSARA云棲大會小汽車藍(lán)色小汽車雨天藍(lán)色小汽車人行道上有推嬰兒車的行人查找“推嬰兒車”的相似圖向量引擎向量引擎寬表引擎搜索引擎文件引擎LDFS：分布式文件存儲多模態(tài)大模型AI引擎語義檢索：白天空曠的道路上只有樹和一盞路燈語義檢索：施工路段語義檢索：白天空曠的道路上只有樹和一盞路燈語義檢索：施工路段APSARA云棲大會語義檢索：非?？拷呢涇囌Z義檢索：非?？拷呢涇囌Z義檢索：三角錐桶語義檢索：三角錐桶APSARA云棲大會三個步驟體驗三個步驟體驗多模式檢索服務(wù)