吳凌翔中科院自動化所副研究員、武漢人工智能研究院算法總監(jiān)博士，中科院自動化所副研究員、武漢人工智能研究院算法總監(jiān)。計算機視覺與自然語言處理方向，畢業(yè)于悉尼科技大學(xué)。主要研究大規(guī)模預(yù)訓(xùn)練模型、多模態(tài)理解與生成等人工智能應(yīng)用關(guān)鍵技術(shù)。擁有學(xué)術(shù)界及工業(yè)界背景，參與多項大型項目并完成上線。團隊工作基于昇騰AI的全球首個三模態(tài)大模型“紫東太初”獲得2022年世界人工智能大會SAIL獎。演講主題：多模態(tài)大模型的實踐與思考多模態(tài)大模型的實踐與思考紫東太初多模態(tài)大模型技術(shù)發(fā)展紫東太初多模態(tài)大模型應(yīng)用落地3發(fā)展路徑：機器學(xué)習(xí)-深度學(xué)習(xí)-生成式智能2010-20202021-20352010-20202021-2035大數(shù)據(jù)+大算力+大模型+多任務(wù)模型能力單一依賴大量標(biāo)注泛化能力差“如何用機器模擬人的智能”—達特茅斯會議人臉識別訓(xùn)練數(shù)據(jù):2.6億，每人20-50張圖大數(shù)據(jù)+大算力+大模型+多任務(wù)模型能力單一依賴大量標(biāo)注泛化能力差“如何用機器模擬人的智能”—達特茅斯會議人臉識別訓(xùn)練數(shù)據(jù):2.6億，每人20-50張圖飛機檢測潛艇識別AlphaGoAI化學(xué)家AlphaFold196020102020新一代人工智能研究體系已經(jīng)形成數(shù)據(jù)驅(qū)動與知識引導(dǎo)、視覺知識、群智涌現(xiàn)、混合增強智能、多學(xué)科數(shù)據(jù)數(shù)據(jù)智能群體智能群體智能 我國人工智能創(chuàng)新水平已經(jīng)進入世界第一梯隊美國總體領(lǐng)先（44.6分）中國持續(xù)追趕（32.0分）n2020年，全球AI期刊論文中國引用比例（20.7%）首次超過美國》，中國工程院知識中心和浙江大學(xué)圖書館情報分析中心輸入x輸出輸入x輸出yn智能對話系統(tǒng)：在各種智能算法的支撐下，使機器理解人類語言的意圖并通過有效的人機交互執(zhí)行特定任務(wù)或做出回答。n傳統(tǒng)對話系統(tǒng)主要分為兩類：任務(wù)導(dǎo)向型、數(shù)據(jù)驅(qū)動型。理解(理解(NLU)狀態(tài)跟蹤器對話策略生成對話策略生成數(shù)據(jù)庫、數(shù)據(jù)庫、外部知識任務(wù)導(dǎo)向型對話系統(tǒng)輸入x統(tǒng)計模型統(tǒng)計模型輸出y數(shù)據(jù)驅(qū)動型對話系統(tǒng)6人類的學(xué)習(xí)和交互過程充滿了多模態(tài)信息嬰兒階段的早期概念習(xí)得過程（fromEmmanuel知知應(yīng)用和行為方面：心理學(xué)醫(yī)學(xué)聲學(xué)視覺語言多媒體機器人學(xué)習(xí)紫東太初大模型攻關(guān)歷程單獨攻關(guān)08年-20年集團式攻關(guān)20年1月百億模型21年1月完成千億參數(shù)模型調(diào)試21年7月全球HC大會發(fā)布“紫東太初”21年9月“紫東太初”服務(wù)紫東太初2.0平臺22年10月23年6月不同場景對應(yīng)不同小模型一個場景一個模型1000010000100020000參數(shù)100020000參數(shù)10000bb從0開始b獨立調(diào)優(yōu)b艱難迭代b推倒重來多模態(tài)大模型吸收海量知識多個場景一個模型參數(shù)預(yù)訓(xùn)練微調(diào)1000參數(shù)預(yù)訓(xùn)練微調(diào)1000億算力中心海量弱關(guān)聯(lián)數(shù)據(jù)在照片的前半部分在照片的前半部分，我們可以看到一個干草區(qū)，那里有一個女人站著，穿著淺藍色牛仔褲和灰白色長袖襯衫。。文本語音同時知識的構(gòu)建也使得“紫東太初”可以同時知識的構(gòu)建也使得“紫東太初”可以一個模型實現(xiàn)圖像識別、語言翻譯、圖像描述、語音合成等50余種功能，并初步具備了人機交互、認(rèn)知推理、藝術(shù)創(chuàng)作等創(chuàng)新能力。例如我們可以領(lǐng)域應(yīng)用語言翻譯領(lǐng)域應(yīng)用語言翻譯語音合成語音識別視覺問答語義分割視頻分類語音合成語音識別視覺問答語義分割視頻分類視頻生成跨模態(tài)檢索語種識別語音視覺一個模型實現(xiàn)50余種功能以文搜圖以音生圖以圖生音輸入：桌子上的藍色小碗里盛著水果和堅果紫東太初1.0：圖文音三模態(tài)大模型首次提出多任務(wù)多模態(tài)自監(jiān)督學(xué)習(xí)框架：Token級別、模態(tài)級別與樣本級別的多任務(wù)自監(jiān)督學(xué)習(xí)理論建立弱關(guān)聯(lián)多模態(tài)數(shù)據(jù)語義統(tǒng)一表示：支持三種或任兩種模態(tài)數(shù)據(jù)混合訓(xùn)練，減少數(shù)據(jù)收集清洗代價開拓性地實現(xiàn)了圖像、文字、語音等不同模態(tài)數(shù)據(jù)之間的統(tǒng)一表示和互相生成：跨模態(tài)檢索、多模態(tài)分類、語音識別、文本生成、圖像生成、音頻合成等多領(lǐng)域的理解與生成任務(wù)視覺文本語音語音語音語音語音混合生音多語翻譯視覺生圖搜索生圖文本視覺語音機器文本視覺語音視覺描述語音識別紫東太初2.0：全模態(tài)大模型首次提出全模態(tài)多任務(wù)統(tǒng)一生成式學(xué)習(xí)框架：全模態(tài)分組對齊、分組解碼和聯(lián)合解碼的學(xué)習(xí)方式。文本文本編碼器跨模態(tài)自注意力分組對齊跨模態(tài)自注意力分組對齊編碼器音頻編碼器視頻視頻編碼器3D編碼器信號編碼器混排特征對齊文本解碼器文本解碼器圖像解碼器圖像解碼器音頻解碼器音頻解碼器Attention視頻解碼器Attention跨模態(tài)內(nèi)容生成跨模態(tài)內(nèi)容生成信號解碼器多維異構(gòu)信號感知、三維建模、仿真推演和決策空間智能：人工智能從物體與物體之間的關(guān)系中獲得預(yù)測和洞察的能力。它強調(diào)的是在三維環(huán)境中對物體幾何形狀、位置以及與其他物體的關(guān)系的理解、以及基于這種理解利用更強的空間推理算法做出合理預(yù)測和行動的能力李飛飛：我們需要的不只是能看會說的AI，而是能夠行動的AI，能與三維物理世界產(chǎn)生交互的AI，空間智能是AI的未來。紫東太初：多模態(tài)大模型的三維感知構(gòu)建能力、動態(tài)交互仿真、態(tài)勢推演，決策優(yōu)化能力。目前場景：應(yīng)急消防、防汛防災(zāi)、交通調(diào)度等；顛覆原有預(yù)案方式，實時智能指揮調(diào)度與事前預(yù)防。未來場景：軍工、自動化制造、機器人自主導(dǎo)航、人機交互等多個領(lǐng)域廳，1間廚房，2間臥室，2間浴室，1個陽臺，1個未定義的房間，有8個門。臥室和浴室有門連通。客廳和浴室有門連通。客廳和臥室有門連通。紫東太初多模態(tài)三維感知構(gòu)建能力根據(jù)不同場景不同現(xiàn)場情況，實時精準(zhǔn)智能的指揮調(diào)度科技基礎(chǔ)大模型，打造虛擬科學(xué)實驗室運用和發(fā)現(xiàn)科學(xué)規(guī)律賦能科學(xué)研究與發(fā)現(xiàn)泛模態(tài)數(shù)學(xué)科知識據(jù)感知總結(jié)嵌入與物理環(huán)精準(zhǔn)的推分布式群境交互理決策體智能全鏈條科技研發(fā)科研人員指導(dǎo)/干預(yù)科研人員需求科研人員指導(dǎo)/干預(yù)人機協(xié)作提出的假設(shè)因果分析推理假設(shè)仿真驗證群智融合交互知識歸納萃取迭代更新后的假設(shè)人機協(xié)作提出的假設(shè)因果分析推理假設(shè)仿真驗證群智融合交互知識歸納萃取輸入指令調(diào)用輸出輸入指令調(diào)用狀態(tài)世界模型認(rèn)知決策模型新原理新技術(shù)外部知識庫狀態(tài)世界模型認(rèn)知決策模型新原理新技術(shù)多學(xué)科人機協(xié)同科研新范式重點圍繞實現(xiàn)從“假設(shè)提出-方案設(shè)計-方案評估推演全棧國產(chǎn)化通用人工智能底座?搭建全棧國產(chǎn)化基礎(chǔ)軟硬件體系，設(shè)計超大規(guī)模跨模態(tài)分布式訓(xùn)練加速技術(shù)，構(gòu)建跨模態(tài)人工智能平臺完成200+算子的國產(chǎn)化適配與優(yōu)化像、文本、語音、視頻等多模態(tài)數(shù)據(jù)間的“統(tǒng)一表示”與“相互生成”形成了完整的智能表示、推理和生成能力，邁出了通用人工智能的重要一步?依托紫東太初多模態(tài)大模型，打通院所相關(guān)數(shù)據(jù)，實現(xiàn)數(shù)字研究所智能底座的建設(shè)工作建設(shè)中國科學(xué)院“十四五”網(wǎng)信專項數(shù)字研究所示范項目?任意區(qū)域特征提?。豪秒p線性插值，模型可以從任意區(qū)域提取具體表征能力的特征向量?支持下游任務(wù)的多階段模型：利用多分辨率特征圖，同時保留高分辨率的空間細(xì)節(jié)和低分wⅡ①么雙雙Oφwh(δx,δy)ACMMM2021Oral--DeformablePatch-basedTransformerforVisualRecognition.下游任務(wù)提升顯著在不同參數(shù)量下在不同參數(shù)量下，均取得了最優(yōu)結(jié)果在不同模型結(jié)構(gòu)和不同模型階段上取得穩(wěn)定提升在不同模型結(jié)構(gòu)和不同模型階段上取得穩(wěn)定提升在目標(biāo)檢測任務(wù)中在目標(biāo)檢測任務(wù)中，使用更少的參數(shù)量，取得更好的結(jié)果ACMMM2021Oral--DeformablePatch-basedTransformerforVisualRecognition.視覺自監(jiān)督預(yù)訓(xùn)練：對比掩碼自監(jiān)督模型挑戰(zhàn)：復(fù)雜數(shù)據(jù)擴增和全局對比機制，導(dǎo)致預(yù)訓(xùn)練模型性能弱、表征單一、無法學(xué)習(xí)圖像局部語義視覺自監(jiān)督掩碼：結(jié)合視覺掩碼與注意力指導(dǎo)的預(yù)訓(xùn)練模型，構(gòu)建視覺掩碼機制，對圖像進行動態(tài)掩碼，突破學(xué)習(xí)性能弱表征單一的瓶頸注意力圖隨機掩碼動態(tài)掩碼注意力圖隨機掩碼動態(tài)掩碼視覺自監(jiān)督模型首次超過有監(jiān)督方法收斂效率相比其他主流對比學(xué)習(xí)方法高2~8倍，預(yù)訓(xùn)練100輪的精度即可超越其他主流方法預(yù)訓(xùn)練800輪的精度Res50Deit-sMOCOv2Res50MOCOv3Deit-sBYOLDeit-sDeit-sDINODeit-sDeit-s75.0%Deit-s30076.9%精度(box)精度(mask)41.6%MoBY41.5%DINO42.2%42.7%38.8%mIoUmAccDeit-sDINODeit-sDeit-s74.0%82.4%語義分割Cityscapes評測結(jié)果視覺自監(jiān)督預(yù)訓(xùn)練：數(shù)據(jù)魯棒自監(jiān)督模型挑戰(zhàn)：無法充分利用多源多目標(biāo)圖像數(shù)據(jù)，導(dǎo)致算法適應(yīng)性差、通用性弱多層次多粒度自監(jiān)督：無監(jiān)督提取目標(biāo)框，挖掘場景-目標(biāo)之間的潛在關(guān)系，擺脫以單目標(biāo)為中心的圖像單目標(biāo)圖像Ls-sfo1fo2ft1ft2多目標(biāo)圖像場景-場景相似性o1o2Ls-i-:j單目標(biāo)圖像Ls-sfo1fo2ft1ft2多目標(biāo)圖像場景-場景相似性o1o2Ls-i-:j僅使用1%和10%的標(biāo)簽進行微調(diào)，均超越現(xiàn)有自監(jiān)督算法ft1ft2場景-目標(biāo)包含性o1t1Li-io2t2目標(biāo)-目標(biāo)對比性預(yù)選生成在線在線ft1ft2tft1ft2t1t2o1o2fo2Ls-sLs-iLi-i視角提取iyiz在多個視覺任務(wù)上超過任務(wù)專用模型APAP50AP75FasterRCNN+FPN45.5TSP-RCNN64.549.6Pix2Seq?43.246.1DETR?43.345.943.763.647.2ConditionalDETR?43.846.7AnchorDETR?44.264.747.5DAB-DETR?44.565.147.7DeformableDETR44.563.548.8Obj2Seq-R50(Ours)45.764.849.5APAP50AP75Mask-RCNNResNet5068.7CenterNetHourglass-10486.869.6DirectPoseResNet5085.668.8HRNet-W4864.971.7POETResNet5025053.657.6baselineResNet5063.7Obj2SeqResNet50Obj2SeqResNet5086.5視覺-語言結(jié)合：語言引導(dǎo)的多任務(wù)統(tǒng)一編碼一到圖文大模型里邊，用LLM的自回歸統(tǒng)一編碼預(yù)測，在統(tǒng)一表達的同時最終顯式增強圖文大模型局部感知能力。Detection&REC&PhraseGroundDetection&REC&PhraseGroundReportthecoordinatesofcategorysetincludetrain-[0.079,0.470,0.820,0.717]&trafficlight-[0.396,0.400,0.408,0.431]&car-[0.416,0.625,Reportthecoordinatesofcategorysetincludepeople-[0.015,0.485,0.081,0.521,…0.112,0.465]&peopleinpeopleintheimage.people-[0.015,0.485,0.081,0.521,…0.112,0.465]&people-[0.015,0.485,0.081,0.521,…0.112,0.465].HowmuchshouldIHowmuchshouldIpayforthebeeronthetableaccordingtothepriceonthemenu?Accordingtothemenu,thepriceforaMagnabeeris$6.SincetherearetwoMagnabeersonthetablethetotalcostforthebeerswouldbe$12.視覺-語言結(jié)合：視覺-文本雙指代統(tǒng)一大模型目標(biāo)：繼續(xù)圍繞增強圖文大模型視覺局部理解能力，從數(shù)據(jù)、分辨率、視覺-文本指代、模型結(jié)構(gòu)?數(shù)據(jù)：構(gòu)建千萬級局部定位預(yù)訓(xùn)練并擴充指令微調(diào)數(shù)據(jù)（900K）。?分辨率：全面支持高分辨率（1024*1024）輸入，非切圖/切?分割：持續(xù)推進模型對像素級的語Arxiv-GriffonV2:SpellingoutAllObjectLocationsatAnyGr視覺-語言結(jié)合：視覺-文本雙指代統(tǒng)一大模型方法：設(shè)計高效壓縮的高分辨率視覺編碼結(jié)構(gòu)，在1K的分辨率下將Token數(shù)量壓縮1/4，保持性能效實現(xiàn)模態(tài)對齊，利用558KCC3M等開源圖文數(shù)據(jù)數(shù)據(jù)；度定位和圖文雙指代能力，累計構(gòu)建12M視覺-文本指代定位、描述相關(guān)數(shù)據(jù)。指令的跟隨能力，構(gòu)建900K多樣定位指令數(shù)據(jù)。視覺-語言結(jié)合：視覺-文本雙指代統(tǒng)一大模型首次在目標(biāo)檢測、開放目標(biāo)計數(shù)任務(wù)上精度超越多個目標(biāo)檢測、目標(biāo)計數(shù)專有模型視覺-語言結(jié)合：視覺-文本雙指代統(tǒng)一大模型首次在目標(biāo)檢測、開放目標(biāo)計數(shù)任務(wù)上精度超越多個目標(biāo)檢測、目標(biāo)計數(shù)專有模型視覺-語言結(jié)合：視覺-文本雙指代統(tǒng)一大模型文本指代：支持文本、坐標(biāo)指代對話輸入視覺指代：支持跨圖、截圖指代對話輸入圖圖文文框框圖圖文文框框圖文大模型量哪個多？意大利生成該人物的帥氣特寫框出綠巨人將圖片轉(zhuǎn)為markdown格式##6Unitarity\n\nInQFT,theequationsofmotionsforthestatesofasystemofinteractingfieldsareformallysolvedbymeansoftheevolutionoperator.\n\n\\[U\\left(t,t_{0}\\right)|t_{0}>=|t>\\]\n\nTheinteractionsbetweenthequantaofthefieldsissupposedtotakeplaceinalimitedregionof…紫東太初多模態(tài)大模型技術(shù)發(fā)展紫東太初多模態(tài)大模型應(yīng)用落地紫東太初開放服務(wù)平臺虛擬偶像代碼驗證教案生成新聞校對法律助手智能客服醫(yī)療大模型教育大模型交通大模型政務(wù)大模型建筑大模型行業(yè)大模型倉庫行業(yè)模型應(yīng)用虛擬偶像代碼驗證教案生成新聞校對法律助手智能客服醫(yī)療大模型教育大模型交通大模型政務(wù)大模型建筑大模型行業(yè)大模型倉庫數(shù)據(jù)工具鏈微調(diào)工具鏈數(shù)據(jù)工具鏈微調(diào)工具鏈推理工具鏈大模型開發(fā)全生命周期管理開箱即用開箱即用零代碼開發(fā)零代碼開發(fā)輕量部署模型選配模型選配國產(chǎn)適配面向應(yīng)用??容器化調(diào)度提高資源使用率，兼容異構(gòu)算力?數(shù)據(jù)隔離、權(quán)限隔離、用戶管理、滿足企業(yè)應(yīng)用訴求?軟硬件一體運維監(jiān)控?模型集市提供多種模態(tài)、多種參數(shù)大模型選項?支持加載用戶自定義基礎(chǔ)模型紫東太初大模型開放服務(wù)平臺2.0——四大特性提供完整大模型微調(diào)工具提供完整大模型微調(diào)工具業(yè)模型內(nèi)置紫東太初2內(nèi)置紫東太初2.0預(yù)訓(xùn)練支持多種公有云SaaS支持多種公有云SaaSAPI服務(wù)、云上專屬資源池、私有集群部署、超融合訓(xùn)推一體機等多種交付部署方案紫東太初大模型開放服務(wù)平臺2.0全景介紹支持微調(diào)后一鍵部署服務(wù)，在線評估體驗大模型多模態(tài)對話紫東太初應(yīng)用開發(fā)平臺紫東太初智能體平臺是紫東太初大模型應(yīng)用開發(fā)平臺紫東太初智能體平臺是紫東太初大模型應(yīng)用開發(fā)平臺，無需編程基礎(chǔ)即可快速搭建基于大模型的智能體應(yīng)用。的API能力通過能力增強的方式插件、天氣插件。自定義插件能力可支持C端通過知識庫功能管理和存儲知識庫、插件能力可通過頁面操作快速搭建Agent智能體驗效果、集成應(yīng)用開發(fā)。紫東太初知識檢索增強?文檔結(jié)構(gòu)化解析:語義片段準(zhǔn)確切分?雙路召回：語義召回+倒排索引?精排模塊:找出TopN相關(guān)性最高的片段?Query改寫:提升問題理解、召回精度?Taichu-LLM-Reader:LLM結(jié)合外部知識給緩解LLM幻覺問題解決用戶口語話表述、指代不清問題解決答案溯源問題紫東太初數(shù)字人創(chuàng)作平臺低門檻生成超現(xiàn)實數(shù)字人形象，AI驅(qū)動數(shù)字人播報和對話大模型使能智能聊天、知識庫問答、聲音復(fù)刻，滿足數(shù)字人口播、智能客服、數(shù)字分身等多場景需求多模態(tài)驅(qū)動支持語音和文字驅(qū)動合成視頻多模態(tài)驅(qū)動支持語音和文字驅(qū)動合成視頻，實現(xiàn)口型匹配同步配套平臺實現(xiàn)一站式資產(chǎn)管理，自由組合背景、人物、音色，對話增強固定問答對話、對話增強固定問答對話、私域知識庫、大模型生成式對話引擎，多種交互方式靈活編排高效集成支持直接終端拉取視頻流，或通過API/SDK集成到第三方應(yīng)用江城洛神AI創(chuàng)作平臺大模型輔助創(chuàng)作藝術(shù)作品，支持文生圖、圖生圖，一鍵生成各式風(fēng)格圖片或視頻，實現(xiàn)天馬行空的創(chuàng)意大模型安全治理研究基礎(chǔ)與學(xué)術(shù)成果授權(quán)11項，另有22項已進入審核階段團隊成員均為第一或核心發(fā)明人頂級會議/期刊論文30+篇團隊成員均為第一或通訊作者均為冠軍項目多次獲得國內(nèi)外重要獎項u2023年華為最佳基礎(chǔ)模型獎u“紫東太初”榮獲2022世界人工u2023年華為最佳基礎(chǔ)模型獎u2023年獲得“科苑名匠”稱號u2023年獲得中國算力大會“算力中國·年度突破成果”獎。測證書u2023年“紫東太初”獲得大模型工作組副組長單位第一批通過網(wǎng)信辦備案的大模型互聯(lián)網(wǎng)企業(yè)互聯(lián)網(wǎng)企業(yè)科研院校 多模態(tài)產(chǎn)業(yè)聯(lián)盟打造健全的AI產(chǎn)業(yè)生態(tài)多模態(tài)人工智能產(chǎn)業(yè)聯(lián)盟理事長單位紫東.太初66家成員中科院自動化所66家成員整合產(chǎn)學(xué)研用各方資源，打造多模態(tài)人工智能行業(yè)應(yīng)用，探索通用人工智能產(chǎn)業(yè)化路徑全模態(tài)全模態(tài)AI助手根據(jù)東湖高新區(qū)招才服務(wù)場景定制青春、活力的虛擬IP形象,結(jié)合紫東太初大模型，未來將擔(dān)任已經(jīng)在光谷或意向來光谷的人才智能助手，充當(dāng)人才的24小時智能客服，竭力為人才來鄂來漢創(chuàng)新創(chuàng)業(yè)，提力人才追夢、圓夢。人才咨詢?nèi)瞬抛稍兤髽I(yè)服務(wù)找項目找場地企業(yè)服務(wù)找項目找場地找合作找工作找工作找房子找政策文本創(chuàng)作聊天和交流生成圖片等l基于紫東太初大模型同華為存儲產(chǎn)品線聯(lián)合打造的存儲智能小響應(yīng)市場和客戶需求l基于紫東太初大模型同華為存儲產(chǎn)品線聯(lián)合打造的存儲智能小響應(yīng)市場和客戶需求，快速支撐一線進行項目拓展。存儲系統(tǒng)行業(yè)場景產(chǎn)品與解決方案產(chǎn)品與解決方案需求快速增長復(fù)雜度高平均應(yīng)用數(shù)復(fù)雜度高子特性子特性A/B版本發(fā)布周期咨詢量需求類別技術(shù)活躍，每半年發(fā)布新特性1視頻結(jié)構(gòu)化分析2精準(zhǔn)車輛識別跟蹤3違法行為判斷4多模態(tài)協(xié)同推理研判5人工復(fù)核城市場景違法變道違法變道壓實線壓實線高速場景貨車長期占超車道貨車長期占超車道壓實線壓實線農(nóng)村場景三輪車違法載人貨運車輛違法載人摩托車不戴頭盔三輪車違法載人貨運車輛違法載人摩托車不戴頭盔應(yīng)急管理-低空協(xié)同大模型底座標(biāo)識標(biāo)牌檢測道路病害檢測道路標(biāo)線檢測污染溯源流域巡查道路車輛檢測標(biāo)識標(biāo)牌檢測道路病害檢測道路標(biāo)線檢測污染溯源流域巡查道路車輛檢測河道游泳檢測河岸釣魚檢測污染物識別農(nóng)作物檢測水質(zhì)檢測實景模型河道游泳檢測河岸釣魚檢測污染物識別農(nóng)作物檢測水質(zhì)檢測實景模型紫東太初多模態(tài)大模型少量數(shù)據(jù)+大模型開放服務(wù)平臺少量數(shù)據(jù)+大模型開放服務(wù)平臺+預(yù)置多模態(tài)大模型大模型“工廠式”開發(fā)低門檻開發(fā)小樣本訓(xùn)練能力強沉淀經(jīng)驗知識開發(fā)周期智慧社區(qū)-事件圖譜算法案例背景：智慧社區(qū)的建設(shè)在物聯(lián)網(wǎng)、云計算等信息技術(shù)助力下，正逐漸向社區(qū)治理、公共服務(wù)便捷化的方向快速發(fā)展。城市管理效率。事件圖譜算法基礎(chǔ)模型基于紫東太初全模態(tài)大模型，為事件數(shù)據(jù)高效精準(zhǔn)分析賦能層次化標(biāo)簽分類文本實體關(guān)系抽取直接丟豐巢快遞柜，我這里是一樓二十四小時都有人“快遞物流“被執(zhí)行人拖延孩子撫養(yǎng)費。請執(zhí)行法官拘傳被執(zhí)事件圖譜算法基礎(chǔ)模型基于紫東太初全模態(tài)大模型，為事件數(shù)據(jù)高效精準(zhǔn)分析賦能層次化標(biāo)簽分類文本實體關(guān)系抽取直接丟豐巢快遞柜，我這里是一樓二十四小時都有人“快遞物流“被執(zhí)行人拖延孩子撫養(yǎng)費。請執(zhí)行法官拘傳被執(zhí)行人到庭。離婚時被執(zhí)行人已經(jīng)拿走全部資金。孩婚姻家庭事件共指消解風(fēng)險事件預(yù)警聚集“光谷大道道路兩側(cè)亂停貴的道路資源，加劇了道路擁堵。“員的人員晚上8、9點上門敲門恐嚇業(yè)主，要強行收取物業(yè)管理費，聲稱不開門不是物業(yè)人員惡意為之，感覺像收保護費一樣“交通問題“武漢火車站方向路段被天交通擁堵嚴(yán)重。請相關(guān)部門核實處理?！爸腔劢鹑?快速取數(shù)select*fromt_app_loan_tabwhereselect*fromt_app_loan_tabwherethedate='20240630,departcode;紫東太初select*fromt_app_ckbbwheredepartcode;select*fromt_app_dzyh_smshwherethedate='20240706,departcode;查詢2024年6月30號的各法人行的對公貸款情況查詢2024年1月28號存款余額比年初小于五千萬的地市行數(shù)據(jù)查詢2024年7月6號的所有地市行的掃碼商戶情況智能制造焊接部分機器人機器人第七軸第七軸不同環(huán)境誤差較大，增加損耗。焊點相關(guān)數(shù)據(jù)分析實現(xiàn)路徑焊點相關(guān)數(shù)據(jù)分析換帽時間預(yù)測根據(jù)過程數(shù)據(jù)判斷消耗品電極換帽時間預(yù)測根據(jù)過程數(shù)據(jù)判斷消耗品電極生產(chǎn)效率提升生產(chǎn)效率提升20%電極帽損耗降低3管理痛點清點復(fù)核耗時長對成熟的工具管理員培養(yǎng)實現(xiàn)骨科器械/耗材的自動識別和清點，實現(xiàn)智能化、精細(xì)化管理耗材（釘盤）智能識別耗材（釘盤）智能識別僅需少量數(shù)據(jù)樣本大模型賦能醫(yī)療院內(nèi)外應(yīng)用場景數(shù)據(jù)處理能力，是AI大模型應(yīng)用的主要場景視頻