冷大煒360人工智能研究院視覺方向負(fù)責(zé)人工作。演講主題：多模態(tài)大模型LMM與細(xì)粒度開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstitute多模態(tài)大模型LMM與細(xì)粒度開放世界目標(biāo)檢測2人工智能研究院簡介360人工智能研究院360ArtificialIntelligenceInstituteo人工智能研究院o視覺引擎360人工智能研究院360Artificial360ArtificialIntelligenceInstitute3360人工智能研究院360Artificial360ArtificialIntelligenceInstitute360人工智能研究院360Artificial360ArtificialIntelligenceInstitute視覺引擎貢獻(xiàn)了其中的5/75360人工智能研究院360ArtificialIntelligenceInstitute44多模態(tài)大模型LMM細(xì)粒度開放世界目標(biāo)檢測6360人工智能研究院360Artificial360ArtificialIntelligenceInstitute大算力大算力7360人工智能研究院360Artificial360ArtificialIntelligenceInstitute大模型算法大參數(shù)大參數(shù)89視覺-語言跨模態(tài)學(xué)習(xí)360人工智能研究院360ArtificialIntelligenceInstitute?Vision-languagecrossmodallearning，亦稱為VLP（Vision-LanguagePretrain）、VLM（Vision-LanguageModel代表性的工作是20年OpenAI的CLIP，開啟和引領(lǐng)了CV多模態(tài)研究的大模型時(shí)代Li,Yingming,MingYang,andZhongfeiZhang."Multi-viewrepresentationlearning:Asurveyfromshallowmethodstodeepmethods."arXivpreprintarXiv:1610.012061(2016).視覺-語言跨模態(tài)學(xué)習(xí)360人工智能研究院360ArtificialIntelligenceInstitute0.4BCLIP'20ALIGN'21BASIC'22DFN'23Radford,Alec,JongWookKim,ChrisHallacy,AdityaRamesh,GabrielGoh,SandhiniAgarwal,GirishSastryetal."Learningtransferablevisualmodelsfromnaturallanguagesupervision."InInternationalconferenceonmachinelearning,pp.8748-8763.PMLR,2021.視覺-語言跨模態(tài)學(xué)習(xí)360人工智能研究院360ArtificialIntelligenceInstitute?圖文跨模態(tài)學(xué)習(xí)帶來的基于內(nèi)容的圖文互檢能力對于互聯(lián)網(wǎng)搜索來說具有非常重要的落地價(jià)值，來自于360搜索的實(shí)際業(yè)務(wù)需求非常強(qiáng)烈。360搜索：使用跨模態(tài)模型之前的搜索結(jié)果360搜索：使用跨模態(tài)模型之后的搜索結(jié)果視覺-語言跨模態(tài)學(xué)習(xí)360人工智能研究院360ArtificialIntelligenceInstitute?2300萬訓(xùn)練數(shù)據(jù)，在中文圖文檢索任務(wù)上達(dá)到?雙塔base+單塔head的混合模式?專門針對數(shù)據(jù)噪聲設(shè)計(jì)的momentum-updatedencoderXie,Chunyu,etal."ZeroandR2D2:Alarge-scaleChinesecross-modalbenchmarkandAvision-languageframework."arXivpreprintarXiv:2205.03860(2022).360人工智能研究院360Artificial360ArtificialIntelligenceInstitute原始的互聯(lián)網(wǎng)圖文對，caption的描述通常并不無關(guān)詞噪聲夾雜的現(xiàn)象視覺-語言跨模態(tài)學(xué)習(xí)?伴隨著算法和模型，我們一同開源了對應(yīng)的圖文跨模態(tài)360人工智能研究院360ArtificialIntelligenceInstitute2.5億2300萬3000萬ZeroV1WenLan'21WuKong'22ZeroV2視覺-語言跨模態(tài)學(xué)習(xí)360人工智能研究院360ArtificialIntelligenceInstitute?圖文跨模態(tài)模型帶來的一個(gè)全新能現(xiàn)開放集的目標(biāo)分類（Open-setImageClassification亦即zero-shotimageclassification基于內(nèi)容的IoT安防視頻分析開放世界目標(biāo)檢測?是分類任務(wù)的升級(jí)，也是分割任務(wù)的基礎(chǔ)?獲取目標(biāo)的位置和大小信息對于視覺信息的理解至關(guān)重要360人工智能研究院360ArtificialIntelligenceInstitute?BoCheng,etal."HiCo:HierarchicalControllableDiffusionModelforLayout-to-imageGeneration."acceptedbyNeuraIPS24開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstitute?待檢測目標(biāo)需要在模型訓(xùn)練前就提前定義，且是閉集?高度依賴人工標(biāo)注的有監(jiān)督數(shù)據(jù)；修改目標(biāo)定義意味著要從頭重新標(biāo)注?數(shù)據(jù)標(biāo)注成本隨著待檢測目標(biāo)的數(shù)量呈超線性增長，無法擴(kuò)展到千類甚至萬類的目標(biāo)檢測場景開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstitute?利用跨模態(tài)模型的跨模態(tài)分類能力，將目標(biāo)檢測與大模型zero/few-shot能力相結(jié)合，能夠很好的克服傳統(tǒng)方法的前述問題，實(shí)現(xiàn)對任意類型和數(shù)量的目標(biāo)進(jìn)行檢測，無需事先定義Gu,Xiuye,Tsung-YiLin,WeichengKuo,andYinCui."Open-vocabularyobjectdetectionviavisionandlanguageknowledgedistillation."arXivpreprintarXiv:2104.13921(2021).開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstituteLi,Jincheng,etal."WhatMakesGoodOpen-VocabularyDetector:ADisassemblingPerspective."arXivpreprintarXiv:2309.00227(2023).開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstitute?開放世界目標(biāo)檢測競賽：為促進(jìn)OVD方向國內(nèi)研究人員的交流，我們與中國圖象圖形學(xué)學(xué)會(huì)合作，舉辦了中山以及百度、字節(jié)、滴滴等132支隊(duì)伍的參與。https://360cvgroup.github.io/OVD_Contest/360人工智能研究院360Artificial360ArtificialIntelligenceInstituteo分類：CLIP提供的開放集分類能力缺乏局部性開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstitute?分類：CLIP-ViT-B/32?定位：所有方法在COCO-Base上訓(xùn)練（base?實(shí)驗(yàn)表明，無論是提升RPN的泛化性還是OVD檢測的性能Li,Jincheng,etal."WhatMakesGoodOpen-VocabularyDetector:ADisassemblingPerspective."arXivpreprintarXiv:2309.00227(2023).開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstituteCLIP的跨模態(tài)對比學(xué)習(xí)是以圖像vs文本的整CLIP訓(xùn)練里使用的文本是帶有極高噪聲的短文Li,Jincheng,etal."WhatMakesGoodOpen-VocabularyDetector:ADisassemblingPerspective."arXivpreprintarXiv:2309.00227(2023).多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute視覺能力是通用人工智能AGI需必備的基礎(chǔ)能力?22年被媒體譽(yù)為“AIGC元年”，這一年中AI繪畫和chatGPT相繼引爆了全球科技界，成為人工智能領(lǐng)域的兩大里程碑事件，特別是chatGPT的推出，又重新點(diǎn)燃了人們對通用人工智能AGI的新一輪期待，chatGPT所表現(xiàn)出來的前所未有的邏輯能力和推理能力，讓眾多AI領(lǐng)域的專家和研究人員不禁為之贊嘆。與此同時(shí)，更多的企業(yè)和機(jī)構(gòu)也開始嘗試將chatGPT應(yīng)用于自己的業(yè)務(wù)中，希望通過人工智能的力量來提升工作效率和解決難題。?chatGPT是基于GPT3.5開發(fā)的純文本單模態(tài)的語言模型，對于它的下一代更新，我們之前猜測除了文本能力的繼續(xù)提升外，從單模態(tài)過渡到多模態(tài)將是更為關(guān)鍵的一點(diǎn)，23年3月15日GPT4的推出，證實(shí)了我們的推測：GPT4做為新一代的GPT模型，增加了對視覺模態(tài)輸?增加了多模態(tài)能力的GPT4也帶來了應(yīng)用層面的更多可能，比如在電商領(lǐng)域中，商家可以將產(chǎn)品圖像輸入GPT4進(jìn)行描述生成，從而為消費(fèi)者提供更加自然的商品介紹；在娛樂領(lǐng)域中，GPT4可以被用于游戲設(shè)計(jì)和虛擬角色創(chuàng)造，為玩家?guī)砀觽€(gè)性化的游戲體驗(yàn)和互動(dòng)快樂。視覺能力一向被視為一個(gè)通用人工智能AGI智能體所需必備的基多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute基于單模態(tài)專家縫合方案的多模態(tài)模型SEEChat?SEEChat項(xiàng)目（/360CVGroup/SEEChat）于23年3月啟動(dòng)，目標(biāo)是將視覺能力與已有的LLM模型相融合，打造側(cè)重視覺能力的多模態(tài)模型。在多模態(tài)能力的實(shí)現(xiàn)路線上，我們選擇了能夠充分復(fù)原有的能力步給出涉及目標(biāo)在圖像中出現(xiàn)的位置。這項(xiàng)多模態(tài)能力將有望對未來的機(jī)器人和自動(dòng)駕駛產(chǎn)生重多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute工作為了強(qiáng)調(diào)視覺能力將其稱為LVM(LargeVisionModel)。LMM是在單文本模態(tài)的語言模型LLM基礎(chǔ)上發(fā)展起來的原生多模態(tài)路線o模型backbone基于多模態(tài)數(shù)據(jù)從頭訓(xùn)練單模態(tài)專家縫合路線o原生多模態(tài)路線o模型backbone基于多模態(tài)數(shù)據(jù)從頭訓(xùn)練單模態(tài)專家縫合路線o分別復(fù)用各個(gè)模態(tài)已有的預(yù)訓(xùn)練模型，基于projector進(jìn)行拼接和微調(diào)訓(xùn)練融合路線o基于縫合路線進(jìn)行初始化，然后過渡到基Wu,S.,Fei,H.,Qu,L.,Ji,W.andChua,T.S.,2023.Next-gpt:Any-to-anymultimodalllm.arXivpreprintarXiv:2309.05519.多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute?多模態(tài)LMM的研發(fā)從23年初到現(xiàn)在，從整個(gè)業(yè)界的角度來觀察，有著非常明顯的代際更替?第一代LMM（23年1~6月）的代表性阿里的mPLUG-owl、自動(dòng)化所的X-LLM、IDEA的Ziya-Visual等。360人SEEChat(360VL的前身)也屬于第一代LMM。?這一代LMM的能力主要為針對圖像內(nèi)容的對話和問答，支持的圖像分辨率非常低（224×224研發(fā)的重心主要聚焦在模態(tài)對齊的原型驗(yàn)證上多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute??原生多模態(tài)路線的理論上限更高，但對應(yīng)的是訓(xùn)練成本遠(yuǎn)高于縫合路線；?縫合路線因?yàn)榭梢詮?fù)用各個(gè)單模態(tài)領(lǐng)域的已有成果，因此具有很經(jīng)濟(jì)的訓(xùn)練成本優(yōu)勢。?少數(shù)的巨頭機(jī)構(gòu)采用的是原生多模態(tài)路線，其它絕大多數(shù)企業(yè)和學(xué)界研究機(jī)構(gòu)采用的是縫合路線CogVLMSimVLM CogVLMSimVLM478478406406卡*月多模態(tài)大模型LMM?從第二代LMM的研發(fā)開始，整個(gè)業(yè)界開始呈現(xiàn)出研發(fā)投入逐漸增強(qiáng)，研發(fā)競爭急劇擴(kuò)大的情況。?第二代LMM從研發(fā)的角度主要是要為LMM增加目標(biāo)定位的能力，相比粗粒度的圖像內(nèi)容問答，增加目標(biāo)定位能力是多模態(tài)LMM能夠在Agent、機(jī)器人、自動(dòng)駕駛、安防巡檢等場景中落地實(shí)用的必要前提360人工智能研究院360ArtificialIntelligenceInstitute名稱名稱機(jī)構(gòu)Apple+哥大原生縫合Y文本能力下降Y開源Y主打特性CogVLM智譜+清華YNYWisconsin大學(xué)YYYVQA，無目標(biāo)定位能力，無in-conlearning能力AnyMALYY視覺+聽覺輸入GPT-4VOpenAIY-KOSMOS-2.5Y-文檔級(jí)文字識(shí)別北大YYYIn-contextlearning，無目標(biāo)定位能力Qwen-VLYYYcontextlearning能力NeXT-GPT新加坡國立YYY多模態(tài)輸入+多模態(tài)輸出Skywork-MM9.5昆侖天工YYYVQA，無目標(biāo)定位能力，無in-conlearning能力8.1DeepmindY-機(jī)器人規(guī)劃CM3LeonY-多模態(tài)原生輸入輸出智源Y-Y原生多模態(tài)輸入，輸出通過拼接方式做了圖像生成Shikra商湯YYYY-多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute?原SEEChat在第二代時(shí)更名為360VL，?在相比第一代LMM更好的圖像對話/問答能力基礎(chǔ)上，提供以自由對話的方式實(shí)現(xiàn)對圖像中目標(biāo)位置的開放世界檢測能力多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute?從23年11月~至今，業(yè)界已經(jīng)轉(zhuǎn)入第三代LMM的研發(fā)。?第二代LMM的研發(fā)中暴露出以下幾個(gè)關(guān)鍵問題，需要在第三代LMM的研發(fā)中進(jìn)一步解決?2代LMM的分辨率基本都處在336~448之間?幾乎所有的工作都回避了語言模型能力下降的問題?縫合路線的天花板是否已經(jīng)出現(xiàn)?檢測能力仍是所有LMM的能力短板多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute?第一代LMM所能處理的圖像分辨率固定為224（對應(yīng)圖像token數(shù)256~512第二代LMM的典型分辨率是336~448。?主要制約因素是訓(xùn)練的成本和語言模型的窗口大?。阂环矫鎴D像分辨率越高，圖像編碼后的imagetoken數(shù)越多，對應(yīng)的訓(xùn)練成本越高；另一方面23年語言模型的輸入窗口大小普遍在1K左右，過長的圖像編碼token長度會(huì)壓縮文本輸入的空間，導(dǎo)致問答能力的下降。?圖像分辨率支持不夠高帶來的問題，一方面是LMM在圖像對話/問答中對細(xì)節(jié)的理解能力受限，另一方面更為重要的是作為通用模型的LMM很難在下游任務(wù)上實(shí)現(xiàn)對傳統(tǒng)專業(yè)模型的超越，這也是目前LMM在實(shí)際落地應(yīng)用中的最顯著障礙。?目前第三代LMM模型通過將輸入圖像切塊的方式已基本解決了高分辨率圖輸入窗口也普遍從1K提升到4K、8K甚至幾十萬字，24年2月后開始陸續(xù)有第三代LMM的工作實(shí)現(xiàn)了高分辨率以及混合分辨率的支持，代表性的工作有多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute?多任務(wù)訓(xùn)練一直以來存在任務(wù)間競爭的問題融合路線：在多模態(tài)訓(xùn)練時(shí)加入文本數(shù)據(jù)，來緩解來緩解LLM的遺忘問題和訓(xùn)練的難度更高。代表性的工作是做為LMM先驅(qū)的Flamingo。模型結(jié)構(gòu)上專門設(shè)時(shí)固定不受影響。360SEEChat和智譜的CogVLM采取了類似方案。優(yōu)點(diǎn)是嚴(yán)格能力OptionII:當(dāng)前大多數(shù)工作的選擇則是在LMM上放棄文本模態(tài)的能力，只強(qiáng)調(diào)視覺模態(tài)的能力。為了盡可能提升LMM在視覺任務(wù)上的表現(xiàn)，將LLM打開參與視覺任務(wù)訓(xùn)練。這么做的優(yōu)點(diǎn)是可以降低LMM在模型設(shè)計(jì)和訓(xùn)練上的難度，容易刷高LMM在視覺任多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute?縫合路線目前最大的障礙：不具有很好的data-performancescalingup能力?當(dāng)前縫合路線的模型結(jié)構(gòu)基本已經(jīng)收斂為imageencoder+projector+LLM的結(jié)構(gòu)，其中imageencoder負(fù)責(zé)圖像編碼，LLM負(fù)責(zé)對話邏輯，projector作為縫合層將視覺編碼器和語言模型進(jìn)行橋接縫合?但是當(dāng)前以LLAVA為代表的淺層縫合模型，通常在百萬訓(xùn)練量級(jí)后就已經(jīng)飽和，將訓(xùn)練量提高到千萬甚至幾億的量級(jí)并不能帶來LMM模型能力的明顯提升?背后的根本原因，要追溯到縫合路線下LMM中內(nèi)嵌的語言模型能力是否需要保持上?兩種解決方案：?方案一：在imageencoder+projector上做文章，將海量數(shù)據(jù)的信息在預(yù)訓(xùn)練階段訓(xùn)練到視覺編碼器和縫合層中，語言模型參數(shù)僅在最后的指令微調(diào)階段參與訓(xùn)練。代表性的工作包括國內(nèi)零一萬物的Yi-VL，書生浦語InternLM-XComposer-VL，韓國KaKaoBrain的Honeybee等?方案二：在多模態(tài)訓(xùn)練過程中也同步加入相當(dāng)比例的純文本訓(xùn)練數(shù)據(jù)同時(shí)進(jìn)行訓(xùn)練，代表性的工作包括Apple的MM1和國內(nèi)阿里的QwenVL-max以及幻方的DeepseekVL等工作 ？多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstituteIAA是研究院自主研發(fā)的新型多模態(tài)網(wǎng)絡(luò)結(jié)構(gòu)，目的一方面是尋找降低多模態(tài)大模型中內(nèi)嵌語言模型在訓(xùn)練過程中出現(xiàn)的災(zāi)難性遺忘問題，另一方面是探索多模態(tài)大模型的插件機(jī)制，形成基礎(chǔ)模型+專用插件的生態(tài)藍(lán)圖IAA網(wǎng)絡(luò)通過不同于Flamingo的內(nèi)嵌網(wǎng)絡(luò)插層方式，顯著降低了多模態(tài)大模型中內(nèi)嵌語言模型在訓(xùn)練過程中出現(xiàn)的災(zāi)難性遺忘問題Wang,Bin,ChunyuXie,DaweiLeng,andYuhuiYin."IAA:Inner-AdaptorArchitectureEmpowersFrozenLargeLanguageModelwithMultimodalCapabilities."arXiv:2408.12902(2024).多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstituteWang,Bin,ChunyuXie,DaweiLeng,andYuhuiYin."IAA:Inner-AdaptorArchitectureEmpowersFrozenLargeLanguageModelwithMultimodalCapabilities."arXiv:2408.12902(2024).多模態(tài)大模型LMM360人工智能研究院360ArtificialIntelligenceInstitute?目標(biāo)檢測能力是GPT-4V的顯著短板GPT-4V的目標(biāo)檢測能力是其最明顯的短板之一?第二代LMM已經(jīng)驗(yàn)證目標(biāo)檢測能力在LMM上實(shí)現(xiàn)是可行的Chen,Keqin,etal."Shikra:Unleashingmultimodalllm’sreferentialdialoguemagic."arXivpreprintarXiv:2306.15195(2023).開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstituteCLIP的跨模態(tài)對比學(xué)習(xí)是以圖像vs文本的整CLIP訓(xùn)練里使用的文本是帶有極高噪聲的短文Li,Jincheng,etal."WhatMakesGoodOpen-VocabularyDetector:ADisassemblingPerspective."arXivpreprintarXiv:2309.00227(2023).細(xì)粒度開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstitute?Discernanddetectopenworldobjectwithdifferentdetailedattributes對開放世界中的具有不同細(xì)節(jié)屬性的目標(biāo)進(jìn)行區(qū)分并檢測檢測的能力練方式下可以實(shí)現(xiàn)基礎(chǔ)的目標(biāo)檢測檢測的能力練方式下可以實(shí)現(xiàn)基礎(chǔ)的目標(biāo)檢測OVD實(shí)現(xiàn)的優(yōu)秀載體細(xì)粒度開放世界目標(biāo)檢測細(xì)粒度圖文對齊?360VL3.0在MMMU/MMBench上，在開源模型中排名第一360人工智能研究院360ArtificialIntelligenceInstitute細(xì)粒度開放世界目標(biāo)檢測?當(dāng)前的評(píng)測以比較簡單的RefCOCO為主，缺乏在專業(yè)檢測benchmark上的驗(yàn)證圖片總量bbox總量每張圖片bbox均值valtestAtestBvaltestAtestBvaltest360人工智能研究院360ArtificialIntelligenceInstitutedesktopapplecomputer細(xì)粒度開放世界目標(biāo)檢測?LLAVA1.5在COCO上的測試結(jié)果表明：?通用模型（只包含RefCOCO數(shù)據(jù)）在COCO上的表現(xiàn)非常差?SFT階段加入COCO數(shù)據(jù)（117K）后AP值有明顯提升，但依然差強(qiáng)人意?小目標(biāo)上的檢測性能顯著低于median/large360人工智能研究院360ArtificialIntelligenceInstituteAPAP50AP75AP_sAP_mAP_lGeneralSFTonlyfinetune41.743.344.643.045.625.146.9[1]Chen,Ting,SaurabhSaxena,LalaLi,DavidJ.Fleet,andGeoffreyHinton."Pix2seq:Alanguagemodelingframeworkforobjectdetection."arXivpreprintarXiv:2109.10852(2021).細(xì)粒度開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstitute?基于360VL3.07B實(shí)驗(yàn)：?提高分辨率可以顯著提升LMM的目標(biāo)檢測能力?擴(kuò)大檢測任務(wù)的預(yù)訓(xùn)練數(shù)據(jù)規(guī)模可以小幅度提升LMM的目標(biāo)檢測能力APAP50AP75提高分辨率50.5擴(kuò)大預(yù)訓(xùn)練數(shù)據(jù)42.145.843.045.6360人工智能研究院360Artificial360ArtificialIntelligenceInstitute細(xì)粒度開放世界目標(biāo)檢測360人工智能研究院360ArtificialIntelligenceInstituteCOCOtrain860001val圖片總量bbox總量?LMM擬合了COCOtrainset的bbox分布，COCOtrain860001val圖片總量bbox總量?當(dāng)前簡單的自回歸訓(xùn)練方式，導(dǎo)致LMM在檢測上的召每張圖片bbox均值COCOtrainsetbboxdistributionCOCOvalidationsetbboxdistribution細(xì)粒度開放世界目標(biāo)檢測?基于S-DETR[1]構(gòu)造偽標(biāo)簽對GT的缺失進(jìn)行補(bǔ)充360人工智能研究院360ArtificialIntelligenceInstituteAPAP50AP75AR@100提高分辨率50.543.1擴(kuò)大預(yù)訓(xùn)練數(shù)據(jù)數(shù)據(jù)42.145.8偽標(biāo)簽提高LMM召回47.366.251.260.243.045.6[1]Hou,Xiuquan,etal."Salie