一一研究背景四四未來工作一一研究背景二VisDrone數(shù)據(jù)平臺三低空感知腦四四未來工作低空經(jīng)濟產(chǎn)業(yè)已成為國家戰(zhàn)略支柱產(chǎn)業(yè)，雄安先行先試標桿2025年10月2025年10月，黨的二十屆四中全會頒布《中共中央關(guān)于制定國民經(jīng)濟和社會發(fā)展第十五個五年規(guī)劃的建議》，其中明確指出“打造新興支柱產(chǎn)業(yè)，加快低空經(jīng)濟等戰(zhàn)略性新興產(chǎn)業(yè)集群發(fā)展，催生數(shù)個萬億元級甚至更大規(guī)模的市場”?！吨泄仓醒腙P(guān)于制定國民經(jīng)濟和社會發(fā)展第十五個五年規(guī)劃的建議》措施鼓勵新區(qū)在航空物流應(yīng)急救援智慧城措施鼓勵新區(qū)在航空物流應(yīng)急救援智慧城市運營管理AI巡檢環(huán)境監(jiān)測低空旅游等領(lǐng)《關(guān)于支持低空經(jīng)濟產(chǎn)業(yè)發(fā)展的若干措施》通雄安新區(qū)于2024年7月發(fā)布《關(guān)于支持低低空智能感知體系深化賦能經(jīng)濟轉(zhuǎn)型低空智能感知體系深化賦能經(jīng)濟轉(zhuǎn)型重大需求重大需求無人機已在安防巡檢、水情監(jiān)測和應(yīng)急搜救等領(lǐng)域得到廣泛應(yīng)用2022.2.24俄烏沖突爆發(fā)沖突持續(xù)四年，經(jīng)濟損失超1萬億元無人機全時監(jiān)測打擊目標2021.7.20河南遭遇特大暴雨受災(zāi)1478萬人，經(jīng)濟損失1200億元無人機精準識別被困群眾2022.9.5四川瀘定6.8級地震死亡失蹤117人，經(jīng)濟損失154億元無人機及時探查災(zāi)區(qū)情報“看不清”雨雪霧惡劣天氣和低光照環(huán)境降低了無人機對目標的感知清晰度“看不準”無人機高速飛行，目標位置密集且動態(tài)變化，降低了感知準確度“看不全”單機視角有限且存在遮擋，無法捕捉目標在所有角度下的特征“看不清”復(fù)雜環(huán)境全天候感知難“看不準”“看不清”復(fù)雜環(huán)境全天候感知難“看不準”低空感知模型進化難“看不全”多機跨視角感知難低空復(fù)雜環(huán)境全天候感知技術(shù)安防巡檢多機跨視角協(xié)同感知技術(shù)低空復(fù)雜環(huán)境全天候感知技術(shù)安防巡檢多機跨視角協(xié)同感知技術(shù)應(yīng)急搜救基礎(chǔ)模型自主進化技術(shù)水情監(jiān)測一一研究背景三低空感知腦四四未來工作>關(guān)鍵平臺：建立了復(fù)雜環(huán)境協(xié)同感知數(shù)據(jù)平臺（TPAMI2022）歷時5年全國14個城市采集2000萬+圖像/視頻幀2000萬+目標標注VisDrone數(shù)據(jù)歷時5年全國14個城市采集2000萬+圖像/視頻幀2000萬+目標標注VisDrone數(shù)據(jù)累計下載次數(shù)10萬+在Github獲得3000+個星在ECCV和ICCV連續(xù)舉辦五屆VisDrone競賽全球包括卡耐基梅隆大學(xué)等在內(nèi)的2000+參賽隊伍5000+篇論文使用并引用VisDrone-TJUMultiDrone-TJUAnimalDrone-TJUDroneCrowd-TJUDroneVehicle-TJUDroneRGBT-TJU國內(nèi)外廣泛使用的無人機視覺基準數(shù)據(jù)平臺>關(guān)鍵平臺：建立了復(fù)雜環(huán)境協(xié)同感知數(shù)據(jù)平臺反無人機微小目標檢測數(shù)據(jù)集（ECCV2024）場景模型場景數(shù)據(jù)百城共建通過AI技術(shù)賦能，實現(xiàn)城市巡檢從傳統(tǒng)人工模式向智能化、標準化、規(guī)?；目缭绞缴墧?shù)據(jù)收集時間場景適配時間模型訓(xùn)練時間算法部署效率u2024全球人工智能技術(shù)創(chuàng)新大賽-算法挑戰(zhàn)賽次基礎(chǔ)平臺建設(shè)構(gòu)建了國內(nèi)外廣泛使用的無人機視覺基準數(shù)據(jù)平臺空天地水協(xié)同進化智能無人集群感知平臺基礎(chǔ)平臺建設(shè)構(gòu)建了國內(nèi)外廣泛使用的無人機視覺基準數(shù)據(jù)平臺空天地水協(xié)同進化智能無人集群感知平臺理論研究發(fā)表CCFA和IEEE匯刊論文80余篇授權(quán)發(fā)明專利30項成果支撐團隊獲得多項國際競賽冠軍和最佳論文獎科技獎勵空軍“無人爭鋒”挑戰(zhàn)賽冠軍人工智能科技進步獎一等獎人工智能科技進步獎一等獎團隊榮獲吳文俊人工智能科技進步獎一等獎等科技獎勵感控一體多模態(tài)動態(tài)感知多智能體社會化交互集群協(xié)同感控一體多模態(tài)動態(tài)感知多智能體社會化交互集群協(xié)同視覺－語言－動作視覺－語言－動作(VLA)視覺－語言－導(dǎo)航(VLN)群體態(tài)勢自主感知群體態(tài)勢自主感知多任務(wù)協(xié)同學(xué)習(xí)從被動感知到自主協(xié)同，構(gòu)建支撐具身智能體與集群協(xié)同進化的下一代數(shù)據(jù)基座一一研究背景二VisDrone數(shù)據(jù)平臺四四未來工作多模態(tài)動態(tài)協(xié)同感知技術(shù)挑戰(zhàn)難點挑戰(zhàn)難點關(guān)鍵技術(shù)創(chuàng)新多模態(tài)協(xié)同感知面臨低空感知場景高動態(tài)、模態(tài)主導(dǎo)難選擇、現(xiàn)實低質(zhì)量模態(tài)主導(dǎo)難選擇多種退化類型復(fù)雜感知場景高動態(tài)模態(tài)主導(dǎo)難選擇多種退化類型復(fù)雜感知場景高動態(tài)雙向動態(tài)提示學(xué)習(xí)復(fù)原融合一體化學(xué)習(xí)雙向動態(tài)提示學(xué)習(xí)復(fù)原融合一體化學(xué)習(xí)混合專家動態(tài)融合混合專家動態(tài)融合實現(xiàn)復(fù)雜環(huán)境下無人機多模態(tài)動態(tài)協(xié)同感知局部-全局的混合專家動態(tài)模型（局部-全局的混合專家動態(tài)模型（MoE-Fusion）模型動態(tài)學(xué)習(xí)模態(tài)-場景的關(guān)聯(lián)信息，實現(xiàn)場景樣本自適應(yīng)的多模態(tài)動態(tài)融合創(chuàng)新：基于雙向Adapter的多模態(tài)追蹤在多模態(tài)非固定關(guān)聯(lián)范式中動態(tài)地相互融合主導(dǎo)-輔助模態(tài)信息任務(wù)門控的多合一退化多模態(tài)融合模型（任務(wù)門控的多合一退化多模態(tài)融合模型（TG-ECNet）動態(tài)感知低質(zhì)量圖像退化類型動態(tài)感知低質(zhì)量圖像退化類型，提示引導(dǎo)專家協(xié)同學(xué)習(xí)，實現(xiàn)All-in-One退化多模態(tài)圖像融合復(fù)雜環(huán)境低代價感知技術(shù)復(fù)雜環(huán)境下低空視覺感知面臨通用復(fù)雜環(huán)境下低空視覺感知面臨通用表征學(xué)習(xí)模型缺乏、任務(wù)定制表征學(xué)習(xí)難等挑挑戰(zhàn)難點關(guān)鍵技術(shù)創(chuàng)新任務(wù)定制表征學(xué)習(xí)難任務(wù)定制表征學(xué)習(xí)難數(shù)據(jù)-標簽關(guān)系挖掘不充分缺乏通用表征學(xué)習(xí)模型數(shù)據(jù)-標簽關(guān)系挖掘不充分缺乏通用表征學(xué)習(xí)模型任務(wù)定制混合Adapter非對稱掩碼視頻計數(shù)海河天眼基座模型任務(wù)定制混合Adapter非對稱掩碼視頻計數(shù)海河天眼基座模型實現(xiàn)復(fù)雜環(huán)境下智能無人集群全天候精確感知建立超過10億圖像/視頻幀數(shù)據(jù)庫，開發(fā)低空多模態(tài)視覺推理大模型VisDroneMultiDroneAnimalDroneDroneCrowdDroneVehicleDroneRGBT2000萬+圖像/視頻幀VisDrone平臺數(shù)據(jù)數(shù)據(jù)清洗→粒度劃分→機器標注→數(shù)據(jù)清洗→粒度劃分→機器標注→場景指令→指令劃分場景數(shù)據(jù)千萬級低空多模態(tài)訓(xùn)練數(shù)據(jù)增量訓(xùn)練+指令微調(diào)預(yù)訓(xùn)練多模態(tài)大模型100+種特定場景的評估基準預(yù)訓(xùn)練多模態(tài)大模型多維評估體系場景識別能力定位檢測能力條件判斷能力推理思考能力建立低空無人機視覺計算領(lǐng)域和多個平臺兼容的模型庫并實現(xiàn)大小模型協(xié)同進化基于任務(wù)定制的混合Adapters的通用圖像融合（TC-MoA）模型能夠根據(jù)不同的融合任務(wù)動態(tài)定制不同的adapters混合來獲得融合提示在統(tǒng)一模型基礎(chǔ)上兼容不同融合任務(wù)的差異，并動態(tài)指導(dǎo)融合結(jié)果的生成?；诜菍ΨQ高效掩碼自編碼器的無人機視頻計數(shù)（基于非對稱高效掩碼自編碼器的無人機視頻計數(shù)（E-MAC）DroneBird無人機視頻計數(shù)數(shù)據(jù)集在多個數(shù)據(jù)上性能優(yōu)異，構(gòu)建大規(guī)模無人機視頻計數(shù)數(shù)據(jù)集，助力候鳥保護基于兩階段損失權(quán)重分配的推理高效微調(diào)（DMPO）偏置模塊解基于兩階段損失權(quán)重分配的推理高效微調(diào)（DMPO）偏置模塊解高階預(yù)測器后期階段:>?只在淺層插入減少階段間影響基于早退策略在視覺基礎(chǔ)模型前端引入高判別高階預(yù)測器基于早退策略在視覺基礎(chǔ)模型前端引入高判別高階預(yù)測器，設(shè)計兩階段損失權(quán)重分配策略提升早期預(yù)測器準確性，30%內(nèi)存消耗的準確率接近全推理性能智能無人集群協(xié)同感知與進化技術(shù)挑戰(zhàn)難點挑戰(zhàn)難點關(guān)鍵技術(shù)創(chuàng)新智能無人集群空空、空地協(xié)同學(xué)習(xí)中面臨模型通用表征學(xué)習(xí)能力弱、多源多源目標表觀差異大多智能體協(xié)同交互難空地跨視角差異顯著通用表征學(xué)習(xí)能力弱多源目標表觀差異大多智能體協(xié)同交互難空地跨視角差異顯著通用表征學(xué)習(xí)能力弱多機全局局部匹配網(wǎng)絡(luò)多智能體社會化學(xué)習(xí)空地協(xié)同感知模型海河天眼基座模型多機全局局部匹配網(wǎng)絡(luò)多智能體社會化學(xué)習(xí)空地協(xié)同感知模型海河天眼基座模型實現(xiàn)智能無人集群多智能體空空、空地協(xié)同感知與進化利用Transformer搭建了一種多機協(xié)同追蹤架構(gòu)：?利用TransformerEncoder實現(xiàn)模板與搜索區(qū)域的自動建模。?對多個模板的注意力權(quán)重加權(quán)作為依據(jù)剪枝Token，用于加速訓(xùn)練和推理。多機協(xié)同性能大大超越多無人機單目標跟蹤算法ASNet創(chuàng)新：構(gòu)建多機協(xié)同多目標追蹤數(shù)據(jù)集以及協(xié)同追蹤框架（TMM201、通過全局、局部匹配結(jié)合的多視角圖像匹配方法，進行跨機目標關(guān)聯(lián)，實現(xiàn)雙機協(xié)同追蹤2、設(shè)計詳細的ID分配策略，實現(xiàn)精確的ID繼承與更新，減少IDswitch，對遮擋目標進行有效補充為多機協(xié)同追蹤任務(wù)提供數(shù)據(jù)平臺促進多視角間圖像匹配、目標重識別、協(xié)同檢測與追蹤等領(lǐng)域發(fā)展社會化學(xué)習(xí)范式可以通過智能體之間的關(guān)鍵樣本交互和知識交互，從而實現(xiàn)新知識學(xué)習(xí)在保留個體原先任務(wù)認知能力的基礎(chǔ)上，獲取其他智能體的任務(wù)知識，進而實現(xiàn)機器社會中多個個體的協(xié)同進化社會化學(xué)習(xí)通過多智能體間數(shù)據(jù)與知識的定向性交互共享，實現(xiàn)了協(xié)同進化社會化協(xié)同進化范式可以通過智能體之間的層級化動態(tài)交互和協(xié)同，從而實現(xiàn)知識的傳遞與增強在提升個體原先下游任務(wù)認知能力的基礎(chǔ)上，整體解決不同下游任務(wù)能力得到增強，實現(xiàn)跨任務(wù)協(xié)同進化社會化協(xié)同進化通過多智能體間數(shù)據(jù)與知識的層級化動態(tài)交互，實現(xiàn)了跨任務(wù)群智演化構(gòu)建跨平臺（無人機+路面攝像頭）多模態(tài)（可見光+熱紅外）空地協(xié)創(chuàng)新：提出針對空地協(xié)同感知任務(wù)的解耦多粒模型架構(gòu)圖模型可以顯著捕獲全局和局部判別特征模型可以顯著捕獲全局和局部判別特征，提升模型對空地協(xié)同感知中劇烈視角/尺度變化及局部遮擋的魯棒性。打造跨域?qū)崟r協(xié)同感知網(wǎng)絡(luò)：基于空地異構(gòu)設(shè)備，形成多維一體的感知閉環(huán)創(chuàng)建智能自適應(yīng)任務(wù)樞紐：實現(xiàn)跨域任務(wù)交互與多模型自我優(yōu)化，驅(qū)動決策智能化Seg----實現(xiàn)空地異構(gòu)協(xié)同感知一體化，驅(qū)動跨域任務(wù)效能最大化一一研究背景二VisDrone數(shù)據(jù)平臺三無人集群協(xié)同感知腦四四未來工作面臨低空智能感知挑戰(zhàn)，展開“數(shù)據(jù)筑基、模型驅(qū)動、智能進化、安全護航”數(shù)據(jù)基礎(chǔ)平臺大規(guī)模低空數(shù)據(jù)平臺大規(guī)模低空數(shù)據(jù)平臺仿真-物理具身數(shù)據(jù)基座仿真-物理具身數(shù)據(jù)基座集群協(xié)同數(shù)據(jù)基準集群協(xié)同數(shù)據(jù)