四

未來(lái)工作一

研究背景·

二

·VisDrone數(shù)據(jù)平臺(tái)·

三

·

低空感知腦四

未來(lái)工作一

研究背景

二

VisDrone數(shù)據(jù)平臺(tái)

三

低空感知腦雄安新區(qū)于2024年7月發(fā)布《關(guān)于支持低空經(jīng)濟(jì)產(chǎn)業(yè)發(fā)展的若干措施》

，明確通過(guò)雄安國(guó)創(chuàng)中心等平臺(tái)推動(dòng)產(chǎn)業(yè)生態(tài)構(gòu)建措施鼓勵(lì)新區(qū)在航空物流應(yīng)急救援智慧城市運(yùn)營(yíng)管理AI巡檢環(huán)境監(jiān)測(cè)低空旅游等領(lǐng)域打造標(biāo)桿性應(yīng)用場(chǎng)景2025年10月

，

黨的二十屆四中全會(huì)頒布《中共中央關(guān)于制定國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十五個(gè)五年規(guī)劃的建議》

，其中明確指出

“打造新興支柱產(chǎn)業(yè)

，

加快低空經(jīng)濟(jì)等戰(zhàn)略性新興產(chǎn)業(yè)集群發(fā)展

，

催生數(shù)個(gè)萬(wàn)億元級(jí)甚至更大規(guī)模的市場(chǎng)”。低空智能感知體系深化賦能經(jīng)濟(jì)轉(zhuǎn)型重大需求低空經(jīng)濟(jì)產(chǎn)業(yè)已成為國(guó)家戰(zhàn)略支柱產(chǎn)業(yè)

，雄安先行先試標(biāo)桿《中共中央關(guān)于制定國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十五個(gè)五年規(guī)劃的建議》《關(guān)于支持低空經(jīng)濟(jì)產(chǎn)業(yè)發(fā)展的若干措施》通知旨在搶抓低空經(jīng)濟(jì)產(chǎn)業(yè)密集創(chuàng)新和高速增長(zhǎng)的戰(zhàn)略機(jī)遇

，推動(dòng)雄安新區(qū)低空經(jīng)濟(jì)產(chǎn)業(yè)高質(zhì)量發(fā)展2021.7.20

河南遭遇特大暴雨受災(zāi)1478萬(wàn)人

，

經(jīng)濟(jì)損失1200億元2022.2.24

俄烏沖突爆發(fā)沖突持續(xù)四年

，

經(jīng)濟(jì)損失超1萬(wàn)億元重大需求無(wú)人機(jī)已在安防巡檢、

水情監(jiān)測(cè)和應(yīng)急搜救等領(lǐng)域得到廣泛應(yīng)用死亡失蹤117人

，

經(jīng)濟(jì)損失154億元2022.9.5

四川瀘定6.8級(jí)地震無(wú)人機(jī)精準(zhǔn)識(shí)別被困群眾無(wú)人機(jī)及時(shí)探查災(zāi)區(qū)情報(bào)無(wú)人機(jī)全時(shí)監(jiān)測(cè)打擊目標(biāo)“看不準(zhǔn)

”無(wú)人機(jī)高速飛行

，

目標(biāo)位置密集且動(dòng)態(tài)變化

，

降低了感知準(zhǔn)確度“看不全

”單機(jī)視角有限且存在遮擋

，無(wú)法捕捉目標(biāo)在所有角度下的特征復(fù)雜環(huán)境下

，低空智能感知面臨“看不清”

，“看不準(zhǔn)”和“看不全”的挑戰(zhàn)“看不清

”雨雪霧惡劣天氣和低光照環(huán)境降低了無(wú)人機(jī)對(duì)目標(biāo)的感知清晰度“看不準(zhǔn)”低空感知模型進(jìn)化難“看不全”多機(jī)跨視角感知難“看不清”復(fù)雜環(huán)境全天候感知難低空感知基礎(chǔ)模型自主進(jìn)化技術(shù)水情監(jiān)測(cè)研究挑戰(zhàn)關(guān)鍵難題技術(shù)創(chuàng)新低空復(fù)雜環(huán)境全天候感知技術(shù)安防巡檢多機(jī)跨視角協(xié)同感知技術(shù)應(yīng)急搜救成果應(yīng)用四

未來(lái)工作一

研究背景·

二

·VisDrone數(shù)據(jù)平臺(tái)

三

低空感知腦歷時(shí)5年全國(guó)14個(gè)城市采集2000萬(wàn)+圖像/視頻幀2000萬(wàn)+

目標(biāo)標(biāo)注VisDrone數(shù)據(jù)累計(jì)下載次數(shù)10萬(wàn)+在Git

hub獲得3000+個(gè)星在ECCV和ICCV連續(xù)舉辦

五屆VisDrone競(jìng)賽全球包括卡耐基梅隆大學(xué)等

在內(nèi)的2000+參賽隊(duì)伍5000+篇論文使用并引用>

關(guān)鍵平臺(tái)：

建立了復(fù)雜環(huán)境協(xié)同感知數(shù)據(jù)平臺(tái)（TPAMI2022）構(gòu)建了大規(guī)模多源、多模態(tài)、多任務(wù)、非完備復(fù)雜環(huán)境協(xié)同感知數(shù)據(jù)平臺(tái)VisDrone

，覆蓋單機(jī)和多機(jī)協(xié)同感知任務(wù)。國(guó)內(nèi)外廣泛使用的無(wú)人機(jī)視覺(jué)基準(zhǔn)數(shù)據(jù)平臺(tái)DroneCrowd-TJU

DroneVehicle-TJU

DroneRGBT-TJUVisDrone-TJU

MultiDrone-TJU

AnimalDrone-TJU>

關(guān)鍵平臺(tái)：

建立了復(fù)雜環(huán)境協(xié)同感知數(shù)據(jù)平臺(tái)反無(wú)人機(jī)微小目標(biāo)檢測(cè)數(shù)據(jù)集（

ECCV2024）平臺(tái)優(yōu)勢(shì)智能化升級(jí)

，效率倍增長(zhǎng)通過(guò)AI技術(shù)賦能

，

實(shí)現(xiàn)城市巡檢從傳統(tǒng)人工模式向智能化、

標(biāo)準(zhǔn)化、

規(guī)?；目缭绞缴?jí)前期前期數(shù)據(jù)、場(chǎng)景、模型上耗費(fèi)時(shí)間顯著降低70%50%40%數(shù)據(jù)收集時(shí)間場(chǎng)景適配時(shí)間模型訓(xùn)練時(shí)間算法部署效率模型賦能數(shù)據(jù)驅(qū)動(dòng)場(chǎng)景適配模型流水工廠配套落地?cái)?shù)據(jù)百城共建通過(guò)數(shù)據(jù)、模型、場(chǎng)景的三維融合展示

，為政府、企業(yè)、公眾提供低空領(lǐng)域的一站式資源入口

，構(gòu)建百城空域的數(shù)據(jù)算法基石

，讓低空經(jīng)濟(jì)"看得見(jiàn)"、

"管得好"。后期算法的效率和準(zhǔn)確度顯著提升場(chǎng)景150%后期u2024全球人工智能技術(shù)創(chuàng)新大賽-算法挑戰(zhàn)賽機(jī)場(chǎng)點(diǎn)位12個(gè)點(diǎn)位職能部門(mén)12個(gè)委辦局覆蓋面積平方公望理論研究發(fā)表CCF

A和IEEE匯刊論文80余篇授權(quán)發(fā)明專(zhuān)

利30項(xiàng)成果支撐團(tuán)隊(duì)獲得多項(xiàng)國(guó)際競(jìng)賽冠軍和最佳論文獎(jiǎng)科技獎(jiǎng)勵(lì)l

吳文俊人工智能科技進(jìn)步獎(jiǎng)一等獎(jiǎng)l

吳文俊人工智能優(yōu)秀青年獎(jiǎng)l

天津市自然科學(xué)一等獎(jiǎng)l

黑龍江省自然科學(xué)一等獎(jiǎng)l

天津市科技進(jìn)步獎(jiǎng)二等獎(jiǎng)l

中國(guó)智能交通協(xié)會(huì)科技進(jìn)步獎(jiǎng)二等獎(jiǎng)l

2022CVPR視覺(jué)語(yǔ)言多模態(tài)挑戰(zhàn)賽冠軍l

2023CVPR開(kāi)放世界目標(biāo)檢測(cè)挑戰(zhàn)賽冠軍l

2024昇騰AI創(chuàng)新大賽天津區(qū)域決賽高校賽道金獎(jiǎng)空軍“無(wú)人爭(zhēng)鋒”挑戰(zhàn)賽冠軍基礎(chǔ)平臺(tái)建設(shè)構(gòu)建了國(guó)內(nèi)外廣泛使用的無(wú)人機(jī)視覺(jué)基準(zhǔn)數(shù)據(jù)平臺(tái)空天地水協(xié)同進(jìn)化智能無(wú)人集群感知平臺(tái)團(tuán)隊(duì)榮獲吳文俊人工智能科技進(jìn)步獎(jiǎng)一等獎(jiǎng)等科技獎(jiǎng)勵(lì)構(gòu)建世界上規(guī)模最大無(wú)人機(jī)視覺(jué)數(shù)據(jù)平臺(tái)VisDrone人工智能科技進(jìn)步獎(jiǎng)一等獎(jiǎng)從被動(dòng)感知到自主協(xié)同

，構(gòu)建支撐具身智能體與集群協(xié)同進(jìn)化的下一代數(shù)據(jù)基座感-策-控一體化構(gòu)建仿真－物理具身數(shù)據(jù)基座大規(guī)模低空數(shù)據(jù)平臺(tái)支撐無(wú)人機(jī)全天候感知多智能體自主交互建立集群協(xié)同數(shù)據(jù)基準(zhǔn)視覺(jué)－語(yǔ)言－導(dǎo)航

(VLN)多模態(tài)動(dòng)態(tài)感知多任務(wù)協(xié)同學(xué)習(xí)視覺(jué)－語(yǔ)言－動(dòng)作

(VLA)多智能體社會(huì)化交互群體態(tài)勢(shì)自主感知集群協(xié)同感控一體

視覺(jué)感四

未來(lái)工作一

研究背景

二

VisDrone數(shù)據(jù)平臺(tái)·

三

·低空協(xié)同感知腦數(shù)據(jù)支撐混合專(zhuān)家動(dòng)態(tài)融合雙向動(dòng)態(tài)提示學(xué)習(xí)復(fù)原融合一體化學(xué)習(xí)大規(guī)模、多源、多模態(tài)、多任務(wù)的協(xié)同感知開(kāi)放數(shù)據(jù)平臺(tái)多模態(tài)協(xié)同感知面臨低空感知場(chǎng)景高動(dòng)態(tài)、模態(tài)主導(dǎo)難選擇、現(xiàn)實(shí)低質(zhì)量數(shù)據(jù)退化類(lèi)型復(fù)雜的挑戰(zhàn)難點(diǎn)。實(shí)現(xiàn)復(fù)雜環(huán)境下無(wú)人機(jī)多模態(tài)動(dòng)態(tài)協(xié)同感知低空多模態(tài)動(dòng)態(tài)感知難模態(tài)主導(dǎo)難選擇感知場(chǎng)景高動(dòng)態(tài)多種退化類(lèi)型復(fù)雜多模態(tài)動(dòng)態(tài)協(xié)同感知技術(shù)挑戰(zhàn)難點(diǎn)

關(guān)鍵技術(shù)創(chuàng)新局部-全局的混合專(zhuān)家動(dòng)態(tài)模型（

MoE-Fusion）Gioc

al(sio

car)=soft

ma

ac(top

k(sio

cn·wi

o

car))模型動(dòng)態(tài)學(xué)習(xí)模態(tài)-場(chǎng)景的關(guān)聯(lián)信息

，

實(shí)現(xiàn)場(chǎng)景樣本自適應(yīng)的多模態(tài)動(dòng)態(tài)融合創(chuàng)新：提出局部到全局的混合專(zhuān)家多模態(tài)動(dòng)態(tài)模型構(gòu)建“模態(tài)-場(chǎng)景”動(dòng)態(tài)感知關(guān)聯(lián)

(ICCV2023)在多模態(tài)非固定關(guān)聯(lián)范式中動(dòng)態(tài)地相互融合主導(dǎo)-輔助模態(tài)信息雙向Adapter結(jié)構(gòu)簡(jiǎn)單、高效（僅添加0.32M可學(xué)習(xí)參數(shù)）

，以通用的方式將互補(bǔ)特征從一種模態(tài)轉(zhuǎn)移到另一種模態(tài)。每個(gè)模態(tài)分支從其他模態(tài)中學(xué)習(xí)提示信息

，與當(dāng)前模態(tài)的特征信息相結(jié)合

，增強(qiáng)表征能力。創(chuàng)新：基于雙向Adapter的多模態(tài)追蹤視覺(jué)提示框架(BAT)實(shí)現(xiàn)了出色的多模態(tài)互補(bǔ)性（AAAI2024）任務(wù)門(mén)控的多合一退化多模態(tài)融合模型（TG-ECNet）Ir=TG-EC

Net(t,f

動(dòng)態(tài)感知低質(zhì)量圖像退化類(lèi)型

，提示引導(dǎo)專(zhuān)家協(xié)同學(xué)習(xí)

，

實(shí)現(xiàn)All-in-One退化多模態(tài)圖像融合創(chuàng)新：提出任務(wù)自適應(yīng)門(mén)控的多模態(tài)專(zhuān)家協(xié)同模型解決多種類(lèi)型退化干擾下融合難題

(ICML2025)復(fù)雜環(huán)境下低空視覺(jué)感知面臨通用表征學(xué)習(xí)模型缺乏、任務(wù)定制表征學(xué)習(xí)難等挑戰(zhàn)難點(diǎn)。實(shí)現(xiàn)復(fù)雜環(huán)境下智能無(wú)人集群全天候精確感知復(fù)雜環(huán)境低代價(jià)感知難非對(duì)稱(chēng)掩碼視頻計(jì)數(shù)任務(wù)定制混合Adapter大規(guī)模、多源、多模態(tài)、多任務(wù)的協(xié)同感知開(kāi)放數(shù)據(jù)平臺(tái)數(shù)據(jù)-標(biāo)簽關(guān)系挖掘不充分任務(wù)定制表征學(xué)習(xí)難缺乏通用表征學(xué)習(xí)模型復(fù)雜環(huán)境低代價(jià)感知技術(shù)挑戰(zhàn)難點(diǎn)

關(guān)鍵技術(shù)創(chuàng)新海河天眼基座模型數(shù)據(jù)支撐VisDroneMultiDroneAnimalDroneDroneCrowdDroneVehicleDroneRGBT建立低空無(wú)人機(jī)視覺(jué)計(jì)算領(lǐng)域和多個(gè)平臺(tái)兼容的模型庫(kù)并實(shí)現(xiàn)大小模型協(xié)同進(jìn)化多維評(píng)估體系場(chǎng)景識(shí)別能力定位檢測(cè)能力條件判斷能力推理思考能力n

建立超過(guò)10億圖像/視頻幀數(shù)據(jù)庫(kù)

，

開(kāi)發(fā)低空多模態(tài)視覺(jué)推理大模型指令劃分

場(chǎng)景數(shù)據(jù)2000萬(wàn)+圖像/視頻幀VisDrone平臺(tái)數(shù)據(jù)100+種特定場(chǎng)景的評(píng)估基準(zhǔn)數(shù)據(jù)清洗→粒度劃分→機(jī)器標(biāo)注→場(chǎng)景指令→千萬(wàn)級(jí)低空多模態(tài)訓(xùn)練數(shù)據(jù)預(yù)訓(xùn)練多模態(tài)大模型增量訓(xùn)練+指令微調(diào)基于任務(wù)定制的混合Adapters的通用圖像融合（TC-MoA）統(tǒng)一多任務(wù)階段以提示為依據(jù)進(jìn)行融合模型能夠根據(jù)不同的融合任務(wù)動(dòng)態(tài)定制不同的adapters混合來(lái)獲得融合提示

在統(tǒng)一模型基礎(chǔ)上兼容不同融合任務(wù)的差異

，

并動(dòng)態(tài)指導(dǎo)融合結(jié)果的生成。創(chuàng)新：動(dòng)態(tài)兼容多任務(wù)的通用圖像融合

(CVPR2024)兼容多任務(wù)階段為輸入定制融合提示在多個(gè)數(shù)據(jù)上性能優(yōu)異

，構(gòu)建大規(guī)模無(wú)人機(jī)視頻計(jì)數(shù)數(shù)據(jù)集

，

助力候鳥(niǎo)保護(hù)創(chuàng)新：構(gòu)建數(shù)據(jù)-標(biāo)簽關(guān)聯(lián)

，通過(guò)稀疏標(biāo)簽引導(dǎo)非對(duì)稱(chēng)掩碼重建

，實(shí)現(xiàn)精準(zhǔn)無(wú)人機(jī)視頻計(jì)數(shù)

(ICLR2025)DroneBird無(wú)人機(jī)視頻計(jì)數(shù)數(shù)據(jù)集基于非對(duì)稱(chēng)高效掩碼自編碼器的無(wú)人機(jī)視頻計(jì)數(shù)（

E-MAC）基于兩階段損失權(quán)重分配的推理高效微調(diào)（

DMPO）偏置模塊

解耦優(yōu)化初始階段:

αearly

<

αdeep后期階段:

αearly

>

αdeep?

只在淺層插入?

隨著模型深度逐漸降維基于早退策略在視覺(jué)基礎(chǔ)模型前端引入高判別高階預(yù)測(cè)器

，

設(shè)計(jì)兩階段損失權(quán)重分配策略提升早期預(yù)測(cè)器準(zhǔn)確性

，

30%內(nèi)存消耗的準(zhǔn)確率接近全推理性能創(chuàng)新：基于高階預(yù)測(cè)器器解耦優(yōu)化的視覺(jué)基礎(chǔ)模型推理高效微調(diào)

(ICCV2025)先學(xué)習(xí)低級(jí)特征的生成隨后提升判別能力

loss↓

?

判別能力↑

loss↑

?

判別能力↓xi

=Bypi

(xi)

+

xi高階預(yù)測(cè)器{i

=σ

({i一1).

{i

(yi,

y)減少階段間影響智能無(wú)人集群空空、空地協(xié)同學(xué)習(xí)中面臨模型通用表征學(xué)習(xí)能力弱、多源目標(biāo)表觀差異大、多智能體協(xié)同交互難、空地跨視角差異顯著等難題。實(shí)現(xiàn)智能無(wú)人集群多智能體空空、

空地協(xié)同感知與進(jìn)化智能無(wú)人集群協(xié)同感知與進(jìn)化難海河天眼基座模型智能無(wú)人集群協(xié)同感知開(kāi)放數(shù)據(jù)平臺(tái)+集群空空/空地協(xié)同平臺(tái)

數(shù)據(jù)與平臺(tái)支撐

智能無(wú)人集群協(xié)同感知與進(jìn)化技術(shù)空地跨視角差異顯著多源目標(biāo)表觀差異大通用表征學(xué)習(xí)能力弱多智能體協(xié)同交互難挑戰(zhàn)難點(diǎn)

關(guān)鍵技術(shù)創(chuàng)新多機(jī)全局局部匹配網(wǎng)絡(luò)多智能體社會(huì)化學(xué)習(xí)空地協(xié)同感知模型利用Transformer搭建了一種多機(jī)協(xié)同追蹤架構(gòu)：?

利用Transformer

Encoder實(shí)現(xiàn)模板與搜索區(qū)域的自動(dòng)建模。?

對(duì)多個(gè)模板的注意力權(quán)重加權(quán)作為依據(jù)剪枝Token，用于加速訓(xùn)練和推理。多機(jī)協(xié)同性能大大超越多無(wú)人機(jī)單目標(biāo)跟蹤算法ASNet創(chuàng)新：構(gòu)建TransMDOT的多機(jī)協(xié)同追框架解決多無(wú)人機(jī)單目標(biāo)跟蹤協(xié)同共享難題（TCSVT2023）為多機(jī)協(xié)同追蹤任務(wù)提供數(shù)據(jù)平臺(tái)促進(jìn)多視角間圖像匹配、

目標(biāo)重識(shí)別、

協(xié)同檢測(cè)與追蹤等領(lǐng)域發(fā)展1、

通過(guò)全局、

局部匹配結(jié)合的多視角圖像匹配方法

，進(jìn)行跨機(jī)目標(biāo)關(guān)聯(lián)

，

實(shí)現(xiàn)雙機(jī)協(xié)同追蹤2、

設(shè)計(jì)詳細(xì)的ID分配策略

，

實(shí)現(xiàn)精確的ID繼承與更新

，減少I(mǎi)D

switch

，對(duì)遮擋目標(biāo)進(jìn)行有效補(bǔ)充創(chuàng)新：構(gòu)建多機(jī)協(xié)同多目標(biāo)追蹤數(shù)據(jù)集以及協(xié)同追蹤框架（TMM2023）社會(huì)化學(xué)習(xí)通過(guò)多智能體間數(shù)據(jù)與知識(shí)的定向性交互共享

，

實(shí)現(xiàn)了協(xié)同進(jìn)化n

社會(huì)化學(xué)習(xí)范式可以通過(guò)智能體之間的關(guān)鍵樣本交互和知識(shí)交互

，從而實(shí)現(xiàn)新知識(shí)學(xué)習(xí)n

在保留個(gè)體原先任務(wù)認(rèn)知能力的基礎(chǔ)上

，獲取其他智能體的任務(wù)知識(shí)

，進(jìn)而實(shí)現(xiàn)機(jī)器社會(huì)中多個(gè)個(gè)體的協(xié)同進(jìn)化創(chuàng)新：針對(duì)開(kāi)放環(huán)境下的群智演化

，提出兼顧專(zhuān)業(yè)性和通用性的社會(huì)化學(xué)習(xí)范式（ICML2024）創(chuàng)新：針對(duì)跨任務(wù)下的協(xié)同進(jìn)化

，提出兼顧下游任務(wù)專(zhuān)業(yè)性和通用性的社會(huì)化協(xié)同進(jìn)化范式（ICML2025）n

社會(huì)化協(xié)同進(jìn)化范式可以通過(guò)智能體之間的層級(jí)化動(dòng)態(tài)交互和協(xié)同

，從而實(shí)現(xiàn)知識(shí)的傳遞與增強(qiáng)社會(huì)化協(xié)同進(jìn)化通過(guò)多智能體間數(shù)據(jù)與知識(shí)的層級(jí)化動(dòng)態(tài)交互

，

實(shí)現(xiàn)了跨任務(wù)群智演化n

在提升個(gè)體原先下游任務(wù)認(rèn)知能力的基礎(chǔ)上

，整體解決不同下游任務(wù)能力得到增強(qiáng)

，

實(shí)現(xiàn)跨任務(wù)協(xié)同進(jìn)化構(gòu)建跨平臺(tái)（無(wú)人機(jī)+路面攝像頭）多模態(tài)（可見(jiàn)光+熱紅外）空地協(xié)同感知數(shù)據(jù)集模型可以顯著捕獲全局和局部判別特征

，提升模型對(duì)空地協(xié)同感知中劇烈視角/尺度變化及局部遮擋的魯棒性。模型架構(gòu)圖創(chuàng)新：提出針對(duì)空地協(xié)同感知任務(wù)的解耦多粒度模型無(wú)人機(jī)

異構(gòu)任務(wù)交互進(jìn)化Reid

Seg

無(wú)人車(chē)n

打造跨域?qū)崟r(shí)協(xié)同感知網(wǎng)絡(luò)：

基于空地異構(gòu)設(shè)備

，形成多維一體的感知閉環(huán)n

創(chuàng)建智能自適應(yīng)任務(wù)樞紐：

實(shí)現(xiàn)跨域任務(wù)交互與多模型自我優(yōu)化

，驅(qū)動(dòng)決策智能化實(shí)現(xiàn)空地異構(gòu)協(xié)同感知一體化

，驅(qū)動(dòng)跨域任務(wù)效能最大化建立空地跨任務(wù)協(xié)同平臺(tái)

，實(shí)現(xiàn)異構(gòu)設(shè)備、多視角的跨域協(xié)同感知-