(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利地址210003江蘇省南京市鼓樓區(qū)新模范魏金生所(特殊普通合伙)32321專利代理師梅生振GO6N3/045(2023.GO6N3/084(2023.01)G06N3/048(2023.01)審查員武茹茹GO6T7/50(2017.01)權(quán)利要求書4頁(yè)說(shuō)明書9頁(yè)附圖5頁(yè)一種基于狀態(tài)空間模型的事件相機(jī)單目深本發(fā)明涉及事件相機(jī)與人工智能計(jì)算機(jī)視建密集殘差塊作為解碼器生成所需的密集深度估計(jì)的準(zhǔn)確度。本發(fā)明有助于提升機(jī)器人導(dǎo)航、↓↓在狀態(tài)空間模型下設(shè)計(jì)基于事件相機(jī)的單目深度估計(jì)網(wǎng)絡(luò)，包括狀態(tài)空間結(jié)構(gòu)的時(shí)頻編↓將預(yù)處理后的事件數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；使用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，設(shè)↓21.一種基于狀態(tài)空間模型的事件相機(jī)單目深度估計(jì)方法，其特征在于：方法包括：步驟1、準(zhǔn)備事件數(shù)據(jù)，包括模擬事件數(shù)據(jù)和真實(shí)場(chǎng)景事件數(shù)據(jù)，以及兩個(gè)事件數(shù)據(jù)分別對(duì)應(yīng)的深度標(biāo)簽；步驟2、將原始事件數(shù)據(jù)分別進(jìn)行時(shí)空體素網(wǎng)格和計(jì)算事件分布圖的預(yù)處理，分別表示為密集時(shí)空體素E和計(jì)算事件分布圖Ea;步驟3、在狀態(tài)空間模型下設(shè)計(jì)基于事件相機(jī)的單目深度估計(jì)網(wǎng)絡(luò)，包括狀態(tài)空間結(jié)構(gòu)的時(shí)頻編碼器、空間編碼器以及解碼器；步驟4、將預(yù)處理后的事件數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；并使用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，通過(guò)反向傳播算法不斷調(diào)整模型的參數(shù)，以最小化損失函數(shù)；同時(shí)在訓(xùn)練過(guò)程中，使用驗(yàn)證集來(lái)監(jiān)控模型的性能；步驟5、使用訓(xùn)練好的模型對(duì)某一時(shí)間間隔內(nèi)的測(cè)試事件數(shù)據(jù)進(jìn)行相對(duì)深度信息估計(jì)，得到深度圖；第一部分是將針對(duì)于事件數(shù)據(jù)設(shè)計(jì)的事件狀態(tài)空間模型作為時(shí)頻編碼器；第二部分是將基于視覺的選擇性狀態(tài)空間模型作為空間編碼器；第三部分是由密集殘差塊構(gòu)建的解碼器；所述第一部分中的事件狀態(tài)空間模型，包括：循環(huán)分支和激活分支；所述循環(huán)分支由多個(gè)多頻率狀態(tài)空間模塊和跳躍連接組成，它通過(guò)對(duì)事件時(shí)空體素張量進(jìn)行時(shí)域和頻域編碼，從而得到體素張量E的更新；所述激活分支通過(guò)計(jì)算事件分布并經(jīng)過(guò)事件門控激活模塊計(jì)算事件分布注意力圖Aa和門控權(quán)重Ua,從而激活編碼器輸出得到E;基于此，得到事件狀態(tài)空間模型的具體架構(gòu)如下公式所示：Etf=Ua(Ek◎Aa)+Ek;所述激活分支包含一個(gè)事件分布門控模塊，生成事件分布圖和門控權(quán)重，包括以下步S32-1、模塊通過(guò)不同核大小的深度分離卷積和點(diǎn)卷積提取事件分布多尺度空間特征，平滑事件分布并整合來(lái)自多尺度的分布信息：根據(jù)公式，多尺度分布圖F經(jīng)過(guò)由兩個(gè)卷積層加上ReLU函數(shù)構(gòu)成的模塊CSigmoid激活函數(shù)(σ)生成像素級(jí)注意力圖Aa:Aa=σ(CRM(Fm)其中PW與DW分別表示第i個(gè)卷積核大小的深度可分離卷積和點(diǎn)卷積，LN表示層歸一化；S32-2、根據(jù)公式，將注意力圖作用于多尺度事件分布圖F后得到E,經(jīng)過(guò)平均池化和最大池化進(jìn)一步計(jì)算其全局統(tǒng)計(jì)特性，再經(jīng)過(guò)由兩個(gè)線性層和ReLU模塊組成的LRM模塊3后應(yīng)用sigmoid激活函數(shù)得到門控權(quán)重Ua:2.如權(quán)利要求1所述的一種基于狀態(tài)空間模型的事件相機(jī)單目深度估計(jì)方法，其特征3.如權(quán)利要求1所述的一種基于狀態(tài)空間模型的事件相機(jī)單目深度估計(jì)方法，其特征φ(z)=max(0,1-|z).4.如權(quán)利要求1所述的一種基于狀態(tài)空間模型的事件相機(jī)單目深度估計(jì)方法，其特征5.如權(quán)利要求1所述的一種基于狀態(tài)空間模型的事件相機(jī)單目深度估計(jì)方法，其特征采用Haar小波變換產(chǎn)生的高頻和低頻濾波器組合成4個(gè)不同的濾波器，并利用小波卷積核F對(duì)輸入的事件時(shí)空體素網(wǎng)格進(jìn)行分解，獲得三個(gè)高頻帶：E、E、ED,和一個(gè)低頻4通過(guò)整合三個(gè)高頻帶和一個(gè)低頻帶對(duì)應(yīng)的頻率分量，得到事件頻率特征圖Ey;采用三路徑多形態(tài)建模策略，將事件數(shù)據(jù)映射到三種狀態(tài)表示：多頻展開特征Ea、時(shí)間展開特征Eβ和壓縮空間特征Ey;其中，三路徑多形態(tài)建模策略包括：S31-1、第一路徑是利用時(shí)間維度展開得到Ea∈R(BT)×C×H×W,并引入頻域注意力模塊，根據(jù)公式，所述頻域注意力模塊利用2D卷積和共享多層感知機(jī)模型生成通道頻率矩陣Mj:Ea=flatten(E)M,=σ(MLP(Ea))其中，flatten表示當(dāng)前沿時(shí)間維度展開，MLP表示共享權(quán)重的多層感知機(jī)，σ表示sigmoid激活函數(shù)；S31-2、第二路徑是對(duì)原始事件時(shí)空體素的多個(gè)時(shí)間步數(shù)據(jù)在空間壓縮：根據(jù)公式，對(duì)輸入的時(shí)間維度進(jìn)行注意力處理，通過(guò)并聯(lián)的平均池化和最大池化操作計(jì)算時(shí)間權(quán)重Ep∈RB×T×1×1×1,然后通過(guò)共享多層感知器生成時(shí)間權(quán)重向量M,,來(lái)捕獲時(shí)間上的相關(guān)M,=0(MLP?(Eβ)其中，ReLU表示ReLU激活函數(shù)，MLP?與MLP?為兩個(gè)共享權(quán)重的多層感知機(jī)；S31-3、第三路徑是對(duì)頻域分解后的多通道事件頻域圖進(jìn)一步在空間展開得到Ey,根據(jù)其中，flatten表示在空間維度展開；對(duì)展開后的事件特征圖輸入到狀態(tài)空間模型塊，其中所述狀態(tài)空間模型塊包括一個(gè)S5塊和帶有標(biāo)準(zhǔn)化、激活和殘差連接模塊的標(biāo)準(zhǔn)Transformer的前饋網(wǎng)絡(luò)模塊FFN;根據(jù)公式，狀態(tài)空間模型塊的輸出進(jìn)行逆小波變換后與時(shí)間注意力權(quán)重和頻域通道矩陣相乘得到最后的時(shí)頻編碼輸出E:E?=FFN(Ey);其中，IWT表示逆小波變換，◎表示點(diǎn)乘，,表示S5的輸出特征圖，h,表示當(dāng)前時(shí)刻的隱堆疊多個(gè)多頻率狀態(tài)空間模塊得到多頻率狀態(tài)空間組，最后經(jīng)過(guò)帶有殘差的前饋網(wǎng)絡(luò)5將所述事件塊線性投影到一個(gè)更高維度的向量，并為投影后的向量添加位置嵌入6技術(shù)領(lǐng)域[0001]本發(fā)明涉及事件相機(jī)與人工智能計(jì)算機(jī)視覺領(lǐng)域，具體為一種基于狀態(tài)空間模型的事件相機(jī)單目深度估計(jì)方法。背景技術(shù)[0002]單目深度估計(jì)(MDE)在計(jì)算機(jī)視覺領(lǐng)域具有重要的作用，它以較低的成本提升了對(duì)三維環(huán)境的感知和理解，在機(jī)器人導(dǎo)航、自動(dòng)駕駛、虛擬現(xiàn)實(shí)等應(yīng)用中得到了廣泛應(yīng)用。然而，傳統(tǒng)的基于幀的相機(jī)由于其低動(dòng)態(tài)范圍和易產(chǎn)生運(yùn)動(dòng)模糊的限制，在高速運(yùn)動(dòng)、弱光[0003]近年來(lái)，基于生物感知的事件相機(jī)技術(shù)引起了廣泛關(guān)注。與傳統(tǒng)相機(jī)按固定幀率捕獲場(chǎng)景不同，事件相機(jī)以微秒級(jí)分辨率記錄像素強(qiáng)度的變化，生成包含時(shí)間戳、位置和極性信息的異步事件流。事件相機(jī)在硬件上具有顯著優(yōu)勢(shì)，如高動(dòng)態(tài)范圍(HDR)和高時(shí)間分辨率，同時(shí)避免了冗余數(shù)據(jù)的采集。然而，事件數(shù)據(jù)在空間上稀疏且在時(shí)間上動(dòng)態(tài)豐富，這對(duì)基于深度學(xué)習(xí)的算法提出了新的挑戰(zhàn)。[0004]現(xiàn)有的網(wǎng)絡(luò)模型多遷移傳統(tǒng)圖像領(lǐng)域的CNN網(wǎng)絡(luò)提取空間特征，同時(shí)借助循環(huán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)單建模時(shí)間線索的方法對(duì)事件信息提取能力較差，最近有工作使用Transformer來(lái)解決這個(gè)問(wèn)題，但是帶來(lái)了更大的計(jì)算復(fù)雜度，這與低延遲的事件相悖?？傮w而言，之前的方法對(duì)事件數(shù)據(jù)特性挖掘不足，具體來(lái)說(shuō)僅僅考慮事件的時(shí)空特性是不夠的，這些方法更傾向于依賴復(fù)雜模型實(shí)現(xiàn)特征學(xué)習(xí)。因此，如何設(shè)計(jì)一種能夠全面挖掘事件數(shù)據(jù)特性，聚焦于事件的高效深度估計(jì)網(wǎng)絡(luò)框架是當(dāng)前研究中的重要挑戰(zhàn)。發(fā)明內(nèi)容[0005]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供了一種事件先驗(yàn)引導(dǎo)的單目深度估計(jì)模型。一方面，通過(guò)將狀態(tài)空間模型引入事件相機(jī)單目深度估計(jì)問(wèn)題減小計(jì)算復(fù)雜度，另一方面在狀態(tài)空間架構(gòu)中引入事件先驗(yàn)知識(shí)進(jìn)一步提高事件數(shù)據(jù)深度估計(jì)性能。本發(fā)明將有助于提升機(jī)器人導(dǎo)航、自動(dòng)駕駛、虛擬現(xiàn)實(shí)等實(shí)際應(yīng)用對(duì)復(fù)雜三維現(xiàn)實(shí)場(chǎng)景感知的魯棒性。[0006]為了解決上述技術(shù)問(wèn)題，本發(fā)明提供如下技術(shù)方案：[0008]步驟1、準(zhǔn)備事件數(shù)據(jù)，包括模擬事件數(shù)據(jù)和真實(shí)場(chǎng)景事件數(shù)據(jù)，以及兩個(gè)事件數(shù)據(jù)分別對(duì)應(yīng)的深度標(biāo)簽；[0009]步驟2、將原始事件數(shù)據(jù)分別進(jìn)行時(shí)空體素網(wǎng)格和計(jì)算事件分布圖的預(yù)處理，分別表示為密集時(shí)空體素E和計(jì)算事件分布圖Ea;[0010]步驟3、在狀態(tài)空間模型下設(shè)計(jì)基于事件相機(jī)的單目深度估計(jì)網(wǎng)絡(luò)，包括狀態(tài)空間結(jié)構(gòu)的時(shí)頻編碼器、空間編碼器以及解碼器；[0011]步驟4、將預(yù)處理后的事件數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；并使用訓(xùn)練集對(duì)模7[0012]步驟5、使用訓(xùn)練好的模型對(duì)某一時(shí)間間隔內(nèi)的測(cè)試事件數(shù)據(jù)進(jìn)行相對(duì)深度信息時(shí)域和頻域編碼得到E的更新Ek,激活分支計(jì)算事件分布并經(jīng)過(guò)事件門控激活模塊計(jì)算事件分布注意力圖Aa和門控權(quán)重Ua,激活編碼器輸出得到E。總體架構(gòu)如下公式所示：[0026]進(jìn)一步地，循環(huán)分支中多頻率狀態(tài)空間模塊是由小波變換引導(dǎo)的狀態(tài)空間模塊，卷積對(duì)輸入的事件時(shí)空體素網(wǎng)格進(jìn)行分解，獲得三個(gè)高頻帶(EH、E、Ep)和一個(gè)低頻帶(EA),每個(gè)空間維度上的分辨率是E的一半，然后通過(guò)遞歸分解低頻分量級(jí)聯(lián)小波卷積以8上述計(jì)算出的三個(gè)高頻帶和一個(gè)低頻帶對(duì)應(yīng)的頻率分量，得到事件頻率特征圖E。[0031]采用三路徑多形態(tài)建模策略，將事件數(shù)據(jù)映射到三種狀態(tài)表示：多頻展開特征Ea、時(shí)間展開特征E和壓縮空間特征Eγ。[0033]S31-1、第一個(gè)路徑是時(shí)間維度展開得到Ea∈R(BT)×C×H×W,并引入頻域注意力模塊，該模塊利用2D卷積和共享多層感知機(jī)(MLP)模型生成通道頻率矩陣M。公式如下所示：Ea=flatten(E)M,=σ(MLP(Ea);其中flatten表示當(dāng)前沿時(shí)間維度展開，MLP表示共享權(quán)重的多層感知機(jī)，σ表示激活函數(shù)。S31-2、第二個(gè)路徑是空間壓縮。對(duì)原始事件時(shí)空體素的多個(gè)時(shí)間步數(shù)據(jù)在空間壓縮，對(duì)輸入的時(shí)間維度進(jìn)行注意力處理，通過(guò)并聯(lián)的平均池化和最大池化操作計(jì)算時(shí)間權(quán)重Ep∈RB×T×1×1×1,然后通過(guò)共享多層感知器生成時(shí)間權(quán)重向量M,捕獲時(shí)間上的相關(guān)Ep=ReLU(MLP(AvgPool(EM,=σ(MLP?(Eβ)[0038]其中ReLU表示ReLU激活函數(shù)，MLP與MLP2為兩個(gè)共享權(quán)重的多層感知機(jī)。[0039]S31-3、第三個(gè)路徑是空間展開。對(duì)頻域分解后的多通道事件頻域圖進(jìn)一步在空間展開得到E,。公式如下所示：[0040]Ey=flatten(E)∈R(BHW)×T×C;[0042]對(duì)展開后的事件特征圖輸入到狀態(tài)空間模型(statespacemodel,SSM)塊，設(shè)計(jì)為一個(gè)S5塊和帶有標(biāo)準(zhǔn)化、激活和殘差連接模塊的標(biāo)準(zhǔn)Transformer的前饋網(wǎng)絡(luò)模塊FFN組成。SSM塊的輸出進(jìn)行逆小波變換后與時(shí)間注意力權(quán)重和頻域通道矩陣相乘得到最后的時(shí)頻編碼輸出E。公式如下所示：9括以下步驟：[0049]模塊通過(guò)不同核大小(3×3,5×5,7×7)的深度可分離卷積和點(diǎn)卷積提取事件分兩個(gè)卷積層加上ReLU函數(shù)構(gòu)成的模塊CRM后，應(yīng)用Sigmoid激活函數(shù)(σ)生成像素級(jí)注意[0051]其中PW,與DW分別表示第i個(gè)卷積核大小的深度可分離卷積和點(diǎn)卷積，LN表示層歸一化。[0052]將注意力圖作用于多尺度事件分布圖Fm后得到E,經(jīng)過(guò)平均池化和最大池化進(jìn)一步計(jì)算其全局統(tǒng)計(jì)特性，再經(jīng)過(guò)由兩個(gè)線性層和LRM模塊組成的LRM模塊后應(yīng)用這些事件塊線性投影到一個(gè)更高維度的向量，并為這些投影后的向量添加位置嵌入[0059]其中R.=D-D為對(duì)數(shù)深度差，D是預(yù)測(cè)值，D是真實(shí)值，N是像素的數(shù)量，R(i)是對(duì)應(yīng)尺度s的深度差，V和V,代表利用Sobel算子分別計(jì)算x和y方向上的梯度，[0060]與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果是：[0061]本發(fā)明提出一種基于狀態(tài)空間模型的事件相機(jī)單目深度估計(jì)方法，將狀態(tài)空間模型引入事件相機(jī)單目深度估計(jì)領(lǐng)域，并專注于事件，充分利用事件先驗(yàn)知識(shí)，在事件先驗(yàn)信息引導(dǎo)實(shí)現(xiàn)事件數(shù)據(jù)的頻域、時(shí)域和空域高效統(tǒng)一，充分挖掘事件數(shù)據(jù)的非均勻頻率特性、連續(xù)時(shí)間特性和稀疏空間特性，該模型可以在白天和夜間估計(jì)產(chǎn)生細(xì)粒度結(jié)構(gòu)的密集深度信息。附圖說(shuō)明[0062]附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說(shuō)明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中：[0063]圖1為本發(fā)明實(shí)施例的流程圖；[0064]圖2為本發(fā)明實(shí)施例的網(wǎng)絡(luò)總體架構(gòu)；[0065]圖3為本發(fā)明實(shí)施例的多頻率狀態(tài)空間模型結(jié)構(gòu)(MFSSB);[0066]圖4為本發(fā)明實(shí)施例的事件門控單元結(jié)構(gòu)(EDGU);[0067]圖5為本發(fā)明實(shí)施例在MVSEC上的定性對(duì)比結(jié)果；[0068]圖6為本發(fā)明實(shí)施例在DENSE上的定性對(duì)比結(jié)果；[0069]圖7為本發(fā)明實(shí)施例在MVSEC上的消融研究和評(píng)估圖；[0070]圖8為本發(fā)明實(shí)施例在DENSE上的評(píng)估圖；[0071]圖9為本發(fā)明實(shí)施例各個(gè)模塊的消融實(shí)驗(yàn)對(duì)比圖。具體實(shí)施方式[0072]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。[0073]請(qǐng)參閱圖1-圖9,本發(fā)明提供技術(shù)方案：[0074]實(shí)施例1:如圖1所示，本實(shí)施例提供一種基于狀態(tài)空間模型的事件相機(jī)單目深度估計(jì)方法，包括如下步驟：[0075](1)準(zhǔn)備數(shù)據(jù)集；[0076]準(zhǔn)備數(shù)據(jù)集包括模擬事件數(shù)據(jù)和真實(shí)場(chǎng)景事件數(shù)據(jù)，以及其對(duì)應(yīng)的深度標(biāo)簽；本實(shí)例采用公開數(shù)據(jù)集，分別為真實(shí)場(chǎng)景下的MVSEC數(shù)據(jù)集和模擬數(shù)據(jù)集DENSE,其中MVESC包括四個(gè)真實(shí)場(chǎng)景(Outdoorday1,0utdoornight1,0utdoornight2,0utdoornight3),數(shù)據(jù)格式為hdf5格式，DENSE數(shù)據(jù)集包含八個(gè)場(chǎng)景(Town01,Town02,Town03,Town04,Town06,Town07,Town10),數(shù)據(jù)格式為numpy格式。[0077](2)預(yù)處理原始事件數(shù)據(jù)；[0078]將其表示為密集時(shí)空體素Ek,并計(jì)算事件分布圖Ea。具體來(lái)說(shuō)，預(yù)處理原始事件數(shù)據(jù)為時(shí)空體素步驟是為將收集到的M個(gè)事件ε={e,}-轉(zhuǎn)換為類似張量表示Ek∈RC×H×W的事件流ε的時(shí)間維度離散化后，根據(jù)事件戳將時(shí)間窗口△T內(nèi)的事件流按照時(shí)間戳投影到C[0085]深度估計(jì)網(wǎng)絡(luò)模型設(shè)計(jì)為三部分，第一部分是針對(duì)于事件數(shù)據(jù)設(shè)計(jì)的事件狀態(tài)空間模型作為時(shí)頻編碼器，第二部分是基于視覺的選擇性狀態(tài)空間模型作為空間編碼器，第三部分是由密集殘差塊構(gòu)建的解碼器。[0086]其中，事件狀態(tài)空間模型由兩個(gè)分支構(gòu)成，分別為循環(huán)分支和激活分支，循環(huán)分支由多個(gè)多頻率狀態(tài)空間模塊和跳躍連接組成，對(duì)事件時(shí)空體素張量進(jìn)行時(shí)域和頻域編碼得到E的更新E,激活分支計(jì)算事件分布并經(jīng)過(guò)事件門控激活模塊計(jì)算事件分布注意力圖Aa和門控權(quán)重Ua,激活編碼器輸出得到Er。總體架構(gòu)如下公式所示：[0088]多頻率狀態(tài)空間模塊是由小波變換引導(dǎo)的狀態(tài)空間模塊，提取不同頻率段事件的時(shí)頻信息，包括以下步驟：采用Haar小波變換產(chǎn)生的高頻和低頻濾波器組合成4個(gè)不同的濾波器，利用小波卷積對(duì)輸入的事件時(shí)空體素網(wǎng)格進(jìn)行分解，獲得三個(gè)高頻帶(EH、E、Ep)和一個(gè)低頻帶(EA),每個(gè)空間維度上的分辨率是E的一半，然后通過(guò)遞歸分解低頻分量級(jí)聯(lián)小波卷積以提升靜態(tài)信息的表達(dá)能力。公式如下所示：[0092]整合上述計(jì)算出的三個(gè)高頻帶和一個(gè)低頻帶對(duì)應(yīng)的頻率分量，得到事件頻率特征圖E。采用三路徑多形態(tài)建模策略，將事件數(shù)據(jù)映射到三種狀態(tài)表示：多頻展開特征Ea、時(shí)間展開特征Eβ和壓縮空間特征E,。塊，該模塊利用2D卷積和共享多層感知機(jī)(MLP)模型生成通道頻率矩陣Mf。公式如下所示：Ea=flatten(E)M,=σ(MLP(Ea)其中flatten表示當(dāng)前沿時(shí)間維度展開，MLP表示共享權(quán)重的多層感知機(jī)，σ表示激活函數(shù)。第二個(gè)路徑是空間壓縮。對(duì)原始事件時(shí)空體素的多個(gè)時(shí)間步數(shù)據(jù)在空間壓縮，對(duì)輸入的時(shí)間維度進(jìn)行注意力處理，通過(guò)并聯(lián)的平均池化和最大池化操作計(jì)算時(shí)間權(quán)重Eg∈RB×T×1×1×1,然后通過(guò)共享多層感知器生成時(shí)間權(quán)重向量M,,捕獲時(shí)間上的相關(guān)性。公式如下所示：M,=σ(MLP?(EB))[0098]其中ReLU表示ReLU激活函數(shù)，MLP?與MLP?為兩個(gè)共享權(quán)重的多層感知機(jī)。[0099]第三個(gè)路徑是空間展開。對(duì)頻域分解后的多通道事件頻域圖進(jìn)一步在空間展開得到E。公式如下所示：[0102]對(duì)展開后的事件特征圖輸入到狀態(tài)空間模型(statespacemodel,SSM)塊，設(shè)計(jì)為一個(gè)S5塊和帶有標(biāo)準(zhǔn)化、激活和殘差連接模塊的標(biāo)準(zhǔn)Transformer的前饋網(wǎng)絡(luò)模塊FFN組成。SSM塊的輸出進(jìn)行逆小波變換后與時(shí)間注意力權(quán)重和頻域通道矩陣相乘得到最后的時(shí)頻編碼輸出E公式如下所示：[0107]堆疊多個(gè)多頻率狀態(tài)空間模塊得到多頻率狀態(tài)空間組，最后經(jīng)過(guò)帶有殘差的前饋網(wǎng)絡(luò)后得到多頻率狀態(tài)空間組的輸出E。[0108]激活分支包含一個(gè)事件分布門控模塊，生成事件分布圖和門控權(quán)重，包括以下步驟：模塊通過(guò)不同核大小(3×3,5×5,7×7)的深度可分離卷積和點(diǎn)卷積提取事件分布多尺度空間特征，平滑事件分布并整合來(lái)自多尺度的分布信息。多尺度分布圖F經(jīng)過(guò)由兩個(gè)卷如下式所示：[011]將注意力圖作用于多尺度事件分布圖Fm后得到E,經(jīng)過(guò)平均池化和最大池化進(jìn)一步計(jì)算其全局統(tǒng)計(jì)特性，再經(jīng)過(guò)由兩個(gè)線性層和ReLU模塊組成的LRM模塊后應(yīng)用[0112]Ua=σ(LRM([A件的方法(E2Depth(Hidalgo-Carrioetal.,2020,Int.Conf.3DV),E2Depth+(HidalCarrioetal.,2020,Int.Conf.3DV),EReFormer[0122]E2Depth+在DENSE數(shù)據(jù)集中的前1000個(gè)樣本上進(jìn)行了預(yù)訓(xùn)練，然后在兩個(gè)數(shù)據(jù)集[0123]在MVSEC上定量評(píng)估如圖7所示(評(píng)估指標(biāo)與已有方法相同，包括：AbsRel、態(tài)空間建模對(duì)事件數(shù)據(jù)建模的適用性。[0124]圖9為各個(gè)模塊的消融實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)一與實(shí)驗(yàn)基線進(jìn)行比較，特別是在未見過(guò)的夜間場(chǎng)景中，本發(fā)明的方法展示了顯著的優(yōu)勢(shì)，這驗(yàn)證了數(shù)據(jù)集