版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
(19)國家知識產(chǎn)權(quán)局(10)申請公布號CN120259926A(21)申請?zhí)?02510732832.0(22)申請日2025.06.04(71)申請人德陽經(jīng)開智航科技有限公司地址618000四川省德陽市區(qū)泰山南路二段733號銀鑫.五洲廣場一期21棟20-8號GO6VGO6VGO6N(74)專利代理機構(gòu)成都四合天行知識產(chǎn)權(quán)代理有限公司51274專利代理師廖祥文GO6V20/17(2022.01)(54)發(fā)明名稱統(tǒng)(57)摘要本發(fā)明提供一種針對遮擋目標的無人機智能識別方法及系統(tǒng),通過無人機搭載的采集模塊實時獲取目標區(qū)域含至少部分被遮擋待識別目標的多幀連續(xù)監(jiān)測圖像,對多幀連續(xù)監(jiān)測圖像執(zhí)行遮擋區(qū)域分割處理,得到目標區(qū)域分割結(jié)果與遮擋區(qū)域分割結(jié)果,基于目標區(qū)域分割結(jié)果與遮擋區(qū)域分割結(jié)果進行動態(tài)特征提取處理,獲得待識別目標在每幀圖像中的可見特征分布和遮擋特征分布,根據(jù)可見特征分布和遮擋特征分布生成表征待識別目標狀態(tài)遷移軌跡的動態(tài)識別結(jié)果,最后基于動態(tài)識別結(jié)果對采集模塊的采集參數(shù)實時優(yōu)化,生成下一監(jiān)測周期的參數(shù)調(diào)整策21.一種針對遮擋目標的無人機智能識別方法,其特征在于,所述方法包括:通過無人機搭載的采集模塊實時獲取目標區(qū)域的多幀連續(xù)監(jiān)測圖像,所述多幀連續(xù)監(jiān)測圖像包含至少部分被遮擋的待識別目標;對所述多幀連續(xù)監(jiān)測圖像執(zhí)行遮擋區(qū)域分割處理,得到所述待識別目標在每幀監(jiān)測圖像中的目標區(qū)域分割結(jié)果以及對應的遮擋區(qū)域分割結(jié)果;基于所述目標區(qū)域分割結(jié)果和所述遮擋區(qū)域分割結(jié)果進行動態(tài)特征提取處理,得到所述待識別目標在每幀監(jiān)測圖像中的可見特征分布和遮擋特征分布;根據(jù)所述可見特征分布和所述遮擋特征分布生成所述待識別目標的動態(tài)識別結(jié)果,所述動態(tài)識別結(jié)果用于表征所述待識別目標在多幀連續(xù)監(jiān)測圖像中的狀態(tài)遷移軌跡;基于所述動態(tài)識別結(jié)果對所述采集模塊的采集參數(shù)進行實時優(yōu)化處理,生成下一監(jiān)測周期的參數(shù)調(diào)整策略。2.根據(jù)權(quán)利要求1所述的針對遮擋目標的無人機智能識別方法,其特征在于,所述對所述多幀連續(xù)監(jiān)測圖像執(zhí)行遮擋區(qū)域分割處理,得到所述待識別目標在每幀監(jiān)測圖像中的目標區(qū)域分割結(jié)果以及對應的遮擋區(qū)域分割結(jié)果,包括:對所述多幀連續(xù)監(jiān)測圖像進行時序?qū)R處理,生成時間維度連續(xù)的多幀對齊監(jiān)測圖調(diào)用預訓練的分割網(wǎng)絡模型對所述多幀對齊監(jiān)測圖像進行逐幀語義分割處理,得到每幀監(jiān)測圖像中的初始分割掩碼;基于所述初始分割掩碼提取所述待識別目標的輪廓區(qū)域作為候選目標區(qū)域,并對所述候選目標區(qū)域進行邊緣完整性校驗處理,得到校驗結(jié)果;根據(jù)所述校驗結(jié)果對存在缺損的所述候選目標區(qū)域執(zhí)行跨幀輪廓補償處理,得到補償后的目標區(qū)域分割結(jié)果;基于所述補償后的目標區(qū)域分割結(jié)果與所述初始分割掩碼之間的差異區(qū)域確定所述遮擋區(qū)域分割結(jié)果。3.根據(jù)權(quán)利要求2所述的針對遮擋目標的無人機智能識別方法,其特征在于,所述對所述候選目標區(qū)域進行邊緣完整性校驗處理,得到校驗結(jié)果,提取所述候選目標區(qū)域的邊緣像素點集合,并計算所述邊緣像素點集合的曲率分布特基于所述曲率分布特征檢測所述候選目標區(qū)域中是否存在曲率突變點,所述曲率突變點用于表征所述候選目標區(qū)域的邊緣缺損位置;當檢測到存在曲率突變點時,提取所述曲率突變點對應的局部邊緣段,結(jié)合目標運動估計結(jié)果計算所述局部邊緣段與相鄰幀監(jiān)測圖像中對應位置的邊緣段之間的運動補償相根據(jù)所述運動補償相似度評分確定所述候選目標區(qū)域的邊緣缺損程度,若所述邊緣缺損程度超過預設(shè)閾值,則判定所述候選目標區(qū)域需要進行跨幀輪廓補償處理。4.根據(jù)權(quán)利要求2所述的針對遮擋目標的無人機智能識別方法,其特征在于,所述基于所述補償后的目標區(qū)域分割結(jié)果與所述初始分割掩碼之間的差異區(qū)域確定所述遮擋區(qū)域?qū)⑺鲅a償后的目標區(qū)域分割結(jié)果與所述初始分割掩碼進行逐像素比對,得到差異像3對所述差異像素點集合進行空間聚類處理,生成多個候選遮擋區(qū)域;基于所述候選遮擋區(qū)域在多幀連續(xù)監(jiān)測圖像中的時空連續(xù)性特征進行區(qū)域篩選處理,得到穩(wěn)定的遮擋區(qū)域分割結(jié)果;根據(jù)所述穩(wěn)定的遮擋區(qū)域分割結(jié)果對所述目標區(qū)域分割結(jié)果的輪廓信息進行單次迭代優(yōu)化,若優(yōu)化后目標區(qū)域與遮擋區(qū)域的交疊面積小于預設(shè)閾值,則停止迭代,生成優(yōu)化后的目標區(qū)域分割結(jié)果。5.根據(jù)權(quán)利要求1所述的針對遮擋目標的無人機智能識別方法,其特征在于,所述基于所述目標區(qū)域分割結(jié)果和所述遮擋區(qū)域分割結(jié)果進行動態(tài)特征提取處理,得到所述待識別目標在每幀監(jiān)測圖像中的可見特征分布和遮擋特征分布,包括:在所述目標區(qū)域分割結(jié)果中劃分多個尺度不同的分析窗口,并計算每個分析窗口內(nèi)的梯度幅值分布;對所述梯度幅值分布進行方向直方圖統(tǒng)計處理,得到每個分析窗口的紋理方向直方圖將不同尺度的所述紋理方向直方圖特征進行歸一化處理后拼接,生成所述待識別目標的局部紋理特征;提取所述目標區(qū)域分割結(jié)果的最小外接矩形,對所述最小外接矩形的長寬比和面積變化率分別進行分箱編碼處理,生成所述待識別目標的全局形態(tài)特征;對所述遮擋區(qū)域分割結(jié)果進行區(qū)域生長處理,生成遮擋區(qū)域擴展邊界,并提取所述遮擋區(qū)域擴展邊界的幾何結(jié)構(gòu)特征;根據(jù)歸一化后的局部紋理特征、編碼后的全局形態(tài)特征向量以及所述幾何結(jié)構(gòu)特征構(gòu)建所述待識別目標的聯(lián)合特征表示;基于所述聯(lián)合特征表示對多幀連續(xù)監(jiān)測圖像中的特征變化趨勢進行時序建模處理,生成所述可見特征分布和所述遮擋特征分布。6.根據(jù)權(quán)利要求5所述的針對遮擋目標的無人機智能識別方法,其特征在于,所述對所述遮擋區(qū)域分割結(jié)果進行區(qū)域生長處理,生成遮擋區(qū)域擴展邊界,并提取所述遮擋區(qū)域擴在所述遮擋區(qū)域分割結(jié)果中選取種子點,并基于所述種子點的灰度值分布設(shè)定區(qū)域生長閾值;以所述種子點為中心向相鄰像素區(qū)域進行生長處理,直至相鄰像素的灰度差異超過所述區(qū)域生長閾值時停止生長,得到初始生長區(qū)域;對所述初始生長區(qū)域的邊緣進行形態(tài)學閉運算處理,生成平滑連接的遮擋區(qū)域擴展邊提取所述遮擋區(qū)域擴展邊界的角點坐標集合,計算相鄰角點間的歐氏距離及連續(xù)三個角點形成的夾角參數(shù);將所述歐氏距離和夾角參數(shù)分別進行歸一化處理,基于歸一化后的所述歐氏距離和夾角參數(shù)構(gòu)建各角點的多維幾何特征向量;對所述幾何特征向量進行密度聚類,劃分出多個角點聚類組,對每個角點聚類組執(zhí)行最小二乘直線擬合生成直線段基元,并計算相鄰直線段基元的方向差異度,若所述方向差4異度小于預設(shè)角度閾值則合并相鄰直線段為連續(xù)折線;對合并后的折線進行端點插值處理生成閉合多邊形邊界,并優(yōu)化所述閉合多邊形的頂點坐標,生成所述遮擋區(qū)域擴展邊界的幾何結(jié)構(gòu)特征。7.根據(jù)權(quán)利要求5所述的針對遮擋目標的無人機智能識別方法,其特征在于,所述基于所述聯(lián)合特征表示對多幀連續(xù)監(jiān)測圖像中的特征變化趨勢進行時序建模處理,生成所述可見特征分布和所述遮擋特征分布,包括:對多幀連續(xù)監(jiān)測圖像中的所述聯(lián)合特征表示進行時間序列對齊處理,生成時間序列特征向量;將所述時間序列特征向量輸入預訓練的時序分析模型的輸入層,其中所述時間序列特征向量的每個時間步包含多個特征通道,且每個特征通道分別進行均值方差歸一化處理;通過所述時序分析模型的雙向長短期記憶網(wǎng)絡層提取所述時間序列特征向量的前向時序特征和后向時序特征,所述前向時序特征與后向時序特征的維度相同且時間步對齊;將所述前向時序特征和后向時序特征按時間步拼接后輸入多頭自注意力層,計算各時間步內(nèi)不同特征通道的注意力權(quán)重矩陣,所述注意力權(quán)重矩陣的維度與拼接后的時序特征維度匹配;基于所述注意力權(quán)重矩陣對所述拼接后的時序特征進行加權(quán)融合,生成融合時序特征向量;將所述融合時序特征向量輸入全連接回歸層進行多步預測,輸出未來N個時間步的可見特征預測向量和遮擋特征預測向量,所述可見特征預測向量與遮擋特征預測向量的通道數(shù)與輸入特征向量一致;對所述可見特征預測向量和遮擋特征預測向量分別執(zhí)行一階差分運算,生成每個時間步相對于前一時刻的特征變化量,并根據(jù)連續(xù)時間步的變化量序列構(gòu)建所述可見特征分布的未來變化趨勢和所述遮擋特征分布的未來變化趨勢;根據(jù)所述未來變化趨勢對當前幀監(jiān)測圖像中的所述可見特征分布和所述遮擋特征分布進行補償修正處理,生成更新后的可見特征分布和遮擋特征分布。8.根據(jù)權(quán)利要求1所述的針對遮擋目標的無人機智能識別方法,其特征在于,所述基于所述動態(tài)識別結(jié)果對所述采集模塊的采集參數(shù)進行實時優(yōu)化處理,生成下一監(jiān)測周期的參數(shù)調(diào)整策略,包括:根據(jù)所述動態(tài)識別結(jié)果中的狀態(tài)遷移軌跡計算所述待識別目標的運動速度估計值和運動方向估計值;基于所述運動速度估計值和所述運動方向估計值預測所述待識別目標在下一監(jiān)測周期的預期位置區(qū)域;根據(jù)所述預期位置區(qū)域調(diào)整所述采集模塊的焦距參數(shù)和拍攝角度參數(shù),生成第一參數(shù)調(diào)整指令;基于所述遮擋特征分布的歷史變化趨勢預測下一監(jiān)測周期的潛在遮擋區(qū)域,并根據(jù)所述潛在遮擋區(qū)域調(diào)整所述采集模塊的曝光參數(shù)和分辨率參數(shù),生成第二參數(shù)調(diào)整指令;將所述第一參數(shù)調(diào)整指令和所述第二參數(shù)調(diào)整指令融合生成所述參數(shù)調(diào)整策略。9.根據(jù)權(quán)利要求8所述的針對遮擋目標的無人機智能識別方法,其特征在于,所述根據(jù)所述潛在遮擋區(qū)域調(diào)整所述采集模塊的曝光參數(shù)和分辨率參數(shù),生成第二參數(shù)調(diào)整指令,5包括:計算所述潛在遮擋區(qū)域在歷史監(jiān)測周期中的出現(xiàn)頻率和持續(xù)時間;當所述穩(wěn)定性評分超過第一閾值且所述采集模塊支持區(qū)域自適應分辨率調(diào)整時,降低所述潛在遮擋區(qū)域?qū)膱D像采集分辨率,并通過插值算法提升相鄰區(qū)域的分辨率;當所述穩(wěn)定性評分低于第二閾值時,增加所述采集模塊在所述潛在遮擋區(qū)域?qū)钠毓鈴姸?,并減少相鄰區(qū)域的曝光強度。10.一種針對遮擋目標的無人機智能識別系統(tǒng),其特征在于,包括處理器和存儲器,所述存儲器和所述處理器連接,所述存儲器用于存儲程序、指令或代碼,所述處理器用于執(zhí)行所述存儲器中的程序、指令或代碼,以實現(xiàn)上述權(quán)利要求1-9任意一項所述的針對遮擋目標的無人機智能識別方法。6技術(shù)領(lǐng)域[0001]本發(fā)明涉及無人機技術(shù)領(lǐng)域,具體而言,涉及一種針對遮擋目標的無人機智能識別方法及系統(tǒng)。背景技術(shù)[0002]在無人機應用領(lǐng)域,對目標區(qū)域的監(jiān)測和識別是一項關(guān)鍵任務,尤其在對遮擋目標進行識別時面臨諸多挑戰(zhàn)。在實際場景中,待識別目標可能由于各種原因出現(xiàn)部分或全部遮擋的情況,例如建筑物、樹木、其它物體對目標的遮擋,或者目標自身姿態(tài)變化導致的部分區(qū)域不可見等。傳統(tǒng)的目標識別方法往往基于單幀圖像進行分析,在面對遮擋目標時,由于可獲取的有效信息有限,難以準確識別目標,該方法通常無法充分利用多幀連續(xù)監(jiān)測圖像之間的時間關(guān)聯(lián)性和動態(tài)信息,無法有效區(qū)分目標的可見部分和遮擋部分,導致識別準確率低、魯棒性差,難以滿足實際應用中對遮擋目標精準識別的需求。發(fā)明內(nèi)容[0003]鑒于上述提及的問題,結(jié)合本發(fā)明的第一方面,本發(fā)明實施例提供一種針對遮擋目標的無人機智能識別方法,所述方法包括:通過無人機搭載的采集模塊實時獲取目標區(qū)域的多幀連續(xù)監(jiān)測圖像,所述多幀連續(xù)監(jiān)測圖像包含至少部分被遮擋的待識別目標;對所述多幀連續(xù)監(jiān)測圖像執(zhí)行遮擋區(qū)域分割處理,得到所述待識別目標在每幀監(jiān)測圖像中的目標區(qū)域分割結(jié)果以及對應的遮擋區(qū)域分割結(jié)果;基于所述目標區(qū)域分割結(jié)果和所述遮擋區(qū)域分割結(jié)果進行動態(tài)特征提取處理,得到所述待識別目標在每幀監(jiān)測圖像中的可見特征分布和遮擋特征分布;根據(jù)所述可見特征分布和所述遮擋特征分布生成所述待識別目標的動態(tài)識別結(jié)果,所述動態(tài)識別結(jié)果用于表征所述待識別目標在多幀連續(xù)監(jiān)測圖像中的狀態(tài)遷移軌跡;基于所述動態(tài)識別結(jié)果對所述采集模塊的采集參數(shù)進行實時優(yōu)化處理,生成下一監(jiān)測周期的參數(shù)調(diào)整策略。[0004]再一方面,本發(fā)明實施例還提供一種針對遮擋目標的無人機智能識別系統(tǒng),包括處理器、機器可讀存儲介質(zhì),所述機器可讀存儲介質(zhì)和所述處理器連接,所述機器可讀存儲介質(zhì)用于存儲程序、指令或代碼,所述處理器用于執(zhí)行所述機器可讀存儲介質(zhì)中的程序、指[0005]基于以上方面,本發(fā)明實施例通過無人機搭載的采集模塊實時獲取目標區(qū)域的多幀連續(xù)監(jiān)測圖像,并針對其中包含的至少部分被遮擋的待識別目標,首先對多幀連續(xù)監(jiān)測圖像執(zhí)行遮擋區(qū)域分割處理,精準地獲取待識別目標在每幀監(jiān)測圖像中的目標區(qū)域分割結(jié)果以及對應的遮擋區(qū)域分割結(jié)果,接著基于分割結(jié)果進行動態(tài)特征提取處理,得到待識別目標在每幀監(jiān)測圖像中的可見特征分布和遮擋特征分布,全面且細致地刻畫了目標在不同狀態(tài)下的特征信息,根據(jù)可見特征分布和遮擋特征分布生成表征待識別目標在多幀連續(xù)監(jiān)7測圖像中狀態(tài)遷移軌跡的動態(tài)識別結(jié)果,實現(xiàn)了對遮擋目標動態(tài)變化的準確把握,最后基于動態(tài)識別結(jié)果對采集模塊的采集參數(shù)進行實時優(yōu)化處理,生成下一監(jiān)測周期的參數(shù)調(diào)整策略,能夠自適應地調(diào)整采集參數(shù),提高了對遮擋目標識別的準確性、魯棒性和實時性。附圖說明[0006]圖1是本發(fā)明實施例提供的針對遮擋目標的無人機智能識別方法的執(zhí)行流程示意[0007]圖2是本發(fā)明實施例提供的針對遮擋目標的無人機智能識別系統(tǒng)的示例性硬件和軟件組件的示意圖。具體實施方式[0008]下面結(jié)合說明書附圖對本發(fā)明進行具體說明,圖1是本發(fā)明一種實施例提供的針對遮擋目標的無人機智能識別方法的流程示意圖,下面對該針對遮擋目標的無人機智能識別方法進行詳細介紹。[0009]步驟S110:通過無人機搭載的采集模塊實時獲取目標區(qū)域的多幀連續(xù)監(jiān)測圖像,所述多幀連續(xù)監(jiān)測圖像包含至少部分被遮擋的待識別目標。[0010]在本實施例中,設(shè)定場景為一個大型工業(yè)園區(qū),無人機配備圖像采集模塊,該圖像采集模塊具備按特定頻率收集圖像數(shù)據(jù)的能力。圖像采集模塊的采集頻率設(shè)為f,在工業(yè)園區(qū)內(nèi),有諸多大型設(shè)備,部分設(shè)備可能會被周邊的建筑物、運輸車輛等遮擋,這些被遮擋的設(shè)備即為待識別目標。采集模塊以頻率f持續(xù)對工業(yè)園區(qū)特定區(qū)域進行圖像采集,每次采集生成一幅圖像,這些圖像按時間先后順序構(gòu)成多幀連續(xù)監(jiān)測圖像,其中不少圖像里的待識別設(shè)備處于部分被遮擋狀態(tài)。例如,采集模塊在某一時刻采集到一幅圖像,圖像中的一臺大型加工設(shè)備部分被旁邊的運輸車輛遮擋。[0011]步驟S120:對所述多幀連續(xù)監(jiān)測圖像執(zhí)行遮擋區(qū)域分割處理,得到所述待識別目標在每幀監(jiān)測圖像中的目標區(qū)域分割結(jié)果以及對應的遮擋區(qū)域分割結(jié)果。[0012]在獲取多幀連續(xù)監(jiān)測圖像后,為清晰界定待識別目標及其被遮擋部分,需進行遮擋區(qū)域分割處理。[0013]步驟S121:對所述多幀連續(xù)監(jiān)測圖像進行時序?qū)R處理,生成時間維度連續(xù)的多幀對齊監(jiān)測圖像。[0014]在工業(yè)園區(qū)環(huán)境中,無人機飛行時會受到諸如氣流、自身飛行姿態(tài)調(diào)整等因素影響,導致采集的多幀連續(xù)監(jiān)測圖像在時間維度上并非嚴格連續(xù)。設(shè)多幀連續(xù)監(jiān)測圖像依次為I?、I?、I?……I,對應的采集時間分別為t?、t?、t?……t。為確保后續(xù)處理的精準性,需對這些圖像進行時序?qū)R。[0015]具體而言,選取圖像中具有顯著且穩(wěn)定特征的區(qū)域作為參照點。例如,工業(yè)園區(qū)中固定位置的大型標志性建筑的角點等。借助一種基于特征匹配的算法,該算法通過對比不同幀圖像中參照點的位置變化、角度變化等信息,計算出每幀圖像相對于標準時間序列的偏差量。對于圖像I?,通過該算法計算出其相對于標準時間序列的偏差量為d?,偏差量的計算綜合考慮參照點在圖像中的坐標變化。對于圖像I?,計算出偏差量d?,依此類推,得到d?……d。然后依據(jù)這些偏差量,對每幀圖像進行相應的平移、旋轉(zhuǎn)等幾何變換,使調(diào)整后的8圖像I?'、I?'、I?'……I?!跁r間維度上形成連續(xù)且精確對齊的多幀對齊監(jiān)測圖像,仿佛將這些圖像按準確時間順序緊密排列,為后續(xù)處理奠定良好基礎(chǔ)。[0016]步驟S122:調(diào)用預訓練的分割網(wǎng)絡模型對所述多幀對齊監(jiān)測圖像進行逐幀語義分割處理,得到每幀監(jiān)測圖像中的初始分割掩碼。[0017]獲取時間維度連續(xù)的多幀對齊監(jiān)測圖像后,使用預訓練的分割網(wǎng)絡模型對其進行處理。以常見的Mask-RCNN分割網(wǎng)絡模型為例,該模型主要由骨干網(wǎng)絡、區(qū)域提議網(wǎng)絡(RPN)、感興趣區(qū)域(ROI)Align層以及掩碼預測分支等部分構(gòu)成。[0018]在工業(yè)園區(qū)場景下,將多幀對齊監(jiān)測圖像中的一幀,如I?’,輸入到Mask-RC的骨干網(wǎng)絡。骨干網(wǎng)絡一般由多個卷積層和池化層組成,其負責對輸入圖像進行特征提取。卷積層使用不同的卷積核K?、K?、K?…對圖像進行卷積操作,卷積核在圖像上以設(shè)定步長滑動,每個卷積核負責提取特定類型的特征,如邊緣特征、紋理特征等。經(jīng)過多次卷積和池[0019]接著,這些特征圖進入?yún)^(qū)域提議網(wǎng)絡(RPN)。RPN通過滑動窗口在特征圖上生成一系列的錨框,每個錨框?qū)獔D像中的一個潛在目標區(qū)域。RPN根據(jù)特征圖信息對每個錨框進行分類(判斷是否為目標)和回歸(預測錨框的位置和大小調(diào)整量),從而生成一系列可能包含目標的候選區(qū)域。[0020]然后,候選區(qū)域經(jīng)過感興趣區(qū)域(ROI)Align層處理。ROIAlign層將不同大小的候選區(qū)域映射到固定大小的特征圖上,以便后續(xù)進行統(tǒng)一的特征提取和預測。[0021]最后,經(jīng)過ROIAlign層處理的特征進入掩碼預測分支。掩碼預測分支通過一系列卷積層和全連接層,對每個候選區(qū)域進行掩碼預測,輸出與候選區(qū)域?qū)难诖a信息,該掩碼信息經(jīng)過處理后生成與輸入圖像尺寸相同的初始分割掩碼,此掩碼初步劃分出圖像中不同物體的大致區(qū)域,在工業(yè)園區(qū)場景中,能初步區(qū)分出設(shè)備、建筑物、車輛等不同物體所在區(qū)域。[0022]步驟S123:基于所述初始分割掩碼提取所述待識別目標的輪廓區(qū)域作為候選目標區(qū)域,并對所述候選目標區(qū)域進行邊緣完整性校驗處理,得到校驗結(jié)果。[0023]從每幀監(jiān)測圖像的初始分割掩碼中提取待識別目標的輪廓區(qū)域。在工業(yè)園區(qū)場景中,假設(shè)初始分割掩碼中對應某大型設(shè)備的區(qū)域為M?。采用基于輪廓跟蹤的算法,該算法從掩碼圖像的某個邊緣像素點開始,按照設(shè)定的方向(如順時針或逆時針)依次檢查相鄰像素點是否屬于輪廓。如果相鄰像素點滿足設(shè)定的輪廓條件(如灰度值差異超過設(shè)定閾值T?),則將其加入輪廓像素點集合。通過不斷跟蹤,形成待識別目標(大型設(shè)備)的輪廓區(qū)域,作為候選目標區(qū)域C?。[0024]接著對候選目標區(qū)域C?進行邊緣完整性校驗處理。[0025]步驟S1231:提取所述候選目標區(qū)域的邊緣像素點集合,并計算所述邊緣像素點集合的曲率分布特征。[0026]提取候選目標區(qū)域C?的邊緣像素點集合E?。對于集合E?中的每個邊緣像素點P(x?,y?),選取其相鄰的兩個像素點P?(x?,y?)和P?(x?,y?)。通過以下方式計算曲率:根據(jù)這三個點的坐標,利用向量運算和三角函數(shù)關(guān)系計算出向量P?P?和P?P?的夾角θ,再結(jié)合兩點間距離公式計算出P?P?和P?P?的長度L?和L?。通過相關(guān)技術(shù)中常規(guī)的曲率計算公式(利用θ、L?和L?)計算出該點的曲率值K(x?,y),對集合E?中的所有像素點進行此操作,從而得到邊緣像9素點集合E?的曲率分布特征。[0027]步驟S1232:基于所述曲率分布特征檢測所述候選目標區(qū)域中是否存在曲率突變點,所述曲率突變點用于表征所述候選目標區(qū)域的邊緣缺損位置。[0028]設(shè)定一個曲率突變閾值T?,當某一像素點的曲率值K(x?,y。)與相鄰像素點的曲率值差異超過T?時,該像素點被認定為曲率突變點,這些曲率突變點用于表征候選目標區(qū)域C?的邊緣缺損位置。[0029]步驟S1233:當檢測到存在曲率突變點時,提取所述曲率突變點對應的局部邊緣段,結(jié)合目標運動估計結(jié)果計算所述局部邊緣段與相鄰幀監(jiān)測圖像中對應位置的邊緣段之間的運動補償相似度評分。[0030]當檢測到存在曲率突變點時,提取這些曲率突變點對應的局部邊緣段L?。結(jié)合目標運動估計結(jié)果,假設(shè)目標運動估計通過分析相鄰幀圖像中相同特征點的位移得到目標的運動向量V。根據(jù)運動向量V,在相鄰幀監(jiān)測圖像中找到對應位置的邊緣段L?。計算局部邊緣段L?與相鄰幀監(jiān)測圖像中對應位置的邊緣段L?之間的運動補償相似度評分S。計算方法為:分別對L?和L?進行等間隔采樣,得到采樣點集合S?和S?,對于S?中的每個采樣點,在S?中找到距離最近的點,計算所有對應點之間的距離之和D,再用一個固定長度值L(如L?或L?的長度)減去D,得到的差值與L的比值即為運動補償相似度評分S。[0031]步驟S1234:根據(jù)所述運動補償相似度評分確定所述候選目標區(qū)域的邊緣缺損程度,若所述邊緣缺損程度超過預設(shè)閾值,則判定所述候選目標區(qū)域需要進行跨幀輪廓補償處理。[0032]設(shè)定一個邊緣缺損閾值T?,如果S小于T?,則判定候選目標區(qū)域的邊緣缺損程度超過預設(shè)閾值,即判定該候選目標區(qū)域需要進行跨幀輪廓補償處理。[0033]步驟S124:根據(jù)所述校驗結(jié)果對存在缺損的所述候選目標區(qū)域執(zhí)行跨幀輪廓補償處理,得到補償后的目標區(qū)域分割結(jié)果。[0034]若步驟S123的校驗結(jié)果表明候選目標區(qū)域存在邊緣缺損需要補償。在工業(yè)園區(qū)場景下,假設(shè)候選目標區(qū)域C?(如大型設(shè)備的輪廓區(qū)域)存在邊緣缺損。利用相鄰幀監(jiān)測圖像中對應區(qū)域的信息進行補償。[0035]設(shè)存在缺損的候選目標區(qū)域C?在當前幀圖像為Icur,相鄰幀圖像為Iprev和Inxt。首和Cnxt。對于C?中邊緣缺損處的每個像素點P應的像素點Pprev(xprev,ypre)和Pnxt(xnxt,ynxt)。值以及它們與P點的相對位置關(guān)系,使用加權(quán)平均的方法確定P點的補償灰度值。假設(shè)Pprev=(Gorev*d?+Gnxt*d)/(d+d2)。對C?中所有邊緣缺損處的像素點進行類似操作,得到補償后的[0037]步驟S125:基于所述補償后的目標區(qū)域分割結(jié)果與所述初始分割掩碼之間的差異區(qū)域確定所述遮擋區(qū)域分割結(jié)果。[0038]在工業(yè)園區(qū)場景下,將補償后的目標區(qū)域分割結(jié)果C?'與初始分割掩碼M?進行對[0039]步驟S1251:將所述補償后的目標區(qū)域分割結(jié)果與所述初始分割掩碼進行逐像素[0040]通過逐像素比對,對于每個像素點P(x,y),比較C?'(x,y)和M?(x,y)的灰度值或類別信息(如果掩碼是基于類別標注的)。如果兩者不同,則將該像素點標記為差異像素點,所有差異像素點構(gòu)成差異像素點集合D?。[0041]步驟S1252:對所述差異像素點集合進行空間聚類處理,生成多個候選遮擋區(qū)域。[0042]對差異像素點集合D?進行空間聚類處理。采用DBSCAN聚類算法,該算法設(shè)定兩個參數(shù),鄰域半徑ε和最小點數(shù)MinPts。對于集合D?中的每個像素點P(x,y),計算其與鄰域內(nèi)其它像素點的距離(如歐幾里得距離)。如果在半徑ε內(nèi)的像素點數(shù)量大于等于MinPts,則將這些像素點劃分為一個聚類。通過對所有像素點的處理,生成多個候選遮擋區(qū)域0?、0?、[0043]步驟S1253:基于所述候選遮擋區(qū)域在多幀連續(xù)監(jiān)測圖像中的時空連續(xù)性特征進行區(qū)域篩選處理,得到穩(wěn)定的遮擋區(qū)域分割結(jié)果。[0044]對于每個候選遮擋區(qū)域,如0?,在多幀連續(xù)監(jiān)測圖像中跟蹤其位置和形狀變化。計算其在不同幀圖像中的位置變化量△x、△y和形狀變化量(如面積變化、長寬比變化等)。如果在多幀圖像中,該候選遮擋區(qū)域的位置和形狀變化在設(shè)定范圍內(nèi),即位置變化量△x、△y小于設(shè)定的位置變化閾值T、Ty,形狀變化量小于設(shè)定的形狀變化閾值Ts,則認為該候選遮擋區(qū)域具有時空連續(xù)性,將其保留作為穩(wěn)定的遮擋區(qū)域分割結(jié)果0?'。[0045]步驟S1254:根據(jù)所述穩(wěn)定的遮擋區(qū)域分割結(jié)果對所述目標區(qū)域分割結(jié)果的輪廓信息進行單次迭代優(yōu)化,若優(yōu)化后目標區(qū)域與遮擋區(qū)域的交疊面積小于預設(shè)閾值,則停止迭代,生成優(yōu)化后的目標區(qū)域分割結(jié)果。[0046]計算C?'與0?'的交疊面積A?。設(shè)定一個交疊面積閾值T?,如果A?大于T?,則對C?'的輪廓進行調(diào)整。調(diào)整方法為:對于C?’輪廓上與0?’交疊部分的像素點,根據(jù)0?C?'內(nèi)部的特征信息,重新確定這些像素點的位置,使交交疊面積,若交疊面積小于T?,則停止迭代,生成優(yōu)化后的目標區(qū)域分割結(jié)果C?'’。[0047]步驟S130:基于所述目標區(qū)域分割結(jié)果和所述遮擋區(qū)域分割結(jié)果進行動態(tài)特征提取處理,得到所述待識別目標在每幀監(jiān)測圖像中的可見特征分布和遮擋特征分布。[0048]在獲得目標區(qū)域分割結(jié)果C?'”和遮擋區(qū)域分割結(jié)果0?'后,對其進行動態(tài)特征提取處理,以獲取待識別目標在每幀監(jiān)測圖像中的可見特征分布和遮擋特征分布。[0049]步驟S131:在所述目標區(qū)域分割結(jié)果中劃分多個尺度不同的分析窗口,并計算每個分析窗口內(nèi)的梯度幅值分布。[0050]在目標區(qū)域分割結(jié)果C?"’中,根據(jù)不同的尺度需求劃分多個分析窗口。例如,設(shè)定小尺度窗口大小為s?×s?,中尺度窗口大小為s?×S?,大尺度窗口大小為s?×s?(其中s?<s?<s?)。對于每個尺度的窗口,在C?"'上以設(shè)定步長滑動窗口。對于每個窗口內(nèi)的像素點,采用基于梯度的算法計算梯度幅值。對于像素點P(x,y),通過計算其水平方向和垂直方向的灰度變化,利用梯度計算公式得到該點的梯度幅值G(x,y)。對窗口內(nèi)所有像素點計算梯度幅值后,得到每個分析窗口內(nèi)的梯度幅值分布。[0051]步驟S132:對所述梯度幅值分布進行方向直方圖統(tǒng)計處理,得到每個分析窗口的紋理方向直方圖特征。11[0052]針對每個分析窗口內(nèi)的梯度幅值分布,進行方向直方圖統(tǒng)計。將梯度方向劃分為若干個區(qū)間,例如劃分為n個區(qū)間,每個區(qū)間對應一個方向范圍。對于窗口內(nèi)每個像素點的梯度方向,根據(jù)其所在的方向范圍,將該像素點的梯度幅值累加到對應的區(qū)間中。統(tǒng)計完成后,得到每個分析窗口的紋理方向直方圖特征,該特征反映了窗口內(nèi)紋理的方向分布情況。[0053]步驟S133:將不同尺度的所述紋理方向直方圖特征進行歸一化處理后拼接,生成所述待識別目標的局部紋理特征。[0054]對不同尺度窗口得到的紋理方向直方圖特征進行歸一化處理。對于每個尺度的紋理方向直方圖特征,計算其所有區(qū)間值的總和Sum,然后將每個區(qū)間值除以Sum,得到歸一化后的紋理方向直方圖特征。將歸一化后的不同尺度的紋理方向直方圖特征按照尺度順序依次拼接在一起,生成待識別目標的局部紋理特征,該特征綜合了不同尺度下的紋理信息。[0055]步驟S134:提取所述目標區(qū)域分割結(jié)果的最小外接矩形,對所述最小外接矩形的長寬比和面積變化率分別進行分箱編碼處理,生成所述待識別目標的全局形態(tài)特征。[0056]提取目標區(qū)域分割結(jié)果C?"’的最小外接矩形。設(shè)最小外接矩形的長為1,寬為w,計算其長寬比r=1/w。同時,假設(shè)前一幀圖像中對應目標區(qū)域的最小外接矩形面積為Aprev,當前幀的面積為Acur,計算面積變化率v=(Acurr-Apre)/Aprev。[0057]對長寬比r進行分箱編碼處理。設(shè)定若干個長寬比區(qū)間,例如r1<r2<…<r,根據(jù)r所在的區(qū)間,將其編碼為對應的類別值。同樣,對面積個面積變化率區(qū)間,根據(jù)v所在區(qū)間編碼為對應的類別值。將這兩個編碼后的類別值組合在一起,生成待識別目標的全局形態(tài)特征,該特征反映了目標區(qū)域的整體形狀和面積變化情[0058]步驟S135:對所述遮擋區(qū)域分割結(jié)果進行區(qū)域生長處理,生成遮擋區(qū)域擴展邊界,并提取所述遮擋區(qū)域擴展邊界的幾何結(jié)構(gòu)特征。[0060]步驟S1351:在所述遮擋區(qū)域分割結(jié)果中選取種子點,并基于所述種子點的灰度值分布設(shè)定區(qū)域生長閾值。[0061]在遮擋區(qū)域分割結(jié)果0?’中,隨機選取若干個像素點作為種子點。分析這些種子點的灰度值分布情況,計算灰度值的均值μ和標準差σ。設(shè)定區(qū)域生長閾值T?=μ一個可調(diào)整的系數(shù))。[0062]步驟S1352:以所述種子點為中心向相鄰像素區(qū)域進行生長處理,直至相鄰像素的灰度差異超過所述區(qū)域生長閾值時停止生長,得到初始生長區(qū)域。[0063]以每個種子點為中心,向其相鄰的像素區(qū)域進行生長。對于每個相鄰像素點P(x,y),計算其與種子點的灰度差異。如果灰度差異小于等于T5,則將該像素點加入生長區(qū)域。不斷重復該過程,直到所有相鄰像素的灰度差異都超過T5,此時得到初始生長區(qū)域G?。[0064]步驟S1353:對所述初始生長區(qū)域的邊緣進行形態(tài)學閉運算處理,生成平滑連接的遮擋區(qū)域擴展邊界。[0065]對初始生長區(qū)域G?的邊緣進行形態(tài)學閉運算處理。形態(tài)學閉運算一般由膨脹操作和腐蝕操作組成。首先,使用一個結(jié)構(gòu)元素(如正方形結(jié)構(gòu)元素)對初始生長區(qū)域G?的邊緣進行膨脹操作。膨脹操作會將邊緣像素點向外擴展,填補一些小的空洞和縫隙。然后,對膨脹后的邊緣進行腐蝕操作,腐蝕操作會將膨脹后的邊緣向內(nèi)收縮,去除一些因膨脹而產(chǎn)生兩點在平面直角坐標系中的直線距離,設(shè)歐氏距離為d,d=[(xi+1-xi)2+(yi+1-yi)2角點聚類組執(zhí)行最小二乘直線擬合生成直線段基元,并計算相鄰直線段基元的方向差異得所有角點到該直線的距離平方和最小。通過求解相關(guān)方程組(根據(jù)最小二乘原理構(gòu)建方Y(jié)start+j*(yendYstart)/(ninsert+1),j=1,2,…,[0081]步驟S136:根據(jù)歸一化后的局部紋理特征、編碼后的全局形態(tài)特征向量以及所述[0082]將歸一化后的局部紋理特征記為T,編碼后的全局形態(tài)特征向量記為M,幾何結(jié)構(gòu)(t?,t?,…,t),M的維度為(m,m?,…,m),S?的維度為(s?,S?,…,s)。征表示Fjoint=[T,M,S?],其維度為(t?,t?,…,tn,m?,m?,…,m,S?,S?,…,s)。該聯(lián)合特征表示綜合了待識別目標從局部紋理到全局形態(tài)以及遮擋區(qū)域幾何結(jié)[0084]步驟S137:基于所述聯(lián)合特征表示對多幀連續(xù)監(jiān)測圖像中的特征變化趨勢進行時[0086]步驟S1371:對多幀連續(xù)監(jiān)測圖像中的所述聯(lián)合特征表示進行時間序列對齊處理,[0089]經(jīng)過調(diào)整后,將這些聯(lián)合特征表示按照時間順序排列,生成時間序列特征向量差歸一化處理。[0091]將時間序列特征向量Ftme輸入到預訓練的時序分析模型中。以常見的基于循環(huán)神經(jīng)網(wǎng)絡(RNN)架構(gòu)的時序分析模型為例,該時序分析模型包含輸入層、隱藏層和輸出層。[0092]時間序列特征向量Ftim中的每個時間步,即每個Fjointi,包含多個特征通道,這些特征通道對應著聯(lián)合特征表示中的不同維度信息。例如,局部紋理特征的不同維度、全局形態(tài)特征向量的不同維度以及幾何結(jié)構(gòu)特征的不同維度等。[0093]對于每個特征通道,進行均值方差歸一化處理。設(shè)某個特征通道在時間序列特征向量中的值為{v?,V?,…,v},先計算該特征通道值的均值μ=(v?+v?+…+v)/n,再計算方差σ的值為v;',vi'=(vi-μ)/(σ2)1/2。通過這樣的均值方差歸一化處理,使得每個特征通道的數(shù)據(jù)具有相似的尺度和分布,有助于模型更好地學習特征變化。[0094]將經(jīng)過均值方差歸一化處理的時間序列特征向量輸入到時序分析模型的輸入層,輸入層接收這些數(shù)據(jù)并將其傳遞給后續(xù)的隱藏層進行進一步處理。[0095]步驟S1373:通過所述時序分析模型的雙向長短期記憶網(wǎng)絡層提取所述時間序列特征向量的前向時序特征和后向時序特征,所述前向時序特征與后向時序特征的維度相同且時間步對齊。[0096]在時序分析模型中,輸入層傳遞的數(shù)據(jù)進入雙向長短期記憶網(wǎng)絡(Bi-LSTM)層。Bi-LSTM層由前向LSTM和后向LSTM組成。[0097]前向LSTM從時間序列特征向量Ft;m的起始時間步開始處理數(shù)據(jù),隨著時間步的推進,逐步學習數(shù)據(jù)中的前向時序特征。設(shè)前向LSTM在第i個時間步的隱藏狀態(tài)為h,其通過前一個時間步的隱藏狀態(tài)h(1)和當前時間步的輸入數(shù)據(jù)x(即時間序列特征向量Ft;im中第個時間步經(jīng)過歸一化處理的數(shù)據(jù))進行計算。[0098]后向LSTM從時間序列特征向量Ftim的最后一個時間步開始反向處理數(shù)據(jù),隨著時間步的回溯,學習數(shù)據(jù)中的后向時序特征。設(shè)后向LSTM在第i個時間步的隱藏狀態(tài)為hb,其通過后一個時間步的隱藏狀態(tài)hb(i+1)和當前時間步的輸入數(shù)據(jù)x;進行計算。[0099]通過這樣的雙向處理,前向LSTM和后向LSTM分別提取到時間序列特征向量的時序特征H={h2,hr?,…,he}和后向時序特征H={h?1,h?2,…,h}。由于Bi-LSTM層的設(shè)計,前向時序特征與后向時序特征的維度相同且時間步對齊,這樣可以充分利用時間序列數(shù)據(jù)的前后信息,為后續(xù)的特征融合提供豐富的時序特征。[0100]步驟S1374:將所述前向時序特征和后向時序特征按時間步拼接后輸入多頭自注意力層,計算各時間步內(nèi)不同特征通道的注意力權(quán)重矩陣,所述注意力權(quán)重矩陣的維度與拼接后的時序特征維度匹配。[0101]將前向時序特征H?和后向時序特征H按時間步進行拼接。對于第1個時間步,將hi和h;拼接在一起,得到拼接后的時序特征hcombinedi所有時間步的拼接后的時序特征組成拼接后的時序特征向量Hcomninea{fcombined,coubined?,combineanl。來并行計算不同的注意力權(quán)重。[0103]對于每個頭,在第i個時間步,計算不同特征通道之間的注意力權(quán)重。設(shè)拼接后的時序特征conbinai的維度為(d?,d?,,d),通過線性變換將conbineai投影到三個不同的向量征通道的索引。通過softmax函數(shù)對注意力分數(shù)矩陣A進行歸一化處理,得到注意力權(quán)重矩陣W,W的元素w.;表示在第i個時間步,第j個特征通道的注意力權(quán)重。[0105]對每個時間步都進行這樣的計算,得到各時間步內(nèi)不同特征通道的注意力權(quán)重矩陣集合W={W?,W?,…,W},注意力權(quán)重矩陣的維度與拼接后的時序特征維度匹配,即與hcomnedn的維度相同,這樣可以根據(jù)不同時間步和特征通道的重要性分配注意力權(quán)重,突出關(guān)鍵特征。[0106]步驟S1375:基于所述注意力權(quán)重矩陣對所述拼接后的時序特征進行加權(quán)融合,生成融合時序特征向量。[0107]對于拼接后的時序特征向量Hcombinea={combineda,7cobined?…,combinen)和注意力權(quán)重矩陣集合W={W?,W?,…,W},進行加權(quán)融合。[0108]在第,個時間步,設(shè)拼接后的時序特征combinen的特征通道值為{v?,v?,…,v},注意力權(quán)重矩陣W的元素為{w?,W?,…,wk}。對每個特征通道值進行加權(quán),得到加權(quán)后的特征通道值v?'=w?*v?+w?*v?+…+w*k。[0109]對所有時間步進行這樣的加權(quán)操作,得到融合時序特征向量Hfusea={heused1hfused?…,hfusedn3,其中hfusedi是第i個時間步經(jīng)過加權(quán)融合后的特征向量。通過這種加權(quán)融合,將不同時間步和特征通道的信息進行整合,突出了重要的時序特征,為后續(xù)的預測提供更有價值的特征表示。[0110]步驟S1376:將所述融合時序特征向量輸入全連接回歸層進行多步預測,輸出未來N個時間步的可見特征預測向量和遮擋特征預測向量,所述可見特征預測向量與遮擋特征預測向量的通道數(shù)與輸入特征向量一致。[0111]將融合時序特征向量Hfusea輸入到全連接回歸層。全連接回歸層由多個神經(jīng)元組成,每個神經(jīng)元與上一層(即融合時序特征向量所在層)的所有神經(jīng)元都有連接。[0112]全連接回歸層通過學習融合時序特征向量中的特征信息,對未來N個時間步的可見特征和遮擋特征進行預測。設(shè)全連接回歸層的權(quán)重矩陣為Wc,偏置向量為bc。[0113]對于融合時序特征向量Hfusea中的每個時間步特征向量hrusedi,通過矩陣乘法和加征預測向量Vprea{Vpred?,ored2,…,oredn)和遮擋特征預測向量0prea={opred?,ored2,…,[0114]可見特征預測向量與遮擋特征預測向量的通道數(shù)與輸入特征向量(即融合時序特征向量Hfusea中的特征向量hfusedi)一致,這樣可以保證預測結(jié)果在特征維度上與原始特征具有一致性,以便后續(xù)對可見特征分布和遮擋特征分布進行準確的分析和處理。[0115]步驟S1377:對所述可見特征預測向量和遮擋特征預測向量分別執(zhí)行一階差分運算,生成每個時間步相對于前一時刻的特征變化量,并根據(jù)連續(xù)時間步的變化量序列構(gòu)建所述可見特征分布的未來變化趨勢和所述遮擋特征分布的未來變化趨勢。[0116]對于可見特征預測向量Vprea={Vpredl,Ypred?,…,predn3,執(zhí)行一階差分運算。設(shè)可見于Ypredt中的每個通道值vt?(i表示通道索引和vpred(t-1)中的對應通道值v(t-1)i,計算一階差分,即特征變化量△vt;=vt;-V(t-1)i·這樣對于每個時間步t(從2到N),都可以得到一組特征變化量,形成可見特征預測向量的特征變化量序列△V={△v?,△v?,…,△v_},其中△v是一個與vpredt通道數(shù)相同的向量,包含了該時間步相對于前一時刻每個通道的特征變化量。算。設(shè)遮擋特征預測向量中第t個時間步的特征向量為opredt,第t-1個時間步的特征向量為計算一階差分,即特征變化量△ot=ot;-0(t-1)i。從而得到遮擋特征預測向量的特征變化量序列△0={△O?,△o?,…,△o_},其中△o是一個與opredt通道數(shù)相同的向量,包含了該時間步相對于前一時刻每個通道的特征變化量。[0118]根據(jù)可見特征預測向量的特征變化量序列△V構(gòu)建可見特征分布的未來變化趨勢。分析特征變化量序列中各通道變化量隨時間步的變化情況。例如,觀察某個通道的特征變化量在不同時間步是否呈現(xiàn)出遞增、遞減或周期性變化等趨勢。假設(shè)存在一個通道,其特征變化量在連續(xù)的幾個時間步中逐漸增大,這可能表示該通道對應的可見特征在未來有增長的趨勢。通過對所有通道特征變化量序列的分析,綜合得出可見特征分布的未來變化趨勢??梢詫⑦@種變化趨勢表示為一個多維向量序列T,其中每個元素對應一個時間步的變化趨勢描述,該變化趨勢描述可以是基于各通道特征變化量分析得出的某種特征表示,例如通過對各通道特征變化量進行某種加權(quán)組合或者聚類分析等操作得到的一個綜合值,以反映整個可見特征分布在該時間步的變化方向和程度。[0119]同樣,依據(jù)遮擋特征預測向量的特征變化量序列△0構(gòu)建遮擋特征分布的未來變化趨勢。對遮擋特征變化量序列中各通道變化量隨時間步的變化進行類似分析。比如,若某個通道的特征變化量在幾個時間步內(nèi)先減小后增大,這反映了該通道對應的遮擋特征的一種特定變化模式。通過對所有通道的分析,形成遮擋特征分布的未來變化趨勢表示為多維向量序列T?,每個元素同樣是基于各通道特征變化量分析得到的綜合值,用于描述遮擋特征分布在相應時間步的變化情況。[0120]步驟S1378:根據(jù)所述未來變化趨勢對當前幀監(jiān)測圖像中的所述可見特征分布和所述遮擋特征分布進行補償修正處理,生成更新后的可見特征分布和遮擋特征分布。[0121]對于當前幀監(jiān)測圖像中的可見特征分布,設(shè)其為Vcurrent,其是一個多維向量,每個維度對應不同的可見特征通道。根據(jù)可見特征分布的未來變化趨勢Tv,對Vcurren進行補償修正。假設(shè)T,中第t個時間步的變化趨勢向量為tv,其包含了對可見特征分布各通道未來變化的描述信息。[0122]對于Vcurrent中的每個通道值v(i表示通道索引),根據(jù)tvt中對應通道的信息進行調(diào)整。例如,如果tv中某個通道的信息表示該通道特征在未來有增長趨勢,那么相應地增加Vcurrent中該通道的值。具體調(diào)整方式可以是通過某種加權(quán)關(guān)系,設(shè)權(quán)重為w;,則調(diào)整后的通道值v'=v?+w:*tt,,其中tt是t中對應通道的值。對Vcurrent的所有通道進行這樣的調(diào)整,[0123]同樣地,對于當前幀監(jiān)測圖像中的遮擋特征分布,設(shè)其為0current,也是一個多維向量。依據(jù)遮擋特征分布的未來變化趨勢T?進行補償修正。設(shè)T?中第t個時間步的變化趨勢向量為tt,對于0current中的每個通道值o(;表示通道索引),按照與可見特征分布類似的方式,根據(jù)t。中對應通道的信息和相應權(quán)重w;'進行調(diào)整,即調(diào)整后的通道值o:'=o:+w'*t。ti,其[0124]步驟S140:根據(jù)所述可見特征分布和所述遮擋特征分布生成所述待識別目標的動特征通道相對應,將兩個向量按照設(shè)定順序拼接在一起,形成融合特征向量Ffusion[0129]該狀態(tài)遷移軌跡就是動態(tài)識別結(jié)果,其可以表示為一個狀態(tài)序列S={s?,s?,…,[0130]步驟S150:基于所述動態(tài)識別結(jié)果對所述采集模塊的采集參數(shù)進行實時優(yōu)化處[0132]步驟S151:根據(jù)所述動態(tài)識別結(jié)果中的狀態(tài)遷移軌跡計算所述待識別目標的運動[0133]分析動態(tài)識別結(jié)果中的狀態(tài)遷移軌跡S={s?,S?,…,s}。假設(shè)每個狀態(tài)s中包含了待識別目標在相應時間步的位置信息,設(shè)第i個時間步的位置為(x位置為(x(i+1),y(i+))。時間間隔為△t(假設(shè)每個時間步的時間間隔相同),則在x方向上的速度分量vx=(x(i+1)-夾角為θ,則tanθ=v,/vx,通過反正切函數(shù)arctan(v,/v)得到夾角θ,0是待識別目標的運動方向估計值。通過這樣的計算,從狀態(tài)遷移軌跡中得出待識別目標的運動速度估計值和運動方向估計值。[0136]步驟S152:基于所述運動速度估計值和所述運動方向估計值預測所述待識別目標在下一監(jiān)測周期的預期位置區(qū)域。[0137]根據(jù)計算得到的運動速度估計值v和運動方向估計值θ,預測待識別目標在下一監(jiān)測周期的預期位置區(qū)域。[0138]假設(shè)當前待識別目標的位置為(x?,y。),下一監(jiān)測周期的時間長度為T。在x方向上,根據(jù)速度和時間計算位置變化量△x=v*cosθ*T,在y方向上的位置變化量△y=v*sinθ*T。[0139]則下一監(jiān)測周期待識別目標在x方向上的預期位置為x?=x?+△x,在y方向上的預期位置為y?=y?+△y。[0140]以(x?,y?)為中心,根據(jù)設(shè)定的范圍設(shè)定預期位置區(qū)域。例如,設(shè)定一個半徑為r的圓形區(qū)域作為預期位置區(qū)域,該預期位置區(qū)域內(nèi)的所有點(x,y)滿足(x-x?)2+(y-y?)2≤r2。這里半徑r的設(shè)定可以根據(jù)實際情況,如待識別目標的運動穩(wěn)定性、采集模塊的精度等因素來確定。通過這樣的計算和設(shè)定,得到待識別目標在下一監(jiān)測周期的預期位置區(qū)域,為采集模塊參數(shù)調(diào)整提供依據(jù)。[0141]步驟S153:根據(jù)所述預期位置區(qū)域調(diào)整所述采集模塊的焦距參數(shù)和拍攝角度參[0142]根據(jù)待識別目標在下一監(jiān)測周期的預期位置區(qū)域,調(diào)整采集模塊的焦距參數(shù)和拍攝角度參數(shù),以確保能夠清晰地拍攝到目標。[0143]對于焦距參數(shù)的調(diào)整,分析預期位置區(qū)域與當前采集模塊的成像關(guān)系。假設(shè)采集模塊的成像原理遵循一定的光學成像規(guī)律,預期位置區(qū)域距離采集模塊的距離為d。如果d較大,為了使預期位置區(qū)域內(nèi)的目標在圖像中清晰成像,需要增大焦距;反之,如果d較小,則需要減小焦距。設(shè)當前焦距為f。,根據(jù)距離d與焦距的關(guān)系(例如,通過預先建立的距離-焦距映射關(guān)系表或者基于光學成像原理的計算邏輯),得到調(diào)整后的焦距f?。[0144]對于拍攝角度參數(shù)的調(diào)整,以采集模塊當前的拍攝方向為基準,計算使預期位置區(qū)域位于采集模塊視野中心所需的角度調(diào)整量。設(shè)當前拍攝方向與x軸正方向的夾角為α,預期位置區(qū)域中心相對于采集模塊當前位置的方向與x軸正方向的夾角為β。則拍攝角度調(diào)整量△α=β-a。根據(jù)該角度調(diào)整量,確定采集模塊需要旋轉(zhuǎn)的方向和角度,從區(qū)域能夠處于采集模塊的有效拍攝視野內(nèi)。[0145]將調(diào)整后的焦距參數(shù)f?和拍攝角度調(diào)整量△α組合在一起,生成第一參數(shù)調(diào)整指令I(lǐng)?,該第一參數(shù)調(diào)整指令用于指導采集模塊在下一監(jiān)測周期調(diào)整焦距和拍攝角度,以更好地捕捉待識別目標。[0146]步驟S154:基于所述遮擋特征分布的歷史變化趨勢預測下一監(jiān)測周期的潛在遮擋區(qū)域,并根據(jù)所述潛在遮擋區(qū)域調(diào)整所述采集模塊的曝光參數(shù)和分辨率參數(shù),生成第二參數(shù)調(diào)整指令。[0147]回顧之前多幀連續(xù)監(jiān)測圖像中遮擋特征分布的歷史變化趨勢。設(shè)之前若干幀的遮擋特征分布為0nistory={01,0?,…,0},分析這些遮擋特征分布的變化情況。[0148]觀察遮擋特征分布中各部分的變化模式,例如,某些區(qū)域的遮擋特征是否在連續(xù)幾幀中持續(xù)存在或者有規(guī)律地出現(xiàn)和消失。通過對這些歷史數(shù)據(jù)的分析,預測下一監(jiān)測周期可能出現(xiàn)遮擋的潛在遮擋區(qū)域。[0149]假設(shè)通過分析發(fā)現(xiàn)某個區(qū)域在過去多幀中頻繁出現(xiàn)遮擋情況,且其遮擋特征的變化具有一定的穩(wěn)定性,那么將該區(qū)域作為下一監(jiān)測周期的潛在遮擋區(qū)域P。[0150]對于潛在遮擋區(qū)域P,調(diào)整采集模塊的曝光參數(shù)和分辨率參數(shù)。如果潛在遮擋區(qū)域P的亮度較低,為了使該區(qū)域內(nèi)的細節(jié)能夠清晰顯示,需要增加采集模塊在該區(qū)域的曝光強度。設(shè)當前采集模塊針對整個圖像的曝光強度為E?,根據(jù)潛在遮擋區(qū)域P的亮度情況(例如,通過分析該區(qū)域在歷史圖像中的灰度值分布來確定亮度),計算出在該區(qū)域需要增加的曝光強度△E,則調(diào)整后潛在遮擋區(qū)域P的曝光強度為E?=E?+△E,同時相應地調(diào)整其它區(qū)域的曝光強度,以保證整個圖像的曝光平衡。[0151]對于分辨率參數(shù)的調(diào)整,如果采集模塊支持區(qū)域自適應分辨率調(diào)整,且潛在遮擋區(qū)域P具有較高的重要性(例如,該潛在遮擋區(qū)域P可能包含關(guān)鍵的目標信息),則提高該潛在遮擋區(qū)域P的圖像采集分辨率。設(shè)當前采集模塊的整體分辨率為R?,將潛在遮擋區(qū)域P的分辨率提高到R?,同時通過插值算法調(diào)整相鄰區(qū)域的分辨率,以保證圖像的連續(xù)性和一致性。[0152]將調(diào)整后的曝光參數(shù)(包括潛在遮擋區(qū)域P及其它區(qū)域的曝光強度)和分辨率參數(shù)(潛在遮擋區(qū)域P及相鄰區(qū)域的分辨率)組合在一起,生成第二參數(shù)調(diào)整指令I(lǐng)?,該第二參數(shù)調(diào)整指令I(lǐng)?用于指導采集模塊在下一監(jiān)測周期針對潛在遮擋區(qū)域進行曝光和分辨率的優(yōu)化調(diào)整。[0153]步驟S155:將所述第一參數(shù)調(diào)整指令和所述第二參數(shù)調(diào)整指令融合生成所述參數(shù)調(diào)整策略。[0154]第一參數(shù)調(diào)整指令I(lǐng)?包含了采集模塊焦距參數(shù)和拍攝角度參數(shù)的調(diào)整信息,第二參數(shù)調(diào)整指令I(lǐng)?包含了采集模塊曝光參數(shù)和分辨率參數(shù)的調(diào)整信息。[0155]將這兩個指令進行融合,形成一個綜合的參數(shù)調(diào)整策略P。可以將I?和I?中的參數(shù)信息按照設(shè)定的格式進行整合。例如,先列出焦距參數(shù)調(diào)整值、拍攝角度調(diào)整量,接著列出曝光參數(shù)調(diào)整值(包括潛在遮擋區(qū)域及其它區(qū)域)以及分辨率參數(shù)調(diào)整值(潛在遮擋區(qū)域及相鄰區(qū)域)。[0156]該參數(shù)調(diào)整策略P將作為采集模塊在下一監(jiān)測周期進行參數(shù)調(diào)整的依據(jù),使得采集模塊能夠根據(jù)待識別目標的動態(tài)識別結(jié)果,在焦距、拍攝角度、曝光和分辨率等方面進行優(yōu)化調(diào)整,以提高對目標的監(jiān)測和識別效果。[0157]接下來描述模型訓練部分,構(gòu)建預訓練的分割網(wǎng)絡模型的過程中,可以選擇一種適合語義分割任務的網(wǎng)絡架構(gòu),例如UNet架構(gòu)。該架構(gòu)由編碼器、解碼器和連接兩者的跳躍連接組成。[0158]編碼器部分由多個下采樣塊構(gòu)成。每個下采樣塊包含卷積層和池化層。卷積層使的不同特征,如邊緣特征、紋理特征等。池化層對卷積后的特征圖進行下采樣,減少數(shù)據(jù)量同時保留重要特征。[0159]解碼器部分與編碼器相對應,由多個上采樣塊組成。上采樣塊通過反卷積或插值等方式將低分辨率的特征圖恢復到高分辨率。同樣包含卷積層,用于對特征進行進一步融合和細化。[0160]跳躍連接將編碼器中不同層次的特征圖與解碼器中相應層次的特征圖連接起來,使得解碼器在恢復分辨率的過程中能夠利用編碼器不同層次的特征信息,從而提高分割的準確性。[0161]其中,收集大量包含待識別目標及遮擋情況的圖像數(shù)據(jù)作為訓練集,該圖像數(shù)據(jù)應涵蓋不同場景、不同類型的待識別目標以及各種遮擋情況。[0162]對每幅圖像進行標注,標記出待識別目標的區(qū)域以及遮擋區(qū)域。標注可以采用像素級別的掩碼形式,即對于圖像中的每個像素,標記其屬于待識別目標、遮擋區(qū)域還是背景。[0163]將標注好的圖像數(shù)據(jù)劃分為訓練集、驗證集和測試集。例如,按照設(shè)定比例(如70%作為訓練集,15%作為驗證集,15%作為測試集)進行劃分。訓練集用集用于調(diào)整模型超參數(shù)以防止過擬合,測試集用于評估模型的最終性能。[0164]設(shè)定學習率,其控制模型在每次參數(shù)更新時的步長。設(shè)學習率為1r,通常選擇一個較小的值,如0.001,以保證模型在訓練過程中能夠穩(wěn)定收斂。[0165]設(shè)定訓練的輪數(shù)epoch,表示模型對訓練集進行完整遍歷的次數(shù)。例如,設(shè)置epoch為100,這意味著模型將對訓練集進行100次完整的學習。[0166]設(shè)定批量大小batch_size,即每次訓練時輸入模型的圖像數(shù)量。例如,設(shè)置batch_size為16,表示每次從訓練集中選取16幅圖像同時輸入模型進行訓練。[0167]將訓練集中的圖像數(shù)據(jù)依次輸入到構(gòu)建好的分割網(wǎng)絡模型中。圖像首先進入編碼器,經(jīng)過卷積和池化操作提取特征。[0168]在解碼器部分,通過上采樣和卷積操作將特征圖恢復到與輸入圖像相同的尺寸,生成預測的分割掩碼。將預測的分割掩碼與標注的真實掩碼進行對比,通過損失函數(shù)來衡量兩者之間的差異。[0169]選擇合適的損失函數(shù),比如交叉熵損失函數(shù)。對于預測掩碼中的每個像素點,其預測類別概率與真實類別之間的差異通過交叉熵損失函數(shù)進行量化。假設(shè)預測掩碼為P,真實掩碼為G,對于像素點i,其預測類別概率為P,真實類別為G,交叉熵損失函數(shù)計算該像素點的損失值L,通過對所有像素點的損失值求和并平均,得到整個圖像的損失值L。[0170]根據(jù)損失值L,利用優(yōu)化算法來更新模型的參數(shù)。選擇隨機梯度下降(SGD算法為例,其根據(jù)損失函數(shù)關(guān)于模型參數(shù)的梯度來調(diào)整參數(shù)。計算損失函數(shù)L關(guān)于模型中每個參數(shù)[0171]在每一輪訓練(epoch)結(jié)束后,將驗證集的圖像數(shù)據(jù)輸入到模型中,計算驗證集上的損失值。觀察驗證集損失值的變化情況,如果驗證集損失值在連續(xù)若干輪訓練后不再下度等方式來避免過擬合。例如,將學習率降低為原來的十分之一,即1r=1r/10,然后繼續(xù)進行訓練。[0172]經(jīng)過設(shè)定的訓練輪數(shù)epoch后,模型在訓練集上完成訓練。使用測試集對訓練好的模型進行性能評估,計算模型在測試集上的分割準確率、召回率等指標。例如,分割準確率計算為正確分割的像素數(shù)與總像素數(shù)的比值,召回率計算為正確分割的目標像素數(shù)與實際目標像素數(shù)的比值。通過這些指標來判斷模型是否達到預期的性能要求,如果未達到,可以進一步調(diào)整模型結(jié)構(gòu)或訓練參數(shù),重新進行訓練。[0173]進一步地,以雙向長短期記憶網(wǎng)絡(Bi-LSTM)結(jié)合多頭自注意力機制構(gòu)建時序分析模型。模型主要包括輸入層、雙向長短期記憶網(wǎng)絡層、多頭自注意力層和全連接回歸層。[0174]輸入層負責接收時間序列特征向量。該時間序列特征向量是經(jīng)過時間序列對齊處理以及均值方差歸一化處理后的聯(lián)合特征表示序列。假設(shè)時間序列特征向量為Ftime,其每個時間步的特征向量維度為d,輸入層將Ft;me按時間步依次輸入到后續(xù)層。端開始處理數(shù)據(jù),后向LSTM從時間序列的末端開始反向處時間步,其接收前一個時間步的隱藏狀態(tài)hf(t-1)和當前時間步的輸入特征x,通過內(nèi)部的遺步的隱藏狀態(tài)h?(t+1)和當前時間步的輸入特征x,同樣通過內(nèi)部機制更新隱藏狀態(tài)h?t。前向LSTM和后向LSTM分別提取到前向時序特征H?和后向時序特征H?,且這兩個時序特征維度相同且時間步對齊。[0176]多頭自注意力層接收前向時序特征H?和后向時序特征H按時間步拼接后的特征向第t個時間步,將Hcombine中的當前時間步特征向量通過線性變換投影到查詢向量Q、鍵向量K和值向量V。然后計算注意力分數(shù)矩陣A,其元素a;根據(jù)Q和K的點積以及特征維度進行計算,再通過softmax函數(shù)對A,進行歸一化處理得到注意力權(quán)重矩陣W,W的元素w;表示在第t個時間步,第j個特征通道的注意力權(quán)重。多頭自注意力層通過這種方式突出不同時間步和特征通道的重要性。[0177]全連接回歸層接收經(jīng)過多頭自注意力層加權(quán)融合后的融合時序特征向量Hfused全連接回歸層由多個神經(jīng)元組成,每個神經(jīng)元與Hfusea中的所有元素都有連接。通過權(quán)重矩陣Wc和偏置向量bc,對Hfused進行線性變換和偏置相加操作,即y=Wc*Hfused+bc時間步的可見特征預測向量和遮擋特征預測向量。[0178]進一步地,從多幀連續(xù)監(jiān)測圖像的聯(lián)合特征表示中提取時間序列數(shù)據(jù)作為訓練集。假設(shè)聯(lián)合特征表示序列為,將其按時間順序劃分為多個時間序列片段。每個時間序列片段包含若干個連續(xù)的時間步,設(shè)每個片段包含T個時間步。例如,第一個時間序列片段為{F,第二個時間序列片段為[0179]對于每個時間序列片段,根據(jù)實際的可見特征分布和遮擋特征分布,確定對應的真實可見特征預測向量和真實遮擋特征預測向量,該真實向量作為訓練的標簽數(shù)據(jù)。[0180]將所有的時間序列片段及其對應的標簽數(shù)據(jù)劃分為訓練集、驗證集和測試集。同樣按照設(shè)定比例(如70%作為訓練集,15%作為驗證集,15%作為測試集)進行劃分。訓練集用于模型的參數(shù)學習,驗證集用于調(diào)整模型超參數(shù),測試集用于評估模型性能。[0181]設(shè)定學習率1rs,其控制時序分析模型在每次參數(shù)更新時的步長。類似于分割網(wǎng)絡模型的學習率設(shè)定,通常選擇一個較小的值,如0.0001,以保證模型在訓練過程中的穩(wěn)定性和收斂性。[0182]設(shè)定訓練輪數(shù)epoche,表示模型對訓練集進行完整遍歷的次數(shù)。例如,設(shè)置epochs為50,即模型將對訓練集進行50次完整的學習。[0183]設(shè)定批量大小batch_sizeseg,即每次訓練時輸入模型的時間序列片段數(shù)量。例如,設(shè)置batch_sizeseg為8,表
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 養(yǎng)老院服務質(zhì)量監(jiān)督制度
- 醫(yī)療設(shè)備研發(fā)項目管理案例分析分享
- 醫(yī)學教育與醫(yī)學人才培養(yǎng)模式創(chuàng)新與實踐
- 中醫(yī)特色療法在現(xiàn)代醫(yī)學中的應用研究與實踐研究
- 課件的使用過程與效果
- 河北省邢臺市任澤區(qū)第三中學等學校聯(lián)考2025-2026學年九年級上學期第三次月考物理試題(解析版)
- 核源安全培訓課件
- 《GB 10734-2008第一基準試劑 乙二胺四乙酸二鈉》專題研究報告
- 《DLT 910-2004灰渣脫水倉》專題研究報告深度
- 村級預防接種培訓
- 2025年(完整)《公共基礎(chǔ)知識》考試題庫附答案
- 2025貴州銅仁市“千名英才·智匯銅仁”本地引才413人考試題庫附答案
- 山西省2026屆高三第一次八省聯(lián)考語文(T8聯(lián)考)(含答案)
- 2025年杭州余杭水務有限公司招聘36人參考筆試題庫及答案解析
- 2025山東聊城市市屬事業(yè)單位定向招聘隨軍未就業(yè)家屬8人備考核心試題附答案解析
- 急危重癥護理進展
- 2026年江西應用技術(shù)職業(yè)學院單招職業(yè)適應性測試必刷測試卷附答案
- 滕州菜煎餅創(chuàng)新創(chuàng)業(yè)計劃書
- 2024北京朝陽區(qū)初一(上)期末道法試卷及答案
- 送貨單格式模板
- GB/T 42430-2023血液、尿液中乙醇、甲醇、正丙醇、丙酮、異丙醇和正丁醇檢驗
評論
0/150
提交評論