(19)國家知識產(chǎn)權局區(qū)雙港東大街169號GO6N李海波(74)專利代理機構南昌松果知識產(chǎn)權代理事務所(普通合伙)36183專利代理師吳利梅(54)發(fā)明名稱基于預測幀殘差分析機制構建運動感知數(shù)據(jù)增強模塊，基于門控網(wǎng)絡和圖神經(jīng)網(wǎng)絡構建運動引導門控圖神經(jīng)網(wǎng)絡融合模塊，基于循環(huán)注意力機制構建高效多尺度循環(huán)注意力網(wǎng)基于預測幀殘差分析機制構建運動感知數(shù)據(jù)增強模塊，基于門控網(wǎng)絡和圖神經(jīng)網(wǎng)絡構建運動引導門控圖神經(jīng)網(wǎng)絡融合模塊，基于循環(huán)注意力機制構建高效多尺度循環(huán)注意力網(wǎng)絡，運動感知數(shù)據(jù)增強模塊、運動引導門控圖神經(jīng)網(wǎng)絡融合模塊和高效多尺度循環(huán)注意力網(wǎng)絡構成分類模型；其中，運動感知數(shù)據(jù)增強模塊包括雙邊濾波器，運動引導門控圖神經(jīng)網(wǎng)絡融合模塊包括多層感知機。高效多尺度循環(huán)注意力網(wǎng)絡包括動態(tài)時空衰減模塊將視頻賴序列輸入至運動感知數(shù)據(jù)增強模塊中，利用視頻編解碼工具進行運動矢量提取并結合預測幀殘差分析機制量化手部動態(tài)強度并生成運動掩碼，以得到手部運動輪廓掩碼和RGB圖像二基于RGB圖像提取RGB特征，將手部運動輪廓掩碼和RGB特征輸入至運動引導門控圖神經(jīng)網(wǎng)絡融合模塊中，對RGB特征與手部運動輪廓掩碼利用門控網(wǎng)絡和圖神經(jīng)網(wǎng)絡，依次進行門控融合與圖卷積計算，以得到圖神經(jīng)網(wǎng)絡輸出的特征損失，利用分類損失對分類模型進行優(yōu)化，得到優(yōu)化后的分類模型，將視頻幀序列輸入至優(yōu)化后的分類模型以得到最終的手勢分類結果步驟1本發(fā)明提出一種基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法，該方法包括：利用視頻編解碼工具進行運動矢量提取，并結合預測幀殘差分析機制量化手部動態(tài)強度并生成運動掩碼；對RGB特征與手部運動輪廓掩碼利用門控網(wǎng)絡和圖神經(jīng)網(wǎng)絡，依次進行門控融合與圖卷積計算；利用動態(tài)時空衰減模塊和多尺度小波譜-空間塊，分別進行膨脹卷積處理，以及多尺度頻域重構與通道交互，得到手勢分類結果。本發(fā)明提出一種基于全卷積架構的循環(huán)注意力機制，結合可學習時間衰減策略，實現(xiàn)高效低復雜度的時序建模。同時，采用小波分解重構與多尺度池化方法捕捉細粒度手部運動變化，使得網(wǎng)絡能夠有效21.一種基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法，其特征在于，所述方法包括如下步驟：步驟1、基于預測幀殘差分析機制構建運動感知數(shù)據(jù)增強模塊，基于門控網(wǎng)絡和圖神經(jīng)網(wǎng)絡構建運動引導門控圖神經(jīng)網(wǎng)絡融合模塊，基于循環(huán)注意力機制構建高效多尺度循環(huán)注意力網(wǎng)絡，運動感知數(shù)據(jù)增強模塊、運動引導門控圖神經(jīng)網(wǎng)絡融合模塊和高效多尺度循環(huán)注意力網(wǎng)絡構成分類模型；其中，運動感知數(shù)據(jù)增強模塊包括雙邊濾波器，運動引導門控圖神經(jīng)網(wǎng)絡融合模塊包括多層感知機，高效多尺度循環(huán)注意力網(wǎng)絡包括動態(tài)時空衰減模塊和多尺度小波譜-空間塊；步驟2、將視頻幀序列輸入至運動感知數(shù)據(jù)增強模塊中，利用視頻編解碼工具進行運動矢量提取，并結合預測幀殘差分析機制量化手部動態(tài)強度并生成運動掩碼，以得到手部運步驟3、基于RGB圖像提取RGB特征，將手部運控圖神經(jīng)網(wǎng)絡融合模塊中，對RGB特征與手部運動輪廓掩碼利用門控網(wǎng)絡和圖神經(jīng)網(wǎng)絡，依次進行門控融合與圖卷積計算，以得到圖神經(jīng)網(wǎng)絡輸出的特征；步驟4、將圖神經(jīng)網(wǎng)絡輸出的特征輸入至高效多尺度循環(huán)注意力網(wǎng)絡中，利用動態(tài)時空衰減模塊進行膨脹卷積處理，得到動態(tài)時空衰減模塊輸出的特征，并輸入至多尺度小波譜-空間塊中，進行多尺度頻域重構與通道交互，得到手勢分類結果；基于手勢分類結果構建分類損失，利用分類損失對分類模型進行優(yōu)化，得到優(yōu)化后的分類模型，將視頻幀序列輸入至優(yōu)化后的分類模型以得到最終的手勢分類結果。2.根據(jù)權利要求1所述的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法，其特征在于，在所述步驟2中，將視頻幀序列輸入至運動感知數(shù)據(jù)增強模塊中，利用視頻編解碼工具進行運動矢量提取，并結合預測幀殘差分析機制量化手部動態(tài)強度并生成運動掩碼，具體包括如下步驟：將視頻幀序列輸入至運動感知數(shù)據(jù)增強模塊中，利用FFmpeg視頻編解碼工具進行矢量提取，得到提取的運動矢量；對提取的運動矢量進行動態(tài)矢量過濾操作，得到過濾后的運動矢量；基于過濾后的運動矢量和視頻幀序列進行運動補償以構造預測幀，得到構造的預測對構造的預測幀進行殘差計算，得到殘差圖像；對殘差圖像依次進行灰度化操作、雙邊濾波器的雙邊濾波化操作和閾值二值化操作，得到手部運動輪廓掩碼。3.根據(jù)權利要求2所述的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法，其特征在于，對提取的運動矢量進行動態(tài)矢量過濾操作，得到過濾后的運動矢量，對應過程存在的關系式如下：3E的維度為H×W,g+表示雙邊濾波化的圖像，Bilateral(·)表示雙邊波化操作，45.根據(jù)權利要求4所述的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法，其特征在基于圖神經(jīng)網(wǎng)絡構建時序圖，對融合之后的特征利用圖卷積示對應每個時間步的融合特征的節(jié)點V的鄰居集合，GConv,-1表示第l-1層線性層的圖卷積計算，表示均值歸一化函數(shù)，表示第2個圖卷積計算， 6.根據(jù)權利要求5所述的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法，其特征將圖神經(jīng)網(wǎng)絡輸出的特征輸入至高效多尺度循環(huán)注意力網(wǎng)絡中，將經(jīng)過時間偏移之后的特征沿時間維度進行膨脹卷積處理，得到膨脹卷積之后的特將膨脹卷積之后的特征，結合可學習的時間衰減機制和過去信息5Xshin=Timeshif(X);6Xines=Conv1D(0⊙WKV)量，CumSum()表示累積和函數(shù)，Ximes表示動態(tài)時空衰減模塊的輸出特征，7示第j個卷積操作處理后的高頻分量；在對增強后的低頻分量和增強后的高頻分量依次進行逆小波變換操作和多尺度池化尺度的池化核大小；在對多尺度池化之后的張量依次進行逐元素相乘計算、權重卷其中，K表示通道間信息交互過程中的鍵張量，NB×AHniadue表示特征的維度為B×Hhidder×T,Hhidder表示隱藏層的個數(shù)，V'表示通道間信息交互過程中的值張在獲取動態(tài)門控系數(shù)，對中間張量與動態(tài)門控系數(shù)進行逐元素相乘計算，得到輸出加8在對輸出加權特征通過全連接層得到手勢分類結果的步驟中，對應過程存在的關系式9.根據(jù)權利要求8所述的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法，其特征其中，C表示分類損失，Z表示訓練樣本的批次數(shù)，表示第Z個樣本屬于第m類的真實值，Y"表示第Z個樣本屬于第m類的預測概率，表示對數(shù)函數(shù)。9基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法技術領域[0001]本發(fā)明涉及計算機視覺與人機交互領域，特別涉及基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法。背景技術[0002]動態(tài)手勢識別(DynamicHandGestureRecognition,DHGR)作為計算機視覺與人機交互領域的重要研究方向，近年來受到了廣泛關注。DHGR的核心目標是通過分析視頻數(shù)據(jù)中的手部動態(tài)軌跡，準確識別不同類別的手勢動作。這一技術在智能家居控制、增強現(xiàn)實(AR)、虛擬現(xiàn)實(VR)交互、醫(yī)療康復等多個實際應用場景中具有巨大潛力。例如，在人機交互系統(tǒng)中，基于動態(tài)手勢識別的交互方式可以大幅提升用戶體驗，使得用戶能夠通過自然的手部動作進行設備控制，而無需依賴物理接觸。然而，受限于手勢在視頻中的局部性、復雜的背景干擾以及時序建模的計算代價，現(xiàn)有方法仍然面臨諸多挑戰(zhàn)。[0003]一方面，由于手勢區(qū)域在視頻中的占比較小，現(xiàn)有基于CNN的特征提取方法往往提取到大量無關的背景信息，導致特征表示冗余，影響模型的魯棒性。此外，動態(tài)手勢的快速變化易導致運動模糊，而單RGB圖像僅包含顏色和紋理信息，缺乏對手勢運動模式的直接建模能力，難以捕捉完整的手勢運動軌跡，從而降低識別的準確率。另一方面，現(xiàn)有方法主要依賴于Transformer進行長時序建模，但Transformer中的全局自注意力機制帶來計算復雜度較高的問題，在長時序視頻任務上難以滿足實時應用的需求。此外，多模態(tài)融合方法(如RGB+光流)雖能在一定程度上增強時序建模能力，但光流計算成本高且對光照變化敏[0004]對于目前主流的動態(tài)手勢識別方法，大多采用CNN作為骨干網(wǎng)絡進行特征提取，并導致手勢信息容易被淹沒。RNN/LSTM等循環(huán)神經(jīng)網(wǎng)絡通過隱藏狀態(tài)傳遞時間信息，缺乏對空間特征的動態(tài)融合能力。在動態(tài)手勢識別中，手部關鍵點(如關節(jié)位置)的空間變化需與時間演變同步建模，循環(huán)神經(jīng)網(wǎng)絡的隱藏狀態(tài)難以同時編碼時空特征。傳統(tǒng)Transformer結構的計算成本較高，影響模型在嵌入式設備上的部署能力。此外，現(xiàn)有方法缺乏有效的全局建模手段，導致在跨幀建模時難以保持手勢的時空一致性，從而影響識別性能。發(fā)明內(nèi)容[0005]鑒于上述狀況，本發(fā)明的主要目的是為了提出基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法，以解決上述技術問題。[0006]本發(fā)明提出基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法，所述方法包括如下步驟：步驟1、基于預測幀殘差分析機制構建運動感知數(shù)據(jù)增強模塊，基于門控網(wǎng)絡和圖神經(jīng)網(wǎng)絡構建運動引導門控圖神經(jīng)網(wǎng)絡融合模塊，基于循環(huán)注意力機制構建高效多尺度循環(huán)注意力網(wǎng)絡，運動感知數(shù)據(jù)增強模塊、運動引導門控圖神經(jīng)網(wǎng)絡融合模塊和高效多尺度循環(huán)注意力網(wǎng)絡構成分類模型；其中，運動感知數(shù)據(jù)增強模塊包括雙邊濾波器，運動引導門控圖神經(jīng)網(wǎng)絡融合模塊包括多層感知機，高效多尺度循環(huán)注意力網(wǎng)絡包括動態(tài)時空衰減模塊和多尺度小波譜-空間塊；步驟2、將視頻幀序列輸入至運動感知數(shù)據(jù)增強模塊中，利用視頻編解碼工具進行運動矢量提取，并結合預測幀殘差分析機制量化手部動態(tài)強度并生成運動掩碼，以得到手導門控圖神經(jīng)網(wǎng)絡融合模塊中，對RGB特征與手部運動輪廓掩碼利用門控網(wǎng)絡和圖神經(jīng)網(wǎng)絡，依次進行門控融合與圖卷積計算，以得到圖神經(jīng)網(wǎng)絡輸出的特征；步驟4、將圖神經(jīng)網(wǎng)絡輸出的特征輸入至高效多尺度循環(huán)注意力網(wǎng)絡中，利用動態(tài)時空衰減模塊進行膨脹卷積處理，得到動態(tài)時空衰減模塊輸出的特征，并輸入至多尺度小波譜-空間塊中，進行多尺度頻域重構與通道交互，得到手勢分類結果；基于手勢分類結果構建分類損失，利用分類損失對分類模型進行優(yōu)化，得到優(yōu)化后的分類模型，將視頻幀序列輸入至優(yōu)化后的分類模型以得到最終的手勢分類結果。1、本發(fā)明利用視頻壓縮域中的運動矢量(MV)構建預測幀殘差分析機制，以量化手部動態(tài)強度并生成運動掩碼。通過動態(tài)閾值濾波與形態(tài)學閉運算重構手部輪廓，使得模型能夠更準確地聚焦于手部區(qū)域，同時有效抑制背景噪聲，從而為后續(xù)雙流網(wǎng)絡提供精準的時空信息，提高手勢識別的穩(wěn)健性；2、本發(fā)明設計結合門控MLP與圖神經(jīng)網(wǎng)絡(GCN)的雙流融合框架，通過時空感知權重動態(tài)調(diào)節(jié)RGB與運動掩碼(Mask)模態(tài)的貢獻度，并通過全連接時序圖建?？鐜蕾囮P系。該方法能夠有效增強手勢識別系統(tǒng)對光照變化、背景干擾及復雜手部形變的適應能力，提高跨時間步的時序建模能力；3、本發(fā)明提出一種基于全卷積架構的循環(huán)注意力機制，結合可學習時間衰減策略，實現(xiàn)高效低復雜度的時序建模。同時，采用小波分解重構與多尺度池化方法捕捉細粒度手部運動變化，使得網(wǎng)絡能夠有效建模短時序依賴特征，進一步提升對動態(tài)手勢的識別精度。[0008]本發(fā)明的附加方面與優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實施例了解到。附圖說明[0009]圖1為本發(fā)明提出的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法的步驟流[0010]圖2為本發(fā)明提出的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法的總體架[0011]圖3為本發(fā)明提出的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法的運動感知數(shù)據(jù)增強策略流程圖。[0012]圖4為本發(fā)明提出的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法的運動引導門控神經(jīng)網(wǎng)絡融合模塊框架圖。11[0013]圖5為本發(fā)明提出的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法的高效多尺度循環(huán)注意力網(wǎng)絡框架圖。[0014]圖6為本發(fā)明提出的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法的動態(tài)時空衰減模塊框架圖。[0015]圖7為本發(fā)明提出的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法的多尺度小波譜-空間塊框架圖。[0016]圖8為本發(fā)明提出的基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法的小波特征解構框架圖。具體實施方式[0017]下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號為相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。[0018]參照下面的描述和附圖，將清楚本發(fā)明的實施例的這些和其他方面。在這些描述和附圖中，具體公開了本發(fā)明的實施例中的一些特定實施方式，來為實施本發(fā)明的實施例的原理的一些方式，但是應當理解，本發(fā)明的實施例的范圍不受此限制。[0019]請參閱圖1,本發(fā)明實施例提出一種基于運動引導的雙流循環(huán)注意力動態(tài)手勢識別方法，該方法包括如下步驟：步驟1、基于預測幀殘差分析機制構建運動感知數(shù)據(jù)增強模塊，基于門控網(wǎng)絡和圖神經(jīng)網(wǎng)絡構建運動引導門控圖神經(jīng)網(wǎng)絡融合模塊，基于循環(huán)注意力機制構建高效多尺度循環(huán)注意力網(wǎng)絡，運動感知數(shù)據(jù)增強模塊、運動引導門控圖神經(jīng)網(wǎng)絡融合模塊和高效多尺度循環(huán)注意力網(wǎng)絡構成分類模型；其中，運動感知數(shù)據(jù)增強模塊包括雙邊濾波器，運動引導門控圖神經(jīng)網(wǎng)絡融合模塊包括多層感知機，高效多尺度循環(huán)注意力網(wǎng)絡包括動態(tài)時空衰減模塊和多尺度小波譜-空間塊。[0020]步驟2、將視頻幀序列輸入至運動感知數(shù)據(jù)增強模塊中，利用視頻編解碼工具進行運動矢量提取，并結合預測幀殘差分析機制量化手部動態(tài)強度并生成運動掩碼，以得到手部運動輪廓掩碼和RGB圖像。[0021]請參閱圖2和圖3,在步驟2中，將視頻幀序列輸入至運動感知數(shù)據(jù)增強模塊中，利用視頻編解碼工具進行運動矢量提取，并結合預測幀殘差分析機制量化手部動態(tài)強度并生成運動掩碼，具體包括如下步驟：將視頻幀序列輸入至運動感知數(shù)據(jù)增強模塊中，利用FFmpeg視頻編解碼工具進行矢量提取，得到提取的運動矢量；對提取的運動矢量進行動態(tài)矢量過濾操作，得到過濾后的運動矢量；基于過濾后的運動矢量和視頻幀序列進行運動補償以構造預測幀，得到構造的預測幀；對構造的預測幀進行殘差計算，得到殘差圖像；對殘差圖像依次進行灰度化操作、雙邊濾波器的雙邊濾波化操作和閾值二值化操作，得到手部運動輪廓掩碼。[0022]需要說明的是，附圖2中的圖像編碼器和掩碼編碼器是兩個骨干網(wǎng)絡(分別為矩陣E的維度為H×W,g,表示雙邊濾波化的圖像，表示雙邊波化操導門控圖神經(jīng)網(wǎng)絡融合模塊中，對RGB特征與手部運動輪廓掩碼利用門控網(wǎng)絡和圖神經(jīng)網(wǎng)將RGB特征與手部運動輪廓掩碼利用門控網(wǎng)絡依次進行拼接操作和特征融合處[0029]將RGB特征與手部運動輪廓掩碼利用門控網(wǎng)絡依次進行拼接操作和特征融合處需要說明的是，在附圖4中Sigmoid函數(shù)用于得到對于多層感知機的輸出進行歸一化得到門控系數(shù)。神經(jīng)網(wǎng)絡中的邊，GConv,表示第1層線性層的圖卷積計算，Θ,表示可學習參數(shù)，H(v)表示對應每個時間步的融合特征的節(jié)點V的鄰居集合，GConv,-1表示第1-1層線性層的圖卷積計算，表示均值歸一化函數(shù)，GConv?()表示第2個圖卷積計算，將圖神經(jīng)網(wǎng)絡輸出的特征輸入至高效多尺度循環(huán)注意力網(wǎng)絡將經(jīng)過時間偏移之后的特征沿時間維度進行膨脹卷積處理，對增強后的低頻分量和增強后的高頻分量依次進行逆小波變換操作和多尺度池對多尺度池化之后的張量依次進行逐元素相乘計算、權重獲取動態(tài)門控系數(shù)，對中間張量與動態(tài)門控系數(shù)WKV=CumSum(KVOtimeXines=Conv1D(0⊙WKV)函數(shù)，w表示可學習的參數(shù)，0表示接受門，convld(.)表示一維卷積操作，表示特征的維度為dim表示特征維度，N1×H×1×T表示特征的維表示增強后的高頻分量，其中，Xrec表示逆小波變換的輸出張量，表示逆小波變換操作，Ynigh表示第1個高頻分量，表示第2個高頻分量，Ynigh表示第3個高頻分量，Xpool其中，K'表示通道間信息交互過程中的鍵張量，NB×Hniaa×T表示特征的維度為B×Hidde×T,Hniden表示隱藏層的個數(shù)，V表示通道間信息交互過程中的值張量，O'表示通道間信息交互過程中的接收門，NB×C×T表示特征的維度為B×C×T,C表示特征數(shù)，K'V'表示通道間信息交互過程產(chǎn)生的中間張量，Mish()表示Mish激活函數(shù)；其中，(表示分類損失，Z表示訓練樣本的批次數(shù)，表示第Z個樣本屬于第m類的真實值，Y,"表示第Z個樣本屬于第m類的預測概率，表示對數(shù)函引導門控圖神經(jīng)網(wǎng)絡融合模塊融合后的特征輸入，采用類似RNN的循環(huán)結構但基于全卷積計算。高效多尺度循環(huán)注意力網(wǎng)絡由動態(tài)時空衰減模塊(DSTD)和多尺度小波譜-空間塊細粒度手勢特征。整體架構結合殘差連接與歸一化，實現(xiàn)高效并行訓練并提升模型的基于預測幀殘差分析機制構建運動感知數(shù)據(jù)增強模塊，基于門控網(wǎng)絡和基于預測幀殘差分析機制構建運動感知數(shù)據(jù)增強模塊，基于門控網(wǎng)絡和圖神經(jīng)網(wǎng)絡構建運動引導門控圖神經(jīng)網(wǎng)絡融合模