(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN115862136B(65)同一申請的已公布的文獻號(73)專利權(quán)人上海承飛航空特種設(shè)備有限公司地址200613上海市松江區(qū)花卉路55號(72)發(fā)明人王雷管大勝張志軍劉聰裘函(74)專利代理機構(gòu)北京一枝筆知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11791GO6V20/52(2022.01)EP3709224A1,2020.09.審查員何健倫GO6V40/20(2022.01)(54)發(fā)明名稱基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法及裝置基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法及裝置，該方法利用人體目標(biāo)檢測網(wǎng)絡(luò)對預(yù)處理后的行為圖像進行基礎(chǔ)特征提取，并以卷積特征塊上的每個像素點為中心構(gòu)造預(yù)設(shè)尺度的錨框；遍歷行為圖像的像素點得到預(yù)測錨框，獲取預(yù)測錨框和真實人體錨框的重合部分，根據(jù)重疊率判定樣本類型，利用判定的樣本類型訓(xùn)練人體目標(biāo)檢測網(wǎng)絡(luò)；將人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀對應(yīng)的錨框進行檢測目標(biāo)關(guān)聯(lián)，以跟蹤人體目標(biāo)得到人體運動軌跡檢測框；將人體運動軌跡檢測框送入人體目標(biāo)檢測網(wǎng)絡(luò)獲得人體目標(biāo)姿態(tài)信息，人體目標(biāo)姿態(tài)信息包括人體骨骼關(guān)鍵點，利用人體骨骼關(guān)鍵點進行加油員行為識別。采集待識別的行為圖像，將所述行為圖像進行解碼，對解碼后的所述行為圖像進行尺寸預(yù)處理構(gòu)建人體目標(biāo)檢測網(wǎng)絡(luò)，利用所述人體目標(biāo)檢測網(wǎng)絡(luò)對預(yù)處理后的所述行為圖像進行基點為中心構(gòu)造預(yù)設(shè)尺度的錨框遍歷所述行為圖像的像素點得到預(yù)測錨框，獲取預(yù)測錯框和真實人體錨框的重合部分，根據(jù)重疊率判定樣本類型，利用判定的樣本類型訓(xùn)練所述人體目標(biāo)檢測網(wǎng)絡(luò)將所述人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀對應(yīng)的錨框進行檢測目標(biāo)關(guān)聯(lián)，以跟蹤人體目標(biāo)得到人體運動軌跡檢測框?qū)⑺鋈梭w運動軌跡檢測框送入所述人體目標(biāo)檢測網(wǎng)絡(luò)獲得人體目標(biāo)姿態(tài)信息，所述人體目標(biāo)姿態(tài)信息包括人體骨骼關(guān)鍵點，利用21.基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法，其特征在于，包括：采集待識別的行為圖像，將所述行為圖像進行解碼，對解碼后的所述行為圖像進行尺寸預(yù)處理；構(gòu)建人體目標(biāo)檢測網(wǎng)絡(luò)，利用所述人體目標(biāo)檢測網(wǎng)絡(luò)對預(yù)處理后的所述行為圖像進行基礎(chǔ)特征提取，并以卷積特征塊上的每個像素點為中心構(gòu)造預(yù)設(shè)尺度的錨框；遍歷所述行為圖像的像素點得到預(yù)測錨框，獲取預(yù)測錨框和真實人體錨框的重合部分，根據(jù)重疊率判定樣本類型，利用判定的樣本類型訓(xùn)練所述人體目標(biāo)檢測網(wǎng)絡(luò)；將所述人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀對應(yīng)的錨框進行檢測目標(biāo)關(guān)聯(lián)，以跟蹤人體目標(biāo)得到人體運動軌跡檢測框；將所述人體運動軌跡檢測框送入所述人體目標(biāo)檢測網(wǎng)絡(luò)獲得人體目標(biāo)姿態(tài)信息，所述人體目標(biāo)姿態(tài)信息包括人體骨骼關(guān)鍵點，利用人體骨骼關(guān)鍵點進行加油員行為識別。2.根據(jù)權(quán)利要求1所述的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法，其特征在于，所述人體目標(biāo)檢測網(wǎng)絡(luò)包括Block單元和SandGlass單元；所述Block單元通過逐點卷積進行維度擴展，所述Block單元通過深度卷積提取通道特所述SandGlass單元采用兩次深度卷積和兩層逐點卷積進行維度縮放。3.根據(jù)權(quán)利要求2所述的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法，其特征在于，所述人體目標(biāo)檢測網(wǎng)絡(luò)中引入空間金字塔池化結(jié)構(gòu)，輸入特征圖分別經(jīng)過三個預(yù)設(shè)尺寸的最大值池化層，并通過一條shortcut路徑將輸入特征圖與三個池化輸出進行維度拼接，再利用一個卷積層對四個不同尺度的特征信息進行融合學(xué)習(xí)。4.根據(jù)權(quán)利要求1所述的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法，其特征在于，將重疊率大于等于35%的錨框判定為正樣本，將重疊率小于35%的錨框判定為負(fù)樣本，利用判定的正樣本和負(fù)樣本對所述人體目標(biāo)檢測網(wǎng)絡(luò)進行訓(xùn)練。5.根據(jù)權(quán)利要求1所述的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法，其特征在于，利用所述人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀錨框a和錨框b計算重疊度IOU,重疊度IOU計算公IOU=(Area(a)∩Area(b))/(Area(式中，Area(a)為錨框a所占區(qū)域的面積，Area(b)為錨框b所占區(qū)域的面積。6.根據(jù)權(quán)利要求5所述的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法，其特征在于，跟蹤人體目標(biāo)得到人體運動軌跡檢測框步驟包括：針對當(dāng)前幀檢測集D。,對于活躍的軌跡集合T中的每一軌跡t,選取最后加入軌跡的錨框信息，依次計算當(dāng)前位置信息和當(dāng)前幀檢測集中所有檢測框的重疊度IOU,如果滿足最大的IOU(dest,t;)大于等于預(yù)設(shè)閾值，則判定當(dāng)前檢測框?qū)儆趯?yīng)加入的軌跡，從當(dāng)前幀檢測集D中刪去當(dāng)前檢測框。7.根據(jù)權(quán)利要求6所述的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法，其特征在于，如果不滿足最大的IOU(dbest,t;)大于等于預(yù)設(shè)閾值，計算當(dāng)前檢測框和軌跡框彩色直方圖之間的相似度S,若S大于預(yù)設(shè)值，則判定當(dāng)前檢測框?qū)儆趯?yīng)加入的軌跡。8.根據(jù)權(quán)利要求7所述的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法，其特征在于，將當(dāng)前幀檢測集D中所有剩余的檢測框，作為新的軌跡的開始插入到活躍的軌跡集合T中；3更新過程中，對每幀中的人體檢測框分配一個追蹤ID,計算相鄰兩幀間人體骨骼關(guān)鍵的第i個骨骼關(guān)鍵點可見。10.基于骨骼關(guān)節(jié)的輕量級加油員行為識別裝置，采用權(quán)利要求1至9任一項所述的基模型構(gòu)建處理模塊，用于構(gòu)建人體目標(biāo)檢測網(wǎng)絡(luò)，利用所述人體目標(biāo)檢測網(wǎng)絡(luò)對預(yù)處模型訓(xùn)練模塊，用于遍歷所述行為圖像的像素點得到預(yù)測錨框，獲取預(yù)測錨框和真實人體目標(biāo)跟蹤模塊，用于將所述人體目標(biāo)檢測網(wǎng)絡(luò)獲取4基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法及裝置技術(shù)領(lǐng)域[0001]本發(fā)明屬于圖像視覺深度學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法及裝置。背景技術(shù)[0002]目前，機場行為監(jiān)督主要采用人工監(jiān)管或視頻監(jiān)控兩種方式，人工監(jiān)管實際處理起來耗時耗力，同時難以達到實時性、全天候的要求，對工作人員的行為監(jiān)督工作也難以到[0003]而在視頻監(jiān)控中，基于視頻的行為識別算法主要分為傳統(tǒng)算法和基于深度學(xué)習(xí)方法兩大類，傳統(tǒng)行為識別方法需要人工設(shè)計特征對行為進行表征，實現(xiàn)簡單但易受經(jīng)驗影響，準(zhǔn)確性和魯棒性一般，而深度學(xué)習(xí)視頻行為識別方法由于要提取時間和空間特征，算力消耗大，不適于部署到算力較弱的嵌入式設(shè)備上。發(fā)明內(nèi)容[0004]為此，本發(fā)明提供一種基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法及裝置，解決傳統(tǒng)基于深度學(xué)習(xí)方案對算力要求較高，算力消耗大，不適于部署到算力較弱的嵌入式設(shè)備上的問題。[0005]為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于骨骼關(guān)節(jié)的輕量級加油[0006]采集待識別的行為圖像，將所述行為圖像進行解碼，對解碼后的所述行為圖像進行尺寸預(yù)處理；[0007]構(gòu)建人體目標(biāo)檢測網(wǎng)絡(luò)，利用所述人體目標(biāo)檢測網(wǎng)絡(luò)對預(yù)處理后的所述行為圖像進行基礎(chǔ)特征提取，并以卷積特征塊上的每個像素點為中心構(gòu)造預(yù)設(shè)尺度的錨框；[0008]遍歷所述行為圖像的像素點得到預(yù)測錨框，獲取預(yù)測錨框和真實人體錨框的重合部分，根據(jù)重疊率判定樣本類型，利用判定的樣本類型訓(xùn)練所述人體目標(biāo)檢測網(wǎng)絡(luò)；[0009]將所述人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀對應(yīng)的錨框進行檢測目標(biāo)關(guān)聯(lián)，以跟蹤人體目標(biāo)得到人體運動軌跡檢測框；[0010]將所述人體運動軌跡檢測框送入所述人體目標(biāo)檢測網(wǎng)絡(luò)獲得人體目標(biāo)姿態(tài)信息，所述人體目標(biāo)姿態(tài)信息包括人體骨骼關(guān)鍵點，利用人體骨骼關(guān)鍵點進行加油員行為識別。[0011]作為基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法優(yōu)選方案，所述人體目標(biāo)檢測網(wǎng)絡(luò)包括Block單元和SandGlass單元；[0012]所述Block單元通過逐點卷積進行維度擴展，所述Block單元通過深度卷積提取通道特征；[0013]所述SandGlass單元采用兩次深度卷積和兩層逐點卷積進行維度縮放。[0014]作為基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法優(yōu)選方案，所述人體目標(biāo)檢測網(wǎng)絡(luò)中引入空間金字塔池化結(jié)構(gòu)，輸入特征圖分別經(jīng)過三個預(yù)設(shè)尺寸的最大值池化層，并通5[0015]作為基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法優(yōu)選方案，將重疊率大于等于35%的錨框判定為正樣本，將重疊率小于35%的錨框判定為負(fù)樣本，利用判定的正樣本和[0021]作為基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法優(yōu)選方案，如果不滿足最大的[0024]作為基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法優(yōu)選方案，利用相似度0KS度量[0025]更新過程中，對每幀中的人體檢測框分配一個追蹤ID,計算相鄰兩幀間人體骨骼6[0030]模型構(gòu)建處理模塊，用于構(gòu)建人體目標(biāo)檢測網(wǎng)絡(luò)，利用所述人體目標(biāo)檢測網(wǎng)絡(luò)對預(yù)處理后的所述行為圖像進行基礎(chǔ)特征提取，并以卷積特征塊上的每個像素點為中心構(gòu)造預(yù)設(shè)尺度的錨框；[0031]模型訓(xùn)練模塊，用于遍歷所述行為圖像的像素點得到預(yù)測錨框，獲取預(yù)測錨框和真實人體錨框的重合部分，根據(jù)重疊率判定樣本類型，利用判定的樣本類型訓(xùn)練所述人體目標(biāo)檢測網(wǎng)絡(luò)；[0032]人體目標(biāo)跟蹤模塊，用于將所述人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀對應(yīng)的錨框進行檢測目標(biāo)關(guān)聯(lián)，以跟蹤人體目標(biāo)得到人體運動軌跡檢測框；[0033]目標(biāo)行為識別模塊，用于將所述人體運動軌跡檢測框送入所述人體目標(biāo)檢測網(wǎng)絡(luò)獲得人體目標(biāo)姿態(tài)信息，所述人體目標(biāo)姿態(tài)信息包括人體骨骼關(guān)鍵點，利用人體骨骼關(guān)鍵點進行加油員行為識別。[0034]本發(fā)明具有如下優(yōu)點：通過采集待識別的行為圖像，將行為圖像進行解碼，對解碼后的行為圖像進行尺寸預(yù)處理；構(gòu)建人體目標(biāo)檢測網(wǎng)絡(luò)，利用人體目標(biāo)檢測網(wǎng)絡(luò)對預(yù)處理后的行為圖像進行基礎(chǔ)特征提取，并以卷積特征塊上的每個像素點為中心構(gòu)造預(yù)設(shè)尺度的錨框；遍歷行為圖像的像素點得到預(yù)測錨框，獲取預(yù)測錨框和真實人體錨框的重合部分，根據(jù)重疊率判定樣本類型，利用判定的樣本類型訓(xùn)練人體目標(biāo)檢測網(wǎng)絡(luò)；將人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀對應(yīng)的錨框進行檢測目標(biāo)關(guān)聯(lián)，以跟蹤人體目標(biāo)得到人體運動軌跡檢測框；將人體運動軌跡檢測框送入人體目標(biāo)檢測網(wǎng)絡(luò)獲得人體目標(biāo)姿態(tài)信息，人體目標(biāo)姿態(tài)信息包括人體骨骼關(guān)鍵點，利用人體骨骼關(guān)鍵點進行加油員行為識別。本發(fā)明極大地縮減了深度學(xué)習(xí)模型訓(xùn)練和檢測推理所需的時間，同時又保持了高精度性、較好的實時性等優(yōu)良特質(zhì)，適合應(yīng)用在性價比更高且部署安裝更為簡單的深度學(xué)習(xí)嵌入式終端。附圖說明[0035]為了更清楚地說明本發(fā)明的實施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹。顯而易見地，下面描述中的附圖僅僅是示例性的，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)提供的附圖引申獲得其它的實施附圖。[0036]圖1為本發(fā)明實施例1提供的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法流程示意圖；[0037]圖2為本發(fā)明實施例1提供的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法中人體目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)示意圖；[0038]圖3為本發(fā)明實施例1提供的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法中人體檢測結(jié)果圖；[0039]圖4為本發(fā)明實施例1提供的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法中應(yīng)用場景行為識別結(jié)果圖；[0040]圖5為本發(fā)明實施例1提供的基于骨骼關(guān)節(jié)的輕量級加油員行為識別方法中應(yīng)用場景另一行為識別結(jié)果圖；[0041]圖6為本發(fā)明實施例2提供的基于骨骼關(guān)節(jié)的輕量級加油員行為識別裝置示意圖。7具體實施方式[0042]以下由特定的具體實施例說明本發(fā)明的實施方式，熟悉此技術(shù)的人士可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點及功效，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。[0044]參見圖1和圖2,本發(fā)明實施例1提供一種基于骨骼關(guān)節(jié)的輕量級加油員行為識別[0045]S1、采集待識別的行為圖像，將所述行為圖像進行解碼，對解碼后的所述行為圖像進行尺寸預(yù)處理；[0046]S2、構(gòu)建人體目標(biāo)檢測網(wǎng)絡(luò)，利用所述人體目標(biāo)檢測網(wǎng)絡(luò)對預(yù)處理后的所述行為圖像進行基礎(chǔ)特征提取，并以卷積特征塊上的每個像素點為中心構(gòu)造預(yù)設(shè)尺度的錨框；[0047]S3、遍歷所述行為圖像的像素點得到預(yù)測錨框，獲取預(yù)測錨框和真實人體錨框的重合部分，根據(jù)重疊率判定樣本類型，利用判定的樣本類型訓(xùn)練所述人體目標(biāo)檢測網(wǎng)絡(luò)；[0048]S4、將所述人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀對應(yīng)的錨框進行檢測目標(biāo)關(guān)聯(lián)，以跟蹤人體目標(biāo)得到人體運動軌跡檢測框；[0049]S5、將所述人體運動軌跡檢測框送入所述人體目標(biāo)檢測網(wǎng)絡(luò)獲得人體目標(biāo)姿態(tài)信息，所述人體目標(biāo)姿態(tài)信息包括人體骨骼關(guān)鍵點，利用人體骨骼關(guān)鍵點進行加油員行為識[0050]本實施例中，步驟S1中通過攝像頭采集待識別的行為圖像，然后經(jīng)過邊緣設(shè)備解碼，將解碼得到的圖像通過resize操作得到608×608預(yù)處理行為圖像。其中，resize操作本身是OpenCV庫中的一個函數(shù)，可以起到對圖片進行縮放的作用。[0051]本實施例中，步驟S2中，所述人體目標(biāo)檢測網(wǎng)絡(luò)包括Block單元和SandGlass單元；所述Block單元通過逐點卷積進行維度擴展，所述Block單元通過深度卷積提取通道特征；所述SandGlass單元采用兩次深度卷積和兩層逐點卷積進行維度縮放。[0052]由于嵌入式設(shè)備、邊緣設(shè)備等算力及存儲資源有限的終端上，難以做到實時性的目標(biāo)檢測并進行有效的部署。需要犧牲一部分的性能損耗來換取更快的推理速度。故對人體目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)進行輕量化優(yōu)化：[0053]其中，人體目標(biāo)檢測網(wǎng)絡(luò)的輸入尺寸為608×608×3,之后經(jīng)過卷積、批量歸一化、ReLU激活后變?yōu)?2通道的304×304的輸出，接著經(jīng)過若干由Block單元和SandGlass單元組成的特征提取網(wǎng)絡(luò)來獲取圖像高維信息。[0054]具體的，Block單元首先使用逐點卷積進行維度擴展，避免直接降維所造成的信息丟失；而后使用深度卷積提取各通道的特征；最后逐點卷積采用Linear激活函數(shù)，以減少使用ReLU激活函數(shù)所造成的信息丟失，通過使用逐點卷積和深度卷積來代替?zhèn)鹘y(tǒng)卷積減少了計算量。[0055]具體的，SandGlass單元充分利用深度卷積輕量化的特點，首尾采用兩次深度卷積，中間經(jīng)兩層逐點卷積進行維度的縮放，從而保留更多的空域信息，提升分類性能。最終得到圖像在128通道數(shù)上的高維信息。[0056]本實施例中，所述人體目標(biāo)檢測網(wǎng)絡(luò)中引入空間金字塔池化結(jié)構(gòu)，輸入特征圖分8別經(jīng)過三個預(yù)設(shè)尺寸的最大值池化層，并通過一條shortcut路徑將輸入特征圖與三個池化輸出進行維度拼接，再利用一個卷積層對四個不同尺度的特征信息進行融合學(xué)習(xí)。[0057]具體的，為人體目標(biāo)檢測網(wǎng)絡(luò)的輸入尺寸固定，使用裁剪、縮放等方式處理原始行為圖像的尺寸所造成圖像畸變和特征信息失真，在人體目標(biāo)檢測網(wǎng)絡(luò)的特征提取器之后引入空間金字塔池化結(jié)構(gòu)，輸入特征圖分別經(jīng)過三個尺寸為3、5、7最大short-cut路徑將輸入特征圖與三個池化輸出進行維度拼接，最后利用一個卷積層對四個不同尺度的特征信息進行融合、學(xué)習(xí)。[0058]其中，考慮到人體目標(biāo)較大且較為簡單，為降低人體目標(biāo)檢測網(wǎng)絡(luò)計算量，提高推理速度，僅對人體目標(biāo)檢測網(wǎng)絡(luò)中端76×76×32與末端19×19×128的2層特征信息進行融合，高維度小尺寸圖像信息自下而上通過上采樣與低維度大尺寸圖像信息進行拼接，而低維度大尺寸圖像信息自上而下通過減采樣與低高維度小尺寸圖像信息進行拼接，使得多尺度特征反復(fù)融合、相互增強，充分理解特征提取網(wǎng)絡(luò)的高層語義信息與低維度信息，提升網(wǎng)絡(luò)表達能力。[0059]本實施例中，將重疊率大于等于35%的錨框判定為正樣本，將重疊率小于35%的錨框判定為負(fù)樣本，利用判定的正樣本和負(fù)樣本對所述人體目標(biāo)檢測網(wǎng)絡(luò)進行訓(xùn)練。[0060]具體的，通過利用人體目標(biāo)檢測網(wǎng)絡(luò)對預(yù)處理后的行為圖像提取基礎(chǔ)特征，并以卷積特征塊上的每個像素點為中心構(gòu)造6種尺度不同的錨框，遍歷整張圖像的所有像素點得到所有預(yù)測的錨框，計算預(yù)測錨框和真實人體錨框的重合部分，將重疊率大于等于35%的錨框判定為正樣本，將重疊率小于35%的錨框判定為負(fù)樣本，來訓(xùn)練人體目標(biāo)檢測網(wǎng)絡(luò)。[0061]本實施例中，步驟S4中，由于人體目標(biāo)檢測網(wǎng)絡(luò)僅僅只能在每幀圖像中找出人體的位置，故利用人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀錨框a和錨框b計算重疊度IOU,重疊度[0063]式中，Area(a)為錨框a所占區(qū)域的面積，Area(b)為錨框b所占區(qū)域的面積。[0064]本實施例中，跟蹤人體目標(biāo)得到人體運動軌跡檢測框步驟如下：[0065]其中，令D?,D?.DF-1分別代表第0,1,...,F-1幀檢測圖像，d?,d?.dN-1分別代表每幀檢測圖像中N個人體目標(biāo)；T代表處于活躍的軌跡集合，由還在跟蹤的人體目標(biāo)錨框組代表已經(jīng)追蹤完的物體軌跡集合，由已跟蹤完畢的人體目標(biāo)框組成。[0066]具體的，針對當(dāng)前幀檢測集D,對于活躍的軌跡集合T中的每一軌跡t;,選取最后加入軌跡的錨框信息，依次計算當(dāng)前位置信息和當(dāng)前幀檢測集中所有檢測框的重疊度IOU,如果滿足最大的IOU(dbest,t)大于等于預(yù)設(shè)閾值σou(0.25),則判定當(dāng)前檢測框?qū)儆趯?yīng)加入的軌跡，從當(dāng)前幀檢測集D?中刪去當(dāng)前檢測框。[0067]由于，僅僅依靠重疊度IOU的大小并不能夠很好的應(yīng)對復(fù)雜的狀況，為了避免設(shè)定固定閾值o1ou而出現(xiàn)漏檢的情況：[0068]如果不滿足最大的IOU(dbest,t;)大于等于預(yù)設(shè)閾值，計算當(dāng)前檢測框和軌跡框彩色直方圖之間的相似度S,若S大于預(yù)設(shè)值0.3,則判定當(dāng)前檢測框?qū)儆趯?yīng)加入的軌跡。[0069]當(dāng)以上兩點都不滿足時，則判斷該軌跡中歷史位置的最高分是否大于閾值o,以及該軌跡的出現(xiàn)時間是否大于tmin(跟蹤完成的條件),判定是否該物體已經(jīng)跟蹤完畢，若是，把該軌跡t;從T移動到Tf中。9活躍的軌跡集合T中；當(dāng)所有檢測完成后，對于活躍的軌跡集合T中每個活躍軌跡t,,判斷[0072]具體的，利用NMS方法統(tǒng)一人體跟蹤輸出的斷更新人體姿態(tài)和骨骼關(guān)鍵點信息。蹤，計算相鄰兩幀間人體骨骼點的相似度0KS,相似度大的對應(yīng)于同一id.OKS的定義如下：[0077]式中，p表示人物的標(biāo)號，i表示骨骼點的標(biāo)號，d3;表示標(biāo)注關(guān)節(jié)點和預(yù)測關(guān)節(jié)點相似。向量1*(10*17*2),共340個特征F=[f?,f?·f340],輸入骨骼關(guān)鍵點全連接分類網(wǎng)絡(luò)，進行維行為圖像進行基礎(chǔ)特征提取，并以卷積特征塊上的每個像素點為中心構(gòu)造預(yù)設(shè)尺度的錨獲取的前后兩幀對應(yīng)的錨框進行檢測目標(biāo)關(guān)聯(lián)，以跟蹤人體目標(biāo)得到人體運動軌跡檢測位置信息和當(dāng)前幀檢測集中所有檢測框的重疊度IOU,如果滿足最大的IOU(dbest,t;)大于等t)大于等于預(yù)設(shè)閾值，計算當(dāng)前檢測框和軌跡框彩色直方歷史位置的最高分是否大于閾值σ?以及該軌跡的出現(xiàn)時間是否大于tmn(跟蹤完成的條實施例中的順序來執(zhí)行并且仍然可以實現(xiàn)期望的結(jié)[0084]參見圖6,本發(fā)明實施例2還提供一種基于骨骼關(guān)節(jié)的輕量級加油員行為識別裝11目標(biāo)檢測網(wǎng)絡(luò)；[0088]人體目標(biāo)跟蹤模塊4,用于將所述人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀對應(yīng)的錨框進行檢測目標(biāo)關(guān)聯(lián)，以跟蹤人體目標(biāo)得到人體運動軌跡檢測框；[0089]目標(biāo)行為識別模塊5,用于將所述人體運動軌跡檢測框送入所述人體目標(biāo)檢測網(wǎng)絡(luò)獲得人體目標(biāo)姿態(tài)信息，所述人體目標(biāo)姿態(tài)信息包括人體骨骼關(guān)鍵點，利用人體骨骼關(guān)鍵點進行加油員行為識別。[0090]本實施例中，模型構(gòu)建處理模塊2中，所述人體目標(biāo)檢測網(wǎng)絡(luò)包括Block單元和[0091]所述Block單元通過逐點卷積進行維度擴展，所述Block單元通過深度卷積提取通道特征；[0092]所述SandGlass單元采用兩次深度卷積和兩層逐點卷積進行維度縮放。[0093]本實施例中，模型構(gòu)建處理模塊2中，所述人體目標(biāo)檢測網(wǎng)絡(luò)中引入空間金字塔池化結(jié)構(gòu)，輸入特征圖分別經(jīng)過三個預(yù)設(shè)尺寸的最大值池化層，并通過一條shortcut路徑將輸入特征圖與三個池化輸出進行維度拼接，再利用一個卷積層對四個不同尺度的特征信息進行融合學(xué)習(xí)。[0094]本實施例中，模型訓(xùn)練模塊3中，將重疊率大于等于35%的錨框判定為正樣本，將重疊率小于35%的錨框判定為負(fù)樣本，利用判定的正樣本和負(fù)樣本對所述人體目標(biāo)檢測網(wǎng)絡(luò)進行訓(xùn)練。[0095]本實施例中，人體目標(biāo)跟蹤模塊4中，利用所述人體目標(biāo)檢測網(wǎng)絡(luò)獲取的前后兩幀錨框a和錨框b計算重疊度IOU,重疊度IOU計算公式為：[0096]IOU=(Area(a[0097]式中，Area(a)為錨框a所占區(qū)域的面積，Area(b)為錨框b所占區(qū)域的面積。[0098]本實施例中，人體目標(biāo)跟蹤模塊4中，跟蹤人體目標(biāo)得到人體運動軌跡檢測框包[0099]針對當(dāng)前幀檢測集D.,對于活躍的軌跡集合T中的每一軌跡t,選取最后加入軌跡的錨框信息，依次計算當(dāng)前位置信息和當(dāng)前幀檢測集中所有檢測框的重疊度IOU,如果滿足最大的IOU(dbest,t;)大于等于預(yù)設(shè)閾值，則判定當(dāng)前檢測框?qū)儆趯?yīng)加入的軌跡，從當(dāng)前幀檢測集D?中刪去當(dāng)前檢測框。[0100]如果不滿足最大的IOU(dbest,t;)大于等于預(yù)設(shè)閾值，計算當(dāng)前檢測框和軌跡框彩色直方圖之間的相似度S,若S