(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號(hào)CN116935438B(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)(73)專利權(quán)人西北工業(yè)大學(xué)(74)專利代理機(jī)構(gòu)西安凱多思知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)61290專利代理師劉濤(54)發(fā)明名稱一種基于模型結(jié)構(gòu)自主進(jìn)化的行人圖像重識(shí)別方法(57)摘要本發(fā)明公開(kāi)了一種基于模型結(jié)構(gòu)自主進(jìn)化的行人圖像重識(shí)別方法，主要結(jié)構(gòu)分為三個(gè)功能模塊：基本特征提取模塊、自進(jìn)化多尺度特征強(qiáng)化模塊、多部位細(xì)粒度對(duì)齊模塊。在基本特征提取模塊中，使用視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取圖像的基本特征。此后，將自進(jìn)化多尺度特征強(qiáng)化模塊插入基本特征提取模塊中，采用動(dòng)態(tài)路由機(jī)制負(fù)責(zé)多尺度的視覺(jué)特征增強(qiáng)，利用基本特征提取模塊提取的深層和淺層特征，通過(guò)逐層尺度變換和特征精煉，引導(dǎo)模型學(xué)習(xí)如何從基本視覺(jué)特征到自適應(yīng)多尺度特征的進(jìn)化。最后，在多部位細(xì)粒度對(duì)齊模塊中，利用外部語(yǔ)義知識(shí)引導(dǎo)模型提取2步驟1:構(gòu)建基于模型結(jié)構(gòu)自進(jìn)化的目標(biāo)重識(shí)別網(wǎng)絡(luò)，包括基本特征提取模塊、自進(jìn)化步驟1-1:所述基本特征提取模塊由殘差網(wǎng)絡(luò)構(gòu)成；將殘差網(wǎng)絡(luò)根據(jù)中間特征的尺度大 用于后續(xù)的進(jìn)化，對(duì)應(yīng)特征大小分別為(C,H/2,W/2)、(C,H/4,W/4)、(C,H/8,W/8),其中C和(H步驟1-2:所述自進(jìn)化多尺度特征強(qiáng)化模塊以基本特征提取模塊的特征為輸入，并利用在訓(xùn)練過(guò)程中，通過(guò)不斷進(jìn)化深層和淺層語(yǔ)義的交互融合方式步驟1-2-1:所述進(jìn)化單元包括進(jìn)化門控函數(shù)和進(jìn)化精煉操作，進(jìn)化門控函數(shù)負(fù)責(zé)在身fL將首先被送入進(jìn)化門控函數(shù)中，通過(guò)卷積和自適應(yīng)最大池化得到B×3×1的特征所述進(jìn)化精煉操作是重復(fù)利用先前的特征fL,并將其送入3*3卷積層G?×3中，通過(guò)批3其中Tscale代表對(duì)應(yīng)激活的尺度轉(zhuǎn)換操作；步驟1-2-2:得到進(jìn)化單元后，將其逐層排列構(gòu)成路由層，每層路由層是由三個(gè)進(jìn)化單元構(gòu)成，分別負(fù)責(zé)處理不同的尺度特征輸入，路由層之間的相互連接通過(guò)進(jìn)化單元的相互激活實(shí)現(xiàn)，首先將輸入第一個(gè)路由層對(duì)應(yīng)尺度的進(jìn)化單元,并將處理結(jié)果送入當(dāng)前路由層激活的下一個(gè)路由層中，通過(guò)逐層尺度特征進(jìn)化和精煉，得到最終的自進(jìn)化的多尺度特征；步驟1-3:多部位細(xì)粒度對(duì)齊模塊用于提取圖像級(jí)部件掩碼過(guò)濾視覺(jué)無(wú)關(guān)的背景區(qū)域；利用外部語(yǔ)義知識(shí)引導(dǎo)模型提取多部位的行人特征，實(shí)現(xiàn)局部特征的匹配；步驟1-3-1:多部位細(xì)粒度對(duì)齊模塊的輸入為步驟1-2中生成的自進(jìn)化的多尺度特征，復(fù)制殘差網(wǎng)絡(luò)的最后一層，用于生成粗粒度部件特征;引入輕量級(jí)語(yǔ)義分割頭，利用語(yǔ)義分割頭生成行人部件掩碼mi,使用額外的預(yù)先訓(xùn)練的人體語(yǔ)義解析模型來(lái)生成部分行人部件掩碼和完整行人掩碼作為監(jiān)督信息，引導(dǎo)模型進(jìn)行訓(xùn)練，提取細(xì)粒度部件特征Fi,緩解背景噪音帶來(lái)的影響；具體用公式表示為：最終并行得到頭部特征Fhead、上半身特征Fupper、下半身特征Flower、腳部特征Ffoot、全身特征Fglobal,在計(jì)算圖像對(duì)之間的相似性時(shí)，利用部件級(jí)特征實(shí)現(xiàn)對(duì)齊和匹配；引入可見(jiàn)閾值vi判斷圖像對(duì)的共同可見(jiàn)部位，只將共同可見(jiàn)的特征作為輸入進(jìn)行匹配，具體地，只有掩碼中存在可見(jiàn)概率大于0.5的點(diǎn)時(shí)，才能視為該部步驟2:使用行人重識(shí)別數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，設(shè)置訓(xùn)練超參數(shù)，使用Adam優(yōu)化器完成訓(xùn)練；測(cè)試網(wǎng)絡(luò)時(shí)，使用歐氏距離作為相似度的評(píng)估指標(biāo)對(duì)計(jì)算視覺(jué)特征距離進(jìn)行評(píng)估；步驟3:組合上述步驟建立的各模塊，輸入待檢索的行人圖像，根據(jù)相似性對(duì)圖像進(jìn)行排序，若給出的查詢結(jié)果與實(shí)際行人ID相同，則認(rèn)為查詢成2.根據(jù)權(quán)利要求1所述的一種基于模型結(jié)構(gòu)自主進(jìn)化的行人圖像重識(shí)別方法，其特征在于，所述行人重識(shí)別數(shù)據(jù)集為Market1501數(shù)據(jù)集。3.根據(jù)權(quán)利要求1所述的一種基于模型結(jié)構(gòu)自主進(jìn)化的行人圖像重識(shí)別方法，其特征在于，所述訓(xùn)練網(wǎng)絡(luò)時(shí)采用余弦退火的方式，學(xué)習(xí)率設(shè)定為1.0×10-4,迭代輪次為1000輪，λ=0.1,采樣方式選擇離散采樣。4.根據(jù)權(quán)利要求1所述的一種基于模型結(jié)構(gòu)自主進(jìn)化的行人圖像重識(shí)別方法，其特征4一種基于模型結(jié)構(gòu)自主進(jìn)化的行人圖像重識(shí)別方法5[0014]f將首先被送入進(jìn)化門控函數(shù)中，通過(guò)卷積和自適應(yīng)最大池化得到B×3×1的特代表對(duì)應(yīng)的卷積層參數(shù)；批歸一化和正切激活函數(shù)對(duì)特征的非線性分布進(jìn)行重新映射，生成精煉進(jìn)化特征frefine,[0020]在得到精煉進(jìn)化特征frefine和尺度進(jìn)化分?jǐn)?shù)a后，生成當(dāng)前層進(jìn)化單元的最終輸出h,具體由公式表示為：相互激活實(shí)現(xiàn)，首先將輸入第一個(gè)路由層對(duì)應(yīng)尺度的進(jìn)化單元6化和精煉，得到最終的自進(jìn)化的多尺度特征；[0024]步驟1-3:多部位細(xì)粒度對(duì)齊模塊用于提取圖像級(jí)部件掩碼過(guò)濾視覺(jué)無(wú)關(guān)的背景區(qū)域；利用外部語(yǔ)義知識(shí)引導(dǎo)模型提取多部位的行人特征，實(shí)現(xiàn)局部特征的匹配；[0025]步驟1-3-1:多部位細(xì)粒度對(duì)齊模塊的輸入為步驟1-2中生成的自進(jìn)化的多尺度特征，復(fù)制殘差網(wǎng)絡(luò)的最后一層，用于生成粗粒度部件特征fRes4;引入輕量級(jí)語(yǔ)義分割頭，利用語(yǔ)義分割頭生成行人部件掩碼m1,使用額外的預(yù)先訓(xùn)練的人體語(yǔ)義解析模型來(lái)生成部分行人部件掩碼和完整行人掩碼作為監(jiān)督信息，引導(dǎo)模型進(jìn)行訓(xùn)練，提取細(xì)粒度部件特征F1,緩解背景噪音帶來(lái)的影響；具體用公式表示為：全身特征F?lobal,在計(jì)算圖像對(duì)之間的相似性時(shí)，利用部件級(jí)特征實(shí)現(xiàn)對(duì)齊和匹配；[0028]引入可見(jiàn)閾值v1判斷圖像對(duì)的共同可見(jiàn)部位，只將共同可見(jiàn)的特征作為輸入進(jìn)行匹配，具體地，只有掩碼中存在可見(jiàn)概率大于0.5的點(diǎn)時(shí)，才能視為該部位可見(jiàn)；公式表示[0030]步驟2:使用行人重識(shí)別數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，設(shè)置訓(xùn)練超參數(shù)，使用Adam優(yōu)化器完成[0031]測(cè)試網(wǎng)絡(luò)時(shí)，使用歐氏距離作為相似度的評(píng)估指標(biāo)對(duì)計(jì)算視覺(jué)特征距離；[0032]步驟3:組合上述步驟建立的各模塊，輸入待檢索的行人圖像，根據(jù)相似性對(duì)圖像進(jìn)行排序，若給出的查詢結(jié)果與實(shí)際行人ID相同，則認(rèn)為查詢成功。[0033]優(yōu)選地，所述數(shù)據(jù)集為Market1501數(shù)據(jù)集。[0034]優(yōu)選地，所述訓(xùn)練網(wǎng)絡(luò)時(shí)采用余弦退火的方式，學(xué)習(xí)率設(shè)定為1.0×10??,迭代輪次為1000輪，λ=0.1,采樣方式選擇離散采樣。[0035]優(yōu)選地，所述部分行人部件掩碼包括頭部、上半身、下半身和腳部。[0036]本發(fā)明的有益效果如下：[0037]本發(fā)明利用模型結(jié)構(gòu)自進(jìn)化的目標(biāo)重識(shí)別方法，可以有效地依據(jù)部分行人圖像對(duì)行人圖像的視覺(jué)特征進(jìn)行自適應(yīng)的進(jìn)化加強(qiáng)，能夠通過(guò)逐層精煉和自主尺度進(jìn)化，提取自適應(yīng)的進(jìn)化多尺度語(yǔ)義特征，從而動(dòng)態(tài)強(qiáng)化視覺(jué)信息，又能提取多部位的細(xì)粒度行人特征，解決圖像對(duì)之間的信息不對(duì)稱問(wèn)題，有助于計(jì)算正確的圖像相似度，從而進(jìn)一步提高局部行人圖像檢索任務(wù)的準(zhǔn)確率。特別地，在國(guó)際基準(zhǔn)數(shù)據(jù)集Partial-ReID上達(dá)到88.7%的rank-1和81.5%的map、在Partial-ilids-0數(shù)據(jù)集上達(dá)到84.9%的rank-1和86.5%的map、在Partial-ilids-0數(shù)據(jù)集上達(dá)到74.8%的rank-1,是截至目前國(guó)際上最高的精度。附圖說(shuō)明[0038]圖1為關(guān)鍵視覺(jué)信息的尺度偏差圖示。[0039]圖2為本發(fā)明方法結(jié)構(gòu)圖。[0040]圖3為本發(fā)明方法進(jìn)化單元圖解。[0041]圖4為本發(fā)明方法路由層連接樣例。7同尺度特征用于后續(xù)的進(jìn)化，對(duì)應(yīng)特征大小分別為(C,H/2,W/2)、(C,將上一個(gè)路由層的對(duì)應(yīng)輸出h并求和作為輸入f1,f將首先送入進(jìn)化門控函數(shù)中，通過(guò)卷8代表對(duì)應(yīng)的卷積層參數(shù)。[0053]進(jìn)化精煉操作則是在當(dāng)前激活的進(jìn)化單元中，負(fù)責(zé)進(jìn)化特征的語(yǔ)義豐富度，引導(dǎo)和正切激活函數(shù)對(duì)特征的非線性分布進(jìn)行重新映射，生成精煉進(jìn)化特,由公式可以表示為：[0056]在得到精煉進(jìn)化特征和尺度進(jìn)化分?jǐn)?shù)α后，可以生成進(jìn)化單元的最終輸出,具體由公式可以表示為：[0059]步驟1-2-2:所述路由層則是由三個(gè)進(jìn)化單元構(gòu)成，分別負(fù)責(zé)處理不同的尺度特征輸入，路由層之間的相互連接通過(guò)進(jìn)化單元的相互激活實(shí)現(xiàn)，首先第一個(gè)路由層對(duì)應(yīng)尺度的進(jìn)化單元(,并將處理結(jié)果送入當(dāng)前路由層激活的下一個(gè)路由層中，通過(guò)逐層尺度特征進(jìn)化和精煉，得到最終的自進(jìn)化的多尺度特征，緩解先前靜態(tài)網(wǎng)絡(luò)難以適應(yīng)不同尺度的輸入問(wèn)題，具體來(lái)說(shuō)，在圖4中給出一個(gè)進(jìn)化樣例，L-1層的進(jìn)化單通過(guò)下采樣和保持分辨率操作，將其所進(jìn)化的尺度特征送入L層的進(jìn)化單元c3,在c3中進(jìn)化多尺度語(yǔ)義信息后，選擇上采樣操作并激活0[0060]步驟1-3:所述在多部位細(xì)粒度對(duì)齊模塊致力于提取圖像級(jí)部件掩碼過(guò)濾視覺(jué)無(wú)關(guān)的背景區(qū)域。與完整圖像相比，局部圖像會(huì)無(wú)可避免的缺失信息，導(dǎo)致信息不對(duì)稱問(wèn)題，使圖像匹配顯著復(fù)雜化。因此，在計(jì)算圖像對(duì)之間的相似性時(shí)，關(guān)注共同可見(jiàn)的人體部位的特征變得至關(guān)重要。為了識(shí)別每個(gè)身體部位的存在并準(zhǔn)確提取相應(yīng)的部位級(jí)特征，利用外部語(yǔ)義知識(shí)引導(dǎo)模型提取多部位的行人特征，實(shí)現(xiàn)局部特征的匹配。[0061]步驟1-3-1:本模塊的輸入為1-2中生成的自進(jìn)化的多尺度特征，復(fù)制殘差網(wǎng)絡(luò)的最后一層，用于生成粗粒度部件特征fRes?。此外引入輕量級(jí)語(yǔ)義分割頭，利用語(yǔ)義分割頭生成行人部件掩碼m2,使用額外的預(yù)先訓(xùn)練的人體語(yǔ)義解析模型來(lái)生成部分行人部件掩碼(包括頭部、上半身、下半身和腳部)和完整行人掩碼作為監(jiān)督信息，引導(dǎo)模型進(jìn)行訓(xùn)練，提取細(xì)粒度部件特征F1,緩解背景噪音帶來(lái)的影響。具體來(lái)說(shuō)可以用公式表示為：[0062]F=MaxPo全身特征F?lobal,在計(jì)算圖像對(duì)之間的相似性時(shí)，利用部件級(jí)特征實(shí)現(xiàn)對(duì)齊和匹配。[0064]此后，為了解決信息不對(duì)稱問(wèn)題，引入可見(jiàn)閾值v1判斷圖像對(duì)的共同可見(jiàn)部位，只將共同可見(jiàn)的特征作為輸入進(jìn)行匹配，具體地，只有掩碼中存在可見(jiàn)概率大于0.5的點(diǎn)時(shí)，9才能視為該部位可見(jiàn)。公式表示為：[0065]v=max(0,sum(m2>0[0066]步驟2:使用行人重識(shí)別Market1501數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，設(shè)置訓(xùn)練超參數(shù)，使用Adam優(yōu)化器完成訓(xùn)練；[0067]測(cè)試網(wǎng)絡(luò)時(shí)，使用歐氏距離作為相似度的評(píng)估指標(biāo)對(duì)計(jì)算視覺(jué)特征距離；[0068]步驟3:組合上述步驟建立的各模塊，輸入待檢索的行人圖像，根據(jù)相似性對(duì)圖像進(jìn)行排序，若給出的查詢結(jié)果與實(shí)際行人ID相同，則認(rèn)為查詢成功。[0070]本發(fā)明提供了一種基于模型結(jié)構(gòu)自主進(jìn)化的行人圖像重識(shí)別方法，該方法利用自主進(jìn)化機(jī)制，通過(guò)進(jìn)化單元實(shí)現(xiàn)對(duì)自適應(yīng)多尺度特征的自主進(jìn)化，并逐層精煉豐富特征的語(yǔ)義信息，實(shí)現(xiàn)模型自主進(jìn)化；動(dòng)態(tài)提取多部位的局部細(xì)粒度特征，過(guò)濾無(wú)關(guān)視覺(jué)噪聲并解決信息不對(duì)稱問(wèn)題，提升行人圖像檢索的性能。[0071]步驟1:數(shù)據(jù)處理和優(yōu)化器設(shè)置；[0072]將原始行人圖像統(tǒng)一縮放為384*128大小，訓(xùn)練圖像使用隨機(jī)水平翻轉(zhuǎn)、隨機(jī)填充、隨機(jī)裁剪、隨機(jī)擦除等操作進(jìn)行數(shù)據(jù)增強(qiáng)，設(shè)置優(yōu)化器，將優(yōu)化器動(dòng)量調(diào)整為0.9,權(quán)重衰減設(shè)置為1e-4,學(xué)習(xí)率采用余弦退火的方式進(jìn)行衰減，使用market1501數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，[0073]步驟2:網(wǎng)絡(luò)訓(xùn)練[0074]步驟2-1:首先建立基本特征提取模塊，將自進(jìn)化多尺度特征強(qiáng)化模塊插入基本特征提取模塊的第三層和第四層之間，用于自適應(yīng)進(jìn)化多尺度特征，復(fù)制語(yǔ)義分割頭和基本特征提取模塊的第四層組成多部位細(xì)粒度對(duì)齊模塊，利用基本特征提取模塊提取的不同尺度視覺(jué)特征，逐層尺度特征進(jìn)化和語(yǔ)義特征豐富性進(jìn)化。最后，在多部位細(xì)粒度對(duì)齊模塊中，利用外部語(yǔ)義知識(shí)引導(dǎo)模型提取多部位的行人特征，實(shí)現(xiàn)局部特征的匹配。[0075]步驟2-2:利用外部語(yǔ)義分割模型提取market1501的人體語(yǔ)義標(biāo)簽，使用行人身份優(yōu)化，引導(dǎo)模型學(xué)習(xí)如何從基本視覺(jué)特征到自適應(yīng)多尺度特征的進(jìn)化。利用基本特征提取模塊的深層和淺層特征，通過(guò)自進(jìn)化多尺度自適應(yīng)地進(jìn)化多尺度特征，具體來(lái)說(shuō)，為每一層特征生成自適應(yīng)的尺度進(jìn)化路徑，并通過(guò)逐層精煉的方式提高語(yǔ)義豐富性，動(dòng)態(tài)提取多尺度特征。對(duì)于局部圖像和完整圖像之間信息不對(duì)稱的問(wèn)題，利用人體部位掩碼，生成細(xì)粒度的多部位人體局部特征，并選取局部圖像和完整圖像之間共同可見(jiàn)的行人部位用于計(jì)算相[0076]本發(fā)明使用最難抽樣的方式為每個(gè)圖像抽取一個(gè)來(lái)自同ID的樣本和一個(gè)來(lái)自不同ID的樣本，分別構(gòu)造正樣本對(duì)和負(fù)樣本對(duì)。然后計(jì)算待比較圖像部件級(jí)特征之間的細(xì)粒度像素級(jí)相關(guān)性。最后，在上述三種損失的監(jiān)督下優(yōu)化模型參數(shù)。在