(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號(hào)CN115171148B(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)(73)專利權(quán)人西安電子科技大學(xué)地址710071陜西省西安市太白南路2號(hào)(72)發(fā)明人張強(qiáng)劉迦南黃年昌劉健(74)專利代理機(jī)構(gòu)西安智大知識(shí)產(chǎn)權(quán)代理事務(wù)所61215專利代理師段俊濤GO6N3/0475(2023.01)審查員來(lái)文燕(54)發(fā)明名稱一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，收集可見光行人圖像作為可見光域訓(xùn)練圖像，收集紅外行人圖像作為紅外域訓(xùn)練圖像；利用生成對(duì)抗網(wǎng)絡(luò)將可見光域和紅外域的行人圖像進(jìn)行風(fēng)格轉(zhuǎn)換，生成跨模態(tài)的配對(duì)行人圖像；獲取配對(duì)行人圖像間的融合特征作為行人圖像的表示特征用于行人重識(shí)別。本發(fā)明結(jié)合多模態(tài)圖像風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)和行人重識(shí)別，將一種模態(tài)的原始圖像特征和其對(duì)應(yīng)生成另一種模態(tài)圖像特征融合作為行人圖像特征；通過計(jì)算行人圖像特征的歐式距離，根據(jù)歐式距離得到不同行人圖像匹配的結(jié)果。本發(fā)明改善了生成圖像的質(zhì)量和特征提取可見光特征提取融合特征偽可見光配對(duì)圖像融合特征21.一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，其特征在于，包括：收集可見光行人圖像作為可見光域訓(xùn)練圖像，收集紅外行人圖像作為紅外域訓(xùn)練圖利用生成對(duì)抗網(wǎng)絡(luò)將可見光域和紅外域的行人圖像進(jìn)行風(fēng)格轉(zhuǎn)換，生成跨模態(tài)的配對(duì)行人圖像；獲取配對(duì)行人圖像間的融合特征作為行人圖像的表示特征用于行人重識(shí)別；其中，所述融合特征為原始圖像和生成圖像的融合特征，通過基于注意力機(jī)制的配對(duì)(1)使用四個(gè)獨(dú)立ResNet50提取到四種不同類型的特征Fv、F1*、F?和Fa,分別表示可見光行人圖像特征、生成紅外行人圖像特征、紅外行人圖像特征和生成可見光行人圖像特征；所述原始圖像為可見光行人圖像或紅外行人圖像，所述生成圖像為紅外行人圖像或可見光行人圖像；(2)當(dāng)原始圖像為可見光行人圖像時(shí)，F(xiàn)和F首先經(jīng)過兩個(gè)通道注意力模塊；EF,=CAM(Fy)=Ws*F,EF?=CAM((3)EF和EF?分別經(jīng)過兩個(gè)卷積塊后接著經(jīng)過兩個(gè)通道注意力模塊；CFy=ConvB(EF,θ?),CF??=(4)對(duì)Fs和Fs求平均操作得到最終的行人圖像融合特征；F=Mean(Fs,FsI)=(Fsv+其中，EF和EF?表示增強(qiáng)后的可見光行人圖像特征和生成紅外行人圖像特征；CAM(·)表示通道注意力模塊，w(.)表示通道權(quán)重圖，GAP(·)和GMP(·)分別表示全局平均池化和全局最大池化；CF和CF?,表示卷積后的可見光行人圖像特征和生成紅外行人圖像特征；Fsv和Fs表示最終增強(qiáng)的可見光行人圖像特征和生成紅外行人圖像特征；Fv表示可見光行人圖像和生成紅外行人圖像的融合特征；當(dāng)原始圖像為可見光行人圖像時(shí)，將F和F?替換為F?和F,執(zhí)行步驟(2)～(4),得到最終增強(qiáng)的紅外行人圖像特征Fs?和生成可見光行人圖像特征Fsc以及紅外行人圖像和生成可見光行人圖像的行人融合特征F?*。2.根據(jù)權(quán)利要求1所述基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，其特征在于，對(duì)可見光和紅外圖片做相同的預(yù)處理操作：將輸入圖像每邊添加寬度為1,值為0的像素點(diǎn)，并使用隨機(jī)裁剪的方式得到相同的圖片尺寸，之后隨機(jī)水平翻轉(zhuǎn)圖片。3.根據(jù)權(quán)利要求2所述基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，其特征在于，所述預(yù)處理操作還包括：對(duì)可見光圖像做灰度化處理。4.根據(jù)權(quán)利要求1所述基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，其特征在于，所述風(fēng)格轉(zhuǎn)換通過基于風(fēng)格轉(zhuǎn)換的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)實(shí)現(xiàn)，包括：3可見光域的行人圖像輸入生成網(wǎng)絡(luò)，輸出其對(duì)應(yīng)的紅外域的行人圖像；紅外域的行人圖像輸入生成網(wǎng)絡(luò)，輸出其對(duì)應(yīng)的可見光域的行人圖像。5.根據(jù)權(quán)利要求4所述基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，其特征在于，所述生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)采用生成對(duì)抗思想，包括一個(gè)可見光域到紅外域的風(fēng)格轉(zhuǎn)換分支BG?1和一個(gè)紅外域到可見光域的風(fēng)格轉(zhuǎn)換分支B12G,每個(gè)分支包括一個(gè)生成器和一個(gè)判別LB?,=|logD?.(X?)+log(1-D?.[Gg?(X?))|LB???=|logD.(X?)+log(1-D?-[G???(X?)DLBc?,表示紅外行人圖像與生成紅外行人圖像之間的對(duì)抗損失函數(shù)；LB??c表示可見光行人圖像與生成可見光行人圖像之間的對(duì)抗損失函數(shù)；D?+(X?)表示判別器對(duì)真實(shí)紅外行人圖像的判別結(jié)果；D?-(X?)表示判別器對(duì)真實(shí)可見光行人圖像的判別結(jié)果；GG?1表示生成器將可見光行人圖像作為輸入進(jìn)而獲得新的紅外行人圖像；Gr?c表示生成器將紅外行人圖像作為輸入進(jìn)而獲得新的可見光行人圖像；D?.[GG?(X?)]表示判別器對(duì)生成紅外行人圖像的判別結(jié)果；D?+[G??G(X?)]表示判別器對(duì)生成可見光行人圖像的判別結(jié)果；生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)使用如下?lián)p失函數(shù)來(lái)訓(xùn)練：Lrecons=1|X-Gr2G(Xe)II?+1|X?-GLeyc=1IX-Gr?[G?1(X?)]II?+1IX?-Gc?r[G其中，Lrecons是定義可見光行人圖像或紅外行人圖像與生成的可見光行人圖像Gr?G(Xc)或紅外行人圖像G?1(X)之間的重構(gòu)損失函數(shù)；L.yc是定義可見光行人圖像或紅外行人圖像與生成的可見光行人圖像G?6[GG??(Xe)]或Gc?[G?G(X)]之間的循環(huán)一致?lián)p失函數(shù)；L和L分別表示可見光行人圖像和紅外行人圖像的身份損失函數(shù)，的身份損失之和；L和L分別使用交叉熵?fù)p失函數(shù)作為可見光行人圖像和紅外行人圖像的身份損失函數(shù)，其中，Y&和Yx1分別是可見光行人圖像和紅外行人圖像的預(yù)測(cè)得分，y是真實(shí)的行人身份標(biāo)簽；Ⅱ·II?表示L1范數(shù)；基于風(fēng)格轉(zhuǎn)換的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的目標(biāo)函數(shù)L?為：46.根據(jù)權(quán)利要求5所述基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人生成的跨模態(tài)的配對(duì)行人圖像為(X,X?.)和(X?,Xg),其中，(Xy,X?.)表示可見光行人圖7.根據(jù)權(quán)利要求1所述基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人8.根據(jù)權(quán)利要求7所述基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人連接層得到行人特征F和F,其中p1=1,...,P1;5其中，表示分塊后的可見光行人圖像和生成紅外行人圖像的融合特征，表示分塊后的紅外行人圖像和生成可見光行人圖像的融合特征；Part(·)表示分塊策略，GAP(·)表示全局平均池化操作，F(xiàn)C(·)表示全連接層；,Ss3和SS3分別表示預(yù)測(cè)的行人身份得分；Pia和P分別表示預(yù)測(cè)的行人身份得分和行人真實(shí)身份；M表示M張可見光行人圖像，其對(duì)應(yīng)特征為Fvisible,N表示N張紅外行人圖像，其對(duì)應(yīng)特征L表示行人身份損失函數(shù)；Lh表示度量損失函數(shù)；L?表示聯(lián)合約束策略訓(xùn)練行人重識(shí)別網(wǎng)絡(luò)。9.根據(jù)權(quán)利要求1所述基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，其特征在于，采用公開的數(shù)據(jù)集對(duì)訓(xùn)練好的跨模態(tài)行人重識(shí)別網(wǎng)絡(luò)進(jìn)行測(cè)試并得到相應(yīng)結(jié)果。6一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法技術(shù)領(lǐng)域[0001]本發(fā)明屬于圖像處理、模式識(shí)別技術(shù)領(lǐng)域，特別涉及一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法。背景技術(shù)[0002]行人重識(shí)別技術(shù)能夠在不同相機(jī)的視野下找到相同身份的目標(biāo)行人。隨著智慧城市、安全城市的建立，視頻監(jiān)控廣泛普及，行人重識(shí)別技術(shù)廣泛應(yīng)用于智能視頻監(jiān)控、安保、刑偵等領(lǐng)域，是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)熱門的研究課題。現(xiàn)有的行人重識(shí)別技術(shù)主要集中在可見光下的行人重識(shí)別，但可見光相機(jī)在黑暗情況下無(wú)法捕獲有效的行人信息，因此許多新型攝像頭在夜間會(huì)自動(dòng)轉(zhuǎn)換為紅外攝像頭從而捕獲有效的行人信息。在這種情況下，跨模態(tài)行人重識(shí)別技術(shù)被提出，旨在通過匹配不同相機(jī)下的可見光圖像和紅外圖像尋找同一身份的行人，實(shí)現(xiàn)跨模態(tài)行人重識(shí)別。[0003]跨模態(tài)行人重識(shí)別不僅受到光照變化、行人姿態(tài)變化、拍攝視角變化和外界遮擋等因素的影響，導(dǎo)致同一行人在不同鏡頭下存在較大的外觀差異。此外，由于成像原理的不同，可見光圖像和紅外圖像存在嚴(yán)重的模態(tài)差異。因此，消除模態(tài)差異是跨模態(tài)行人重識(shí)別面臨的重要挑戰(zhàn)。[0004]現(xiàn)有消除模態(tài)差異的方法主要是基于共享模態(tài)特征學(xué)習(xí)的方法。即使用共享網(wǎng)絡(luò)提取可見光圖像和紅外圖像的模態(tài)無(wú)關(guān)特征來(lái)進(jìn)行跨模態(tài)行人匹配。然而，特定模態(tài)信息對(duì)于行人重識(shí)別有重要的價(jià)值，僅僅使用模態(tài)無(wú)關(guān)特征卻忽略了特定模態(tài)信息，這會(huì)限制行人特征的表征能力從而阻礙跨模態(tài)行人重識(shí)別的性能。發(fā)明內(nèi)容[0005]為了克服上述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，以解決跨模態(tài)行人重識(shí)別精度不高的問題。[0006]為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：[0007]一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，包括：[0008]收集可見光行人圖像作為可見光域訓(xùn)練圖像，收集紅外行人圖像作為紅外域訓(xùn)練圖像；[0009]利用生成對(duì)抗網(wǎng)絡(luò)將可見光域和紅外域的行人圖像進(jìn)行風(fēng)格轉(zhuǎn)換，生成跨模態(tài)的配對(duì)行人圖像；[0010]獲取配對(duì)行人圖像間的融合特征作為行人圖像的表示特征用于行人重識(shí)別。[0011]在一個(gè)實(shí)施例中，所述風(fēng)格轉(zhuǎn)換通過基于風(fēng)格轉(zhuǎn)換的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)實(shí)現(xiàn)，包括：[0012]可見光域的行人圖像輸入生成網(wǎng)絡(luò)，輸出其對(duì)應(yīng)的紅外域的行人圖像；[0013]紅外域的行人圖像輸入生成網(wǎng)絡(luò)，輸出其對(duì)應(yīng)的可見光域的行人圖像。[0014]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：7[0015]本分明提供了一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，采用多模態(tài)圖像風(fēng)格轉(zhuǎn)換的生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)可見光圖像和紅外圖像的風(fēng)格轉(zhuǎn)換，從而生成高質(zhì)量的圖像；構(gòu)建基于注意力機(jī)制的配對(duì)圖像特征融合方法可以使得網(wǎng)絡(luò)關(guān)注到不同模態(tài)配對(duì)圖像間的互補(bǔ)信息和冗余信息用于改善行人重識(shí)別的性能；構(gòu)建聯(lián)合約束策略可以獲得更加魯棒且具有判別力的融合特征，進(jìn)一步提高跨模態(tài)行人重識(shí)別的精度。附圖說明[0016]為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其它的[0017]圖1為本發(fā)明公開的一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法的流程[0018]圖2為本發(fā)明提出的一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法的算法網(wǎng)絡(luò)框圖，其中，上半部分虛線框內(nèi)為風(fēng)格轉(zhuǎn)換子網(wǎng)絡(luò)，下半部分虛線框內(nèi)為行人重識(shí)別子[0019]圖3為本發(fā)明提出的配對(duì)圖像特征融合框架示意圖；[0020]圖4為本發(fā)明提出的聯(lián)合約束策略框架示意圖。具體實(shí)施方式[0021]下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。[0022]本發(fā)明的說明書實(shí)施例和權(quán)利要求書及附圖中的術(shù)語(yǔ)“包括”和“具有”以及他們[0023]下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。[0024]本發(fā)明為一種基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法，利用生成對(duì)抗網(wǎng)絡(luò)將兩種域下的行人圖像進(jìn)行風(fēng)格轉(zhuǎn)換，生成跨模態(tài)的配對(duì)行人圖像，并且利用配對(duì)圖像間的融合特征提升跨模態(tài)行人重識(shí)別的性能；并基于注意力機(jī)制的配對(duì)圖像融合方法和聯(lián)合約束策略，增強(qiáng)融合特征的判別力，進(jìn)一步提升跨模態(tài)行人重識(shí)別性能。[0026](1)對(duì)跨模態(tài)行人重識(shí)別數(shù)據(jù)集進(jìn)行收集和預(yù)處理，得到訓(xùn)練樣本，其中，可見光行人圖像作為可見光域訓(xùn)練圖像，紅外行人圖像作為紅外域訓(xùn)練圖像；[0027]本實(shí)施例中，對(duì)可見光和紅外圖片做相同的預(yù)處理操作：將輸入圖像每邊添加寬度為1,值為0的像素點(diǎn)，使用隨機(jī)裁剪的方式得到相同的圖片尺寸，并且隨機(jī)水平翻轉(zhuǎn)圖片。在本實(shí)施例中，1的取值為10,得到圖片尺寸為288*14[0028]為了消除顏色信息的影響，可以對(duì)可見光行人圖像做灰度化處理。[0029](2)構(gòu)建基于風(fēng)格轉(zhuǎn)換的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，該模型利用生成對(duì)抗思想，可以實(shí)8現(xiàn)可見光域的行人圖像和紅外域的行人圖像之間的風(fēng)格轉(zhuǎn)換，以生成跨模態(tài)的配對(duì)行人圖[0030]本發(fā)明的風(fēng)格轉(zhuǎn)換是指：[0031]可見光域的行人圖像輸入生成網(wǎng)絡(luò)，輸出其對(duì)應(yīng)的紅外域的行人圖像；[0032]紅外域的行人圖像輸入生成網(wǎng)絡(luò)，輸出其對(duì)應(yīng)的可見光域的行人圖像。[0033]也即，原始圖像為可見光行人圖像時(shí)，紅外行人圖像為生成圖像；原始圖像為紅外行人圖像時(shí)，可見光行人圖像為生成圖像。[0034]本實(shí)施例中，如圖2的上半部分所示，生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)包括一個(gè)可見光到紅外的風(fēng)格轉(zhuǎn)換分支B。?和一個(gè)紅外到可見光的風(fēng)格轉(zhuǎn)換分支B?6,每一個(gè)分支包括一個(gè)生成器和判別器，滿足：[0035]LB??=|logD?[0038]其中，X?為可見光行人圖像，X?為紅外行人圖像；[0039]LBa?表示紅外行人圖像與生成紅外行人圖像之間的對(duì)抗損失函數(shù)；[0040]LB??表示可見光行人圖像與生成可見光行人圖像之間的對(duì)抗損失函數(shù)；[0041]D*(X)表示判別器對(duì)真實(shí)紅外行人圖像的判別結(jié)果；[0042]D.+(X)表示判別器對(duì)真實(shí)可見光行人圖像的判別結(jié)果；[0043]Gc?1表示生成器將可見光行人圖像作為輸入進(jìn)而獲得新的紅外行人圖像；[0044]GT?G表示生成器將紅外行人圖像作為輸入進(jìn)而獲得新的可見光行人圖像；[0045]D?.[Gc?r(X。)]表示判別器對(duì)生成紅外行人圖像的判別結(jié)果；[0046]Dc.[Gr?G(X)]表示判別器對(duì)生成可見光行人圖像的判別結(jié)果；[0047]的對(duì)抗損失之和；[0048]生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)使用如下?lián)p失函數(shù)來(lái)訓(xùn)練：[0050]Lye=1X?-G?2G[G?(X)]II?+|IX?-Gc?T[G?G(X)]II?[0052]其中，Lrecons是定義可見光行人圖像或紅外行人圖像與生成的可見光行人圖像G12G(X)或紅外行人圖像Gc?r(X)之間的重構(gòu)損失函數(shù)；[0053]Le是定義可見光行人圖像或紅外行人圖像與生成的可見光行人圖像GI?G[G2I(Xg)]或GG?r[G2G(X)]之間的循環(huán)一致?lián)p失函數(shù)；[0054]L和L分別表示可見光行人圖像和紅外行人圖像的身份損失函數(shù)，和L的身份損失之和；[0055]L和L分別使用交叉熵?fù)p失函數(shù)作為可見光行人圖像和紅外行人圖像的身份損失函數(shù)，其中，分別是可見光行人圖像和紅外行人圖像的預(yù)測(cè)得分，y是真實(shí)的9行人身份標(biāo)簽；基于風(fēng)格轉(zhuǎn)換的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的目標(biāo)函數(shù)為：L?=LIp+^?Lrecons+λ?Lc其中，L?表示基于風(fēng)格轉(zhuǎn)換的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的目標(biāo)函數(shù)；(3)構(gòu)建基于注意力機(jī)制的配對(duì)圖像特征融合方法，獲取配對(duì)行人圖像間的融合特征，也即原始圖像特征和生成圖像特征的融合特征，作為行人圖像的表示特征用于行人重識(shí)別[0062]本實(shí)施例中，如圖3所示，基于注意力機(jī)制的配對(duì)圖像特征融合方法包括如下步[0063](31)使用四個(gè)獨(dú)立ResNet50提取到四種不同類型的特征Fv、FI*、F?和FG可見光行人圖像特征、生成紅外行人圖像特征、紅外行人圖像特征和生成可見光行人圖像特征，本實(shí)施例僅使用ResNet50的前四個(gè)[0064](32)使用可見光行人圖像的模態(tài)補(bǔ)償為例，即，當(dāng)原始圖像為可見光行人圖像時(shí)，F(xiàn)、和F首先經(jīng)過兩個(gè)通道注意力模塊；[0065]EF=CAM([0067](33)對(duì)上述得到的EF、和EF1*分別經(jīng)過兩個(gè)卷積塊后接著經(jīng)過兩個(gè)通道注意力模[0068]CF=ConvB(EFv,θ?),CF1=ConvB(EF[0069]Fs=CAM(CF),Fs*=CAM(CF1)[0070](34)對(duì)Fsv和Fs?*求平均操作得到最終的行人圖像融合特征；[0071]FV*=Mean(Fs,FsI*)=(Fs+FS?*)/2表示增強(qiáng)后的可見光行人圖像特征和生成紅外行人圖像特征；全局平均池化和全局最大池化；[0074]CF、和CF表示卷積后的可見光行人圖像特征和生成紅外行人圖像特征；[0075]Fsv和Fs?*表示最終增強(qiáng)的可見光行人圖像特征和生成紅外行人圖像特征；[0076]Fv.表示可見光行人圖像和生成紅外行人圖像的融合特征；[0077]當(dāng)原始圖像為可見光行人圖像時(shí)，將F和F替換為F?和Fc,執(zhí)行步驟(32)～(34),得到最終增強(qiáng)的紅外行人圖像特征Fs?和生成可見光行人圖像特征Fsc以及紅外行人圖像和生成可見光行人圖像的行人融合特征F1G*。[0078](4)構(gòu)建聯(lián)合約束策略，使用損失函數(shù)聯(lián)合約束原始圖像特征、生成圖像特征和配對(duì)行人圖像間的融合特征，進(jìn)一步提高融合特征的魯棒性和判別力，得到訓(xùn)練好的基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別網(wǎng)絡(luò)；[0080](51)如圖2下半部分和圖4所示，通過跨模態(tài)行人重識(shí)別網(wǎng)絡(luò)，最終得到六種不同匹配的結(jié)果。[0097]其中，F(xiàn)…表示分塊后的可見光行人圖像和生成紅外行人圖像的融合特征，表示分塊后的紅外行人圖像和生成可見光行人圖像的融合特征；11[0102]Cvisible和Cinfrarea分別表示可見光行人圖像和紅外行人圖像的特征分布中心；[0103]Fvisib?e,m和Finfrared,n分別表示第張可見圖像的特征和第n張紅外行人圖像的特[0104]Ⅱ·Il?表示L2范數(shù)；[0105]Lia表示行人身份損失函數(shù)；[0106]Lne表示度量損失函數(shù)；[0108]L?表示聯(lián)合約束策略訓(xùn)練行人重識(shí)別網(wǎng)絡(luò)；[0109](5)驗(yàn)證提出的基于特定模態(tài)特征補(bǔ)償?shù)目缒B(tài)行人重識(shí)別方法的有效性，采用公開的數(shù)據(jù)集對(duì)訓(xùn)練好的跨模態(tài)行人重識(shí)別網(wǎng)絡(luò)進(jìn)行測(cè)試并得到相應(yīng)結(jié)果。[0110]本實(shí)施例中，為了驗(yàn)證提出的行人重識(shí)別方法的有效性，采用在公開數(shù)據(jù)集SYSU-[0111]以下結(jié)合仿真實(shí)驗(yàn)，對(duì)本發(fā)明的技術(shù)效果作進(jìn)一步說明：NvidiaGeForceGTX2080Ti,采用PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)；[0113]2、仿真內(nèi)容及結(jié)果分析：個(gè)跨模態(tài)行人重識(shí)別數(shù)據(jù)集SYSU-MM01和RegDB上進(jìn)行實(shí)驗(yàn)得到的結(jié)果，采用公認(rèn)的評(píng)價(jià)指標(biāo)進(jìn)行客觀評(píng)價(jià)，評(píng)價(jià)仿真結(jié)果如表1和表2所示：[0115]表1在SYSU-MM01數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果---------------表2在RegDB數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果------------------------表3在SYSU-MMO1數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果[0122]其中：[0123]Rank-1,Rank-10,Rank-20和mAP分別表示Top-1行人圖像識(shí)別準(zhǔn)確率