(12)發(fā)明專利(10)授權公告號CN113822221B(21)申請?zhí)?02111177982.8(22)申請日2021.10.09(65)同一申請的已公布的文獻號申請公布號CN113822221A(43)申請公布日2021.12.21(73)專利權人南京天航智能裝備研究院有限公司10號趙萬忠王春燕周冠(74)專利代理機構北京華沛德權律師事務所(56)對比文件專利代理師馬苗苗(54)發(fā)明名稱一種基于對抗神經網絡和多傳感器融合的目標檢測方法(57)摘要本發(fā)明公開了一種基于對抗神經網絡和多傳感器融合的目標檢測方法，屬于無人駕駛技術的目標檢測與環(huán)境感知領域。為了解決現有技術中無法對夜間障礙物準確檢測的問題，本發(fā)明方法采用毫米波雷達和視覺傳感器進行融合檢測，采用對抗神經網絡對網絡進行訓練。對毫米波雷達數據的處理主要包括數據聚類和有效目標初篩選。將預處理后的毫米波雷達數據與對抗網絡輸出的日間圖像進行時間和空間坐標系的統(tǒng)一，將毫米波預處理數據和對抗神經網絡輸出的日間圖像減去配準后的同場景預采樣數據，得到兩者最終處理數據。然后將兩者數據進行融合，得明21.一種基于對抗神經網絡和多傳感器融合的檢測方法，其特征在于，所述方法步驟如步驟1、采樣不同路段光照度良好無障礙物道路圖像作為預采樣數據庫；步驟2、毫米波雷達和視覺傳感器夜間行駛數據采樣；步驟3、利用已建立的數據庫訓練對抗神經網絡與目標檢測網絡，將夜間視覺傳感器采樣的夜間圖像作為對抗神經網絡的輸入，并輸出同一場景下的日間圖像，目標檢測網絡對日間圖像中障礙物進行識別和分類；步驟4、對毫米波雷達采樣數據進行聚類處理；步驟5、將對抗神經網絡的輸出日間圖像與當前道路段的預采樣數據庫進行比對，篩選步驟6、將毫米波雷達數據與日間圖像進行時空統(tǒng)一，將時空統(tǒng)一后的毫米波雷達數據以及日間圖像與配準后的預采樣數據做差，然后分別對作差后的毫米波雷達數據以及作差后的日間圖像進行檢測；步驟7、將步驟6中檢測到的作差后的毫米波雷達數據以及作差后的日間圖像進行目標匹配和數據融合，輸出最終夜間障礙物檢測結果。2.根據權利要求1所述的一種基于對抗神經網絡和多傳感器融合的檢測方法，其特征步驟21:采集無人駕駛汽車在夜間行駛過程中的毫米波雷達點云數據，包括點云分布及點云與自身距離；步驟22:采集無人駕駛汽車在夜間行駛過程中的RGB圖像數據。3.根據權利要求1所述的一種基于對抗神經網絡和多傳感器融合的檢測方法，其特征步驟31:訓練對抗神經網絡，需要相同場景下的日間和夜間數據庫，然而采集同一場景下的日間和夜間圖像基本不可能實現，因此首先利用車載攝像機直接采集日間圖像，建立日間數據集A,然后通過對數據集A中圖片進行對比度和亮度的調節(jié)得到夜間同場景數據集B,在訓練對抗神經網絡模型的過程中使用日間數據集A作為鑒別器的真實樣本輸入，匹配它的夜間數據集作為生成器的輸入，網絡通過小批量隨機梯度下降，并設置學習率為0.0002來完成訓練，其中預先設置小批量為128,采用均值為零、標準差為0.02的正態(tài)分布作為各層權重參數的初始化方法；步驟32:目標檢測網絡采用YOLOV3網絡，由于YOLOv3網絡所需要的數據庫是需要進行標注的，因此需要建立目標檢測數據集C,并對其進行標注，數據集中圖片采用車輛攝像機拍攝圖像和網絡尋找的一些優(yōu)質圖像以擴充數據庫內容，然后利用VOC制作數據集，并通過數據集對網絡進行訓練。4.根據權利要求1所述的一種基于對抗神經網絡和多傳感器融合的檢測方法，其特征步驟61:時空統(tǒng)一包括空間同步和時間同步，其中空間同步為將毫米波雷達采集的點云數據從雷達坐標系轉移變換至像素坐標系中；時間同步為利用脈沖發(fā)生器，根據毫米波雷達掃描頻率設置觸發(fā)頻率，每次觸發(fā)獲取當前幀的毫米波雷達和相機數據，若圖像在此刻無數據，則利用前后時刻數據進行插值計算；3步驟62:根據步驟61得到時空統(tǒng)一后的毫米波雷達數據和視覺數據，然后將步驟5得到的配準后的預采樣數據作為背景數據，分別將毫米波雷達數據和視覺數據與預采樣數據做差，并利用已訓練好yolov3神經網絡對兩者進行檢測。5.根據權利要求1所述的一種基于對抗神經網絡和多傳感器融合的檢測方法，其特征在于，所述步驟1中提到的預采樣數據庫為在天氣條件良好的情況下，通過車輛在道路行駛級公路的車速分別為100km/h、80km/h、70km/h、60km/h、40km/路數據后，通過人工的方式去掉圖像中障礙物信息，僅保留道路背景信息，所述障礙物為車輛和行人。6.根據權利要求1所述的一種基于對抗神經網絡和多傳感器融合的檢測方法，其特征在于，所述步驟4中提到的毫米波雷達聚類策略具體步驟如下所示：步驟41.選取一幀雷達掃描數據中的任意一點作為聚類中心的初始值；步驟42.計算同一幀雷達掃描數據中某個數據點Pi+1(Ri+1,θi+1)和聚類中心Pi(Ri,θi)之間的曼哈頓距離△Ri以及速度偏差△Vi:△Ri=|Ri+1-Ri|,△Vi=|Vi+1-Vi|;步驟43.將兩點之間的距離△Ri、速度偏差△Vi分別與設定的閾值Rth、Vth進行比較，小于閾值則可確定這兩點屬于同一聚類簇，否則判定這兩點屬于不同的聚類簇，并以Pi+1(Ri+1,θi+1)為聚類中心，建立新的聚類；步驟44.若已經有多個聚類中心，需要依次計算Pi+1(Ri+1,θi+1)和每個聚類中心的距離以及速度偏差△R、△V,若該點和所有聚類中心的距離和速度偏差都滿足△R>Rth,△V>Vth,則以該點為聚類中心，建立新的聚類；否則認為該點和最鄰近的聚類中心屬于同一聚步驟45.重復以上步驟，直到將同一幀的雷達數據點均處理完成。7.根據權利要求1所述的一種基于對抗神經網絡和多傳感器融合的檢測方法，其特征在于，所述步驟5中提到的圖像配準包括三個步驟，關鍵點檢測和特征變換。8.根據權利要求1所述的一種基于對抗神經網絡和多傳感器融合的檢測方法，其特征在于，所述步驟7中提到的目標匹配包括計算目標相似度、不同傳感器目標匹配、同傳感器與歷史目標匹配；所述步驟7中提到的數據融合是基于權系數的線性組合方法，由于毫米波雷達和相機對于目標的觀測是相對獨立的，所以分別選取不同傳感器的協(xié)方差矩陣對目標參數進行加其中，X1表示經過狀態(tài)估計得到的第i個毫米波雷達目標的相關參數，P1表示相應的雷達協(xié)方差矩陣；X3表示經過狀態(tài)估計得到的第j個相機目標的相關參數，P表示相應的相機協(xié)方差矩陣；Xi表示經過融合處理得到的目標參數。4技術領域[0001]本發(fā)明屬于無人駕駛技術的目標檢測與環(huán)境感知領域，具體指代一種夜間工況下的傳感器融合目標檢測方法。背景技術[0002]隨著人們對于生活質量的不斷追求和技術的不斷革新，無人駕駛技術已經得到迅速的發(fā)展，作為無人駕駛技術中的關鍵技術，目標檢測的準確度極大的決定著無人駕駛的安全性。目前目標檢測技術主要采用的傳感器主要為三種，分別為激光雷達、毫米波雷達和攝像頭。其中由于攝像頭價格相對較低，基于攝像頭的圖像識別技術發(fā)展飛速，其原理主要為預先對模型進行訓練，并設定目標種類，然后將攝像頭采集的畫面進行特征提取和分析，快速的對畫面中的目標進行分類和檢測。然而圖像數據仍然存在著一些致命的問題，比如在光照條件差或曝光嚴重的情況下難以對目標進行檢測和分類。激光雷達則是近年新的發(fā)展趨勢，由于其魯棒性強，數據量大，不受光照影響的特性已經成為了未來的主要發(fā)展趨勢，但是由于其價格相對昂貴、數據量過大，難以實時處理，并且會嚴重受到雨霧天氣的影響，在當前的發(fā)展中仍然具有一定的局限性。毫米波雷達的應用則較為廣泛，早期毫米波雷達主要應用于軍事領域之中，現如今已經廣泛應用與無人車，無人機和智能交通等多個領劣天氣下工作，并且能夠做到全天候工作，但是主要[0003]目前在目標檢測上的研究主要都集中于光照條件良好的情況，然而在無人駕駛的未來發(fā)展趨勢上，必須滿足車輛的全天候檢測任務，因此仍然需要對夜間等光照條件差的情況下的道路車輛進行檢測，目前在夜間目標檢測方面已經有了一些新的研究，例如中國發(fā)明專利號CN111965636A,名稱為“一種基于毫米波雷達和視覺融合的夜間目標檢測方法”,其中采用了毫米波雷達和視覺傳感器，利用毫米波雷達對感興趣區(qū)域進行提取，針對毫米波雷達提取的感興趣區(qū)域，對圖像相對應的區(qū)域進行圖像增亮，然后采用深度學習的方法進行檢測和分類。在此專利里雖然采用了毫米波雷達和視覺傳感器，然而并沒有發(fā)揮兩者在光照條件下檢測的優(yōu)勢，僅僅采用毫米波雷達進行感興趣區(qū)域提取，由于毫米波雷易產生數據的失真從而造成誤檢現象。中國發(fā)明專利號CN106251355B,名稱為“一種融合可見光圖像與對應夜視紅外圖像的檢測方法”,其中在對于夜間圖像的檢測中采用了可見光圖像和夜視紅外圖像。檢測方法為分別對可見光圖像和紅外圖像進行處理，得到顯著性圖像，然后進行融合。然而僅僅采用可見光圖像和夜視圖像無法得到與障礙物目標間的距離參數，在無人駕駛的應用上仍然存在著缺陷。發(fā)明內容[0004]針對于上述現有技術的不足，本發(fā)明的目的在于提供一種基于對抗神經網絡和多傳感器融合的檢測方法，以解決現有技術中無法對夜間障礙物準確檢測的問題；本發(fā)明方5法采用毫米波雷達和視覺傳感器進行融合檢測，同時采樣不同路段良好光照度無障礙物道路圖像作為預采樣數據庫。對夜間視覺傳感器采樣的圖像進行處理的方式為采用對抗神經網絡，對網絡進行訓練后，將夜間圖像進行轉換作為對抗神經網絡的輸入，并輸出同一場景下的日間圖像。對毫米波雷達數據的處理則包括數據聚類和有效目標初篩選。得到視覺傳感器和毫米波雷達傳感器預處理數據后，將對抗神經網絡的輸出日間圖片與當前道路段的預采樣數據庫進行比對，篩選出相同場景視圖，并進行圖像配準。然后將預處理后的毫米波雷達數據與對抗網絡輸出的日間圖像進行時間和空間坐標系的統(tǒng)一，將毫米波預處理數據和對抗神經網絡輸出的日間圖像減去配準后的同場景預采樣數據，得到兩者最終處理數據。然后將兩者數據進行融合，得到最終的夜間障礙物檢測結果。[0005]為達到上述目的，本發(fā)明采用的技術方案如下：[0006]本發(fā)明基于對抗神經網絡和多傳感器融合的夜間目標檢測方法，步驟如下：[0007]步驟1):建立光照條件良好情況下的無障礙物道路預采樣數據庫；[0008]步驟2):毫米波雷達和視覺傳感器夜間行駛數據采樣；[0010]步驟21):采集無人駕駛汽車在夜間行駛過程中的毫米波雷達點云數據，包括點云分布及點云與自身距離。[0011]步驟22):采集無人駕駛汽車在夜間行駛過程中的RGB圖像數據。[0012]步驟3):利用已建立的數據庫訓練對抗神經網絡與目標檢測網絡，使對抗神經網絡能夠在輸入夜間圖像后，生成輸出同場景日間圖像。使目標檢測網絡能夠對圖像中障礙物進行識別和分類。[0014]步驟31):訓練對抗神經網絡，需要相同場景下的日間和夜間數據庫，然而采集同一場景下的日間和夜間圖像基本不可能實現。因此首先利用車載攝像機直接采集日間圖像，建立日間數據集A,然后通過對數據集A中圖片進行對比度和亮度的調節(jié)得到夜間同場景數據集B。在訓練對抗神經網絡模型的過程中使用日間數據集A作為鑒別器的真實樣本輸入，匹配它的夜間數據集作為生成器的輸入。網絡通過小批量隨機梯度下降(SGD),并設置學習率為0.0002來完成訓練，其中預先設置小批量為128.采用均值為零、標準差為0.02的正態(tài)分布作為各層權重參數的初始化方法。進行標注的，因此需要建立目標檢測數據集C,并對其進行標注。數據集中圖片采用車輛攝像機拍攝圖像和網絡尋找的一些優(yōu)質圖像以擴充數據庫內容。然后利用VOC制作數據集，并通過數據集對網絡進行訓練。[0016]步驟4):對毫米波雷達采樣數據進行聚類處理。[0017]步驟5):將生成的日間圖像與預采樣數據庫進行比對，篩選出同場景預采樣數據，并進行圖像配準；[0018]步驟6):將毫米波雷達數據與視覺數據進行時空統(tǒng)一，將兩者數據與配準后的預采樣數據做差，然后分別對兩者做差后數據進行檢測。[0020]步驟61):時空統(tǒng)一包括空間同步和時間同步，其中空間同步為將毫米波雷達采集6的點云數據從雷達坐標系轉移變換至像素坐標系中；時間同步為利用脈沖發(fā)生器，根據毫[0021]米波雷達掃描頻率設置觸發(fā)頻率，每次觸發(fā)獲取當前幀的毫米波雷達和相機數據，若圖像在此刻無數據，則利用前后時刻數據進行插值計算。[0022]步驟62):根據步驟61)得到時空統(tǒng)一后的毫米波雷達數據和視覺數據，然后將步驟5)得到的配準后的預采樣數據作為背景數據，分別將毫米波雷達數據和視覺數據與預采樣數據做差，并利用已訓練好yolov3神經網絡對兩者進行檢測。[0023]步驟7):將兩者檢測數據進行目標匹配和數據融合，輸出最終夜間障礙物檢測結[0024]進一步地，所述步驟1)中提到的預采樣數據庫為在天氣條件良好的情況下，通過車輛在道路行駛過程中車載相機拍攝的道路圖片。車輛速度在高速公路、一級公路、為30FPS.采樣道路數據后，通過人工的方式去掉圖像中障礙物信息，僅保留道路背景信息，所述障礙物為車和行人。[0025]進一步地，所述步驟4)中提到的毫米波雷達聚類策略具體步驟如下所示：[0026]步驟41):選取一幀雷達掃描數據中的任意一點作為聚類中心的初始值；[0027]步驟42):計算同一幀雷達掃描數據中某個數據點P:+1(R:+1,0:+1)和聚類中心P(R,θ)之間的曼哈頓距離△R以及速度偏差△V:△R=|Ri+1-R?|,△V=|V;+1-V;|。[0028]步驟43):將兩點之間的距離△R、速度偏差△V分別與設定的閾值Rth、Vt進行比較，小于閾值則可確定這兩點屬于同一聚類簇，否則判定這兩點屬于不同的聚類簇，并以[0029]步驟44):若已經有多個聚類中心，需要依次計算Pi+1(Ri+1,0;+1)和每個聚類中心的距離以及速度偏差△R、△V,若該點和所有聚類中心的距離和速度偏差都滿足△R>Rth,△V>Vth,則以該點為聚類中心，建立新的聚類；否則認為該點和最鄰近的聚類中心屬于同一聚類[0030]步驟45)重復以上步驟，直到將同一幀的雷達數據點均處理完成。[0031]進一步地，所述步驟5)中提到的圖像配準包括三個步驟，關鍵點檢測和特征描述，[0032]進一步地，所述步驟6)中提到的視覺數據為車載攝像機拍攝的夜間圖像，并通過對抗神經網絡生成器生成的日間視圖。[0033]進一步地，所述步驟7)中提到的目標匹配和包括計算目標相似度、不同傳感器目[0034]進一步地，所述步驟7)中提到的數據融合是基于權系數的線性組合方法，由于毫米波雷達和相機對于目標的觀測是相對獨立的，所以分別選取不同傳感器的協(xié)方差矩陣對目標參數進行加權處理，計算方法如下：[0035]xi=P(P1+Pi)-1x1+P(P[0037]其中，X表示經過狀態(tài)估計得到的第i個毫米波雷達目標的相關參數，P1表示相應的雷達協(xié)方差矩陣；X表示經過狀態(tài)估計得到的第j個相機目標的相關參數，P3表示相應的相機協(xié)方差矩陣；Xi表示經過融合處理得到的目標參數。7[0039]本發(fā)明針對夜間障礙物難以檢測的問題，采用毫米波雷達和視覺傳感器進行融合檢測，同時考慮到視覺傳感器在夜間檢測障礙物魯棒性差的問題，本文采用對抗神經網絡，并且對網絡進行訓練，使其能夠在輸入夜間數據時，通過生成器生成相對應的日間圖像，然后與毫米波雷達數據融合檢測，極大的提高了檢測魯棒性。附圖說明[0040]圖1為基于對抗神經網絡的多傳感器融合檢測流程圖；[0041]圖2為對抗神經網絡原理圖。具體實施方式[0042]下面結合附圖對本發(fā)明的技術方案做進一步的詳細說明：[0044]本發(fā)明方法采用毫米波雷達和視覺傳感器進行融合檢測，同時采樣不同路段良好光照度無障礙物道路圖像作為預采樣數據庫。對夜間視覺傳感器采樣的圖像進行處理的方式為采用對抗神經網絡，對網絡進行訓練后，將夜間圖像進行轉換作為對抗神經網絡的輸入，并輸出同一場景下的日間圖像。對毫米波雷達數據的處理則包括數據聚類和有效目標初篩選。得到視覺傳感器和毫米波雷達傳感器預處理數據后，將對抗神經網絡的輸出日間圖片與當前道路段的預采樣數據庫進行比對，篩選出相同場景視圖，并進行圖像配準。然后將預處理后的毫米波雷達數據與對抗網絡輸出的日間圖像進行時間和空間坐標系的統(tǒng)一，將毫米波預處理數據和對抗神經網絡輸出的日間圖像減去配準后的同場景預采樣數據，得到兩者最終處理數據。然后將兩者數據進行融合，得到最終的夜間障礙物檢測結果。[0045]為達到上述目的，本發(fā)明采用的技術方案如下：[0046]本發(fā)明基于對抗神經網絡和多傳感器融合的夜間目標檢測方法，步驟如下：[0047]步驟1):建立光照條件良好情況下的無障礙物道路預采樣數據庫；[0048]步驟2):毫米波雷達和視覺傳感器夜間行駛數據采樣；[0050]步驟21):采集無人駕駛汽車在夜間行駛過程中的毫米波雷達點云數據，包括點云分布及點云與自身距離。[0051]步驟22):采集無人駕駛汽車在夜間行駛過程中的RGB圖像數據。[0052]步驟3):利用已建立的數據庫訓練對抗神經網絡與目標檢測網絡，使對抗神經網絡能夠在輸入夜間圖像后，生成輸出同場景日間圖像。使目標檢測網絡能夠對圖像中障礙物進行識別和分類。[0054]步驟31):訓練對抗神經網絡，需要相同場景下的日間和夜間數據庫，然而采集同一場景下的日間和夜間圖像基本不可能實現。因此首先利用車載攝像機直接采集日間圖像，建立日間數據集A,然后通過對數據集A中圖片進行對比度和亮度的調節(jié)得到夜間同場景數據集B。在訓練對抗神經網絡模型的過程中使用日間數據集A作為鑒別器的真實樣本輸入，匹配它的夜間數據集作為生成器的輸入。網絡通過小批量隨機梯度下降(SGD),并設置8學習率為0.0002來完成訓練，其中預先設置小批量為128.采用均值為零、標準差為0.02的正態(tài)分布作為各層權重參數的初始化方法。進行標注的，因此需要建立目標檢測數據集C,并對其進行標注。數據集中圖片采用車輛攝像機拍攝圖像和網絡尋找的一些優(yōu)質圖像以擴充數據庫內容。然后利用VOC制作數據集，并通過數據集對網絡進行訓練。[0056]步驟4):對毫米波雷達采樣數據進行聚類處理。[0057]步驟5):將生成的日間圖像與預采樣數據庫進行比對，篩選出同場景預采樣數據，并進行圖像配準；[0058]步驟6):將毫米波雷達數據與視覺數據進行時空統(tǒng)一，將兩者數據與配準后的預采樣數據做差，然后分別對兩者做差后數據進行檢測。[0060]步驟61):時空統(tǒng)一包括空間同步和時間同步，其中空間同步為將毫米波雷達采集的點云數據從雷達坐標系轉移變換至像素坐標系中；時間同步為利用脈沖發(fā)生器，根據毫米波雷達掃描頻率設置觸發(fā)頻率，每次觸發(fā)獲取當前幀的毫米波雷達和相機數據，若圖像在此刻無數據，則利用前后時刻數據進行插值計算。[0061]步驟62):根據步驟61)得到時空統(tǒng)一后的毫米波雷達數據和視覺數據，然后將步驟5)得到的配準后的預采樣數據作為背景數據，分別將毫米波雷達數據和視覺數據與預采樣數據做差，并利用已訓練好yolov3神經網絡對兩者進行檢測。[0062]步驟7):將兩者檢測數據進行目標匹配和數據融合，輸出最終夜間障礙物檢測結[0063]進一步地，所述步驟1)中提到的預采樣數據庫為在天氣條件良好的情況下，通過車輛在道路行駛過程中車載相機拍攝的道路圖片。車輛速度在高速公路、一級公路、二級公為30FPS.采樣道路數據后，通過人工的方式去掉圖像中障礙物信息，僅保留道路背景信息，所述障礙物為車輛和行人。[0064]進一步地，所述步驟4)中提到的毫米波雷達聚類策略具體步驟如下所示：[0065]步驟41):選取一幀雷達掃描數據中的任意一點作為聚類中心的初