CN119399736B 車輛后懸檢測方法、裝置、介質、程序產品 (川開電氣有限公司)_第1頁
CN119399736B 車輛后懸檢測方法、裝置、介質、程序產品 (川開電氣有限公司)_第2頁
CN119399736B 車輛后懸檢測方法、裝置、介質、程序產品 (川開電氣有限公司)_第3頁
CN119399736B 車輛后懸檢測方法、裝置、介質、程序產品 (川開電氣有限公司)_第4頁
CN119399736B 車輛后懸檢測方法、裝置、介質、程序產品 (川開電氣有限公司)_第5頁
已閱讀5頁,還剩31頁未讀 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

(19)國家知識產權局(12)發(fā)明專利區(qū)雙流區(qū)西南航空港經濟開發(fā)區(qū)空港五路1888號專利權人青島特中和智慧科技有限公司GO6V20/58(2022.01)本發(fā)明提出一種車輛后懸檢測方法、裝置、標邊界框的目標邊緣線的任一點作為第一位置目標邊界框所屬的實測車尾部圖像中心線的垂下最小垂直距離對應的實測車尾部圖像的第一步驟3度步驟S42獲取若干實測車尾部圖像;將所述若干實測車尾部圖像輸入至第一深度學習模型中,生成若干車尾部的候選邊界對所有候選邊界框篩選,篩選出滿足預設篩選條件的目標邊界框,其中所述預設篩選條件依據置信度、和/或邊界框的尺寸設定;選擇所述目標邊界框的目標邊緣線的一點作為第一位置點;對于每一所述目標邊界框,記錄所述第一位置點到該目標邊界框所屬的實測車尾部圖像中心線的垂直距離,其中:定義車輛寬度方向為第一坐標軸、車輛長度方向為第二坐標軸,所述第一坐標軸與所述第二坐標軸垂直,所述目標邊緣線沿第一坐標軸方向延伸且靠近車尾部,所述實測車尾部圖像中心線與所述第二坐標軸呈夾角;選取最小垂直距離對應的實測車尾部圖像輸入至第二深度學習模型中,識別出后車輪與地面的接觸點作為第二位置點,其中所述第二深度學習模型以后車輪與地面的接觸點作為模型訓練時的關鍵特征點;依據相機坐標系下所述最小垂直距離對應的實測車尾部圖像的所述第一位置點的坐標、所述第二位置點的坐標,求得世界坐標系下的所述第一位置點的坐標與所述第二位置點的坐標,確定所述第一位置點與所述第二位置點之間的距離;依據所述第一位置點與所述第二位置點之間的距離,以及所述第一位置點與所述第二位置點的連線在所述第一位置點與第一坐標軸的夾角或者在所述第二位置點與第二坐標軸的夾角,計算所述后懸的長度,其中:所述后懸的長度d=Lsinθ,θ為所述第一位置點與所述第二位置點的連線在所述第一位置點與所述第一坐標軸的夾角,L為所述第一位置點與所述第二位置點之間的距離;或者所述后懸的長度d=Lcosθ,θ為所述第一位置點與所述第二位置點的連線在所述第二位置點與所述第二坐標軸的夾角,L為所述第一位置點與所述第二位置點之間的距2.根據權利要求1所述的車輛后懸檢測方法,其特征在于,所述預設篩選條件依據置信在所有候選邊界框中,計算每一候選邊界框的置信度;選取置信度最高的候選邊界框,并檢查該候選邊界框的置信度是否超過所述置信度閾若超過該置信度閾值,則保留該候選邊界框。3.根據權利要求1或2所述的車輛后懸檢測方法,其特征在于,所述預設篩選條件依據根據車輛的平均尺寸和相機的視角,計算每一所述候選邊界框的尺寸;若存在一所述候選邊界框的尺寸小于所述邊界框尺寸閾值,則將該候選邊界框濾除;若存在一所述候選邊界框的尺寸大于等于所述邊界框尺寸閾值,則保留該候選邊界4.根據權利要求1所述的車輛后懸檢測方法,其特征在于,還包含:3收集若干訓練車尾部圖像并構造數據集;對所述數據集中的每一圖像的車尾部邊緣進行邊界框標注,圍繞車尾部邊緣繪制矩形使用標注好的所述數據集來訓練所述第一深度學習模型,在訓練過程中,所述第一深度學習模型學習識別圖像中的車尾部特征,并生成候選邊界框。5.根據權利要求1所述的車輛后懸檢測方法,其特征在于,還包含:收集若干訓練車尾部圖像并構造數據集;對所述數據集中的每一圖像標注出所述后車輪與地面的接觸點;使用標注好的所述數據集來訓練所述第二深度學習模型。6.根據權利要求1所述的車輛后懸檢測方法,其特征在于,將攝像頭安裝在停車車位后方頂部,且相機光軸與地面垂直,以采集所述若干實測車尾部圖像。7.根據權利要求6所述的車輛后懸檢測方法,其特征在于,對所述攝像頭進行標定,獲取相機的內參矩陣和畸變系數;以停車車位任一點為原點,建立世界坐標系,其中x0y平面與地面平行;依據世界坐標系下的任意點與該任意點在像素坐標系下的對應點,以及相機的內參矩陣,求解相機坐標系相對于世界坐標系的旋轉矩陣和平移向量;依據相機坐標系下所述第一位置點的坐標、第二位置點的坐標、相機的內參矩陣、旋轉矩陣和平移向量,求得世界坐標系下的所述第一位置點的坐標與所述第二位置點的坐標。8.根據權利要求1所述的車輛后懸檢測方法,其特征在于,將所述實測車尾部圖像輸入至所述第一深度學習模型或者所述第二深度學習模型之前,預先依據相機的內參矩陣和畸變系數對所述實測車尾部圖像進行校正和去除畸變。9.根據權利要求1所述的車輛后懸檢測方法,其特征在于,其中,所述第一深度學習模型采用yolov5網絡,所述第二深度學習模型采用yolov7-10.一種車輛后懸檢測裝置,其特征在于,采取權利要求1-9任一項所述的車輛后懸檢圖像獲取模塊,用以獲取若干實測車尾部圖像;候選邊界框生成模塊,用以將所述若干實測車尾部圖像輸入至第一深度學習模型中,生成若干車尾部的候選邊界框;目標邊界框篩選模塊,用以對所有候選邊界框篩選,篩選出滿足預設篩選條件的目標邊界框,其中所述預設篩選條件依據置信度、和/或邊界框的尺寸設定;第一位置點標識模塊,用以選擇所述目標邊界框的目標邊緣線的任一點作為第一位置點;對于每一所述目標邊界框,記錄所述第一位置點到該目標邊界框所屬的實測車尾部圖像中心線的垂直距離,其中:定義車輛寬度方向為第一坐標軸、車輛長度方向為第二坐標軸,所述第一坐標軸與所述第二坐標軸垂直,所述目標邊緣線沿第一坐標軸方向延伸且靠近車尾部,所述中心線與所述第二坐標軸呈一夾角;第二位置點標識模塊,用以選取最小垂直距離對應的實測車尾部圖像輸入至第二深度學習模型中,識別出后車輪與地面的接觸點作為第二位置點,其中所述第二深度學習模型4以后車輪與地面的接觸點作為模型訓練時的關鍵特征點;后懸長度計算模塊,用以依據相機坐標系下所述最小垂直距離對應的實測車尾部圖像的所述第一位置點的坐標、所述第二位置點的坐標,求得世界坐標系下的所述第一位置點的坐標與所述第二位置點的坐標,確定所述第一位置點與所述第二位置點之間的距離;依據所述第一位置點與所述第二位置點之間的距離,以及所述第一位置點與第二位置點的連線在所述第一位置點與第一坐標軸的夾角或者在所述第二位置點與第二坐標軸的夾角,計算所述后懸的長度,其中:所述后懸的長度d=Lsinθ,θ為第一位置點與第二位置點的連線在所述第一位置點與第一坐標軸的夾角,L為所述第一位置點與所述第二位置點之間的距離;或者所述后懸的長度d=Lcosθ,θ為第一位置點與第二位置點的連線在所述第二位置點與第二坐標軸的夾角,L為所述第一位置點與所述第二位置點之間的距離。11.一種計算機可讀存儲介質,存儲有計算機程序,其特征在于,該計算機程序被處理器執(zhí)行時實現權利要求1-9中任一所述的車輛后懸檢測方法的步驟。12.一種計算機程序產品,包括計算機程序,其特征在于,該計算機程序被處理器執(zhí)行時實現權利要求1-9中任一所述的車輛后懸檢測方法的步驟。5車輛后懸檢測方法、裝置、介質、程序產品技術領域[0001]本發(fā)明涉及圖像處理技術領域,尤指一種車輛后懸檢測方法、裝置、介質、程序產背景技術[0002]智慧立體車庫的堆垛車位在存放不同車輛的時候,后輪存放的位置是一樣的,如果車輛后懸超過堆垛車位設計長度的車輛存入,車尾部會超出堆垛車位區(qū)域,侵入穿梭車裝后備胎等,導致實際后懸長度不可控。因此有必要在車輛存入堆垛車位之前對車輛實際后懸進行檢測,以決定是否允許存入。發(fā)明內容該方法基于深度學習模型,可實現可靠準確的后懸檢測。[0004]本發(fā)明一方面提供一種車輛后懸檢測方法,包含:獲取若干實測車尾部圖像;將所述若干實測車尾部圖像輸入至第一深度學習模型中,生成若干車尾部的候選邊界框,其中所述第一深度學習模型用于預測車尾部最后位置點在地面的投影點所在的邊緣線在圖像中的位置;對所有候選邊界框篩選,篩選出滿足預設篩選條件的目標邊界框,其中所述預設篩選條件依據置信度、和/或邊界框的尺寸設定;選擇所述目標邊界框的目標邊緣線的任一點作為第一位置點;對于每一所述目標邊界框,記錄所述第一位置點到該目標邊界框所屬的實測車尾部圖像中心線的垂直距離,其中:定義車輛寬度方向為第一坐標軸、車輛長度方向為第二坐標軸,所述第一坐標軸與所述第二坐標軸垂直,所述目標邊緣線沿第一坐標軸方向延伸且靠近車尾部,所述中心線與所述第二坐標軸呈一夾角;選取最小垂直距離對應的實測車尾部圖像輸入至第二深度學習模型中,識別出后車輪與地面的接觸點作為第二位置點,其中所述第二深度學習模型以后車輪與地面的接觸點作為模型訓練時的關鍵特征點;依據相機坐標系下所述最小垂直距離對應的實測車尾部圖像的所述第一位置點的坐標、所述第二位置點的坐標,求得世界坐標系下的所述第一位置點的坐標與所述第二位置[0005]在本發(fā)明一實施例中,依據所述第一位置點與所述第二位置點之間的距離,以及所述第一位置點與第二位置點的連線在所述第一位置點與第一坐標軸的夾角或者在所述第二位置點與第二坐標軸的夾角,計算所述后懸的長度。[0006]在本發(fā)明一實施例中,所述預設篩選條件依據置信度設定,設定為超過置信度閾值;其中,對所有候選邊界框篩選包含:在所有候選邊界框中,計算每一候選邊界框的置信度;選取置信度最高的候選邊界框,并檢查該候選邊界框的置信度是否超過所述置信度閾[0007]在本發(fā)明一實施例中,所述預設篩選條件依據邊界框的尺寸設定,設定為超過邊6界框尺寸閾值;其中,對所有候選邊界框篩選包含:根據車輛的平均尺寸和相機的視角,計算每一所述候選邊界框的尺寸;若存在一所述候選邊界框的尺寸小于所述邊界框尺寸閾值,則將該候選邊界框濾除;若存在一所述候選邊界框的尺寸大于等于所述邊界框尺寸閾[0008]在本發(fā)明一實施例中,車輛后懸檢測方法還包含:訓練所述第一深度學習模型,包含:收集若干訓練車尾部圖像并構造數據集;對所述數據集中的每一圖像的車尾部邊緣進行邊界框標注,圍繞車尾部邊緣繪制矩形的邊界框,并記錄該邊界框的左上角、右下角、中心點坐標;使用標注好的所述數據集來訓練所述第一深度學習模型,在訓練過程中,所述第一深度學習模型學習識別圖像中的車尾部特征,并生成候選邊界框。[0009]在本發(fā)明一實施例中,車輛后懸檢測方法還包含:訓練所述第二深度學習模型,包含:收集若干訓練車尾部圖像并構造數據集;對所述數據集中的每一圖像標注出所述后車輪與地面的接觸點;使用標注好的所述數據集來訓練所述第二深度學習模型。[0010]在本發(fā)明一實施例中,將攝像頭安裝在停車車位后方頂部,且相機光軸與地面垂直,以采集所述若干實測車尾部圖像。[0011]在本發(fā)明一實施例中,對所述攝像頭進行標定,獲取相機的內參矩陣和畸變系數;以停車車位任一點為原點,建立世界坐標系,其中x0y平面與地面平行;依據世界坐標系下的任意點與該任意點在像素坐標系下的對應點,以及相機的內參矩陣,求解相機坐標系相對于世界坐標系的旋轉矩陣和平移向量;依據相機坐標系下所述第一位置點的坐標、第二位置點的坐標、相機的內參矩陣、旋轉矩陣和平移向量,求得世界坐標系下的所述第一位置點的坐標與所述第二位置點的坐標。[0012]在本發(fā)明一實施例中,將所述實測車尾部圖像輸入至所述第一深度學習模型或者所述第二深度學習模型之前,預先依據相機的內參矩陣和畸變系數對所述實測車尾部圖像進行校正和去除畸變。[0013]在本發(fā)明一實施例中,其中,所述第一深度學習模型采用yolov5網絡,所述第二深度學習模型采用yolov7-pose網絡。[0014]本發(fā)明另一方面還提供一種車輛后懸檢測裝置,采取上述的車輛后懸檢測方法,該車輛后懸檢測裝置至少包含:圖像獲取模塊,用以獲取若干實測車尾部圖像;候選邊界框生成模塊,用以將所述若干實測車尾部圖像輸入至第一深度學習模型中,生成若干車尾部的候選邊界框;目標邊界框篩選模塊,用以對所有候選邊界框篩選,篩選出滿足預設篩選條件的目標邊界框,其中所述預設篩選條件依據置信度、和/或邊界框的尺寸設定;第一位置點標識模塊,用以選擇所述目標邊界框的目標邊緣線的任一點作為第一位置點;對于每一所述目標邊界框,記錄所述第一位置點到該目標邊界框所屬的實測車尾部圖像中心線的垂直距離,其中:定義車輛寬度方向為第一坐標軸、車輛長度方向為第二坐標軸,所述第一坐標軸與所述第二坐標軸垂直,所述目標邊緣線沿第一坐標軸方向延伸且靠近車尾部,所述中心線與所述第二坐標軸呈一夾角;第二位置點標識模塊,用以選取最小垂直距離對應的實測車尾部圖像輸入至第二深度學習模型中,識別出后車輪與地面的接觸點作為第二位置點,其中所述第二深度學習模型以后車輪與地面的接觸點作為模型訓練時的關鍵特征點;后懸長度計算模塊,用以依據相機坐標系下所述最小垂直距離對應的實測車尾部圖像的所述第一位置點的坐標、所述第二位置點的坐標,求得世界坐標系下的所述第一位置點的坐7標與所述第二位置點的坐標,得到所述后懸的長度。[0015]本發(fā)明又一方面還提供一種計算機可讀存儲介質,其上存儲有計算機程序,該計算機程序被處理器執(zhí)行時實現上述的車輛后懸檢測方法的步驟。[0016]本發(fā)明又一方面還提供一種計算機程序產品,包括計算機程序,該計算機程序被處理器執(zhí)行時實現上述的車輛后懸檢測方法的步驟。[0017]由以上方案可知,本發(fā)明的優(yōu)點在于:[0018]本發(fā)明提供的車輛后懸檢測方法,利用第一深度學習模型識別車尾最后位置點的投影點在所的邊緣線,并利用第二深度學習模型識別后車輪與地面的接觸點作為第二位置點、以及車最后位置點的投影點所在目標邊緣線,即可基于目標邊緣線的第一位置點與第二位置點的幾何關系,確定后懸的長度,實現可靠準確的后懸檢測。這種分工使得每個模型都能在其特定領域內進行更深入的學習和優(yōu)化,從而提高識別的準確性和效率。本發(fā)明提供的車輛后懸檢測方法、方法、裝置、介質、程序產品不僅顯著提升了后懸檢測的可靠性與準確性,而且相較于傳統(tǒng)方法,其自動化程度更高,減少了人為干預帶來的誤差。該方法不僅適合用于立體車庫場景的車輛后懸測量任務,還可以擴展至其他應用場景。附圖說明[0019]圖1為本發(fā)明一實施例揭示的車輛后懸檢測方法的總體流程示意圖;[0020]圖2(a)~圖2(c)示出了車輛駛入停車車位過程中,攝像頭抓拍車尾部的示意圖;其中圖2(a)、圖2(b)、圖2(c)分別示意了車尾部未停入最佳測量位置、正好停入最佳測量位置、超過最佳測量位置的情形;[0021]圖3示出了攝像頭俯拍的示意圖;[0022]圖4示出了后懸計算的示意圖;[0023]圖5示出了后懸計算的示意圖;[0024]圖6為本發(fā)明一實施例揭示的車輛后懸檢測裝置的結構示意圖。[0026]a:后車輪與地面的接觸點、第二位置點;[0027]B:車尾部最后位置點在地面的實際垂直投影點;[0028]b:圖像中車尾最后位置點在地面的投影點、第一位置點;[0029]ABCD:目標邊界框;[0030]A1B1C1D1:實測車尾部圖像;[0031]AB:目標邊緣線;[0033]0:中心點;[0034]dis1、dis2:垂直距離;[0035]L:第一位置點與第二位置點之間的距離;[0036]d:后懸長度;[0039]10:攝像頭;8[0040]20:車位;[0041]200:車輛后懸檢測裝置;[0042]210:圖像獲取模塊;[0043]220:候選邊界框生成模塊;[0044]230:目標邊界框篩選模塊;[0045]240:第一位置點標識模塊;[0046]250:第二位置點標識模塊;[0047]260:后懸長度計算模塊。具體實施方式[0048]需要說明的是,在本申請中,諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。[0049]在沒有更多限制的情況下,由語句“包括一個……"”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。[0050]本發(fā)明一實施例中還揭示一種車輛后懸檢測方法。參閱圖1所示,圖1示出了車輛后懸檢測方法的總體流程示意圖,該車輛后懸檢測方法具體包括如下步驟:[0051]步驟S1、獲取若干實測車尾部圖像。示意了車尾部未停入最佳測量位置、正好停入最佳測量位置、超過最佳測量位置的情形。圖3示出了攝像頭俯拍的示意圖。將攝像頭安裝在停車車位后方頂部,且相機光軸與地面垂直,車輛駛向停車車位的時候,攝像頭以一定的幀率(例如每秒20幀速度)抓拍實測車尾部圖像,得到若干實測車尾部圖像。該實施例中,通過合理的攝像頭安裝角度,只需要在車輛經過地點上方布置俯拍的相機即可,即可獲取實測的車尾部圖像。[0053]如圖2(a)~圖2(c)、圖3中所示,在一實施例中,以停車車位20任一點為原點,建立世界坐標系,其中x0y平面與地面平行。右后車輪與地面的接觸點為a點,車尾部最后位置點在地面的實際的垂直投影點為B點,攝像頭10拍攝車尾最后位置在地面的投影點為b點,由圖2(b)中可以看出,只有當車尾部位于攝像頭正下方的時候實際的垂直投影點B點與攝像頭拍攝的投影點b點會重合。本實施例中,通過后續(xù)步驟S2-S4從車輛駛向停車車位的若干車尾部圖像中,篩選出正好停入最佳測量位置時拍攝的圖像,以進行后懸長度的計算。[0054]步驟S2、將所述若干實測車尾部圖像輸入至第一深度學習模型中,生成若干車尾部的候選邊界框。[0055]在一實施例中,對于第一深度學習模型,其用于預測車尾部的最后位置點在地面的投影點所在的邊緣線在圖像中的位置。在將所述若干實測車尾部圖像輸入至第一深度學習模型中,生成若干車尾部的候選邊界框之前,需要預先對該第一深度學習模型進行訓練。具體而言,首先收集若干訓練車尾部圖像并構造數據集,這些圖像可以來自不同的場景、角9度和光照條件,以確保模型的泛化能力。在一實施例中,第一深度學習模型用于預測車尾部最后位置點在地面的投影點所在的邊緣線在圖像中的位置。對所述數據集中的每一圖像的車尾部邊緣進行邊界框標注,圍繞車尾部邊緣繪制矩形的邊界框,并記錄該邊界框的左上訓練過程中,所述第一深度學習模型學習識別圖像中的車尾部特征,并生成候選邊界框。[0056]在一實施例中,所述第一深度學習模型采用yolov5網絡,yolov5網絡是一個實時目標檢測網絡,以其高速和準確性著稱,它適用于各種目標檢測任務,包括車輛尾部檢測。yolov5網絡包含主干網絡(Backbone)、頸部結構(Neck)和頭部結構(Head)。這三部分協(xié)同工作,共同實現目標檢測的任務。其中,主干網絡用于提取圖像中的關鍵特征點。其中主干(SpatialPyramidPoolingFast)模塊等。其中Focus結構對輸入圖像進行切片操作,類似于鄰近下采樣,將圖像的長和寬的信息映射到圖像的通道之中,從而減少計算量、參數量和提取能力和計算效率。Conv模塊由卷積層(Conv2d)、批歸一化層(BatchNorm2d)和激活函數(如SiLU)組成,負責提取圖像中的關鍵特征點。C3模塊由三個Conv模塊和一個Bottleneck模塊組成,通過殘差連接和特征融合進一步增強網絡的特征提取能力。SPPF模塊用于多尺度特征融合,提高了網絡的魯棒性。頸部結構用于進一步融合和增強特征,包含FPN通過自頂向下的路徑,將高層語義特征傳遞給低層,增強了低層特征圖的語義信息。PAN模塊通過自底向上的路徑,將低層圖形特征傳遞給高層,實現了特征的雙向融合。頭部結構根據提取的特征圖生成目標檢測的候選邊界框和類別預測等,其主要包含Detect模塊,由多個1x1卷積層組成,用于對特征圖進行升維或降維操作,并生成最終的檢測結果。Detect模塊通過錨框(anchors)機制,為每個網格單元預測多個候選邊界框和對應的類別概率。[0057]最終,利用上述訓練好的第一深度學習模型,將所述若干實測車尾部圖像輸入至第一深度學習模型中,即可生成若干車尾部的候選邊界框。該若干車尾部的候選邊界框會存在邊界框過大、過小、以及不包含目標車尾部等誤差情況。因此,需要對候選邊界框進一步篩選,以篩選出目標邊界框,目標邊界框緊密地包圍著目標車尾部,并且具有較高的置信度,理想情況下目標邊界框為車身各個最外側的邊緣點在地面的投影點形成的矩形邊界框,其包含有車尾部最后位置點在地面的投影點。[0058]此外,在一實施例中,將實測車尾部圖像輸入至所述第一深度學習模型之前,預先依據相機的內參矩陣和畸變系數對所述實測車尾部圖像進行校正和去除畸變。將校正和去除畸變后的圖像輸入至深度學習模型進行訓練,可以減少模型對畸變的依賴,從而提高模型的泛化能力和訓練效果。同時,校正和去除畸變后的圖像更加規(guī)范,可以簡化深度學習模[0059]步驟S3、對所有候選邊界框篩選,篩選出滿足預設篩選條件的目標邊界框,其中所述預設篩選條件依據置信度、和/或邊界框的尺寸設定。[0060]本實施例第一深度學習模型會生成大量的候選邊界框,這些邊界框可能包含了目去除那些置信度低、尺寸不合理或明顯不符合目標特征的邊界框,從而提高最終檢測結果的準確性,這有助于減少誤檢和漏檢的情況,使檢測結果更加可靠。具體而言,在一實施例[0061]在一實施例中,所述預設篩選條件依據置信度設定,設定為超過置信度閾值。具體而言,通過對所有候選邊界框中,計算每一候選邊界框的置信度;然后選取置信度最高的候選邊界框,并檢查該候選邊界框的置信度是否超過所述置信度閾值;若超過該置信度閾值,則保留該候選邊界框。[0062]在一實施例中,所述預設篩選條件依據邊界框的尺寸設定,設定為超過邊界框尺寸閾值。具體而言,根據車輛的平均尺寸和相機的視角,計算每一所述候選邊界框的尺寸;若存在一所述候選邊界框的尺寸小于所述邊界框尺寸閾值,則將該候選邊界框濾除;若存在一所述候選邊界框的尺寸大于等于所述邊界框尺寸閾值,則保留該候選邊界框。[0063]在一實施例中,依據置信度與邊界框的尺寸結合構造預設篩選條件,即首先篩選出滿足置信度閾值的候選關鍵框,然后對這部分候選關鍵框可以進一步依據邊界框尺寸閾選邊界框的置信度;然后選取置信度最高的候選邊界框,并檢查該候選邊界框的置信度是否超過所述置信度閾值;若超過該置信度閾值,則保留該候選邊界框作為第一邊界框。然后,將所有所述第一邊界框根據車輛的平均尺寸和相機的視角,計算每一所述第一邊界框的尺寸;若存在一所述第一邊界框的尺寸小于所述邊界框尺寸閾值,則將該第一邊界框濾除;若存在一所述第一邊界框的尺寸大于等于所述邊界框尺寸閾值,則保留該第一邊界框,由此即可得到最終的目標邊界框。[0064]此外,在一實施例中,在依據置信度與邊界框的尺寸結合構造預設篩選條件時,還可以首先篩選出滿足邊界框尺寸閾值的候選關鍵框,然后對這部分候選關鍵框可以進一步依據置信度閾值篩選,以篩選出最終的目標車位。對于此方法與上述篩選方法類似,本實施例對此不再詳細說明。[0065]如此經過上述的篩選操作,從若干車尾部的候選邊界框篩選出目標邊界框,目標邊界框緊密地包圍著目標車尾部,并且具有較高的置信度,目標邊界框為車身各個最外側的邊緣點在地面的投影點形成的矩形邊界框,其包含有車尾部最后位置點在地面的投影點。該實施例中,篩選出每一實測車尾部圖像的目標邊界框,需要從這些實測車尾部圖像中進一步篩選出如圖2(b)中所示的車尾部位于攝像頭正下方的時候采集的實測車尾部圖像,以進行后懸長度的計算。[0066]步驟S4、選擇所述目標邊界框第一坐標軸方向的目標邊緣線的任一點作為第一位置點;對于每一所述目標邊界框,記錄所述第一位置點到該目標邊界框所屬的實測車尾部圖像中心線的垂直距離,其中定義車輛寬度方向為第一坐標軸、車輛長度方向為第二坐標軸、所述第一坐標軸與所述第二坐標軸垂直,所述目標邊緣線沿所述第二坐標軸方向靠近車尾部,所述中心線與所述第二坐標軸呈一夾角。[0067]本實施例中,在篩選出最終的目標邊界框之后,首先對對應的圖像構造坐標系,其中定義車輛寬度方向為第一坐標軸、車輛長度方向為第二坐標軸、所述第一坐標軸與所述第二坐標軸垂直。需要注意的是,此處并不限于采集的實測車尾部圖像為XY標準方向的圖像,只需要定義車輛寬度方向為第一坐標軸、車輛長度方向為第二坐標軸、所述第一坐標軸與所述第二坐標軸垂直即可。11[0068]如圖4中所示,圖4中以實測車尾部圖像為XY標準方向的圖像作為示例,第一坐標軸為X軸、第二坐標軸為Y軸。目標邊界框為ABCD,目標邊界框第一坐標軸方向的目為AB連接線,目標邊緣線沿第二坐標軸方向靠近車尾部,目標邊緣線上包含車尾部最后位置點在地面的垂直投影點。該目標邊界框所對應的實測車尾部圖像為A1B1C1D1,中心線E1F1、E2F2為實測車尾部圖像A1B1C1D1的中心線。該實施例中,攝像頭安裝在停車車位后方頂部,且相機光軸與地面垂直,攝像頭的中心位置是固定的,其俯拍的車尾部圖像為固定視角內的圖像,即拍攝的區(qū)域是固定的,如圖4、圖5中所示,兩圖中的實測車尾部圖像A1B1C1D1是固定的,攝像頭中心位置在地面的投影點即為圖像的中心點0,中心線E1F1、合圖2(b)中所示,只有當車尾部位于攝像頭正下方的時候實際的垂直投影點B點與攝像頭拍攝的投影點b點會重合,此時目標邊界框的目標邊緣線AB的第一位置點b距離中心線E1F1、E2F2距離最近。為能夠比較不同目標邊界框的目標邊緣線的第一位置點距離中心線的距離,需要具體限定中心線與第二坐標軸呈一夾角,即不能與第二坐標軸平行,若平行則每一目標邊界框目標邊緣線的第一位置點距離中心線的距離均相同。[0069]本實施例中,選擇所述目標邊界框第一坐標軸方向的目標邊緣線的任一點作為第一位置點,第一位置點b點可以為AB連接線的任一點,例如位于最右側的邊緣點,即車尾最后位置點在地面的垂直投影點。但該實施例中并不僅限于該最右側邊緣點,目標邊緣線的任一點均可選定為第一位置點b點。進一步記錄所述第一位置點b到該目標邊界框所屬的實測車尾部圖像中心線的垂直距離dis。例如圖4中所示,中心線E1F1對應的垂直距離dis1,中心線E2F2對應的垂直距離dis2。[0070]對于每一目標邊界框,選定與對應的第二坐標軸呈相同角度的中心線,例如圖4中所示,一目標邊界框選定與第一坐標軸平行的中心線E1F1(與第二坐標軸呈90°),則每一對比的目標邊界框都選定與自身對應的第一坐標軸平行的中心線。記錄第一位置點b到中心線的垂直距離,得到垂直距離dis_1、dis_2、dis_n.對比各個目標邊界框獲得的垂直距離dis_1、dis_2、dis_n,垂直距離越小,表明車尾部后邊緣越接近相機光軸,理論上此時車尾部圖像中車尾最后位置點在地面的投影點越接近實際中車尾最后位置在地面的垂第二坐標軸呈90°夾角,中心線E1F1與目標邊緣線AB重合,即垂直距離為0,此時車尾部位于攝像頭正下方的時候實際的垂直投影點B點與攝像頭拍攝的投影點b點重合。因此選取最小垂直距離對應的實測車尾部圖像輸入至第二深度學習模型中,進一步識別出后車輪與地面的接觸點。此處需要注意的是,在對比各個目標邊界框的第一位置點到中心線的垂直距離時,若中心線與第二坐標軸呈小于90°夾角,則此時各個目標邊界框的第一位置點需要固定為同一點,例如均選擇為最右側邊緣點。若中心線與第二坐標軸呈90°夾角,即對于同一個目標邊界框,每一第一位置點到中心線的距離均相同,此時不需要限定各個目標邊界框的第一位置點固定為同一點。[0071]步驟S5、選取最小垂直距離對應的實測車尾部圖像輸入至第二深度學習模型中,識別出后車輪與地面的接觸點作為第二位置點,其中所述第二深度學習模型以后車輪與地面的接觸點作為模型訓練時的關鍵特征點。[0072]在一實施例中,在第二深度學習模型對實測車尾部圖像進行處理之前,也需要預先訓練所述第二深度學習模型,與第一深度學習模型不同的是,第二深度學習模型需要標注關鍵特征點,該實施例中具體選擇選擇后車輪與地面的接觸點作為關鍵特征點。實際中攝像頭俯拍的圖像中不能實際看到后車輪與地面的接觸點,因此需要預先在后車輪與地面的接觸點位置處放置標志物,識別標志物的坐標,通過相同場景下存在標注物的圖像與不存在標志物的圖像的對比,以標注后車輪與地面的接觸點。具體而言,首先通過收集若干訓練車尾部圖像并構造數據集,這些圖像可以來自不同的場景、角度和光照條件,以確保模型的泛化能力。然后,選擇后車輪與地面的接觸點作為關鍵特征點,對所述數據集中的每一圖像標注出所述后車輪與地面的接觸點。最終使用標注好的所述數據集來訓練所述第二深度學習模型。[0073]在一實施例中,第二深度學習模型采用yolov7-pose網絡。yolov7-pose網絡在YOLOv7的基礎上進行了改進,主要增加了關鍵點檢測的功能,其實現了關鍵點的精準定位。它采用端到端的訓練方式,將目標檢測與關鍵點檢測任務整合到一個網絡中,簡化了訓練網絡等。以本實施例的實測車尾部圖像進行處理為例,輸入層對輸入實測車尾部圖像經過于提取實測車尾部圖像的關鍵特征點,即后車輪與地面的接觸點。頸部網絡負責特征融合,將不同層次的特征圖進行融合,以提高關鍵特征點檢測的準確率。頭部網絡用于預測關鍵特征點的坐標信息。在yolov7-pose網絡中,每個關鍵特征點都有一個對應的熱圖輸出,表示該關鍵點的位置概率。yolov7-pose網絡的核心在于關鍵點熱圖的生成與解析,通過網絡的前向傳播,生成與輸入圖像大小相同的關鍵特征點熱圖。熱圖中的每個像素值表示該位置為關鍵特征點的概率。進而通過對關鍵特征點熱圖進行后處理,如閾值處理、非極大值抑制等,提取出關鍵特征點的坐標信息。[0074]最終,利用訓練好的第二深度學習模型,選取最小垂直距離對應的實測車尾部圖像輸入至第二深度學習模型中,識別出后車輪與地面的接觸點作為第二位置點,如圖4中所示,第二位置點為a點。從而利用最小垂直距離對應的實測車尾部圖像的第一位置點b點與第二位置點a點即可確定后懸的長度。[0075]此外,在一實施例中,將實測車尾部圖像輸入至所述第二深度學習模型之前,預先依據相機的內參矩陣和畸變系數對需要輸入的實測車尾部圖像進行校正和去除畸變。將校正和去除畸變后的圖像輸入至深度學習模型進行訓練,可以減少模型對畸變的依賴,從而提高模型的泛化能力和訓練效果。同時,校正和去除畸變后的圖像更加規(guī)范,可以簡化深度學習模型的計算過程,從而加快模型推理速度,提高實時性。[0076]步驟S6、依據相機坐標系下最小垂直距離對應的實測車尾部圖像的所述第一位置點的坐標、所述第二位置點的坐標,求得世界坐標系下的所述第一位置點的坐標與所述第二位置點的坐標,得到所述后懸的長度。[0077]在一實施例中,通過對安裝的攝像頭進行標定,獲取相機的內參矩陣和畸變系數。如圖3所示,并以停車車位任一點為原點,建立世界坐標系,其中x0y平面與地面平行。并依據世界坐標系下的任意點與該任意點在像素坐標系下的對應點,以及相機的內參矩陣,求解相機坐標系相對于世界坐標系的旋轉矩陣R和平移向量T。例如,已知n個點在世界坐標系下的坐標P1,P2,...,Pn,對應像素坐標系下的坐標p1,p2,...,pn以及相機的內參矩陣,求[0081]其中,(K-1p)3表示向量K-1p的第三個分量,即齊次坐標的w分量,用于歸一b點的Z軸坐標都為0;p表示齊次像素坐標量[xy1]。[0082]然后,使用旋轉矩陣R的轉置R和平移向量T將歸一化相機坐標轉換為世界坐矩陣和平移向量,求得世界坐標系下的所述第一位置點的坐標與所述第二位置點的坐標。置點的連線在所述第一位置點與第一坐標軸的夾角或者在所述第二位置點與第二坐標軸點的坐標表示為(x2,y2,z2),第一位置習模型識別后車輪與地面的接觸點、以及車最后位置點的投影點在所的邊緣線,即可基于第一位置點與第二位置點的幾何關系,確定后懸的長度,實現可靠準確的后懸檢測。該方法利用2D相機方案解決了3D視覺對乘用車高亮面車身成像效果差和光電檢測無法定位車尾最后緣點的問題,并且本發(fā)明部署方式簡單靈活,且成本較低,不僅適合用于立體車庫場景的車輛后懸測量任務,還可以擴展至其他應用場景。[0091]相應地,與上述車輛后懸檢測方法相對應,本發(fā)明另一方面還提供了一種車輛后懸檢測裝置200,參閱圖6所示,圖6示出了該車輛后懸檢測裝置200的結構示意圖。[0092]該車輛后懸檢測裝置200至少包含:[0093]圖像獲取模塊210,用以獲取若干實測車尾部圖像。[0094]候選邊界框生成模塊220,用以將所述若干實測車尾部圖像輸入至第一深度學習模型中,生成若干車尾部的候選邊界框,其中所述第一深度學習模型用于預測車尾部最后位置點在地面的投影點所在的邊緣線在圖像中的位置。[0095]目標邊界框篩選模塊230,用以對所有候選邊界框篩選,篩選出滿足預設篩選條件的目標邊界框,其中所述預設篩選條件依據置信度、和/或邊界框的尺寸設定。[0096]第一位置點標識模塊240,用以選擇所述目標邊界框第一坐標軸方向的目標邊緣線的任一點作為第一位置點;對于每一所述目標邊界框,記錄所述第一位置點到該目標邊界框所屬的實測車尾部圖像中心線的垂直距離,其中:定義車輛寬度方向為第一坐標軸、車輛長度方向為第二坐標軸,所述第一坐標軸與所述第二坐標軸垂直,所述目標邊緣線沿第一坐標軸方向延伸且靠近車尾部,所述中心線與所述第二坐標軸呈一夾角。[0097]第二位置點標識模塊250,用以選取最小垂直距離對應的實測車尾部圖像輸入至第二深度學習模型中,識別出后車輪與地面的接觸點作為第二位置點,其中所述第二深度學習模型以后車輪與地面的接觸點作為模型訓練時的關鍵特征點。[0098]后懸長度計算模塊260,用以依據相機坐標系下所述最小垂直距離對應的實測車尾部圖像的第一位置點的坐標、所述第二位置點的坐標,求得世界坐標系下的所述第一位置點的坐標與所述第二位置點的坐標,得到所述后懸的長度。[0099]此外,所屬領域的技術人員可以清楚地了解到,為描述的方便和簡潔,該描述車輛后懸檢測裝置200的具體工作過程,可以

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論