(19)國家知識產(chǎn)權局街2699號事務所(普通合伙)16115GO6V及介質本發(fā)明公開一種針對霧天場景的半監(jiān)督目發(fā)明提供的方法解決了現(xiàn)有的目標檢測模型在霧天條件下仍面臨檢測精度低、可檢測類別有構建半監(jiān)督霧天目標檢測數(shù)據(jù)集構建半監(jiān)督霧天目標檢測數(shù)據(jù)集構建霧天目標檢測模型利用半監(jiān)督霧天目標檢測數(shù)據(jù)集對霧天目標檢測模型進行訓練，得到訓練后的霧天目標檢測獲取霧天圖像，并利用訓練后的霧天目標檢測模型對霧天圖像進行目標檢測，得到目標檢測結果2利用所述半監(jiān)督霧天目標檢測數(shù)據(jù)集對所述霧天目標檢測獲取霧天圖像，并利用所述訓練后的霧天目標檢測模型對所述霧天圖像進行目標檢根據(jù)大氣散射模型以及相對深度圖計算每個像素的霧氣值并疊加到干凈圖像的像素式中，F(xiàn)DE表示深度估計模型的處理過程，d表示與干凈圖像同尺寸的相對深度圖，X(x,y)=x(x,y)·t(x,y)+A[1-t(將合成霧天圖像與對應的干凈圖像分別輸入到學生模型與教師模分別計算第一特征和第二特征之間的均方誤差并反向傳播優(yōu)化學生模型的圖像恢復3模塊參數(shù)，直至學生模型參數(shù)收斂；其中，所述第一特征為所述第一目標檢測模塊提取到的特征，所述第二特征為所述第二目標檢測模塊提取到的特征。6.根據(jù)權利要求5所述的針對霧天場景的半監(jiān)督目標檢測方法，其特征在于，對所述合成霧天圖像先經(jīng)過無監(jiān)督域自適應數(shù)據(jù)增強處理形成輸入特征，包括：隨機采樣一個批次的無標注真實霧天圖像并計算無標注真實霧天圖像的RGB三通道的隨機以設定比例調整當前迭代的一個批次的合成霧天圖像的均值、方差，得到輸入特7.根據(jù)權利要求1所述的針對霧天場景的半監(jiān)督目標檢測方法，其特征在于，在利用所述訓練后的霧天目標檢測模型對所述霧天圖像進行目標檢測時，輸入的霧天圖像直接輸入訓練階段訓練好的學生模型，得到目標檢測結果。8.一種針對霧天場景的半監(jiān)督目標檢測裝置，其特征在于，所述裝置包括：數(shù)據(jù)集構建單元，被配置為構建半監(jiān)督霧天目標檢測數(shù)據(jù)集；模型構建單元，被配置為構建霧天目標檢測模型；其中，所述霧天目標檢測模型包括學生模型和教師模型，所述學生模型包括串聯(lián)的圖像恢復模塊和第一目標檢測模塊，所述第一目標檢測模塊的兩端分別設置有殘差連接支路，所述教師模型包括第二目標檢測模塊；模型訓練單元，被配置為利用所述半監(jiān)督霧天目標檢測數(shù)據(jù)集對所述霧天目標檢測模型進行訓練，得到訓練后的霧天目標檢測模型；目標檢測單元，被配置為獲取霧天圖像，并利用所述訓練后的霧天目標檢測模型對所述霧天圖像進行目標檢測，得到目標檢測結果。9.根據(jù)權利要求8所述的針對霧天場景的半監(jiān)督目標檢測裝置，其特征在于，所述數(shù)據(jù)集構建單元被進一步配置為：獲取有目標檢測標簽和無目標檢測標簽的干凈圖像；基于每個干凈圖像，利用深度估計模型得到相對深度圖；根據(jù)大氣散射模型以及相對深度圖計算每個像素的霧氣值并疊加到干凈圖像的像素值上，得到合成霧天圖像，并將各個合成霧天圖像組合以形成半監(jiān)督霧天目標檢測數(shù)據(jù)集。10.一種存儲有指令的非暫時性計算機可讀存儲介質，當所述指令由處理器執(zhí)行時，執(zhí)行根據(jù)權利要求1至7中任一項所述的方法。4針對霧天場景的半監(jiān)督目標檢測方法、裝置及介質技術領域[0001]本發(fā)明涉及自動駕駛技術領域，更具體地，涉及一種針對霧天場景的半監(jiān)督目標背景技術[0002]隨著自動駕駛技術的發(fā)展，目標檢測作為計算機視覺領域的基本任務，已被廣泛應用于自動駕駛的感知系統(tǒng)。現(xiàn)有的目標檢測模型在良好的天氣條件下表現(xiàn)出較高的檢測精度和速度，這主要得益于卷積神經(jīng)網(wǎng)絡(CNN)和注意力機制等先進模型結構的發(fā)展，數(shù)據(jù)的圖像大多采集于晴朗天氣，在實際交通場景中，車載攝像頭采集的圖像在霧天等惡劣天氣條件下往往質量大幅降低，這會導致目標特征的退化和數(shù)據(jù)分布的偏移，進而降低目標檢測模型的準確性，影響自動駕駛系統(tǒng)的安全性。[0003]針對霧天圖像質量的退化，現(xiàn)有技術提出了多種基于圖像恢復的解決方案，其中一種典型方法是利用合成的霧天圖像來訓練圖像恢復模型，并在檢測時使用恢復后的圖像進行目標檢測。然而，傳統(tǒng)的圖像恢復模型優(yōu)化主要基于恢復圖像與真實圖像的像素級差異，這種方法雖然在視覺上符合人類的感知，但由于優(yōu)化目標與目標檢測任務的差異，檢測模型往往無法將其視為真正的清晰圖像，這影響了檢測結果。此外，合成霧天圖像與實際霧天圖像存在顯著的域差異，例如霧燈的散射效果和陽光散射下的陰影缺失等特征，這些難以在合成圖像中準確復現(xiàn)。由于合成圖像與真實霧天圖像的差異，基于合成數(shù)據(jù)集訓練的恢復模型在實際應用中的泛化能力有限。[0004]此外，當前的霧天目標檢測方法訓練優(yōu)化所采用的合成霧天數(shù)據(jù)集規(guī)模較小(通常不足一萬張),且可檢測的目標類別較為有限，無法覆蓋復雜多樣的真實世界場景。在實際霧天場景下獲取并標注大規(guī)模數(shù)據(jù)集的過程則極為耗時且費力。因此，現(xiàn)有的目標檢測模型在霧天條件下仍面臨檢測精度低、可檢測類別有限、場景條件受限等問題，難以滿足自動駕駛感知系統(tǒng)在復雜交通環(huán)境下的需求。發(fā)明內(nèi)容[0005]為解決上述技術問題，本發(fā)明提供一種針對霧天場景的半監(jiān)督目標檢測方法、裝置及介質，以解決現(xiàn)有的目標檢測模型在霧天條件下仍面臨檢測精度低、可檢測類別有限、場景條件受限的問題，從而滿足自動駕駛感知系統(tǒng)在復雜交通環(huán)境下的需求。[0006]第一方面，本發(fā)明提供一種針對霧天場景的半監(jiān)督目標檢測方法，所述方法包括：構建半監(jiān)督霧天目標檢測數(shù)據(jù)集；構建霧天目標檢測模型；其中，所述霧天目標檢測模型包括學生模型和教師模型，所述學生模型包括串聯(lián)的圖像恢復模塊和第一目標檢測模塊，所述第一目標檢測模塊的兩端分別設置有殘差連接支路，所述教師模型包括第二目標檢測模塊；利用所述半監(jiān)督霧天目標檢測數(shù)據(jù)集對所述霧天目標檢測模型進行訓練，得到訓5獲取霧天圖像，并利用所述訓練后的霧天目標根據(jù)大氣散射模型以及相對深度圖計算每個像素的霧氣值并疊加到干凈圖像的X(x,y)=x(x,y)·t(x,y)+A[1-t將合成霧天圖像與對應的干凈圖像分別輸入到學生模型與教分別計算第一特征和第二特征之間的均方誤差并反向傳播優(yōu)化學生模型的圖像隨機采樣一個批次的無標注真實霧天圖像并計算無標注真實霧天圖像的RGB三通6[0012]進一步地，在利用所述訓練后的霧天目標檢測模型對所述霧天圖像進行目標檢測時，輸入的霧天圖像直接輸入訓練階段訓練好的學生模型，得到目標檢測結果。[0013]第二方面，本發(fā)明提供一種針對霧天場景的半監(jiān)督目標檢測裝置，所述裝置數(shù)據(jù)集構建單元，被配置為構建半監(jiān)督霧天目標檢測數(shù)據(jù)集；模型構建單元，被配置為構建霧天目標檢測模型；其中，所述霧天目標檢測模型包括學生模型和教師模型，所述學生模型包括串聯(lián)的圖像恢復模塊和第一目標檢測模塊，所述第一目標檢測模塊的兩端分別設置有殘差連接支路，所述教師模型包括第二目標檢測模模型訓練單元，被配置為利用所述半監(jiān)督霧天目標檢測數(shù)據(jù)集對所述霧天目標檢測模型進行訓練，得到訓練后的霧天目標檢測模型；目標檢測單元，被配置為獲取霧天圖像，并利用所述訓練后的霧天目標檢測模型對所述霧天圖像進行目標檢測，得到目標檢測結果。[0014]進一步地，所述數(shù)據(jù)集構建單元獲取有目標檢測標簽和無目標檢測標簽的干凈圖像；基于每個干凈圖像，利用深度估計模型得到相對深度圖；根據(jù)大氣散射模型以及相對深度圖計算每個像素的霧氣值并疊加到干凈圖像的像素值上，得到合成霧天圖像，并將各個合成霧天圖像組合以形成半監(jiān)督霧天目標檢測數(shù)[0015]第三方面，本發(fā)明提供一種可讀存儲介質，所述可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執(zhí)行，以實現(xiàn)如上所述的方法。[0016]本發(fā)明至少具有以下有益效果：1.半監(jiān)督霧天目標檢測優(yōu)化框架：將圖像恢復模塊與通用目標檢測模塊進行串聯(lián)作為學生模型、單獨的目標檢測模塊作為教師模型，學生模型與教師模型中的目標檢測模塊分別加載預訓練的參數(shù)權重，在訓練優(yōu)化時凍結兩模型目標檢測模塊參數(shù)僅訓練學生模型的圖像恢復模塊參數(shù)；霧天圖像與對應的干凈圖像分別輸入到學生模型與教師模型中，并根據(jù)兩模型目標檢測模塊提取到的特征圖計算損失值反向傳播優(yōu)化學生模型的圖像恢復模塊參數(shù)。[0017]2.無監(jiān)督域自適應數(shù)據(jù)增強方法：在模型訓練時每個迭代中，隨機采樣一批真實霧天圖像并計算其RGB三通道的均值方差，并使用其以一定比例影響本迭代的訓練圖像的[0018]3.逼真的合成霧天圖像方法：針對干凈圖像首先使用深度估計技術得到相對深度圖，然后根據(jù)相對深度圖以及大氣散射模型在干凈圖像上合成霧氣效果。附圖說明[0019]圖1示出了根據(jù)本發(fā)明實施例的一種針對霧天場景的半監(jiān)督目標檢測方法的流程[0020]圖2示出了根據(jù)本發(fā)明實施例的半監(jiān)督霧天目標檢測數(shù)據(jù)集的合成流程圖。[0021]圖3示出了根據(jù)本發(fā)明實施例的半監(jiān)督霧天目標檢測數(shù)據(jù)集的構建流程圖。[0022]圖4示出了根據(jù)本發(fā)明實施例的霧天目標檢測模型的結構圖。7[0023]圖5示出了根據(jù)本發(fā)明實施例的霧天目標檢測模型的訓練和推理流程圖。分別表示無標注真實霧天圖像RGB三通道的均值和方差，TR、T?和T分別表示從目標域圖像[0025]圖7示出了根據(jù)本發(fā)明實施例的一種針對霧天場景的半監(jiān)督目標檢測裝置的結構具體實施方式[0026]為使本領域技術人員更好的理解本發(fā)明的技術方案，下面結合附圖和具體實施方式對本發(fā)明作詳細說明。下面結合附圖和具體實施例對本發(fā)明的實施例作進一步詳細描述，但不作為對本發(fā)明的限定。本文中所描述的各個步驟，如果彼此之間沒有前后關系的必要性，則本文中作為示例對其進行描述的次序不應視為限制，本領域技術人員應知道可以對其進行順序調整，只要不破壞其彼此之間的邏輯性導致整個流程無法實現(xiàn)即可。[0027]本發(fā)明實施例提供一種針對霧天場景的半監(jiān)督目標檢測方法，通過在預訓練的目標檢測模塊基礎上半監(jiān)督地優(yōu)化圖像增強模塊，直接針對目標檢測特征進行優(yōu)化，提升未標注數(shù)據(jù)的利用效率。同時，基于該半監(jiān)督優(yōu)化框架設計了一種殘差圖像增強霧天目標檢測模型，進一步提升霧天檢測性能。此外，為解決合成與真實霧天圖像間的特征差異問題，本發(fā)明提供了一種無監(jiān)督域自適應數(shù)據(jù)增強方法，在訓練過程中通過轉移未標注真實霧天圖像的統(tǒng)計信息對訓練數(shù)據(jù)進行增強。最終，本發(fā)明的霧天目標檢測技術采用提出的新霧天目標檢測數(shù)據(jù)集進行優(yōu)化訓練，該數(shù)據(jù)集為半監(jiān)督數(shù)據(jù)集、包含超過12萬張高質量標注圖像以及約3萬張未標注圖像，為霧天目標檢測領域提供了一種大規(guī)模、半監(jiān)督的可靠數(shù)據(jù)資源。本發(fā)明顯著提升了模型在真實霧天場景下的泛化能力與檢測精度。[0028]具體而言，如圖1所示，為針對霧天場景的半監(jiān)督目標檢測方法的流程圖。該針對霧天場景的半監(jiān)督目標檢測方法包括步驟S10至步驟S40,詳細介紹如下。[0029]S10:構建半監(jiān)督霧天目標檢測數(shù)據(jù)集。[0030]在一些實施例中，如圖2所示，為半監(jiān)督霧天目標檢測數(shù)據(jù)集的合成流程圖。本實施例通過對有標注&無標注干凈圖像進行深度估計得到相對深度圖，再基于大氣散射模型將有標注&無標注干凈圖像及對應的相對深度圖進行合成，得到合成霧天圖像，從而構建出半監(jiān)督霧天目標檢測數(shù)據(jù)集。由如下步驟實現(xiàn)：S101:獲取有目標檢測標簽和無目標檢測標簽的干凈圖像。[0032]需要說明的是，此處的干凈圖像可以是通過攝像組件所采集到的真實圖像或者是基于已有軟件生成的虛擬霧天圖像。[0033]S102:基于每個干凈圖像，利用深度估計模型得到相對深度圖。[0034]在一些實施例中，基于每個干凈圖像，利用深度估計模型得到相對深度圖的計算公式表示為：8X(x,y)=x(x,y)·t(x,y)+A[1-t(學生模型包括串聯(lián)的圖像恢復模塊和第一目標檢測模[0039]示例性的，學生模型以無監(jiān)督域自適應數(shù)據(jù)增強處理后的合成霧天圖像作為輸入，并將經(jīng)過圖像恢復模塊和批歸一化層處理的特征圖和輸入的合成霧天圖像進行融合，并通過CELU激活函數(shù)進入至目標檢測模塊YOLOv9,而教師模型則以對應干凈圖像作為輸入，直接進入到目標檢測模塊YOLOv9,其中對應干凈圖像為原始的用于得到無監(jiān)督域自適9圖像直接輸入教師模型；然后分別計算學生模型與教師模型的目標檢測模塊提取到的特征之間的均方誤差并反向傳播優(yōu)化學生模型的圖像恢復模塊參數(shù)；重復上述教師模型指導學生模型的優(yōu)化迭代過程，直至學生模型參數(shù)收斂。[0043]在一些實施例中，無監(jiān)督域自適應數(shù)據(jù)增強應用于模型訓練的霧天圖像輸入學生模型前，如圖6所示，隨機采樣一個批次的無標注真實霧天圖像計算其RGB三通道的均值(μ)、方差(σ),并隨機以一定比例調整本次迭代的一個批次的合成霧天圖像的均值、方差，得到數(shù)據(jù)增強后的訓練圖像(該圖像可直接輸入學生模型),如此可以調整合成霧天圖像的特征更接近真實霧天圖像。[0044]S40:獲取霧天圖像，并利用訓練后的霧天目標檢測模型對霧天圖像進行目標檢[0045]本實施例中，如圖5所示的推理部分，在實際使用訓練好的霧天目標檢測模型對霧天圖像進行目標檢測時，輸入的霧天退化圖像直接輸入訓練階段訓練好的學生模型，得到目標檢測結果。[0046]綜上所述，本發(fā)明實施例提供的針對霧天場景的半監(jiān)督目標檢測方法，使得無標注的霧天圖像也可以參與優(yōu)化、提高了算法對無標注數(shù)據(jù)的利用率；根據(jù)目標檢測模塊提取到的特征來優(yōu)化圖像恢復模塊使得到的恢復圖像更符合目標檢測需要，這使得我們的技術在RTTS真實霧天目標檢測基準集上評估時相較于傳統(tǒng)以像素差異為優(yōu)化目標的“先恢復后檢測”霧天目標檢測技術檢測精度提升了1.8。提供的無監(jiān)督域自適應數(shù)據(jù)增強技術通過調整訓練圖像的均值、方差統(tǒng)計信息更符合真實霧天場景，在面對真實霧天場景時檢測精度又提高了0.4。本發(fā)明使用提供的半監(jiān)督霧天目標檢測數(shù)據(jù)集優(yōu)化模型，將模型在霧天場景中可檢測的目標類別由此前常見的5-10個類別大幅提升到了80個類別。[0047]經(jīng)測試，本發(fā)明實施例提供的方法在FoggyCityscapes和RTTS兩個最常用的霧天目標檢測基準集上的檢測精度超過了當下諸如IA-YOLO、MS-DAYOLO、YOLOv8、YOLOv10等最先進的目標檢測技術。[0048]本發(fā)明實施例還提供一種針對霧天場景的半監(jiān)督目標檢測裝置，如圖7所示，該裝置包括：數(shù)據(jù)集構建單元701,被配置為構建半監(jiān)督霧天目標檢測數(shù)據(jù)集；模型構建單元702,被配置為構建霧天目標檢測模型；其中，所述霧天目標檢測模型包括學生模型和教師模型，所述學生模型包括串聯(lián)的圖像恢復模塊和第一目標檢測模塊，所述第一目標檢測模塊的兩端分別設置有殘差連接支路，所述教師模型包括第二目標檢測模塊；模型訓練單元703,被配置為利用所述半監(jiān)督霧天目標檢測數(shù)據(jù)集對所述霧天目標檢測模型進行訓練，得到訓練后的霧天目標檢測模型；目標檢測單元704,被配置為獲取霧天圖像，并利用所述訓練后的霧天目標檢測模型對所述霧天圖像進行目標檢測，得到目標檢測結果。[0049]在一些實施例中，所述數(shù)據(jù)集構建單元被進一步配置為：獲取有目標檢測標簽和無目標檢測標簽的干凈圖像；基于每個干凈圖像，利用深度估計模型得到相對深度圖；根據(jù)大氣散射模型以及相對深度圖計算每個像素的霧氣值并疊加到干凈圖像的X(x,y)=x(x,y)·t(x,y)+A[1-t將合成霧天圖像與對應的干凈圖像分別輸入到學生模型與教分別計算第一特征和第二特征之間的均方誤差并反向傳播優(yōu)化學生模型的圖像隨機采樣一個批次的無標注真實霧天圖像并計算無