夜間視頻圖像增強處理技術(shù)研究的國內(nèi)外文獻(xiàn)綜述目錄TOC\o"1-3"\h\u18426夜間視頻圖像增強處理技術(shù)研究的國內(nèi)外文獻(xiàn)綜述 1231651.1直方圖均衡化 1102201.2Retinex理論圖像增強 2236571.3基于暗通道的圖像增強算法 496041.4卷積神經(jīng)網(wǎng)絡(luò)增強算法 5夜間視頻圖像增強處理是通過圖像增強處理技術(shù)對一個視頻的每一幀進(jìn)行細(xì)節(jié)和亮度增強，作為數(shù)字圖像處理的熱點問題，許多的學(xué)者對低照度條件下的圖像增強技術(shù)進(jìn)行了研究。比較常見的方法有：直方圖均衡和Retinex理論，暗通道圖像增強算法，卷積神經(jīng)網(wǎng)絡(luò)增強算法等。1.1直方圖均衡化直方圖均衡化的理論基礎(chǔ)是灰度直方圖。直方圖均衡化是基于不同灰度直方圖進(jìn)行增強的一種圖像處理方法。直方圖均衡具有運算簡單、復(fù)雜度低的優(yōu)點。但直接用這種方法處理圖像可能會導(dǎo)致增強過度和噪聲較多的問題，由此在該算法的基礎(chǔ)上產(chǎn)生了許多優(yōu)化算法。國外學(xué)者中，J.A.Stark建立了一個局部直方圖均衡化的數(shù)學(xué)描述，通過對局部的參數(shù)值的調(diào)整實現(xiàn)了控制部分區(qū)域直方圖均衡效果的目標(biāo)[1]。J.C.Fu等人利用小波變換的技術(shù)與直方圖均衡化相結(jié)合，得到的結(jié)果更好地保留了圖像信息，減少了噪聲[2]。Kim于1997年提出了一種亮度保持的雙直方圖均衡化（BBHE）算法[3]，將圖像的一個完整直方圖分為兩部分。分離之后，這兩個直方圖被分開進(jìn)行獨立處理。得到的圖像的平均亮度將位于圖像輸入灰度平均值和中間灰度級之間。該方法能夠在保持灰度圖像細(xì)節(jié)的同時，保持平均亮度。遵循與BBHE方法相同的基本思想，Y.Wang等人提出了等面積的DSIHE方法[4]。這個算法把原始圖像分解為上下兩個子對象圖像，然后分別均衡子對象圖像的直方圖。DSIHE方法不是基于平均灰度來分解圖像，而是針對輸出圖像的熵最大化來分解圖像?？紤]到兩個相等的超大面積圖像特性,將每個輸入的圖像子集分解定義為具有兩個子集的圖像,一個為暗，一個為亮。通過DSIHE方法生成的輸出圖像的亮度相對于輸入圖像的亮度沒有明顯的變化，尤其是對于具有相同灰度級的圖像的大區(qū)域。OoiCH等人提出的平均亮度保持直方圖均衡（MBPHE）方法[5]實際上有兩個部分，分別為二等分的MBPHE和多部分的MBPHE。二等分的MBPHE是將輸入直方圖分為兩個部分。然后，將這兩個直方圖進(jìn)行獨立均衡。但是，二等分MBPHE只能在一定程度上保留平均亮度。多部分MBPHE組與兩等分MBPHE組相比，平均亮度保持效果更好。在多部分MBPHE中，輸入直方圖分為R個子直方圖，其中R是任何正整數(shù)。然后，每個子直方圖被獨立均衡?？梢砸赃f歸方式或者基于輸入直方圖本身的形狀來執(zhí)行子直方圖的創(chuàng)建。但是，這個方法對保持平均強度值都施加了太多限制，無法獲得很大的增強。Abdullah-Al-WadudM等人提出了一種基于HE算法的智能對比度增強技術(shù)[6]。這種動態(tài)直方圖均衡化（DHE）技術(shù)可以對圖像進(jìn)行分區(qū)，分區(qū)的參照是局部區(qū)域的最小值。并且為每一個分區(qū)都分配了一個特定的灰度范圍。該方法能夠有效地增強對比度而不引入嚴(yán)重的副作用。H.Ibrahim等人提出的亮度保持動態(tài)HE算法是HE的擴展[7]，可以產(chǎn)生平均強度幾乎等于輸入平均強度的輸出圖像，從而滿足保持圖像平均亮度的要求。該方法實際上是MPHEBP和DHE的擴展。與MPHEBP相似，該方法也是基于平滑直方圖的局部最大值進(jìn)行分區(qū)。但是,在開始進(jìn)行直方圖均衡之前,該方法可能會將每個動態(tài)分區(qū)范圍映射到全新的一個動態(tài)分區(qū)范圍,類似于DHE。由于動態(tài)范圍發(fā)生了變化，直接導(dǎo)致了平均亮度的改變。因此該方法的最后一步涉及到輸出強度的歸一化。因此，所得圖像的平均強度將與輸入的相同。按照這個標(biāo)準(zhǔn)，與MPHEBP相比，BPDHE將產(chǎn)生更好的增強效果，與DHE相比，BPDHE將更好地保留平均亮度。國內(nèi)學(xué)者中，韓少剛等人首先提出了雙邊直方圖像的均衡化[8]，算法通過使用K-Means的圖像聚類技術(shù)得到了兩個子圖像，再分別對兩個子圖像單獨進(jìn)行直方圖均衡處理，再把兩個子圖重新融合。該算法不僅保持了原圖像亮度，而且對比度強，效果更好。Yang等人提出了一種自適應(yīng)的gamma校正直方圖[9]，通過分離亮部和暗部，分別對直方圖進(jìn)行處理，更好地保留了圖像的原始色彩，不會產(chǎn)生過曝的現(xiàn)象。1.2Retinex理論圖像增強Retinex算法不但可以實現(xiàn)夜間圖像全局的增強，還可以實現(xiàn)對局部對比度的針對性增強。隨著彩色恢復(fù)處理技術(shù)的不斷進(jìn)步創(chuàng)新發(fā)展，Retinex算法也在不斷尋求創(chuàng)新。從單尺度Retinex算法[10]發(fā)展到多尺度的Retinex算法[11]，再到能夠進(jìn)行彩色恢復(fù)的多尺度Retinex算法[12]。D.J.Jobson等人提出了單尺度SSR算法[10]，這是一個圍繞著中心點進(jìn)行計算的retinex算法。它提供了保持圖像高度色彩和動態(tài)范圍壓縮的功能。但是它的缺點是不能同時提供動態(tài)范圍壓縮或色調(diào)再現(xiàn)，而且還會遭受顏色失真。JobsonDJ等人提出的多尺度retinex（MSR）[11]結(jié)合了多個SSR輸出，并且它是本地Retinex的多層版本。MSR將低亮度范圍下的retinex的亮度動態(tài)范圍壓縮與高亮度范圍下的retinex的色調(diào)結(jié)合在一起。優(yōu)點是它通過保留大多數(shù)細(xì)節(jié)而提供了動態(tài)范圍壓縮和音調(diào)再現(xiàn)，同時消除了暈影偽影。但是，它會使統(tǒng)一的場景變灰，并且色調(diào)再現(xiàn)取決于場景并且效果很差。Horen等人[13]提出來一種基于PDE模型的算法，這種算法應(yīng)用拉普拉斯算子獲得泊松方程，并且提出了一種迭代過程，該過程可以有效地將拉普拉斯算術(shù)求反。之后，Blake等人對Horen的方法進(jìn)行了改進(jìn)[14]。他建議從圖像梯度幅度中提取不連續(xù)點，而不是拉普拉斯算子，從而提出更好的邊界條件，以解決沿圖像邊界的瑣碎情況。還有其他類似的方法，例如Morel，Petro和Sbert[15,16]，他們使用了相同的假設(shè)（照明的梯度相對較?。?，首先將閾值函數(shù)應(yīng)用于逐分量梯度，然后通過考慮散度來獲得泊松方程。所有PDE公式都具有以下相似之處：該公式使用原始模型的對數(shù)形式，并且在考慮分段連續(xù)性的前提下用梯度來提取反射率。Kimmel等人為retinex提出一個變體模型[17]。出于對身體動機的考慮，作者定義了retinex重構(gòu)。將問題轉(zhuǎn)換為二次規(guī)劃（QP）優(yōu)化問題。然后使用加速項目歸一化最速下降（PNSD）算法解決QP問題，該算法利用了有關(guān)照明空間平滑度的知識。陳少華等提出了一種基于Retinex（NRCIR）的彩色圖像自然渲染的新方法[18]，在增強后不更改圖像的色調(diào)（暖色或冷色）。它用于自然地渲染彩色圖像。在整合一個濾鏡的Retinex和直方圖縮放后，可以改善圖像的自然外觀，但是該方法在非自然圖像（如醫(yī)學(xué)圖像）中效果不佳。現(xiàn)在許多學(xué)者也開發(fā)出了許多優(yōu)化算法，如歐嘉敏等人提出的改進(jìn)的retinex-Net方法，引入了注意力機制模塊和顏色損失，能夠在增加光照亮度的同時降低圖像的噪聲[19]。常戩等人提出的改進(jìn)的利用雙邊濾波器實現(xiàn)Retinex的多聚焦圖像融合算法，將原始圖像與最亮的一個區(qū)域圖像進(jìn)行多焦圖像融合，有效地抑制了原始圖像的部分區(qū)域灰度過高的問題，減少了光暈和邊界突出現(xiàn)象[20]。1.3基于暗通道的圖像增強算法暗通道先驗法是何凱明博士在2009年提出的一種通過圖像分析去除圖像煙霧的先驗方法[21]，啟發(fā)了學(xué)者們，在處理夜間圖像時也可以參考對霧天圖像的增強方式。Dong等人[22]通過實驗發(fā)現(xiàn)，對夜間圖像的直方圖進(jìn)行反轉(zhuǎn)后的圖像與霧天圖像的直方圖像用很多共同點。這種改進(jìn)算法將相機拍攝的夜間視頻圖像進(jìn)行反轉(zhuǎn)圖像處理,然后用圖像去霧算法對反轉(zhuǎn)后的視頻圖像進(jìn)行增強。為了大大提高這個算法對幀計算的工作效率,此算法還引入了一個相鄰兩幀之間的高度相關(guān)性計算系數(shù)，將其作為這個算法中的重要參數(shù)。這種增強算法與基于視頻幀速率增強的其他算法相比,在保證增強效果不變的前提下，計算速度提高了3倍。圖1-1Dong等人算法效果圖[22]之后，Jiang等人[23]提出了一種改進(jìn)的模型，將其與針對局部區(qū)域的圖像平滑算法和圖像高斯金字塔算子集成在一起。實驗結(jié)果表明，該方法不僅可以增強細(xì)節(jié)，而且可以有效避免過度的增強現(xiàn)象，從而可以實時提高夜視的感知質(zhì)量。Jiang等人設(shè)計的算法增強效果如圖所示，其中第一列為原圖，第二列為增強后圖像。此算法可以在一定程度上減少光暈偽影的產(chǎn)生，但是計算的復(fù)雜度和算法運行時間也會有所增長。圖1-2Jiang等人[23]算法效果圖1.4卷積神經(jīng)網(wǎng)絡(luò)增強算法最近，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在幾種新型計算機圖像視覺技術(shù)應(yīng)用中取得了令人矚目的重大進(jìn)展。可以在CNN中實現(xiàn)上述三種方法以實現(xiàn)低照度圖像增強。CNN可以學(xué)習(xí)用不同的內(nèi)核過濾弱光圖像，然后將多尺度特征圖和單特征弱光圖像組合在一起，這樣就能快速生成增強后的圖像。CNN能夠幫助重建更加準(zhǔn)確的圖像紋理。2016年，JiwonKim等人[24]首先提出了一種CNN模型。這種模型在深度網(wǎng)絡(luò)結(jié)構(gòu)中重復(fù)使用了多次小型過濾器，這樣可以有效地獲取到圖像區(qū)域上的信息，并使用可調(diào)整的梯度裁剪實現(xiàn)極高的學(xué)習(xí)率。Y.Wang[25]等人提出了一種能夠增強水下圖像的框架，其中提出了一個基于CNN的網(wǎng)絡(luò)，稱為UIE-Net。UIE網(wǎng)絡(luò)能夠?qū)崿F(xiàn)兩個功能：顏色校正和圖像去霧。這種訓(xùn)練方法可以同時學(xué)習(xí)和訓(xùn)練兩個數(shù)據(jù)集的特征表示。在提出的學(xué)習(xí)框架中采用了像素破壞策略，可以更有效地獲取局部圖像中的特征，大大提高了收斂速度和準(zhǔn)確性。L.Tao等人[26]提出了一種有效的方法，將降噪和對比度增強相結(jié)合，用于弱光圖像。設(shè)計了一個卷積神經(jīng)網(wǎng)絡(luò)來去除圖像噪聲，提出了一種弱光模型，使用了明亮通道先驗來計算透射率。此外，還提出了一種有效的方法來自適應(yīng)地估計環(huán)境光。實驗結(jié)果表明，與其他方法相比，該算法可以更好地提高亮度，增強對比度并保留細(xì)節(jié)。參考文獻(xiàn)StarkJA.Adaptiveimagecontrastenhancementusinggeneralizationsofhistogramequalization[J].IEEETransactionsonimageprocessing,2000,9(5):889-896.FuJC,LienHC,WongSTC.Wavelet-basedhistogramequalizationenhancementofgastricsonogramimages[J].Computerizedmedicalimagingandgraphics,2000,24(2):59-68.KimYT.Contrastenhancementusingbrightnesspreservingbi-histogramequalization[J].IEEEtransactionsonConsumerElectronics,1997,43(1):1-8.WangY,ChenQ,ZhangB.Imageenhancementbasedonequalareadualisticsub-imagehistogramequalizationmethod[J].IEEETransactionsonConsumerElectronics,1999,45(1):68-75.OoiCH,KongNSP,IbrahimH.Bi-histogramequalizationwithaplateaulimitfordigitalimageenhancement[J].IEEEtransactionsonconsumerelectronics,2009,55(4):2072-2080.Abdullah-Al-WadudM,KabirMH,DewanMAA,etal.Adynamichistogramequalizationforimagecontrastenhancement[J].IEEETransactionsonConsumerElectronics,2007,53(2):593-600.IbrahimH,KongNSP.Brightnesspreservingdynamichistogramequalizationforimagecontrastenhancement[J].IEEETransactionsonConsumerElectronics,2007,53(4):1752-1758韓少剛,江巨浪.基于圖像分割的雙直方圖均衡算法[J].安慶師范大學(xué)學(xué)報(自然科學(xué)版),2021,27(01):66-69.K.Yang,H.Li,H.Kuang,C.LiandY.Li,"AnAdaptiveMethodforImageDynamicRangeAdjustment,"in

IEEETransactionsonCircuitsandSystemsforVideoTechnology,vol.29,no.3,pp.640-652,March2019,doi:10.1109/TCSVT.2018.2810212.JobsonDJandRahmanZandWoodellGA.Propertiesandperformanceofacenter/surroundretinex.[J].IEEEtransactionsonimageprocessing:apublicationoftheIEEESignalProcessingSociety,1997,6(3):451-62.JobsonDJandRahmanZandWoodellGA.Amultiscaleretinexforbridgingthegapbetweencolorimagesandthehumanobservationofscenes.[J].IEEEtransactionsonimageprocessing:apublicationoftheIEEESignalProcessingSociety,1997,6(7):965-76.JobsonDJandRahmanZandWoodellGA.Amultiscaler