第15章多光譜圖像融合技術(shù)與系統(tǒng)

為什么進(jìn)行圖像融合？為什么進(jìn)行圖像融合？為什么進(jìn)行圖像融合？為什么進(jìn)行圖像融合？為什么進(jìn)行圖像融合？為什么進(jìn)行圖像融合？多光譜圖像融合的概念圖像傳感器A圖像傳感器B互補(bǔ)信息冗余信息多光譜圖像融合是為了克服單一光譜成像系統(tǒng)圖像信息不夠豐富的缺點(diǎn)，利用不同光譜圖像的冗余特性和互補(bǔ)特性重新進(jìn)行信息組合，獲得能反映各種光譜特點(diǎn)的圖像的過程。多光譜圖像融合的基本步驟(1)圖像預(yù)處理包括圖像歸一化(灰度均衡、重采樣、灰度插值)、圖像濾波增強(qiáng)圖像的色彩和圖像的邊緣等多光譜圖像融合的基本步驟(2)圖像配準(zhǔn)圖像配準(zhǔn)是要將各幅參與融合的圖像進(jìn)行空間配準(zhǔn)。圖像配準(zhǔn)可分為相對配準(zhǔn)和絕對配準(zhǔn)。相對配準(zhǔn)指從同一類的多個(gè)圖像中選擇某一(波段)圖像作為參考圖像，然后將其他(波段)圖像與參考圖像進(jìn)行配準(zhǔn)。絕對配準(zhǔn)則指以同一空間坐標(biāo)系為參考系，將需融合的多幅圖像都與此參考系進(jìn)行配準(zhǔn)。多光譜圖像融合的基本步驟(3)圖像融合，主要目的：(a)增加圖像中有用信息的含量，改善圖像的清晰度，增強(qiáng)在單一傳感器圖像中無法看見/看清的某些特性；(b)改善圖像的空間分辨率，增加光譜信息的含量，為改善檢測/分類/理解/識別性能獲取補(bǔ)充的圖像信息；(c)通過不同時(shí)刻的圖像序列融合來檢測場景/目標(biāo)的變化情況；(d)通過融合多個(gè)二維圖像產(chǎn)生具有立體視覺的三維圖像，可用于三維重建或立體攝影、測量等；(e)利用來自其它傳感器的圖像來替代/彌補(bǔ)某一傳感器圖像中的丟失/故障信息。多光譜圖像融合的基本方法

像素級融合特征級融合決策級融合1.加權(quán)融合設(shè)A(x,y)和B(x,y)分別為兩幅圖像A和B的像素點(diǎn)，經(jīng)融合后得到的融合結(jié)果圖像為F(x,y)，那么對源圖像的像素灰度值加權(quán)融合的過程可以表示為：

1.加權(quán)融合通過主成分分析(PCA)法選擇權(quán)值(1)計(jì)算兩幅圖像矩陣的協(xié)方差

1.加權(quán)融合計(jì)算該協(xié)方差矩陣的特征值1和22.基于金字塔分解的圖像融合算法

基于金字塔分解的圖像融合算法的融合過程是在不同尺度、不同空間分辨率和不同分解層上分別進(jìn)行的常用的金字塔分解技術(shù)有：Laplace金字塔、低通比率金字塔、梯度金字塔等Laplace金字塔Laplace金字塔（a）對圖像進(jìn)行Guass金字塔分解設(shè)源圖像G0為高斯金字塔的底層（第0層），則高斯金字塔的第Gl層圖像為：Laplace金字塔（b）由Guass金字塔建立Laplace金字塔Laplace金字塔(c)對兩幅圖像的Laplace金字塔分解圖像進(jìn)行融合Laplace金字塔（d）由Laplace金字塔重建圖像3.基于小波變換的圖像融合算法

A圖像B圖像融合算法融合圖像小波變換小波變換融合小波系數(shù)小波重構(gòu)3.基于小波變換的圖像融合算法二維圖像的小波分解：二維圖像的小波重構(gòu)：融合結(jié)果原始微光原始紅外加權(quán)平均基于Laplace金字塔分解融合結(jié)果原始微光原始紅外基于低通比率金字塔分解基于小波變換融合結(jié)果4.彩色圖像融合

(1)直接映射法(2)TNO融合法(3)MIT融合法(4)基于空間色彩傳遞的圖像融合方法(5)基于空間色彩傳遞的圖像融合方法直接映射法紅外圖像送入R通道，將可見光圖像分別送入G和B通道。優(yōu)點(diǎn)：算法簡單，利于實(shí)時(shí)處理缺點(diǎn)：融合圖像的色彩不自然直接映射法結(jié)果TNO融合法（1）確定兩幅源圖像的共有部分（2）每幅源圖像中分別減去共有部分，得到每幅圖像的獨(dú)有部分（3）用兩幅圖像分別減去另一幅圖像的獨(dú)有部分得到細(xì)節(jié)增強(qiáng)圖像（4）將所得的結(jié)果送入不同的顏色通道進(jìn)行顯示優(yōu)點(diǎn)：TNO融合法運(yùn)算速度快，利于實(shí)時(shí)處理缺點(diǎn)：融合圖像的色彩不自然，不符合人的視覺感受MIT融合法MIT融合法是由麻省理工學(xué)院Waxman等人提出的。MIT融合法以中心-環(huán)繞分離網(wǎng)絡(luò)為基礎(chǔ)，應(yīng)用生物視覺拮抗（Opponent）特征融合紅外和可見光圖像，算法內(nèi)部對融合結(jié)果的顏色進(jìn)行了重新映射，使得融合圖像具有適合人眼觀察的自然色彩。基于空間色彩傳遞的圖像融合方法（1）由RGB空間變換到LMS空間的過程對LMS空間作對數(shù)變換，從而降低LMS空間數(shù)據(jù)的偏斜程度：基于空間色彩傳遞的圖像融合方法基于空間色彩傳遞的圖像融合方法對logLMS空間進(jìn)行正交化處理，從而變換到l空間：基于空間色彩傳遞的圖像融合方法首先按照直接映射法將不同光譜圖像映射到RGB空間，產(chǎn)生直接映射彩色融合圖像將RGB空間數(shù)據(jù)轉(zhuǎn)換到空間選擇一幅參考的彩色圖片，將其轉(zhuǎn)換到空間，分別計(jì)算源圖像和參考圖像在lαβ空間的均值和標(biāo)準(zhǔn)方差基于