1、遙感圖像的融合39優(yōu)質(zhì)課件遙感圖像的融合39優(yōu)質(zhì)課件+=什么情況下1+12?+=什么情況下1+12?遙感圖像的融合39優(yōu)質(zhì)課件(a)(b)(c)(d)(a)(b)(c)(d)5.1 遙感圖像融合概述5.1.1 遙感圖像融合的意義遙感是以不同空間、時間、波譜、輻射分辨率提供電磁波譜不同譜段的數(shù)據(jù)。由于成像原理不同和技術(shù)條件的限制，任何一個單一遙感器獲取的遙感數(shù)據(jù)都不能全面反映目標對象的特征，各自都有一定的應(yīng)用范圍和局限性。如果將多種不同特征的數(shù)據(jù)（包括遙感和非遙感空間數(shù)據(jù)）結(jié)合起來，相互取長補短，便可以發(fā)揮各自的優(yōu)勢、彌補各自的不足，能更全面的反映地面目標，提供更強的信息解譯能力和更可靠的分析結(jié)

2、果。這樣不僅擴大了各數(shù)據(jù)的應(yīng)用范圍，而且提高了分析精度，應(yīng)用效果和實用價值。5.1 遙感圖像融合概述5.1.1 遙感圖像融合的意義5.1.1 遙感圖像融合的意義多源遙感影像數(shù)據(jù)特點：1. 冗余性：表示不同的多源遙感影像數(shù)據(jù)對環(huán)境或目標的表示、描述或解譯結(jié)果相同或相近； 2. 互補性：指信息來自不同的自由度且相互獨立3. 合作性：不同傳感器在觀測和處理信息時對其它信息有依賴關(guān)系； 4. 信息分層的結(jié)構(gòu)特性：數(shù)據(jù)融合所處理的多源遙感信息可以在不同的數(shù)據(jù)處理和信息提取層次上出現(xiàn)，這些信息抽象層次包括像素層、特征層和決策層，分層結(jié)構(gòu)和并行處理機制還可保證實時性。5.1.1 遙感圖像融合的意義多源遙感影

3、像數(shù)據(jù)特點：全色和多光譜遙感數(shù)據(jù)融合:遙感圖像融合可以提高多光譜圖像的空間分辨率，同時保留其多光譜特性實現(xiàn) 1+12，達到優(yōu)勢互補的目的生活中的融合：牛奶，加糖：牛奶營養(yǎng)價值高，口味不好；糖口味好，營養(yǎng)價值不高，融合后高營養(yǎng)、好口味咖啡（提神但苦澀），伴侶（樹脂末，改善口感）5.1.1 遙感圖像融合的意義全色和多光譜遙感數(shù)據(jù)融合:5.1.1 遙感圖像融合的意義5.1.2 遙感圖像融合的定義遙感圖像融合是將在空間、時間、波譜上冗余或互補的多源遙感數(shù)據(jù)按照一定的規(guī)則（或算法）進行運算處理，獲得比任何單一數(shù)據(jù)更精確、更豐富的信息，生成具有新的空間、波譜、時間特征的合成圖像數(shù)據(jù)。圖像通過融合既可以提高

4、多光譜圖像空間分辨率，又保留其多光譜特性。因此，它不僅僅是數(shù)據(jù)間的簡單復(fù)合，而強調(diào)信息的優(yōu)化，以突出有用的專題信息，消除或抑制無關(guān)的信息，改善目標識別的圖像環(huán)境，從而增強解譯的可靠性，減少模糊性（即多義性、不確定性和誤差），提高分類精度，擴大應(yīng)用范圍和效果。5.1.2 遙感圖像融合的定義遙感圖像融合是將在空間、時間、5.1.3 遙感圖像融合的層次圖像融合可以在3個不同層次進行，一是像素層(pixel)，二是特征層(feature)，三是決策層(dicision level)5.1.3 遙感圖像融合的層次圖像融合可以在3個不同層次進行數(shù)據(jù)融合框架概念設(shè)計(三個層次的數(shù)據(jù)融合之間的關(guān)系)數(shù)據(jù)融合框

5、架概念設(shè)計(三個層次的數(shù)據(jù)融合之間的關(guān)系)1. 基于像素的圖像融合像素級融合是一種低水平的融合，像元級融合及應(yīng)用的流程為：經(jīng)過預(yù)處理的遙感影像數(shù)據(jù)數(shù)據(jù)融合特征提取判斷識別。要求：基于像素的圖像融合必須解決以幾何糾正為基礎(chǔ)的空間匹配問題，包括像元坐標轉(zhuǎn)換、像元重采樣、投影轉(zhuǎn)換等。優(yōu)點：基于最原始的數(shù)據(jù)，保留了盡可能多的原始信息，提供更多的細節(jié)信息。應(yīng)用最廣泛。 缺點：1. 效率低下。由于處理的遙感圖像數(shù)據(jù)量大，所以處理時間較長，實時性差。 2. 為了便于像素比較，對傳感器信息的配準精度要求很高；3. 要求影像來源于一組同質(zhì)傳感器。 像素級融合所包含的具體融合方法有：波段代數(shù)運算法、IHS變換、

6、Brovey 、小波變換、主成分變換（PCA）等。1. 基于像素的圖像融合2. 基于特征的圖像融合定義：特征級融合是指運用不同算法，首先對各種數(shù)據(jù)源進行目標識別的特征提取如邊緣提取、分類等，即先從初始圖像中提取特征信息空間結(jié)構(gòu)信息如范圍、形狀、鄰域、紋理等；然后對這些特征信息進行綜合分析與融合處理。是一種中等水平的融合。特點：基于特征的圖像融合，強調(diào)特征之間的對應(yīng)，并不突出像元的對應(yīng)，在處理上避免了像元重采樣等方面的組合，因為它對特征屬性的判斷具有更高的可信度和準確性。缺點：不是基于原始圖像數(shù)據(jù)而是特征，則在特征提取過程中不可避免的會出現(xiàn)信息的部分丟失，并難以提供細節(jié)信息。2. 基于特征的圖像

7、融合3. 基于決策層的圖像融合決策級融合指在圖像理解和圖像識別基礎(chǔ)上的融合，是最高水平的融合，是經(jīng)“特征提取”和“特征識別”后的融合。融合的結(jié)果直接面向應(yīng)用、為決策支持提供服務(wù)?；跊Q策層的圖像融合先經(jīng)特征提取和一些輔助信息的參與，再對有價值的復(fù)合數(shù)據(jù)運用判別規(guī)則、決策規(guī)則加以判斷、識別、分類，然后在一個更抽象的層次上，將這些有價值的信息進行融合。獲得綜合的決策結(jié)果，提高識別和解譯能力，更好理解目標，有效的反映地學(xué)過程。決策級融合的優(yōu)點是具有很強的容錯性，很好的開放性，處理時間短、數(shù)據(jù)要求低、分析能力強。而對圖像預(yù)處理、特征提取與特征識別有較高要求，所以決策級融合的代價較高。3. 基于決策層的

8、圖像融合遙感圖像的融合39優(yōu)質(zhì)課件5.1.4 遙感圖像融合的具體目標1. 圖像銳化圖像融合作為提高圖像空間分辨率的一種手段，常被用于高低空間分辨率圖像數(shù)據(jù)的融合，最典型的應(yīng)用是高分辨率全色圖像與低分辨率多光譜圖像數(shù)據(jù)的融合。它既保留了多光譜圖像的較高光譜分辨率，又保留了全色圖像的高空間分辨率。2.特征增強能產(chǎn)生單一數(shù)據(jù)所不具備的或難以顯示的特征，并增強圖像的語義能力，從而最大限度的提取特征信息。3. 改善分類4.多時相圖像融合用于變化監(jiān)測5. 替代或修補圖像數(shù)據(jù)的缺陷5.1.4 遙感圖像融合的具體目標1. 圖像銳化5.1.5 遙感圖像融合的關(guān)鍵技術(shù)1. 數(shù)據(jù)配準（包括空間配準與數(shù)據(jù)關(guān)聯(lián)）2.

9、融合模型的建立與優(yōu)化：數(shù)據(jù)集的選擇3. 融合方法的選擇5.1.5 遙感圖像融合的關(guān)鍵技術(shù)1. 數(shù)據(jù)配準（包括空間配5.2 遙感圖像融合方法1. Brovey變換融合2. IHS變換融合3. 主成分變換（PCA）融合4.小波變換融合代數(shù)運算融合方法基于空間變換的融合方法基于金字塔式分解和重建的融合方法5.2 遙感圖像融合方法1. Brovey變換融合代數(shù)1. Brovey變換融合Where IBrovey is the DN (Digital Number) value of a resultant fused image, Ilow is the DN value of a lower res

10、olution image, Ihigh is the DN value of the higher resolution image, and is the average DN value of 3 lower resolution band images co-registered to a higher resolution image. Brovey變換融合(色彩標準化變換融合)，是較為簡單的融合方法。它是將多光譜圖像的像元分解為色彩和亮度，其特點是簡化了圖像轉(zhuǎn)換過程，又保留了多光譜數(shù)據(jù)的信息，同時提高了融合圖像的視覺效果；缺點是存在一定的光譜扭曲，且沒有解決光譜范圍不一致的全色影像

11、和多光譜影像融合的問題。將多光譜波段歸一化的過程1. Brovey變換融合Where IBrovey is1. Brovey變換融合其中， 表示第 波段的灰度， 表示全色波段影像灰度， 表示第 波段的多光譜波段影像灰度。 此融合結(jié)果一個明顯的特點就是色調(diào)豐富，幾乎完整保持了原始影像的色調(diào)信息。對于山地、水體、植被一類地物表現(xiàn)非常明顯，建筑區(qū)內(nèi)城區(qū)色調(diào)相比較暗，但綠地反映明顯。1. Brovey變換融合其中， 表示第 波段的灰在色度學(xué)上，用強度(Intensity)、色度(Hue)和飽和度(Saturation)作為顏色表示系統(tǒng)，稱為IHS系統(tǒng)。其中強度是光作用在人眼所引起的明亮程度感覺，與物體

12、的反射率成正比；色度代表顏色純的程度，指該種顏色的平均波長或主要光波長；飽和度則是彩色光所呈現(xiàn)顏色的深淺。常用的RGB三個顏色分量是一種針對硬件設(shè)備的顏色系統(tǒng)，RGB三個顏色分量是互相關(guān)聯(lián)的。而IHS系統(tǒng)中的I分量與圖像的色彩無關(guān)，H分量和S分量則與人類感受顏色的方式有緊密聯(lián)系。因此， IHS系統(tǒng)更接近于人類的視覺系統(tǒng)，便于人類對圖像的顏色特性進行處理。2. IHS變換融合在色度學(xué)上，用強度(Intensity)、色度(Hue)和飽IHS編碼的優(yōu)點足能把強度和顏色分開。H、S對I相對而言對分辨率要求較低，這為在保持最多信息的條件下將不同分辨率的遙感影像數(shù)據(jù)進行融合提供了可能的途徑。2. IHS

13、變換融合IHSIHS編碼的優(yōu)點足能把強度和顏色分開。H、S對I相對而言對分利用IHS變換進行影像融合原理，就是用另一影像替代IHS中的三個分量中的某一分量，其中強度分量被代替最為常用。當高分辨率全色影像與多光譜影像融合時，先把多光譜影像利用IHS變換從RGB系統(tǒng)變換至IHS空間；同時將單波段的高分辨率圖像經(jīng)過灰度拉伸，使其灰度的均值與方差和IHS空間中亮度分量圖像一致；然后將拉伸過的高分辨率圖像作為新的亮度圖像帶入到IHS，經(jīng)過反變換還原到原始空間。這樣獲得的圖像既有高的空間分辨率，又有與原圖像相同的色度和飽和度。具體融合流程為：2. IHS變換融合利用IHS變換進行影像融合原理，就是用另一影

14、像替代IHS中的2. IHS變換融合2. IHS變換融合IHS變換融合是影像融合最常用的一種方法，融合影像保留了絕大部分的高空間分辨率影像的信息，使得其分辨率接近高空間分辨率影像，同時也保留了多光譜影像的光譜特征，提高了影像的判讀、識別、分類能力，特別有利于視覺理解。然而，由于不同波段數(shù)據(jù)的不同光譜特征曲線，IHS方法扭曲了原始的光譜特征，產(chǎn)生了光譜退化現(xiàn)象；同時，IHS方法只能同時對多光譜影像的3個波段進行融合。2. IHS變換融合IHS變換融合是影像融合最常用的一種方法，融合影像保留了絕大I 分量PAN波段I 分量PAN波段3. 主成分變換（PCA）融合主成分變換，也稱主成分分析，是著眼于

15、變量之間的相互關(guān)系，用幾個綜合性指標匯集多個變量的測量值而進行描述的方法，是一種最小均方誤差意義上的最優(yōu)正交變換。對于多光譜影像，由于各個波段的數(shù)據(jù)間存在相關(guān)的情況很多，通過采用主成分分析就可以把現(xiàn)有圖像中所含的大部分信息用假想的少數(shù)波段表示出來，也可以說減少了光譜維數(shù)。主成分變換主要針對超過三個波段的影像融合，前述各種方法在超過三個波段的影像融合時受限，只能抽取和選擇多光譜影像中的三個波段參與變換，無疑會使其他波段的信息丟失，不利于影像信息的綜合利用。主成分變換中參與變換的多光譜數(shù)據(jù)不受波段數(shù)限制，可以接受三個以上波段的多光譜數(shù)據(jù)和高分辨率數(shù)據(jù)進行變換，從而將各個波段的紋理信息分離出來。3.

16、 主成分變換（PCA）融合主成分變換，也稱主成分分析，3. 主成分變換（PCA）融合主成分變換在數(shù)學(xué)上是將矩陣展開分解為其協(xié)方差矩陣的特征向量的加權(quán)；對于圖像而言主成分變換是圖像按照特征向量將其特征空間分解為多元空間。經(jīng)過PCA變換可將噪音向量剔除掉，保證融合圖像信息度良好。遙感影像進行分解時，第一、二主分量一般占總信息量(即方差)的97以上，而其余各分量總和最多也不過23。所以，利用PCA變換就可以很方便的將影像的結(jié)構(gòu)信息通過第一主分量表達出來。由此可見，主成分變換顯著優(yōu)點是將龐雜的多波段數(shù)據(jù)用盡可能少的波段表達出來，而且數(shù)據(jù)信息量幾乎沒有損失，從而達到數(shù)據(jù)壓縮的目的。主成分變換融合是將N個

17、波段的低分辨率圖像進行主成分變換，將單波段的高分辨率圖像經(jīng)過灰度拉伸，使其灰度的均值與方差同主成分變換的第一分量圖像一致；然后以拉伸過的高分辨率圖像代替第一分量圖像，經(jīng)過主成分逆變換還原到原始空間，具體流程圖如下：3. 主成分變換（PCA）融合主成分變換在數(shù)學(xué)上是將矩陣展基于主成分變換的圖像融合法基于主成分變換的圖像融合法優(yōu)勢：經(jīng)過融合的圖像包含了原始圖像的高空間分辨率與高光譜分辨率特征，保留了原圖像的高頻信息。融合圖像上目標的細部特征更加清晰，光譜信息更加豐富。主成分變化較IHS變換融合能夠更多的保留多光譜影像的光譜特征，同時也克服了IHS變換融合只能同時對3個波段的影像進行融合的局限性，可

18、以對3個以上的多光譜圖像進行融合。局限性： 圖像在做主成分分析時，第一分量的信息表達的是原各波段中信息的共同變換部分，其與高分辨率圖像中細節(jié)變化的含義略有不同，高分辨率圖像經(jīng)過拉伸后雖然與第一份量具有高相似性，但融合后的圖像在空間分辨率和光譜分辨率上會有所變換； 光譜信息的變化仍然存在，使融合圖像不便用于地物識別和反演工作，但是它可以改進目視判讀的效果，提高分類制圖的精度。3. 主成分變換（PCA）融合優(yōu)勢：經(jīng)過融合的圖像包含了原始圖像的高空間分辨率與高光譜分辨Landsat ETM+ 影像B432融合前主成分變換融合前后對比：Landsat ETM+ 影像B432融合后Landsat ETM

19、+ 影像B432融合前主成分變換融合前IKONOS影像 B432融合前IKONOS影像B432融合后IKONOS影像 B432融合前IKONOS影像B432融合4. 小波變換融合 小波變換具有變焦性、信息保持性和小波基選擇的靈活性等優(yōu)點。經(jīng)小波變換可將圖像分解為一些具有不同空間分辨率、頻率特性和方向特性的子信號（圖像）。它的分頻特征，相當于高、低雙頻濾波，能夠?qū)⑿盘柗纸鉃榈皖l信息（圖像）和高頻細節(jié)/紋理信息（圖像），同時又不失原信號所包含的信息。因而可以用于以非線性的對數(shù)映射方式融合不同類型的圖像數(shù)據(jù)，使融合后的圖像既保留原高分辨率遙感影像的結(jié)構(gòu)信息，又融合多光譜影像豐富的光譜信息，提高影像的

20、解譯能力、分類精度。 小波變換能實現(xiàn)對數(shù)據(jù)的無損壓縮和圖像的完全重構(gòu)，即由小波變換分解的各頻帶信號，可經(jīng)過小波反變換重構(gòu)“原”圖像。4. 小波變換融合 小波變換具有變焦性、信息保持性和小波分解圖示多尺度小波分解示意圖小波分解圖示多尺度小波分解示意圖基于小波變換融合基本步驟以SPOT5多光譜與SPOT5的全色（ pan ）數(shù)據(jù)融合為例1. 首先對兩圖像進行配準2. 對低分辨率的多光譜數(shù)據(jù)進行重采樣和高分辨率的空間分辨率一致3. 對配準后的多光譜和全色圖像分別進行小波正變換，獲得各自的低頻圖像和高頻細節(jié)/紋理圖像4. 用SPOT5多光譜的低頻圖像替代全色的低頻圖像5. 用替換后的多光譜低頻圖像與全

21、色的高頻細節(jié)進行小波逆變換得到融合結(jié)果圖像?；谛〔ㄗ儞Q融合基本步驟以SPOT5多光譜與SPOT5的全色遙感圖像的融合39優(yōu)質(zhì)課件盡管小波變換融合較以前的各種影像融合方法有較大的進步，但仍存在3個問題：一是常用的二進制小波變換可以有效地處理分辨率相差約為2j倍的情況，對其他情況則效果欠佳；二是多級小波變換僅對低頻分量進行不同層次的分解，這使得尺度參數(shù)越大，頻譜的局部性就越差，頻譜的分辨率就越低；三是用小波變換法得到的融合圖像隨著小波分解尺度的增大，會出現(xiàn)明顯的、有規(guī)律的方塊效應(yīng)，同時隨著尺度的增大，融合圖像的光譜信息出現(xiàn)損失。4. 小波變換融合盡管小波變換融合較以前的各種影像融合方法有較大的進

22、步，但仍存遙感圖像的融合39優(yōu)質(zhì)課件5.3 遙感圖像融合效果評價1. 視覺評價：紋理、細節(jié)、邊緣的清晰程度2. 定量化評價：一般通過多種統(tǒng)計分析方法來評判融合圖像的質(zhì)量，如用熵和聯(lián)合熵來評定其信息量的大??；用梯度和平均梯度來評定融合圖像的清晰度；計算圖像偏移、逼真度、影像的方差和相關(guān)等作為圖像質(zhì)量的數(shù)學(xué)評定標準等。5.3 遙感圖像融合效果評價1. 視覺評價：紋理、細節(jié)、邊緣融合效果評價體系融合效果評價體系目視效果原始影像IHS融合影像目視效果原始影像IHS融合影像目視效果Brovey融合結(jié)果PCA融合結(jié)果目視效果Brovey融合結(jié)果PCA融合結(jié)果目視效果GS融合結(jié)果小波變換融合結(jié)果目視效果GS融合結(jié)果小波變換融合結(jié)果2. 定量化評價(1). 基于信息量的評價 熵是衡量信息豐富程度的一個重要指標，一般可選用對融合前后圖像求熵和聯(lián)合熵的方法，來求算信息量的大小。熵越大，圖像所含的信息越豐富，圖像的質(zhì)量越好。一幅8bit表示的圖像x的熵為：式中，x為輸入的圖像變量； 為圖像像元灰度值為i的概率。4個波段圖像的聯(lián)合熵為：是圖像x1像元灰度值為i1、圖像x2像元灰度值為i2、圖像x3像元灰度值為i3、圖像x4像元灰度值為i4的聯(lián)合概率。2. 定量化評價(1). 基于信息量的評價一幅8bit表示2. 定量化評價(2). 基于清晰度的評價影像清晰度是指影像的邊界或線狀地物兩側(cè)附近灰度