1、多媒體開(kāi)發(fā)與編程6 圖像處理基礎(chǔ) 基本概念 顏色基礎(chǔ) 圖像表示方式 圖像的基本類型 圖像增強(qiáng)理論 圖像平滑技術(shù) 圖像銳化 設(shè)計(jì)簡(jiǎn)易數(shù)字圖像處理系統(tǒng)引言 什么是人類視覺(jué)人類通過(guò)眼、耳、鼻、舌、身等接受外部信息，感知自然世界。上一單元我們學(xué)習(xí)了聽(tīng)覺(jué)音頻處理，在這一單元我們學(xué)習(xí)視覺(jué)圖像處理。視覺(jué)重要嗎？古語(yǔ)云：百聞不如一見(jiàn)一目了然眼見(jiàn)為實(shí)，耳聽(tīng)為虛人類獲得信息的8090以上來(lái)自于視覺(jué)：圖像引言 圖像處理重要？?jī)纱髴?yīng)用需求對(duì)圖像信息的改進(jìn)機(jī)器自動(dòng)理解：使計(jì)算機(jī)具有視覺(jué)引言 圖像處理技術(shù)有用嗎？1.航空航天（1）登月、火星照片處理引言 圖像處理技術(shù)有用嗎？（2）飛機(jī)遙感、衛(wèi)星遙感引言 圖像處理技術(shù)有用嗎

2、？（3）氣象預(yù)報(bào)引言 圖像處理技術(shù)有用嗎？2. 生物醫(yī)學(xué)工程CT、MRI（核磁共振）、B超顯微圖像：紅細(xì)胞、白細(xì)胞、染色體的分析、X光、心電圖。引言 圖像處理技術(shù)有用嗎？3. 通訊領(lǐng)域發(fā)展趨勢(shì)：多媒體通訊；電話、電視、計(jì)算機(jī)三網(wǎng)合一。引言 圖像處理技術(shù)有用嗎？4. 工業(yè)印刷電路板機(jī)器人視覺(jué)零件檢測(cè)郵政信件的自動(dòng)檢測(cè)工業(yè)探傷引言 圖像處理技術(shù)有用嗎？5. 軍事公安導(dǎo)彈制導(dǎo)偵察照片的處理指紋識(shí)別、人臉識(shí)別車牌自動(dòng)識(shí)別引言 圖像處理技術(shù)有用嗎？軍事應(yīng)用目標(biāo)跟蹤引言 圖像處理技術(shù)有用嗎？6. 文化藝術(shù)電視畫面的數(shù)字編輯動(dòng)畫制作游戲紡織工藝品設(shè)計(jì)發(fā)型設(shè)計(jì)文物資料圖片的修復(fù)引言 圖像處理技術(shù)有用嗎？6.

3、交通領(lǐng)域6.1 基本概念1 亮度適應(yīng)能力現(xiàn)象：明亮較暗現(xiàn)象？逐漸能夠看清物體暗光適應(yīng)(2030s)較暗明亮現(xiàn)象？：逐漸能夠看清物體亮光適應(yīng)(12s)昏暗視覺(jué)和白晝視覺(jué)人眼能適應(yīng)很寬的亮度范圍，從暗視閾值到強(qiáng)閃光之間的光強(qiáng)度差別約為1010級(jí)。一、視覺(jué)特性6.1 基本概念2同時(shí)對(duì)比度背景亮度不同，人眼所感受的主觀亮度值也不一樣。亮背景下顯得暗、暗背景下顯得亮。這種效應(yīng)就叫同時(shí)對(duì)比度。同時(shí)對(duì)比效應(yīng)隨著背景面積增大而顯著亮度對(duì)比6.1 基本概念色度對(duì)比：物體 背景 視覺(jué)6.1 基本概念3對(duì)比靈敏度人眼對(duì)亮度光強(qiáng)變化的響應(yīng)是非線性的，通常把人眼主觀上剛剛可辨別亮度差別所需的最小光強(qiáng)差值稱為亮度的可見(jiàn)度

4、閾值。也就是說(shuō)，當(dāng)光強(qiáng)I增大時(shí)，在一定幅度內(nèi)感覺(jué)不出，必須變化到一定值I+I時(shí)，人眼才能感覺(jué)到亮度有變化，I/I稱為對(duì)比靈敏度。 無(wú)環(huán)境照度在均勻照度背景I上設(shè)有一照度為I+I的光斑，眼睛剛能分辨出的照度差是I的函數(shù)，當(dāng)背景照度I增大時(shí)，能夠分辨出的光斑I也需要增大，在相當(dāng)寬的強(qiáng)度范圍內(nèi)I/ I的數(shù)值為一常數(shù)，約等于0.02。這個(gè)比值稱為韋伯比。但是在亮度很強(qiáng)或很弱時(shí)，這個(gè)數(shù)值就不再保持為常數(shù)。6.1 基本概念有環(huán)境照度眼睛的對(duì)比靈敏度還與周圍環(huán)境有關(guān)。設(shè)有兩個(gè)相鄰的光斑，一個(gè)強(qiáng)度為I，另一強(qiáng)度為I+I，周圍環(huán)境的照明強(qiáng)度為I0，實(shí)驗(yàn)測(cè)得，I/ I比值為常數(shù)的范圍要大大減小，而且是環(huán)境照明強(qiáng)度

5、I0的函數(shù)。有趣的是：曲線谷點(diǎn)的包絡(luò)線與無(wú)環(huán)境照度曲線相同。6.1 基本概念4Mach帶人們?cè)谟^察一條有均勻黑的區(qū)域和均勻白的區(qū)域形成的邊界時(shí)，感覺(jué)到的是在亮度變化部位附近的暗區(qū)和亮區(qū)中分別存在一條更黑和更亮的條帶，這就是所謂的“Mach帶”馬赫效應(yīng)。6.1 基本概念5主觀輪廓主觀輪廓：是主觀上感知的輪廓，實(shí)際上這個(gè)邊界并不存在。6.1 基本概念6 空間錯(cuò)覺(jué)古希臘藝術(shù)家早就意識(shí)到空間錯(cuò)覺(jué)得存在。在建筑設(shè)計(jì)中引入補(bǔ)償校正技術(shù)以保持對(duì)物體及感覺(jué)的對(duì)稱性。6.1 基本概念7視覺(jué)和視知覺(jué)視覺(jué)主要研究光的物理本質(zhì)、光刺激視覺(jué)感器官的程度、光經(jīng)過(guò)視網(wǎng)膜后經(jīng)視覺(jué)系統(tǒng)加工而產(chǎn)生的亮度與顏色的感覺(jué)；視知覺(jué)研究人

6、是如何通過(guò)視覺(jué)形成關(guān)于外在世界的空間表象的。知覺(jué)將視野中的一些分散刺激加以組織，構(gòu)成了具有一定形狀的整體是在人腦中樞進(jìn)行的一組整合活動(dòng)。6.1 基本概念8立體視覺(jué)和運(yùn)動(dòng)視覺(jué)立體視覺(jué)：關(guān)鍵問(wèn)題是對(duì)應(yīng)點(diǎn)問(wèn)題, 也就是尋找匹配的問(wèn)題。運(yùn)動(dòng)視覺(jué)：研究序列圖像間的對(duì)應(yīng)問(wèn)題，主要問(wèn)題是匹配。對(duì)于瞬時(shí)間的圖像，即間隔時(shí)間很短圖像序列，可以通過(guò)求解光流方程的方法尋找對(duì)應(yīng)，其前提假設(shè)是極短時(shí)間內(nèi)像點(diǎn)的灰度保持不變，只存在位置變化。6.1 基本概念“圖”：是物體投射或反射光的分布；“像”：是人的視覺(jué)系統(tǒng)對(duì)圖的接受在大腦中形成的印象或反映。 因此，圖像：是客觀和主觀的結(jié)合。二、什么是圖像6.1 基本概念物體圖像數(shù)學(xué)

7、函數(shù)不可見(jiàn)的物理圖像可見(jiàn)的圖像光圖像照片、圖與畫從視覺(jué)特點(diǎn)分：可見(jiàn)圖像和不可見(jiàn)圖像；從圖像空間坐標(biāo)和明暗程度的連續(xù)性分：模擬圖像和數(shù)字圖像。6.1 基本概念廣義：與圖像相關(guān)的處理（圖像分析、圖像理解和計(jì)算機(jī)視覺(jué)等）；狹義（從輸入和輸出內(nèi)容）：對(duì)圖像進(jìn)行各種加工，以改善圖像的視覺(jué)效果或突出目標(biāo)，強(qiáng)調(diào)圖像之間進(jìn)行的變換，是一個(gè)從圖像到圖像的過(guò)程；廣義上分為三種類型：低級(jí)處理：輸入輸出都是圖像；中級(jí)處理：圖像分割及目標(biāo)的描述，輸出是目標(biāo)的特征數(shù)據(jù)；高級(jí)處理：目標(biāo)物體及相互關(guān)系的理解，輸出是更抽象的數(shù)據(jù)；圖像處理主要是低級(jí)處理、部分中級(jí)處理。三、什么是數(shù)字圖像處理（DIP）6.1 基本概念20世紀(jì)20

8、年代人們利用巴特蘭電纜圖片傳輸系統(tǒng)（紐約和倫敦之間海底電纜） ，經(jīng)過(guò)大西洋傳送了第一幅數(shù)字圖像，傳輸一幅圖片所需的時(shí)間由一周多減少到小于3個(gè)小時(shí)；報(bào)紙業(yè)圖像的編碼與重構(gòu)技術(shù)。上世紀(jì)50年代計(jì)算機(jī)的發(fā)展，數(shù)字圖像處理才真正地引起人們的巨大興趣；1964年：航天技術(shù)圖像增強(qiáng)和復(fù)原技術(shù)美國(guó)噴射推進(jìn)實(shí)驗(yàn)室（JPL）進(jìn)行太空探測(cè)工作，用計(jì)算機(jī)處理 “徘徊者七號(hào)”發(fā)回的月球圖片，校正飛船上攝像機(jī)中各種不同形式的畸變。直到上世紀(jì)六十年代末至七十年代初，由于離散數(shù)學(xué)理論的創(chuàng)立和完善，使之形成了比較完整的理論體系，成為一門新興的學(xué)科。四、發(fā)展概況6.1 基本概念20世紀(jì)70年代：遙感衛(wèi)星和醫(yī)學(xué)圖像增強(qiáng)和圖像識(shí)別

9、 利用遙感圖片，進(jìn)行地質(zhì)資源探測(cè)，農(nóng)作物估產(chǎn)，水文氣象監(jiān)測(cè) 等圖像重構(gòu) X光斷層圖像重構(gòu)技術(shù)，英國(guó)G.N.Hounsfield 第一臺(tái)腦斷層攝像儀應(yīng)用80年代末到90年代：多媒體技術(shù)高速計(jì)算機(jī)和大規(guī)模集成電路的發(fā)展：圖像壓縮和多媒體技術(shù)；文本圖像的分析和理解，文字的識(shí)別取得重大的進(jìn)展；圖像通訊和傳輸?shù)膹V泛應(yīng)用二十世紀(jì)八十年代以來(lái)：數(shù)字圖象處理向更高級(jí)的方向發(fā)展：實(shí)時(shí)性，智能化，普及化，網(wǎng)絡(luò)化，低成本。目前，就處理方法而言主要將小波、及模糊、神經(jīng)網(wǎng)絡(luò)、遺傳算子、分形等智能信息處理技術(shù)運(yùn)用于數(shù)字圖像處理，使得其更具活力，并在不斷地發(fā)展。6.1 基本概念圖像存儲(chǔ)系統(tǒng)圖像輸入系統(tǒng)圖像處理與分析系統(tǒng)圖像

10、輸出系統(tǒng)原理圖五、數(shù)字圖像處理系統(tǒng)6.1 基本概念模型圖6.1 基本概念圖像數(shù)字化設(shè)備：掃描儀、數(shù)碼相機(jī)、攝像機(jī)與圖像采集卡等圖像處理計(jì)算機(jī)：PC、工作站等圖像存儲(chǔ)設(shè)備：磁盤、光盤、硬盤等圖像輸出設(shè)備：顯示器、打印機(jī)等6.1 基本概念六、數(shù)字圖像處理的目的通常，對(duì)圖像進(jìn)行加工和分析主要目的如下： 1. 提高圖像的視感質(zhì)量， 以達(dá)到賞心悅目的目的。去除圖像中的噪聲，改變圖像的亮度、顏色，增強(qiáng)圖像中的某些成份、抑制某些成份，對(duì)圖像進(jìn)行幾何變換等，從而改善圖像的質(zhì)量， 以達(dá)到真實(shí)、或清晰、或色彩豐富等效果。 6.1 基本概念2. 提取圖像中所包含的某些特征或特殊信息， 以便于分析。例如，常用作模式識(shí)

11、別、計(jì)算機(jī)視覺(jué)的預(yù)處理等。這些特征包括很多方面，如頻域特性、灰度顏色特性、邊界區(qū)域特性、紋理特性、形狀拓?fù)涮匦砸约瓣P(guān)系結(jié)構(gòu)等。3. 對(duì)圖像數(shù)據(jù)進(jìn)行變換、 編碼和壓縮， 以便于圖像的存儲(chǔ)和傳輸。6.1 基本概念狹義的數(shù)字圖像處理：是指將一幅圖像變?yōu)榱硪环?jīng)過(guò)修改（或改進(jìn)）的圖像。如：消除圖像劣化因素，使圖像質(zhì)量得到改善，使畸變得到校正等，包括銳化、平滑、模糊復(fù)原、三維重建等。數(shù)字圖像分析：是指將一幅圖像轉(zhuǎn)化為一種非圖像的表示。如：分析圖像的結(jié)構(gòu)，提取其特征等。是由圖像到描述的過(guò)程。又稱圖像理解或圖像識(shí)別。包括邊緣檢測(cè)、測(cè)度抽取、紋理分析等。七、研究?jī)?nèi)容6.1 基本概念計(jì)算機(jī)圖形學(xué)相關(guān)學(xué)科的關(guān)系6

12、.1 基本概念八、數(shù)字圖像處理的特點(diǎn)數(shù)字圖像處理是利用計(jì)算機(jī)實(shí)現(xiàn)與光學(xué)系統(tǒng)模擬處理相同效果的過(guò)程。一般具有如下特點(diǎn)： 1. 處理精度高，再現(xiàn)性好計(jì)算機(jī)圖像處理，其實(shí)質(zhì)是對(duì)圖像數(shù)據(jù)進(jìn)行運(yùn)算。由于計(jì)算機(jī)技術(shù)的飛速發(fā)展，計(jì)算精度和準(zhǔn)確性不斷提高；另外，用相同的方法對(duì)同一圖像進(jìn)行多次處理，其再現(xiàn)性好。2. 處理方法的多樣性由于圖像處理是通過(guò)程序?qū)崿F(xiàn)的，因此，設(shè)計(jì)不同的圖像處理程序，可以實(shí)現(xiàn)各種不同的處理目的。 6.1 基本概念3. 圖像數(shù)據(jù)量龐大數(shù)字圖像的數(shù)據(jù)量巨大。數(shù)字圖像由圖像矩陣中的像素（Pixel）組成，每個(gè)像素用紅、綠、藍(lán)三種顏色表示，每種顏色用8 bit表示灰度級(jí)。4. 處理費(fèi)時(shí)由于圖像數(shù)

13、據(jù)量大，因此處理比較費(fèi)時(shí)。特別是處理結(jié)果與中心像素鄰域有關(guān)的處理過(guò)程花費(fèi)時(shí)間更多。5. 圖像處理技術(shù)綜合性強(qiáng)數(shù)字圖像處理涉及的技術(shù)領(lǐng)域相當(dāng)廣泛，如通信技術(shù)、計(jì)算機(jī)技術(shù)、電子技術(shù)、電視技術(shù)等，當(dāng)然，數(shù)學(xué)、物理學(xué)等領(lǐng)域更是數(shù)字圖像處理的基礎(chǔ)。 6.1 基本概念九、數(shù)字圖像處理的發(fā)展方向1. 在進(jìn)一步提高精度的同時(shí)著重解決處理速度問(wèn)題。如在航天遙感、氣象云圖處理方面，巨大的數(shù)據(jù)量和處理速度仍然是主要矛盾之一。2. 加強(qiáng)軟件研究、開(kāi)發(fā)新的處理方法，特別要注意移植和借鑒其他學(xué)科的技術(shù)和研究成果，創(chuàng)造新的處理方法。3. 加強(qiáng)邊緣學(xué)科研究工作，促進(jìn)圖像處理技術(shù)的發(fā)展。如人的視覺(jué)特性、心理學(xué)特性等的研究，如果

14、有所突破，將對(duì)圖像處理技術(shù)的發(fā)展起到極大的促進(jìn)作用。6.1 基本概念4. 加強(qiáng)理論研究，逐步完善圖像處理學(xué)科的理論體系。5. 圖像處理領(lǐng)域的標(biāo)準(zhǔn)化。圖像的信息量大、數(shù)據(jù)量大， 因而圖像信息的建庫(kù)、檢索和交流是一個(gè)重要的問(wèn)題。目前的情況是:軟件、硬件種類繁多，交流和使用極為不便，成為資源共享的嚴(yán)重障礙。應(yīng)建立圖像信息庫(kù)，統(tǒng)一存放格式，建立標(biāo)準(zhǔn)子程序，統(tǒng)一檢索方法。6.2 顏色基礎(chǔ)顏色的實(shí)質(zhì)顏色的實(shí)質(zhì)是光波，是視覺(jué)系統(tǒng)對(duì)可見(jiàn)光的感知結(jié)果，是由被觀察對(duì)象吸收或反射不同波長(zhǎng)的光波形成。可見(jiàn)光波長(zhǎng) 為380 nm780 nm之間的電磁波。眼睛看到的光常為多種不同波長(zhǎng)的光組合成。當(dāng)各種不同的光信號(hào)一起進(jìn)入

15、眼睛某點(diǎn)時(shí)，視覺(jué)器官將其混合，作為一種顏色接收。一、顏色是什么6.2 顏色基礎(chǔ)光色波長(zhǎng)（nm)代表波長(zhǎng)紅（Red）780630700橙（Orange）630600620黃（Yellow）600570580綠（Green）570500550青（Cyan）500470500藍(lán)（Blue）470420470紫（Violet）420380420400nm700nm紫外光紅外光可見(jiàn)光區(qū)546.1nm435.8nm780nm6.2 顏色基礎(chǔ)1.色調(diào)(色相）引起視覺(jué)的色光，可能是由數(shù)種波長(zhǎng)的光波混合而成，但正常人眼均能感受出它最接近紅、橙、黃、綠、青、藍(lán)、紫等純光譜色中的那一種，這種屬性稱為色調(diào)。而最接近的

16、光譜色，一般也稱之為色光的色彩。太陽(yáng)光譜中各色光的色彩，可以用其波長(zhǎng)表示。因此單一波長(zhǎng)的光，就稱為單色光。黑色與白色都沒(méi)有色彩，介于黑與白中間的是灰色。色調(diào)有一個(gè)自然的順序：紅、橙、黃、綠、青、藍(lán)、紫。在這個(gè)次序中，當(dāng)人們混合相鄰顏色時(shí)，可以獲得在這兩種顏色之間連續(xù)變化的色調(diào)。 二、顏色的度量6.2 顏色基礎(chǔ)2.飽和度指的是顏色偏離灰色、接近純光譜色的程度。黑、白、灰色的飽和度最低（0%）；純光譜色的飽和度最高（100%）。純光譜色與白光混合，可以產(chǎn)生各種混合色光，其中純光譜色所占的百分比，就是該色光的飽和度。 6.2 顏色基礎(chǔ)3.明度指的是光所產(chǎn)生的亮暗感覺(jué)，是視覺(jué)系統(tǒng)對(duì)可見(jiàn)物體輻射或者發(fā)光

17、多少的感知屬性。就白、黑、灰色而言，白色最亮，黑色則最暗，灰色則居中6.2 顏色基礎(chǔ)現(xiàn)代顏色視覺(jué)理論中的三色學(xué)說(shuō)認(rèn)為：人眼的錐狀細(xì)胞是由紅、綠、藍(lán)三種感光細(xì)胞組成的，自然界中的任何一種顏色都可以由R、G、B這3種顏色值之和來(lái)確定，它們構(gòu)成一個(gè)3維的RGB矢量空間。這就是說(shuō)，R、G、B的數(shù)值不同混合得到的顏色就不同，也就是光波的波長(zhǎng)不同。三、三基色（三原色）原理6.2 顏色基礎(chǔ)1.相加混色任何一種顏色都可用三種基本顏色按不同的比例混合得到。三種顏色的光強(qiáng)越強(qiáng)，到達(dá)人眼的光就越多，它們的比例不同，看到的顏色也就不同，沒(méi)有光到達(dá)眼睛，就是一片漆黑。三基色大小決定彩色光的亮度，混合色的亮度等于各基色分

18、量亮度之和。三基色的比例決定混合色的色調(diào)，當(dāng)三基色混合比例相同時(shí)，是灰色。 6.2 顏色基礎(chǔ)常用的相加混色方法有以下三種時(shí)間混色法：將三基色按一定比例輪流投射到同一屏幕上，由于人眼的視覺(jué)惰性，只要交替速度足夠快，產(chǎn)生的彩色視覺(jué)與三基色直接相混時(shí)一樣?？臻g混色法：將三基色同時(shí)投射到彼此距離很近的點(diǎn)上，利用人眼分辨力有限的特性而產(chǎn)生混色，或者使用空間坐標(biāo)相同的三基色光的同時(shí)投射產(chǎn)生合成光。生理混色法：利用兩只眼睛分別觀看兩個(gè)不同顏色的同一景象，也可獲得混色效果 6.2 顏色基礎(chǔ)2.相減混色相減混色利用濾光特性，在白光中減去不需要的彩色，留下所需要顏色。如印染、顏料等采用的相減混色。當(dāng)兩種以上的色料

19、相混和重疊時(shí)，白光就減去各種色料的吸收光，其剩余部分的反射色光混合結(jié)果就是色料混合或重疊產(chǎn)生的顏色。6.2 顏色基礎(chǔ)顏色空間是組織和描述顏色的方法之一，也可以稱之為顏色模型 1.RGB顏色空間采用紅、綠和藍(lán)3基色來(lái)匹配所有顏色的模型稱為RGB顏色空間。國(guó)際照明委員會(huì)將3種單色光的波長(zhǎng)分別定義為：紅色（700nm）、綠色（546.1nm）、藍(lán)色（453.8nm）根據(jù)3基色原理，任意一種顏色可以由下式匹配：C=rR+gG+bB式中的系數(shù)r、g和b分別為3基色紅、綠和藍(lán)的比例系數(shù)。當(dāng)r=g=b時(shí)，顏色C為標(biāo)準(zhǔn)的白色。四、顏色空間6.2 顏色基礎(chǔ)RGB顏色模型通常用于彩色陰極射線管和彩色光柵圖形顯示器

20、，各個(gè)原色的光能疊加在一起產(chǎn)生復(fù)合色。在正方體主對(duì)角線上，各原色的量相等，產(chǎn)生由暗到亮的白色，即灰度。（0,0,0）為黑，（255,255,255）為白。正方體的其它六個(gè)頂點(diǎn)分別為紅、黃、綠、青、藍(lán)、品紅。6.2 顏色基礎(chǔ)2.CMYK顏色空間與RGB模型不同，以紅、綠、藍(lán)的補(bǔ)色青（Cyan）、品紅（Magenta)、黃(yellow)為原色構(gòu)成CMY顏色系統(tǒng)，常用于從白光中濾去某種顏色，故稱為減性原色系統(tǒng)。CMY顏色模型對(duì)應(yīng)的直角坐標(biāo)系的子空間與RGB模型所對(duì)應(yīng)的子空間幾乎完全相同。區(qū)別僅在于前者的原點(diǎn)為白，而后者的原點(diǎn)為黑。前者是通過(guò)從白色中減去某種顏色來(lái)定義一種顏色，而后者是通過(guò)向黑色中加

21、入某種顏色來(lái)定義一種顏色。6.2 顏色基礎(chǔ)靜電或噴墨繪圖儀、打印機(jī)、復(fù)印機(jī)等硬拷貝設(shè)備將顏色畫在紙張上時(shí)，使用的是CMY顏色系統(tǒng)。 由于彩色墨水和顏料的化學(xué)特性，用等量的三基色得到的黑色不是真正的黑色，因此在印刷術(shù)中經(jīng)常加入一種真正的黑色（Black）。黑色用K表示，CMY顏色空間成為CMYK顏色空間6.2 顏色基礎(chǔ)3.YUV顏色空間這是電視系統(tǒng)中常用的顏色模式。采用三管彩色攝像機(jī)或彩色CCD（點(diǎn)耦合器件）攝像機(jī)，它把攝得的彩色圖像信號(hào)，經(jīng)分色、分別放大校正得到RGB，再經(jīng)過(guò)矩陣變換電路得到亮度信號(hào)Y和兩個(gè)色差信號(hào)RY、BY，最后發(fā)送端將亮度和色差三個(gè)信號(hào)分別進(jìn)行編碼，用同一信道發(fā)送出去。這就

22、是我們常用的YUV顏色空間。6.2 顏色基礎(chǔ)4.HSB顏色空間這種彩色系統(tǒng)格式的設(shè)計(jì)反映了人類觀察彩色的方式。如：紅色又分為淺紅和深紅色等等。色調(diào)：H 飽和度：S明度：B6.2 顏色基礎(chǔ)5.HSI模型RGB格式從物理和光學(xué)角度描述顏色不同， HSI則是根據(jù)視覺(jué)的主觀感覺(jué)對(duì)顏色進(jìn)行描述。人眼不能直接感覺(jué)紅、綠、藍(lán)三色的比例，只能通過(guò)感知顏色的亮度、色調(diào)和飽和度來(lái)區(qū)分物體。在HSI彩色空間中，表征像素彩色信息的兩個(gè)參數(shù)是色度（hue）和飽和度（saturation）。 色度H：表明顏色的種類;飽和度S：表示顏色深、淺、濃、淡程度 ;強(qiáng)度I ：決定了像素的像素的整體亮度，而不考慮色彩 .6.2 顏色

23、基礎(chǔ)HSI坐標(biāo)系：6.2 顏色基礎(chǔ)由RGB到HSI的轉(zhuǎn)換公式6.2 顏色基礎(chǔ)6.Lab 顏色空間 Lab 描述顏色的顯示方式,而不是設(shè)備生成顏色所需的特定色料的數(shù)量。即不依賴于光線,也不依賴于顏料，它是一個(gè)理論上包括了人眼可以看見(jiàn)的所有色彩的色彩模式。6.2 顏色基礎(chǔ)顏色模式與用途：CMYK模式(用于印刷) 特點(diǎn):色彩灰暗分色膠片印版印輥印紙成品RGB模式(用于顯示) 特點(diǎn):色彩鮮艷6.3 圖像表示一、模擬圖像圖像是連續(xù)的，即用函數(shù) f (x,y)表示的圖像。其中：x , y表示空間坐標(biāo)點(diǎn)的位置；f 表示圖像在點(diǎn)（x , y） 的某種性質(zhì)的數(shù)值，如亮度、灰度，色度等。f , x, y可以是任意

24、實(shí)數(shù)。.6.3 圖像表示二、數(shù)字圖像：I (r , c)是對(duì) f ( x , y) 的離散化后的結(jié)果。r表示圖像的行(row)；c表示圖像的列(column)；I表示離散后的f；I , r, c的值只能是整數(shù)。.6.3 圖像表示數(shù)字圖像可用矩陣或數(shù)組進(jìn)行描述。6.3 圖像表示6.4 圖像的基本類型指圖像的每個(gè)像素只能是黑或者白，沒(méi)有中間的過(guò)渡，故又稱為二值圖像。二值圖像的像素值為0、1。一、黑白圖像6.4 圖像的基本類型指每個(gè)像素的信息由一個(gè)量化的灰度級(jí)來(lái)描述的圖像，沒(méi)有彩色信息?；叶热≈捣秶鸀?0255),“0”表示純黑色，“255”表示純白色，中間的數(shù)字表示黑白之間的過(guò)渡色。二、灰度圖像6

25、.4 圖像的基本類型灰度圖像描述示例6.4 圖像的基本類型索引圖像既包括存放圖像數(shù)據(jù)的二維矩陣，還包括一個(gè)顏色索引矩陣（稱為MAP），因此稱為索引圖像，又稱為映射圖像。MAP矩陣也可以由二維數(shù)組表示，矩陣大小由存放圖像的矩陣元素的值域（灰度值范圍）決定。若矩陣元素值域?yàn)?255，則MAP矩陣的大小為2563，矩陣的三列分別為R、G、B值。 圖像矩陣的每一個(gè)灰度值對(duì)應(yīng)于MAP中的一行，如某一像素的灰度值為64，則表示該像素與MAP矩陣的第64行建立了映射關(guān)系，該像素在屏幕上的顯示顏色由MAP矩陣第64行的R G B疊加而成。三、索引圖像6.4 圖像的基本類型6.4 圖像的基本類型彩色圖像是指每個(gè)

26、像素的信息由RGB三原色構(gòu)成的圖像，其中RBG是由不同的灰度級(jí)來(lái)描述的。四、彩色圖像6.4 圖像的基本類型6.5 圖像增強(qiáng)理論1. 什么是噪聲一定程度上講，圖像的生成總是伴隨著各種各樣的噪聲。對(duì)于數(shù)字圖像處理而言，噪聲是指圖像中的非本源信息。因此，噪聲會(huì)影響人的感官對(duì)所接收的信源信息的準(zhǔn)確理解。 在圖像形成過(guò)程中，圖像數(shù)字化設(shè)備、電氣系統(tǒng)和外界影響將使得圖像噪聲的產(chǎn)生不可避免 。一、圖像噪聲6.5 圖像增強(qiáng)理論圖像噪聲按其產(chǎn)生的原因可分為外部噪聲和內(nèi)部噪聲。一般情況下，數(shù)字圖像中常見(jiàn)的外部干擾主要包括如下幾種： 設(shè)備元器件及材料本身引起的噪聲。如磁帶、磁盤表面缺陷所產(chǎn)生的噪聲;系統(tǒng)內(nèi)部設(shè)備電路

27、所引起的噪聲，包括電源系統(tǒng)引入的交流噪聲，偏轉(zhuǎn)系統(tǒng)和箝位電路引起的噪聲等;電器部件機(jī)械運(yùn)動(dòng)產(chǎn)生的噪聲。如數(shù)字化設(shè)備的各種接頭因抖動(dòng)引起的電流變化所產(chǎn)生的噪聲，磁頭、磁帶抖動(dòng)引起的抖動(dòng)噪聲等。2. 噪聲分類6.5 圖像增強(qiáng)理論疊加性； 分布和大小的不規(guī)則性； 噪聲與圖像之間具有相關(guān)性。3. 噪聲特點(diǎn)6.5 圖像增強(qiáng)理論圖像中的噪聲具有分布和大小不規(guī)則、噪聲與圖像之間具有相關(guān)性、具有疊加性等特征。噪聲的存在必然導(dǎo)致圖像質(zhì)量的下降。改善降質(zhì)圖像的方法有兩類：一是不考慮圖像降質(zhì)的原因，只將圖像中感興趣的部分加以處理或突出有用的圖像特征，故改善后的圖像并不一定要去逼近原圖像。這一類圖像改善方法稱為圖像增

28、強(qiáng)，主要目的是要提高圖像的可懂度；二是針對(duì)圖像降質(zhì)的具體原因，設(shè)法補(bǔ)償降質(zhì)因素，使改善后的圖像盡可能地逼近原始圖像。這類方法稱為圖像恢復(fù)或圖像復(fù)原技術(shù)。6.5 圖像增強(qiáng)理論所謂圖像增強(qiáng)，是指按照需要，突出一幅圖像中的某些“有用”信息，同時(shí)削弱另外一些“無(wú)用”信息的圖像處理方法。注意：圖像增強(qiáng)算法并不能增加原始圖像的信息，而是通過(guò)某種技術(shù)手段有選擇地突出對(duì)某一具體應(yīng)用有價(jià)值的信息。 二、圖像增強(qiáng)6.5 圖像增強(qiáng)理論圖像增強(qiáng)的目的：根據(jù)應(yīng)用需要突出圖像中的某些“有用”信息，削弱或去除不需要的信息，以達(dá)到擴(kuò)大圖像中不同物體特征之間的差別。通過(guò)對(duì)圖像的處理，使圖像比處理前更適合一個(gè)特定的應(yīng)用。也就是為

29、了某種應(yīng)用目的去改善圖像的質(zhì)量。改善圖像的視覺(jué)效果。突出圖像的特征，便于計(jì)算機(jī)處理。6.5 圖像增強(qiáng)理論主要有空域處理法和頻域處理法空域處理法直接在圖像所在的二維空間進(jìn)行處理，即直接對(duì)每一像元的灰度值進(jìn)行處理。它又分為兩類：一類是對(duì)圖像作逐點(diǎn)運(yùn)算，稱為點(diǎn)運(yùn)算；另一類是在與處理像點(diǎn)鄰域有關(guān)的空間域上進(jìn)行運(yùn)算，稱為局部運(yùn)算。頻域處理法將圖像從空間域變換到頻率域?qū)D像進(jìn)行處理，在圖像的變換域上進(jìn)行處理，增強(qiáng)感興趣的頻率分量，然后進(jìn)行反變換，得到增強(qiáng)了的圖像。三、圖像增強(qiáng)方法6.5 圖像增強(qiáng)理論空間域圖像增強(qiáng)頻率域灰度變換空域?yàn)V波直接灰度變換直方圖修正法圖像的代數(shù)運(yùn)算直方圖均衡化直方圖規(guī)定化圖像平滑圖

30、像銳化高通濾波低通濾波帶通、帶阻濾波6.5 圖像增強(qiáng)理論其中，空間域?yàn)V波是基于鄰域處理的增強(qiáng)方法，它應(yīng)用某一模板對(duì)每個(gè)像元與其周圍鄰域的所有像元進(jìn)行某種數(shù)學(xué)運(yùn)算得到該像元的新的灰度值，新的灰度值的大小不僅與該像元的灰度值有關(guān)，而且還與其鄰域內(nèi)的像元的灰度值有關(guān)。常見(jiàn)的基于空域的圖像增強(qiáng)方法：圖像平滑；圖像銳化。6.6 圖像平滑技術(shù)圖像在傳輸過(guò)程中，由于傳輸信道、采樣系統(tǒng)質(zhì)量較差，或受各種干擾的影響，而造成圖像毛糙，此時(shí)，就需對(duì)圖像進(jìn)行平滑處理。平滑濾波對(duì)圖像的低頻分量進(jìn)行增強(qiáng)，同時(shí)可以削弱圖像的高頻分量，因此一般用于消除圖像中的隨機(jī)噪聲，從而起到圖像平滑的作用。圖像平滑是圖像增強(qiáng)的一個(gè)重要方面

31、。圖像平滑濾波器的設(shè)計(jì)比較簡(jiǎn)單，常用的有：鄰域均值法，是線性的；中值濾波法，是非線性的。6.6 圖像平滑技術(shù)一幅圖像往往受到各種噪聲源的干擾（如電傳感器和傳輸誤差等），這種噪聲常常為一些孤立的像素點(diǎn)，它們像雪花使圖像被污染，噪聲往往是疊加在圖像上的隨機(jī)噪聲,而圖像灰度應(yīng)該相對(duì)連續(xù)變化的，一般不會(huì)突然變大或變小，這種噪聲可以用鄰域平均法使它得到抑制。假設(shè)圖像由許多灰度恒定的小塊組成，相鄰像素間存在很高的空間相關(guān)性，而噪聲則相對(duì)獨(dú)立，則可以將一個(gè)像素及其鄰域內(nèi)的所有像素的平均灰度值賦給平滑圖像中對(duì)應(yīng)的像素，從而達(dá)到平滑的目的，又稱均值濾波或局部平滑法。一、鄰域平均法 6.6 圖像平滑技術(shù)鄰域平均法

32、的基本思想是：用鄰近幾個(gè)像素灰度的平均值來(lái)代替像素原來(lái)的灰度值，去除突變的像素點(diǎn)，從而濾掉一定的噪聲，實(shí)現(xiàn)圖像的平滑。其主要優(yōu)點(diǎn)是算法簡(jiǎn)單，計(jì)算速度快，但其代價(jià)是會(huì)造成圖像一定程度上的模糊。 假設(shè)有一幅圖像圖像f(x,y) ，了獲取f(x,y)的新值，則開(kāi)一個(gè)MN的窗口S，窗口S就稱為f(x,y)的鄰域。我們可以根據(jù)窗口內(nèi)各點(diǎn)的灰度確定f(x,y)的新值。參見(jiàn)下圖。6.6 圖像平滑技術(shù)6.6 圖像平滑技術(shù)1簡(jiǎn)單鄰域平均最簡(jiǎn)單的鄰域平均法為非加權(quán)鄰域平均。假設(shè)圖像的灰度值為f(x,y)，取以其為中心的MN大小的窗口（稱模板），用窗口內(nèi)各像素灰度值代替f(x,y)的值，則其中，s為(x,y)鄰域中

33、像素坐標(biāo)的集合；如果包含中間點(diǎn)，則模板的中間元素取值為1。1111011116.6 圖像平滑技術(shù)例如，下面陰影中每個(gè)像素點(diǎn)取周圍的8-鄰域平均法，可得到平滑后的像素點(diǎn)。像素點(diǎn)灰度值分布層次不均像素點(diǎn)灰度值分布相對(duì)均勻6.6 圖像平滑技術(shù)平滑經(jīng)過(guò)鄰域平均法處理后，雖然圖像的噪聲得到了抑制，但圖像變得相對(duì)模糊了。6.6 圖像平滑技術(shù)注意：M、N的值不宜過(guò)大。因?yàn)椋篗、N值的大小對(duì)速度有直接影響，且M、N值越大變換后的圖像越模糊，特別是在邊緣和細(xì)節(jié)處。6.6 圖像平滑技術(shù)2加權(quán)鄰域平均加權(quán)鄰域平均，指所有模板系數(shù)可以有不同的權(quán)值。對(duì)于一幅MN的圖像，經(jīng)過(guò)一個(gè)mn(m和n是奇數(shù))的加權(quán)均值濾波的過(guò)程可

34、用下式給出：式中：a=(m-1)/2b=(n-1)/2分母是模板系數(shù)總和，為一常數(shù)。6.6 圖像平滑技術(shù)基本步驟如下：將模板在圖中漫游，并將模板中心與圖中某像素點(diǎn)重合；將模板上系數(shù)與模板下對(duì)應(yīng)像素的灰度值相乘；將所有乘積相加，并除以系數(shù)總和；用所得結(jié)果代替原中心點(diǎn)的值。237804651加權(quán)：模板中的數(shù)值不一致。6.6 圖像平滑技術(shù)鄰域平均法的平滑效果與所采用鄰域的半徑（模板大小）有關(guān)。半徑愈大，則圖像的模糊程度越大，因此，減少圖像的模糊是圖像平滑處理研究的主要問(wèn)題之一。為解決鄰域平均法造成圖像模糊的問(wèn)題，可采用閾值法、K鄰點(diǎn)平均法、梯度倒數(shù)加權(quán)平滑法、最大均勻性平滑法、小斜面模型平滑法等。它

35、們討論的重點(diǎn)都在于如何選擇鄰域的大小、形狀和方向，如何選擇參加平均的點(diǎn)數(shù)以及鄰域各點(diǎn)的權(quán)重系數(shù)等。6.6 圖像平滑技術(shù)鄰域平均法雖然可以平滑圖像，但在消除噪聲的同時(shí)，會(huì)使圖像中的一些細(xì)節(jié)變得模糊。而中值濾波則在消除噪聲的同時(shí)還能保持圖像中的細(xì)節(jié)部分，防止邊緣模糊。所謂中值濾波，就是用一個(gè)奇數(shù)點(diǎn)的移動(dòng)窗口，將窗口中心點(diǎn)的值用窗口內(nèi)各點(diǎn)的中值代替。假設(shè)窗口內(nèi)有五點(diǎn)，其值為80、90、200、110和120，那么此窗口內(nèi)各點(diǎn)的中值即為110。二、中值濾波法6.6 圖像平滑技術(shù)1. 一維中值濾波設(shè)有一個(gè)一維序列f1, f2, , fn，取窗口長(zhǎng)度為m（m為奇數(shù)），對(duì)其進(jìn)行中值濾波，就是：從輸入序列中相

36、繼抽出m個(gè)數(shù)fi-v, , fi-1, fi, fi+1, , fi+v其中fi為窗口中心點(diǎn)值：v=(m-1)2再將這m個(gè)點(diǎn)按其數(shù)值大小排序，取其序號(hào)為中心點(diǎn)的那個(gè)數(shù)作為濾波輸出。用數(shù)學(xué)公式表示為：6.6 圖像平滑技術(shù)假設(shè)有五個(gè)數(shù)：80 90 190 110 120，若使用中值濾波方法去除噪聲（190），其實(shí)現(xiàn)的5個(gè)步驟如下：# 80 90 190 110 120 # 80# 80 90# 80 90 110# 80 90 110 120# 80 90 110 120 120 #123456.6 圖像平滑技術(shù) 2. 二維中值濾波二維中值濾波可由下式表示：基本步驟如下：將窗口在圖中移動(dòng)；讀取窗口

37、內(nèi)各對(duì)應(yīng)像素的灰度值；將這些灰度值從小到大排成1列；找出這些值里排在中間的1個(gè)；將這個(gè)中間值賦給對(duì)應(yīng)窗口中心位置的像素。6.6 圖像平滑技術(shù)假設(shè)，取3X3窗口，則：從小到大排列，取中間值6.6 圖像平滑技術(shù)去雀斑6.6 圖像平滑技術(shù)二維中值濾波的窗口形狀和尺寸對(duì)濾波效果影響較大，不同的圖像內(nèi)容和不同的應(yīng)用要求，往往采用不同的窗口形狀和尺寸。常用的二維中值濾波窗口有線狀、方形、圓形、十字形以及圓環(huán)形等。窗口尺寸一般先用33，再取55逐漸增大，直到濾波效果滿意為止。就一般經(jīng)驗(yàn)來(lái)講，對(duì)于有緩變的較長(zhǎng)輪廓線物體的圖像，采用方形或圓形窗口為宜。對(duì)于包含有尖頂物體的圖像，用十字形窗口，而窗口大小則以不超過(guò)

38、圖像中最小有效物體的尺寸為宜。如果圖像中點(diǎn)、線、尖角細(xì)節(jié)較多，則不宜采用中值濾波。中值濾波與均值濾波的區(qū)別僅限于：中值濾波是求局部中值而不是局部均值，即對(duì)參與計(jì)算的像素灰度值按大小排序，然后取位置居中的像素灰度值。中值濾波特點(diǎn)：可以消除雜散噪聲點(diǎn)而不會(huì)或較小程度地造成邊緣模糊。 6.6 圖像平滑技術(shù)對(duì)圖像來(lái)說(shuō)，它的邊緣以及噪聲干擾的頻率分量都處于頻率域較高的部分，因此，可以采用低通濾波的方法來(lái)去除噪聲。而頻域的濾波又很容易從空間域的卷積來(lái)實(shí)現(xiàn)，為此只要適當(dāng)設(shè)計(jì)空間域的單位沖激響應(yīng)矩陣，就可以達(dá)到濾除噪聲的效果。下面是幾種用于噪聲平滑低通卷積模板。三、低通濾波器 6.6 圖像平滑技術(shù)這些模板中引

39、入了加權(quán)系數(shù)，以區(qū)分鄰域中不同位置像素對(duì)輸出像素值的影響，常稱其為加權(quán)模板。與鄰域平均法中采用的模板相比較可知，鄰域平均法中模板并沒(méi)有考慮鄰域中各點(diǎn)位置的影響，對(duì)于所有的鄰點(diǎn)都一視同仁，所以其平滑的效果并不理想。 6.6 圖像平滑技術(shù)另外，二維Gaussian離散模板也是一種常用的低通卷積模板。由于Gaussian函數(shù)有著一些良好的特性，對(duì)二維連續(xù)Gaussian分布經(jīng)采樣、量化，并使模板歸一化，便可得到二維Gaussian離散模板。33二維Gaussian模板如下：可見(jiàn)Gaussian離散模板也是一種加權(quán)模板，并且它是按二維正態(tài)分布進(jìn)行加權(quán)的。6.6 圖像平滑技術(shù)多幅圖像平均法是利用對(duì)同一景

40、物的多幅圖像取平均來(lái)消除噪聲產(chǎn)生的高頻成分，在圖像采集中常應(yīng)用這種方法去除噪聲。一幅有噪聲的圖像f(x, y), 可以看作是由原始無(wú)噪聲圖像g(x, y)和噪聲n(x, y)疊加而成（加性噪聲），即：四、多幅圖像平均法 6.6 圖像平滑技術(shù)若疊加在圖像上的噪聲n(x, y)是非相關(guān)、具有零均值的隨機(jī)噪聲時(shí)，那么，把針對(duì)一目標(biāo)物(景物)在相同條件下，把作M次重復(fù)攝取的圖像相加，取平均值作為輸出圖像，便可對(duì)圖像中的噪聲進(jìn)行平滑。多幅圖像的平均輸出圖像的期望值是無(wú)噪聲的理想圖像g(x, y)。需要注意的是對(duì)多幅圖像平均，要求多幅圖像之間相互對(duì)準(zhǔn)，而大多數(shù)圖像要做到嚴(yán)格對(duì)準(zhǔn)是相當(dāng)困難的。多幅圖像取平均

41、處理常用于攝像機(jī)的視頻圖像中，用以減少電視攝像機(jī)光電攝像管或CCD器件所引起的噪聲。這是對(duì)同一景物連續(xù)攝取多幅圖像并數(shù)字化，再對(duì)多幅圖像平均，一般選用8幅圖像取平均。這種方法在實(shí)際應(yīng)用中的難點(diǎn)是如何把多幅圖像配準(zhǔn)起來(lái)，以便使相應(yīng)的像素能正確地對(duì)應(yīng)排列。要明確的一點(diǎn)是：沒(méi)有一種十全十美的去除噪聲方法，應(yīng)根據(jù)處理目的，通過(guò)實(shí)際試驗(yàn)選擇合適的方法。6.7 圖像銳化圖像由于傳輸變換、受到干擾而發(fā)生退化的現(xiàn)象稱為圖像模糊。圖像產(chǎn)生模糊的原因可從兩個(gè)角度理解：由平均或積分效應(yīng)引起，此時(shí)可用微分處理；從頻域角度看，模糊可看作圖像上高頻分量被削弱，此時(shí)增強(qiáng)高頻分量。在圖像判讀和識(shí)別過(guò)程中，需要突出目標(biāo)輪廓或邊

42、緣信息，或補(bǔ)償圖像的輪廓、突出圖像中景物的邊緣或紋理，使圖像清晰，俗稱勾邊處理。不過(guò)，邊緣突出的同時(shí)圖像中噪聲也會(huì)被突出。一、圖像模糊6.7 圖像銳化所謂圖像銳化，是指通過(guò)增強(qiáng)高頻分量來(lái)減少圖象中的模糊，可看做為一種高通濾波。在灰度連續(xù)變化的圖像中，經(jīng)常出現(xiàn)與相鄰象素的灰度相差很大的點(diǎn)（灰度突變），比如說(shuō)一片暗區(qū)中突然出現(xiàn)了一個(gè)亮點(diǎn)，人眼能很容易覺(jué)察到。就像看老電影時(shí)，由于膠片太舊，屏幕上經(jīng)常會(huì)出現(xiàn)一些亮斑。這種情況就被認(rèn)為是一種噪聲。灰度突變?cè)陬l域中代表了一種高頻分量，圖像平滑的作用就是濾掉高頻分量，從而達(dá)到減少圖像噪聲的目的。所以，可以把圖像平滑看作為一種簡(jiǎn)單的低通濾波器。二、什么是圖像銳

43、化6.7 圖像銳化所以，圖像銳化處理目的:使灰度反差增強(qiáng)，增強(qiáng)圖像邊緣，使目標(biāo)物體的邊緣鮮明，以便于提取目標(biāo)物體的輪廓邊界、對(duì)圖像進(jìn)行分割、目標(biāo)區(qū)域識(shí)別、區(qū)域形狀提取等，為進(jìn)一步的圖像理解和分析打下基礎(chǔ)。目前它已成為機(jī)器視覺(jué)研究領(lǐng)域最活躍的課題之一，在工程應(yīng)用中占有十分重要的地位。但要注意的是：能夠進(jìn)行銳化處理的圖像必須要求有較高的信噪比，否則圖像銳化后，圖像信噪比更低。因?yàn)殇J化將使噪聲受到比信號(hào)還強(qiáng)的增強(qiáng)，故必須小心處理。一般是先去除或減輕干擾噪聲后，才能進(jìn)行銳化處理。 6.7 圖像銳化1.銳度所謂銳度，指邊緣的對(duì)比度。這里的邊緣指的就是圖像中的物件的邊緣?？梢钥闯?，銳度從左到右逐漸提高，在

44、圖像像素不增加的基礎(chǔ)上造成提高清晰度的假象。 6.7 圖像銳化設(shè)圖像為 ，定義在點(diǎn) 的梯度矢量為： 梯度的幅度為：梯度的方向在函數(shù) 最大變化率方向上。 2. 梯度6.7 圖像銳化一般情況下：即一階偏導(dǎo)數(shù)沒(méi)有各向同性。我們希望：微分算子是各向同性的，即其微分效果不隨特征方向不同而不同。6.7 圖像銳化可證明：偏導(dǎo)數(shù)的平方和是各向同性的，梯度運(yùn)算、拉普拉斯運(yùn)算都符合上述條件。xyyf(x,y)6.7 圖像銳化所以：圖像銳化的根本目的是提高圖像的邊緣銳度。而要提高銳度（實(shí)現(xiàn)銳化），就是把邊緣的對(duì)比度提高，我們的工作就變成了：找到有差異的相鄰的像素，一般指的就是邊緣檢測(cè)。增加有差異的像素的對(duì)比度。6.

45、7 圖像銳化三、一階微分對(duì)于數(shù)字圖像，可用一階差分代替一階微分：平方和運(yùn)算及開(kāi)方運(yùn)算可用兩個(gè)分量的絕對(duì)值之和表示 ：6.7 圖像銳化(i,j)(i+1,j)(i,j+1)(i,j)(i+1,j)(i,j+1)(i+1,j+1)簡(jiǎn)化為：6.7 圖像銳化單方向的一階梯度算法可以獲得浮雕效果。1. 水平方向的銳化（一）單方向的一階梯度6.7 圖像銳化看一個(gè)例子。12321212623087612786232690 0 0 000-3-13-2000-6-13-1300 1 12 500 0 0 001*1+2*2+1*3-1*3-2*0-1*8=-320 202 0 20202017 7 02020

46、14 7 7202021 32 2520202 0 20 2 0206.7 圖像銳化實(shí)現(xiàn)步驟取得原圖的數(shù)據(jù)區(qū)指針。開(kāi)辟一塊內(nèi)存緩沖區(qū)，并初始化為255。每個(gè)像素依次循環(huán)，新圖像緩沖區(qū)中的當(dāng)前像素的灰度值等于原圖中當(dāng)前像素的灰度值與其上方的像素的灰度值之差的絕對(duì)值。將緩沖區(qū)中的圖像復(fù)制回原圖數(shù)據(jù)區(qū)。6.7 圖像銳化6.7 圖像銳化2. 垂直方向的銳化6.7 圖像銳化實(shí)現(xiàn)步驟取得原圖的數(shù)據(jù)區(qū)指針。開(kāi)辟一塊內(nèi)存緩沖區(qū)，并初始化為255。每個(gè)像素依次循環(huán)，新圖像緩沖區(qū)中的當(dāng)前像素的灰度值等于原圖中當(dāng)前像素的灰度值與其左方的像素的灰度值之差的絕對(duì)值。將緩沖區(qū)中的圖像復(fù)制回原圖數(shù)據(jù)區(qū)。6.7 圖像銳化6.

47、7 圖像銳化對(duì)灰度圖像在縱方向和橫方向兩個(gè)方向進(jìn)行微分，同時(shí)增強(qiáng)水平和垂直方向的邊緣。 1. Roberts算法也稱交叉微分算法，利用局部差分算子尋找邊緣的算子。(i,j)為當(dāng)前像素的位置，其計(jì)算公式如下：（二）無(wú)方向的一階梯度6.7 圖像銳化它由兩個(gè)模板組成 :標(biāo)注“黑點(diǎn)”的是當(dāng)前像素的位置。6.7 圖像銳化6.7 圖像銳化2. Sobel算法梯度幅值計(jì)算公式如下：6.7 圖像銳化用卷積模板來(lái)實(shí)現(xiàn)：水平模板，主要影響水平邊緣垂直模板，主要影響垂直邊緣6.7 圖像銳化6.7 圖像銳化3. Pruitt算法6.7 圖像銳化6.7 圖像銳化從灰度的截面圖可以看出，當(dāng)邊界呈尖頂型分布時(shí)，一階微分很難

48、識(shí)別，而二階微分算法則沒(méi)有問(wèn)題。四、二階微分6.7 圖像銳化拉普拉斯運(yùn)算法6.7 圖像銳化-1-14-1-1-1-1-18-1-1-1-1-16.7 圖像銳化例: 灰度級(jí)為42 22 22 2 2mask 0 -1 0 -1 4 -1 0 -1 02 22 4 11 1 1mask 0 -1 0 -1 4 -1 0 -1 06.8 圖像檢索6.8 圖像檢索一、多媒體檢索概念1. 信息檢索的重要性 隨著當(dāng)今信息社會(huì)各領(lǐng)域技術(shù)的迅猛發(fā)展，信息（文本、圖形、圖像、基于時(shí)間的音視頻多媒體信息）以爆炸的方式迅速增長(zhǎng)。計(jì)算機(jī)、Internet、數(shù)字電視等相關(guān)技術(shù)的普及，使得海量數(shù)據(jù)在越來(lái)越多的地方得到廣泛

49、使用。為了更好地利用這些數(shù)據(jù)，對(duì)多媒體信息檢索的需求將日益顯得重要。6.8 圖像檢索2. 基本原理與過(guò)程在檢索原理上，主要包括以下三方面：對(duì)用戶需求的分析和轉(zhuǎn)化，形成可以檢索索引數(shù)據(jù)庫(kù)的提問(wèn)；收集和加工媒體資源，提取特征，分析并進(jìn)行標(biāo)引，建立媒體的索引數(shù)據(jù)庫(kù)；根據(jù)相似度算法，計(jì)算用戶提問(wèn)與索引數(shù)據(jù)庫(kù)中記錄的相似度大小，提取出滿足閾值的記錄作為結(jié)果，按照相似度降序的方式輸出。6.8 圖像檢索3. 傳統(tǒng)檢索方法及其局限性傳統(tǒng)的多媒體信息的檢索、查詢方法是用文本將圖像、視頻、音頻等多媒體數(shù)據(jù)進(jìn)行標(biāo)識(shí)，檢索時(shí)以文本為基礎(chǔ)進(jìn)行。例如， 基于文本的圖像檢索技術(shù)：基于文本的圖像檢索技術(shù)（Text-based

50、 Image Retrieval，TBIR）產(chǎn)生于20世紀(jì)70年代，主要以文本描述的方式描述圖像的特征，如繪畫作品的作者、年代、流派、尺寸等。6.8 圖像檢索新華社發(fā)稿6.8 圖像檢索其 局限性主要表現(xiàn)在：由于多媒體數(shù)，據(jù)量巨大，對(duì)媒體加注文本信息、分類與歸檔仍由手工完成，這種方法費(fèi)時(shí)費(fèi)力；由于文本描述信息是非常主觀的，不同的人對(duì)同一媒體有不同的理解，用文本描述很難一致，因而查詢時(shí)所要匹配的內(nèi)容難免會(huì)有遺漏和錯(cuò)判；“一幅畫勝過(guò)千言萬(wàn)語(yǔ)”，區(qū)區(qū)幾個(gè)關(guān)鍵詞很難將媒體所反映的內(nèi)容描述清楚。6.8 圖像檢索6.8 圖像檢索二、基于內(nèi)容的檢索 為了突破文本檢索方式的弊端，必須從媒體本身的內(nèi)容入手，以媒體

51、所包含的內(nèi)容作為媒體，即基于內(nèi)容的檢索。所謂基于內(nèi)容的檢索（Content-based Retrieval ，CBR）:就是從媒體數(shù)據(jù)中提取出特定的信息線索（或特征線索），然后根據(jù)這些線索從大量存儲(chǔ)在媒體數(shù)據(jù)庫(kù)中的媒體中進(jìn)行查找，檢索出具有相似特征的媒體數(shù)據(jù)。6.8 圖像檢索三、基于內(nèi)容的圖像檢索1. 圖像內(nèi)容的層次結(jié)構(gòu)圖像內(nèi)容按抽象水平由低到高表現(xiàn)為：數(shù)據(jù)信息;特征信息（例如，顏色、紋理、形狀等）;語(yǔ)義信息。數(shù)據(jù)計(jì)算量非常巨大，直接對(duì)原始信號(hào)數(shù)據(jù)進(jìn)行匹配與檢索是不現(xiàn)實(shí)的。6.8 圖像檢索特征提取第3層：語(yǔ)義特征層人們對(duì)圖像內(nèi)容概念級(jí)的反映第2層：物理特征層圖像的顏色、紋理、形狀和輪廓等低層物

52、理特征第1層：原始數(shù)據(jù)層圖像的原始像素點(diǎn)圖像內(nèi)容的層次模型6.8 圖像檢索2. CBIR基于內(nèi)容的圖像檢索技術(shù)（Content-based Image Retrieval，CBIR） ：指的是查詢條件本身就是一個(gè)圖像，或者是對(duì)于圖像內(nèi)容的描述，它建立索引的方式是通過(guò)提取底層特征，然后通過(guò)計(jì)算比較這些特征和查詢條件之間的距離，來(lái)決定兩個(gè)圖片的相似程度。簡(jiǎn)單說(shuō)：就是提取每幅圖像的視覺(jué)內(nèi)容特征作為其索引，如色彩、紋理、形狀等。6.8 圖像檢索 提取特征值：利用一些數(shù)學(xué)的規(guī)則（公式），把圖像進(jìn)行一個(gè)量化的描述，按照色彩、形狀、圖案、紋理等不同要求，把一張圖片轉(zhuǎn)化為一組數(shù)字，我們稱其為特征值。由于是采用

53、的同樣的規(guī)則，所以每一張圖片都能提取出一組特征值。 特征值的比對(duì)：由于采用的規(guī)則是相同的，如果兩張圖片是一樣的，提取的特征值也會(huì)相同，這樣就可以把兩張圖片的內(nèi)容比較轉(zhuǎn)化為兩組特征值的數(shù)字比較，也就是用數(shù)字量的比較代替了模擬量的比較； 如果兩張圖片是相似的，提取的特征值也是相近的；反過(guò)來(lái)講，如果兩張圖片相差很大，其特征值也會(huì)有很大的差距； 結(jié)合語(yǔ)義分析：相同特征值的圖片不一定就是相同的內(nèi)容，結(jié)合圖片的語(yǔ)義進(jìn)行分析判斷。 6.8 圖像檢索3. 圖像的低層特征值提取 對(duì)于圖像的低層特征，主要采用的是圖像的顏色、紋理及其形狀等特征。（1）顏色特征 顏色特征和圖像的大小、方向無(wú)關(guān)，而且對(duì)圖像的背景顏色不

54、敏感，因此顏色特征被廣泛應(yīng)用于圖像檢索。顏色特征中包括顏色直方圖、顏色相關(guān)圖、顏色矩等。6.8 圖像檢索6.8 圖像檢索（2）紋理特征 紋理特征代表了物體的視覺(jué)模式，它包含了物體表面的組織結(jié)構(gòu)以及與周圍環(huán)境之間的關(guān)系。常用的方法有相關(guān)矩陣法，粗糙度、對(duì)比度等紋理表示方法，以及小波變換等。6.8 圖像檢索（3）形狀特征 形狀特征則包括兩種，一種是基于邊界的形狀特征，另外一種則是基于區(qū)域的形狀特征。最常用的表示方法有傅利葉變換和不變矩等。這些低層的特征將通過(guò)各種方法抽取出來(lái)，并形成一組特征向量，建立相關(guān)索引并存儲(chǔ)到數(shù)據(jù)庫(kù)中。 (燈管) （杯子）基于邊緣的形狀表示 基于區(qū)域的形狀表示6.8 圖像檢索

55、4. 基于內(nèi)容的圖像檢索技術(shù)的特點(diǎn)（1）屬于模糊查詢，檢索結(jié)果不唯一 基于內(nèi)容的圖像檢索與文字檢索的一個(gè)主要區(qū)別是，基于內(nèi)容的檢索都是屬于模糊查詢，一般不會(huì)給出單一的檢索結(jié)果，輸出的是一個(gè)結(jié)果排序集合，按照?qǐng)D像的相似程度，從最像到最不像。 最后需要由人來(lái)判斷最終的結(jié)果是否滿足檢索需要，是人機(jī)結(jié)合的典范；由計(jì)算機(jī)來(lái)做大量簡(jiǎn)單煩瑣的工作，由人做分析工作。6.8 圖像檢索（2）檢索結(jié)果是逐漸逼近 在檢索過(guò)程中不斷修訂檢索條件，可以逐步達(dá)到最終的檢索結(jié)果；通過(guò)調(diào)整特征參數(shù)組合，可以得到不同的檢索結(jié)果。（3）計(jì)算工作量大 每次查詢都需要根據(jù)臨時(shí)提交的特征標(biāo)準(zhǔn)，對(duì)全部特征值進(jìn)行匹配運(yùn)算；數(shù)據(jù)計(jì)算時(shí)對(duì)計(jì)算機(jī)

56、的要求高，查詢時(shí)間相對(duì)長(zhǎng)一些。6.8 圖像檢索5. 一些關(guān)鍵環(huán)節(jié)特征提?。侯伾狈綀D；紋理特征等；相似度：馬氏距離，歐氏距離等；相關(guān)反饋：機(jī)器學(xué)習(xí)方法，如SVM，神經(jīng)網(wǎng)絡(luò)等；檢索與分類：兩個(gè)很相似的樣本距離很小，雖然兩個(gè)不相似的樣本距離未必很大。6.8 圖像檢索6. 存在問(wèn)題關(guān)鍵：特征提取。找一個(gè)最優(yōu)的特征要難于找出幾個(gè)次優(yōu)的特征。6.8 圖像檢索四、基于語(yǔ)義的圖像檢索單純使用圖像的底層特征值，容易產(chǎn)生混淆，因?yàn)椴煌膱D像也會(huì)有近似的特征組合，例如：一個(gè)冰箱和一個(gè)洗衣機(jī)，從正面看二者有較大的區(qū)別，但從后面看其后視圖時(shí)，二者的差距很小，相似度較高，無(wú)法有效區(qū)分。6.8 圖像檢索由于低層的特征并不

57、直接代表圖像的語(yǔ)義信息，還需要抽取圖像的語(yǔ)義特征。可以采用相關(guān)文字信息來(lái)表征圖像的語(yǔ)義特征，通過(guò)使用文字信息，使不同類別、不同名稱之間的圖像有了明顯的區(qū)分，避免了混淆，提高了檢索精度。 基于語(yǔ)義內(nèi)容的圖像檢索流程圖輸入分析特征特征庫(kù)圖像庫(kù)查詢分析特征匹配輸出 歸檔 查詢6.8 圖像檢索基于語(yǔ)義的圖像檢索系統(tǒng)框圖高層語(yǔ)義導(dǎo)出低層特征反饋信息檢索結(jié)果圖像數(shù)據(jù)庫(kù)管理特征比較圖像特征庫(kù)特征提取結(jié)果輸出圖像數(shù)據(jù)庫(kù)管理語(yǔ)義查詢相似性比較6.8 圖像檢索基于語(yǔ)義內(nèi)容的檢索可以看作基于對(duì)象的檢索。例如:查找圖像中包括的具體物體、發(fā)生的場(chǎng)景，以及圖像所描述的感情色彩等都屬于這個(gè)層次的查找。基于語(yǔ)義內(nèi)容的檢索是基

58、于內(nèi)容的圖像檢索發(fā)展的趨勢(shì)與要求。但是，由于目前計(jì)算機(jī)視覺(jué)和圖像理解的發(fā)展水平，基于語(yǔ)義內(nèi)容的檢索還很難實(shí)現(xiàn)。 6.8 圖像檢索五、基于反饋的圖像檢索相關(guān)反饋方法的基本思想是在檢索過(guò)程中，允許用戶對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)和標(biāo)記，指出結(jié)果中哪些是用戶希望得到的查詢圖像，哪些是不相關(guān)的，然后將用戶標(biāo)記的相關(guān)信息作為訓(xùn)練樣本反饋給系統(tǒng)進(jìn)行學(xué)習(xí)，指導(dǎo)下一輪檢索，從而使得檢索結(jié)果更符合用戶的需要。6.8 圖像檢索六、基于知識(shí)的圖像檢索 將人工智能領(lǐng)域的基于知識(shí)的處理方法引入到圖像處理領(lǐng)域，通過(guò)對(duì)圖像理解、知識(shí)表達(dá)、機(jī)器學(xué)習(xí)，并結(jié)合專家和用戶的先驗(yàn)知識(shí)，建立圖像知識(shí)庫(kù)實(shí)現(xiàn)對(duì)圖像數(shù)據(jù)庫(kù)的智能檢索。主要涉及到自然語(yǔ)

59、言理解、專家系統(tǒng)、知識(shí)表達(dá)和機(jī)器學(xué)習(xí)等人工智能的主要研究領(lǐng)域。6.8 圖像檢索一個(gè)應(yīng)用：廣告垃圾圖像過(guò)濾。6.9 圖像融合一、圖像融合就是將不同來(lái)源的同一對(duì)象的圖像數(shù)據(jù)進(jìn)行空間配準(zhǔn)，然后采用一定的算法將圖像數(shù)據(jù)中所含的數(shù)據(jù)優(yōu)勢(shì)或互補(bǔ)性有機(jī)地結(jié)合起來(lái)產(chǎn)生新圖像數(shù)據(jù)的技術(shù)。這種新數(shù)據(jù)具有描述所研究對(duì)象的較優(yōu)化的信息表征，同單一信息源相比，能減少或抑制對(duì)被感知對(duì)象或環(huán)境解釋中存在的多義性、不完全性、不確定性和誤差，最大限度地利用各種信息源提供的信息。6.9 圖像融合1 信息融合的概念信息融合又稱為多傳感器融合，是指利用計(jì)算機(jī)技術(shù)對(duì)多源信息進(jìn)行協(xié)調(diào)優(yōu)化和綜合處理，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，以完成所需的決策任務(wù)的信

60、息處理過(guò)程。多傳感器系統(tǒng)是信息融合的硬件基礎(chǔ)，多源信息是信息融合的加工對(duì)象，協(xié)調(diào)優(yōu)化是信息融合的核心，決策時(shí)信息融合的目的和歸宿。6.9 圖像融合2. 多源遙感圖像融合各種單一傳感器獲取的遙感圖像數(shù)據(jù)在空間分辨率和光譜分辨率等方面存在一定的局限性和差異性。因此，需要融合多傳感器圖像所含的信息，把它們互補(bǔ)性地有機(jī)結(jié)合在一起，以提高圖像判讀的可靠性，提高圖像的解譯能力，從而提高數(shù)據(jù)分類和目標(biāo)識(shí)別的準(zhǔn)確性。例如，多光譜圖像的光譜分辨率較高，但空間分辨率比較低，即空間的細(xì)節(jié)表現(xiàn)能力較差；全色光學(xué)圖像具有高空間分辨率，但光譜分辨率較差。因此，人們將具有低空間分辨率的多光譜圖像和具有高空間分辨率的全色光學(xué)