蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 第一章 緒論 題背景及研究意義 進入 21 世紀以來，隨著電子計算機和互聯(lián)網的廣泛應用，信息技術迅猛發(fā)展。而在日益增多的信息當中，圖像成為非常重要的信息形式，越來越多的圖像出現(xiàn)在信息世界當中 ， 使得圖像檢索成為一個需要研究的熱門課題。 通常認為，特征提取和 相似度量是圖像檢索的兩個重要因素。特征提取和相似度量的關系是相輔相成、 互為促進的，適當?shù)奶卣魈崛】梢栽谔崛D像特征的同時簡化相似度量，而相似度量方法的應用則可以提高圖像檢索的效率和質量。隨著現(xiàn)代計算機技術的發(fā)展，越來越多的人們 開始 對圖像檢索方法進行研究，提出了許多新的理論。其中， 灰度共生矩陣 1,2、 波器 3,4和歐氏距離相似性度量 等方法，是 圖像檢索 中 較為常用的 有效方法。 但是， 這些方法并不適用于數(shù)據量激增和變化的實際情況。也就是說， 當圖像數(shù)量發(fā)生突然變化、圖像受 到干擾或者圖像本身發(fā)生變化時 ，圖像檢索效果會明顯下降，圖像檢索的計算量會急劇增加。由于在實際應用中，圖像的形式各種各樣，圖像數(shù)目數(shù)以億計，使得圖像檢索具有 了極大 的 不確定性，而圖像檢索本身的重要性也使得更多的研究者 開始 對圖像檢索的理論和方法進行 更深入 的 研究。 在圖像檢索的理論和方法中，基于內容的圖像檢 索 (簡稱為 研究和應用最為普遍的方法。這種方法中，廣泛應用了 圖像所具有的紋理、形狀和顏色等固有屬性 進行圖像檢索 。紋理是物體本身所具有的一種自然屬性，在圖像檢索技術中， 紋理是圖像像素灰度級變化時所表現(xiàn)出來的特性，這種特性不易受外界環(huán)境影響而變化，也不易隨圖像本身的平移等變化而改變，因此對于特定的圖像，其紋理特征具有唯一性 。紋理特征的唯一性使其成為圖像識別領域研究的重點問題之一。本文 基于模糊 單類支持向量機的圖像檢索 就是對紋理圖像進行研究。 脈沖耦合神經網絡 (5,6是一種基于動物的視覺原理提出的簡化神經網絡模型。自提出以來，迅速得到研究者們的認可，可以說是發(fā)展最快的第三代人工神經網絡模型之一。 具有的相似神經元同步點火等特性，非常適合用于圖像的不變特征提取，使其在圖像處理中得到了廣泛的應用。單類支持向量機 (7早由 人 在 支持向量機 基礎上提出 ，是一種較為優(yōu)秀的學 習方法，能夠蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 解決小樣本和維數(shù)災 難 等問題，在圖像處理領域 得到了 一定的研究和應用 102002 年， 人以及 人提出了模糊支持向量機 (這種方法后來與單類支持向量機結合產生了模糊 單 類 支 持 向 量 機 (這里簡稱 模糊單類支持向量機 自 提出以來，在圖像檢索領域得到了認可和發(fā)展，隨著模糊技術的發(fā)展和紋理檢索等理論的不斷 完善，模糊單類支持向量機在基于內容的圖像檢索中得到了應用。本文在研究中，首先用 行特征提取，然后用 模糊 單類 支持向量機對提取出的紋理特征進行分類檢索，最后對所提出的方法進行分析和探討。 像檢索簡介 圖像檢索的研究始于二十世紀 70 年代，是在圖像集中檢索含有某種特征的特定圖像的一種技術。圖像檢索可以分成兩大類，即基于文本的圖像檢索 (即基于內容 的圖像檢索 (即 早期的 圖像檢索技術是基于文本的圖像檢索，基于文本的圖像檢索利用文本方式描述圖像特征來進行檢索，這些描述主要是人工建立的文本標題和關鍵詞等?；谖谋镜膱D像檢索主要是利用人工對圖像進行的標引來進行檢索，由于人工標引比較主觀，因此在描述圖像特征時比較容易產生偏差，而且人工標引需要耗費大量的人力和時間，因此，這種基于人工的檢索方式，不能準確反映圖像信息，效率也難以保證，很難適用于高速發(fā)展的信息時代對于圖像檢索的需求。 基于內容的圖像檢索技術是在提取圖像視覺內容特征作為特征向量的前提下，通過將所檢索圖像的特征向量與圖像庫中 圖像的特征向量進行相似性匹配，從而進行圖像檢索的一種方法。特征向量作為描述圖像內容的關鍵元素，是通過采取一定的特征提取方法自動完成的，這個過程不需要人工標引，能夠反映圖像的真實內容，同時效率也得到提高。因此，基于內容的圖像檢索比基于文本的圖像檢索方法更加有效。特征向量主要是視覺內容特征，包括圖像的顏色、紋理、形狀以及這些特征之間的空間關系等。 (1) 基于 顏色特征的圖像檢索 顏色是一種光的現(xiàn)象，是人們對物體進行區(qū)分的一種視覺現(xiàn)象或知覺。顏色作為一種光學現(xiàn)象與物體特性的產物，是物體本身所具有的特征。對于一個固 有的物體，其顏色 不隨物體大小或旋轉角度變化而變化。這個特性同樣適用于圖像當中， 顏色特征在圖像檢索中，對圖像大小等變化具有較好的魯棒性。雖然顏色蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 特征提取方法已經得到了不少研究，但是，由于對光照強度比較敏感、缺少像素位置信息等原因， 這種提取方法 具有一定的局限性。在實際應用中，為取得更好的 檢索效果，需要與其他內容特征提取方法相結合。 (2) 基于 形狀特征的圖像檢索 形狀是物質的一種存在或表現(xiàn)形式，通常表現(xiàn)為物質的形態(tài)和狀貌。同顏色一樣，形狀特征也是圖像的重要視覺內容特征。在二維空間中，圖像的形狀表現(xiàn)為一個由一條 或者多條線所圍成的區(qū)域。在數(shù)學上對形狀可以描述為形狀的輪廓邊界 和 其邊界 所包圍區(qū)域兩部分，自然而然圖像檢索中對形狀特征的描述就主要有基于 形狀的輪廓特征和區(qū)域特征 兩種方法。在現(xiàn)有的研究中，通常用樣條擬合曲線的方法或者傅里葉方法來對圖像的形狀輪廓進行描述；而對圖像形狀區(qū)域通常采用形狀的區(qū)域面積以及形狀的無關矩等方法進行描述。通常在實際應用中，需要將圖像的輪廓特征和區(qū)域特征相結合， 以 達到對形狀特征進行描述的目的。與顏色特征檢索一樣，基于形狀的圖像檢索方法，需要與其他內容特征相結合，以達到更好 的 檢索效果。 (3) 基 于紋理特征 的圖像檢索 紋理的本義是指物體表面所呈現(xiàn)出的線形紋路。紋理作為物體的一種 固有屬性，在物體不發(fā)生外 力等變化時，不易發(fā)生變化，尤其不隨著光照、亮度等條件變化而改變，因此在圖像檢索中，紋理特征具有一定的不變性。但是紋理與顏色一樣，比較容易受個人主觀性的影響，因此對于紋理的定義，目前還沒有明確而公認的說法。在現(xiàn)代計算機圖形學當中，對于二維平面或者光滑物體表面所具 有的紋理特征稱為花紋，而對于三維空間物體具有的凹凸不平的紋理特征稱為溝紋。圖形學中對于紋理特征的量化主要分為基于結構的紋理量化方法和基于統(tǒng)計的紋理 量化方法兩種?；诮Y構的量化方法主要是分析圖像中紋理的結構信息規(guī)律，而基于統(tǒng)計的量化方法則是通過統(tǒng)計來分析圖像中紋理的空間分布信息。 基于內容的圖像檢索系統(tǒng)按照圖像檢索的目的不同，可以分為基于目標的檢索系統(tǒng)、基于相關內容的檢索系統(tǒng)和基于分類的檢索系統(tǒng)?；谀繕说臋z索系統(tǒng)的目的是為用戶檢索找出某個圖像目標，這個圖像根據所設定目標的不同而不同，如果檢索目標是特定的一個圖像，則檢索結果就是這個圖像本身；如果檢索目標是與給定事物在不同角度或者背景下的圖像，則檢索結果就是在不同情況下的同一事物的不同圖像。基于相關內容 的檢索系統(tǒng)，其目的是在沒有給定檢索目標的情況下，檢索某一類具有共同特性或者關聯(lián)的圖像。基于分類的檢索系統(tǒng)是檢索與某一圖像 同類別屬性的圖像，因為類的范圍已經給定，所以檢索結果是圖像庫中 同類的一個或者多個圖像。在實際當中，由于圖像數(shù)量巨大，而且對于同一事物，當角度、大小、距離等外界條件發(fā)生變化時，表現(xiàn)出來的圖像形式也會蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 發(fā)生變化，檢索目標就會發(fā)生變化。不變特征檢索系統(tǒng)就是為了實現(xiàn) 目標圖像 在某些條件發(fā)生變化時仍然能夠提取圖像特征進行檢索的一種方法。 在圖像檢索技術中，不變特征是指圖像的這樣一種特征，它 既 不隨圖像攝取工具 、 光照強弱等外在條件的改變而改變，也不隨圖像的尺寸、方向等內在因素的變化而變化。例如圖像的顏色、形狀和紋理等特征，雖然很大程度上是 人眼 的視覺特性，但是具有幾何不變性，代表著圖像的本質內容。采用不變特征來進行圖像檢索，是不變特征檢索系統(tǒng)與其他圖像檢索系統(tǒng)的主要區(qū)別，也是其先進之處。圖像 的顏色、形狀和紋理這些特征，所具有的平移、旋轉和尺度等不變性，稱 為幾何不變性，這些特征也稱為幾何不變特征。在圖像檢索中 ， 如何提取圖像的不變特征成為研究的主要問題。由于圖像可能在特征提取時發(fā)生平移、旋轉等變化，因而使得檢索無法 有效進行，因此在檢索過程中選取的提取方法應該對圖像的特征信息具有幾何不變性。而在相似度量問題上，也應該選擇對平移、尺寸變化等幾何變化具有較好魯棒性的技術?；诓蛔兲卣鞯臋z索系統(tǒng)就是基于以上思路而產生的：這種方法首先選取圖像的 幾何特征例如 顏色、紋理和形狀等， 接著 尋 找 對這些幾何特征具有不變性的特征提取方法和具有較強魯棒性的相似度量技術，最后選擇合適的識別方法，達到圖像檢索的目的。 不變特征圖像檢索是本實驗室研究工作的重要部分， 從中取得了顯著的成果 6,13,14,26,365，例如將脈沖耦合神經網絡用 于紋理特征不變性的圖像檢索中以及 脈沖發(fā)放皮層模型(提出等等。 本論文的研究工作是實驗室圖像紋理檢索研究小組研究成果的一部分，小組的研究工作由馬義德教授進行指導，小組成員中，田樂和劉麗主要負責圖像紋理檢索過程中算法的研 究，綻琨和李小軍主要負責算法的應用和推廣。本小組的研究工作已數(shù)次被國內外期刊和國際會議收錄 ，并 在繼續(xù) 進行新的論文撰寫。 劉麗在文獻 13,14中采用超平面法解決單類問題，提出了將單類支持向量機與 取技術相結合的圖 像檢索系統(tǒng)，從不變特征檢索和抗噪性實驗兩方面說明了 統(tǒng)的優(yōu)越性。本文參考這一模型 ， 尋找出 采用超球法解決 模糊 單類問題 的方法 ，提出了基于 模糊單類支持向量機的圖像檢索系統(tǒng)，通過和其它檢索系統(tǒng)的實驗對比， 表明 了該系統(tǒng)良好的檢索效果和魯棒性。 像特征提取技術及現(xiàn)狀 關于圖像特征提取方法的研究已經有三十多年的歷史，隨著現(xiàn)代計算機技術的發(fā)展，研究者們在圖像檢索領域做了大量的研究工作，并取得了 豐富 的研究成果，尤其是在基于圖像檢索的特征提取技術領域，近年來有不少理論出現(xiàn)。文獻15對圖像檢索 中的特征提取技術進行了探討，對其研究方法進行了概括性地分蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 析，指出了各種方法的優(yōu)點和不足。現(xiàn)有的不變性紋理特征提取方法可以分為坐標變換、統(tǒng)計分析等四大類。其中，坐標系統(tǒng)變換方法是一種較為常用的方法，它通過變換坐標系，采用極坐標 提取旋轉不變性紋理特征。統(tǒng)計分析方法 是通過研究人眼視覺系統(tǒng)的特性提出的，通過不同階的統(tǒng)計量對圖像的紋理特征建立數(shù)學描述，進行特征提取。在模型分析法中，所用的 模型 主要有高斯 機場 16、同步自回歸模型 17、 型 18、可控金字塔濾波器 19、小波變換 20和 通道 波器 21等多種。結構分析法的原理是利用圖像紋理特征的結構屬性 進行特征提取 ，較為常用的主要有直方圖、形態(tài)學分解和拓撲結構描述等等。 在眾多的特征提取方法中，常用于 的紋理特征提取方法主要有灰度共生矩陣、小波變換等?；叶裙采仃囀菆D像紋理特征提取的重要方法之一，最早由 人提出 ?；叶裙采仃囀菍D像上具有某特定距離和方向的 兩個像素的灰度狀況進行統(tǒng)計，來反映圖像灰度的空間相關特性，從而描述圖像的紋理信息。由于灰度共生矩陣法的原理和紋理空間位置上的灰度分布反復出現(xiàn)的特性相一 致，因此，這種方法特別適合于特征提取。小波變換法也是紋理分析的常用方法，小波變換采用小波基函數(shù)對參考圖像進行小波變換來提取尺度、方向等信息，實現(xiàn)提取圖像中信息的目的，是一種空間域和頻率域的局部變換。在紋理分析中，通常選用小波系數(shù)作為圖像的特征。小波變換方法提出以來，數(shù)字信號分析得到迅速發(fā)展，在圖像處理領域尤其是圖像紋理分析領域也得到了廣泛應用。 神經網絡方法自提出以來，迅速成為圖像特征提取研究中的熱點方法 22，而型所具有的不變性特征等優(yōu)點，為圖像的紋理特征分析提供了一個較為有效而簡單的方法，因 此 圖像識別和圖像的紋理檢索中取得了廣泛 的應用 23。文獻 23詳細介紹了 原理和各種改進模型，在總結各種方法和模型的基礎上，對 圖像分割和去噪、模式識別和特征提取等應用進行了探討，并對未來的發(fā)展方向進行了展望，是本文 究的重要依據。在基于 圖像檢索方面，文獻 24對 模型進行研究，提出了一種圖像旋轉和尺寸不變性 紋理檢索系統(tǒng)。文獻 25定義了一種 賦時矩陣重心不變特征，提出一種改進的自適應模型，并將其用于圖像的特征提取和目標識別中，用實驗證明了 提出方法的幾何不變性及抗噪性。文獻 26將 耦合神經網絡相結合，提出了一種脈沖發(fā)放皮層模型 (實驗證明這種方法在不變性紋理檢索中有良好的效果。 目前已有的分析和研究方法還比較分散，沒有形成一定的體系。如何尋找出一種通用而高效的特征提取方法，依然是需要我們繼續(xù)努力的方向。例如在研究中重視對模型的改進和放射變換等方法的引入，以及如何處理三維特征等問題都蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 需要更多的關注。隨著越來越多新的算法被應用到圖像檢索當中，如何尋求一種更為高效的特征提取技術仍然 需要更多的關注和研究。 像識別技術及現(xiàn)狀 圖像識別技術始于上世紀八十年代，自從計算機技術被廣泛應用以來，圖像識別技術迅速發(fā)展，如在醫(yī)學、空間技術及人臉識別等方面的應用更是為人們所常見。通常認為，圖像識別技術是指通過計算機技術，采用相關的數(shù)學模型，對特定圖像進行相關處理的一種技術?？梢哉f ， 圖像識別是人類視覺感官圖像識別的延伸和圖像“再認”。圖像識別主要就是要利用現(xiàn)代先進的計算技術，來處理目前數(shù)量龐大的圖像問題。圖像識別技術屬于模式識別的范疇。 傳統(tǒng)的進行圖像識別的方法是采用歐氏距離來進行特征之間的相似性匹配的，通過計算兩幅圖像特征點之間的相似性距離即歐氏距離來對圖像進行識別，是最初 的一種圖像識別方法。文獻 27中講述采用 型來進行模式識別 ，這種方法的優(yōu)勢是可以在較為復雜的情況下，當樣本發(fā)生畸變時，仍然能夠實現(xiàn)模式識別，具有較高的自適應性能，而且運行速度較快。 文獻 28中 人將統(tǒng)計學理論應用在圖像檢索 領域 ，提出了一種新的機器學習方法 支持向量機，支持向量機 (即 立在統(tǒng)計學理論基礎上，是一種新的機器學習算法， 也是一種有著堅實理論基礎 的小樣本學習方法，研究的是有限樣本下的學習問題，期望得到有限信息下的最優(yōu)解。 隨著統(tǒng)計學習理論的完善， 支持向量機 以其越來越 出色 的學習性能， 迅速發(fā)展并 已成功應用于人臉識別、圖像檢索等許多領域。文獻 29提出的 基于二叉樹 多類分類算法是一種新型的二叉樹生成算法，它 將聚類思想應用在分類計算中，有效 的 提高了該算法的抗噪能力和推廣性能。 最小二乘支持向量機采用最小二乘線性系統(tǒng)代替?zhèn)鹘y(tǒng)的支持向量機 ， 采用二次規(guī)劃方法解決模式識別問題 。 自從 出支持向量機的概念以來，支持向量機尤其是單類支持向量機已經在許多領 域得到應用。 單類支持向量 (稱 法 10由 人提出，單類支持向量機通過估計目標類樣本在特征空間中的密度分布來估計包含樣本的最小區(qū)域，即支撐區(qū)域，使得在支撐區(qū)域之外樣本出現(xiàn) 的 概率很小。 通過計算和分析得到樣本在特征空間的概率密度分布，來估計樣本的區(qū)域，這種方法不用對非目標的樣本進行完整描述，可以使運算得到簡化。由于其優(yōu)越的性能，單類支持向量機在圖像識別領域得到了許多學者和專家們的研究。 文獻 30中 人提出的模糊支持向量機（ 將模糊隸屬度引入支持向量機，在支持向量機的基礎上對每個樣本分別分配一個模糊蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 隸屬度，對不同的樣本采用不同的懲罰權重系數(shù)，在構造目標函數(shù)時，使不同的樣本有不同的貢獻，對噪聲點和孤立點賦予很小的模糊隸屬度，達到圖像檢索時抑制噪聲和孤立點的目的。模糊單類支持向量機方法結合單類支持向量機理論和模糊理論的特點，能夠完美的解決單類模糊問題，文獻 31中用實例詳細說明了這種檢索技術的優(yōu)點，為本文采用模糊 單類 支持向量機進行圖像檢索和抗噪分析奠定了良好的基礎 。 文研究內容安排 本文主要是通過以下幾個部分來對圖像檢索技術進行探索，研究的重點在于利用 模糊單類支持向量機進行圖像紋理檢索。 第一章 介紹了選題背景和研究現(xiàn)狀 。 通過對圖像檢索技術的論述，詳細介紹了圖像特征提取技術以及圖像識別技術的基本原理和研究現(xiàn)狀。對基于內容的圖像檢索技術尤其是基于不變特征的圖像檢索進行了介紹，對不變特征圖像檢索的研究現(xiàn)狀進行了概述。最后對論文的整體結構進行了介紹。 第二章介紹脈沖耦合神經網絡的基本原理和數(shù)學模型。本章的重點是介紹和分析 基本原理，給出 數(shù)學模型 ，并對 特征提取中的應用進行分析，最后介紹了 簡化模型 交叉皮層模型。 第三章主要介紹模糊單類支持向量機和單類支持向量機的基本原理和方法。在對單類支持向量機的原理和基本特點研究的基礎上，對其應用進行了探討，分析了其優(yōu)缺點。接著本章介紹了模糊原理，在單類支持向量機的基礎上引入了模糊單類支持向量機， 對其數(shù)學模型和隸屬度 函數(shù)進行了介紹和分析。 第四章在前三章的基礎上，提出了 一種 基于 紋理檢索系統(tǒng)。 為了進一步分析 研究 ，選取 適當?shù)膱D像庫 和實驗 參數(shù) 進行了實驗，對不同情況下的不變性 檢索結果進行分析，得出了結論。通過實驗對比，表明了基于 幾何不變性紋理檢索系統(tǒng)的優(yōu)勢。 第五章對本文提出的方法進行了抗噪性實驗并進行了實驗分析。通過對圖像加入不同的噪聲進行試驗和對比分析可以看出，基于 紋理檢索系統(tǒng)對各種噪聲具有較強的魯棒性。 第 六 章 對本文所做的工作進行了回顧和 總結 ，在本文研究的基礎上，對未來的研究方向進行了 展望。 論文得到了國家自然科學基金（ 教育部科技項目博士點基金（ 20110211110026），中央高校基金（ 省自然科學研究基金（ 1208支持。 蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 第二章 脈沖耦合神經網絡 脈沖神經網絡 (模擬動物視覺皮層視覺神經細胞活動而產生的一種算法模型。 通過神經元特有的線性相加和非線性相乘調制耦合特性 形成的一種反饋型神經網絡 5。 相對于傳統(tǒng)的多層神經網絡模型， 一種單層神經網絡模型，算法以迭代算法為主，并且不需要提前進行訓練，具有自監(jiān)督和自學習的特性， 這使得 實際的生物神經網絡更為接近，對信 號的處理能力更強，更加適合于實時圖像處理。 提出以來，在圖像處理中得到了廣泛應用 32 介 最早的 型是 經元模型， 據研究中發(fā)現(xiàn)的貓的大腦皮層同步脈沖發(fā)放現(xiàn)象，提出了展示脈沖發(fā)放現(xiàn)象的連接模型 6，這就是早期的 型。 由于參數(shù)較多，這種神經元模型較為復雜，在實際應用中很難進行參數(shù)設定。隨著 現(xiàn)代人工智能技術的發(fā)展和統(tǒng)計學理論的進步 ，越來越多的研究者對原始的神經元模型進行簡化 37使其迅速發(fā)展并得到了較為廣泛的應用。 型的基本 神經元 單元如圖 2示 5,6。 圖 2經元模型 神經元即神經細胞，是高等動物神經系統(tǒng)的結構和功能單位。神經元由細胞體和細胞突起組成，細胞突起又可分為樹突和軸突。 型中，神經元也分為類似的三個部分。第一部分是接受域，接受域是接受輸入信號的部分，通過 連接通道 L 接受系統(tǒng)外部信號，通過反饋通道 F 接受系統(tǒng)內部其它信號，反饋通Y W 1*L L U F 接受域 調制域 信號產生域 Y E S 蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 道反映的是系統(tǒng)內其它神經元對該神經元的影響。其次是調制域，調制域的功能是將接受域 接受到的信號經過非線性調制，輸出到信號產生域。系統(tǒng)的最后是信號產生域， 當調制域輸出的信號 U 大于某一時間的動態(tài)閾值 E， 信號產生域的 閾值信號發(fā)生器就會被激活而產生一個脈沖。 型可以用以下離散數(shù)學方程表述 5,6,34: ( ) ( 1 ) ( 1 )j i j F i j k l k l i n e F n V M Y n S (2( ) ( 1 ) ( 1 )j i j L i j k l k n e L n V W Y n (2( ) ( ) 1 ( ) i j i j i jU n F n L n (2( ) ( 1 ) ( )j i j E i jE n e E n V Y n (21 , ( ) ( )()0, i j i f U n E 其 它(2其中， F( ) (i, j)個神經元所接 受到的反饋輸入信號， ()i, j)個神經元所接受的外部輸入信號 (即連接輸入 )。()系統(tǒng)的輸出此 10ij 或 。 M 和 W 為反饋輸入與連接輸入的連接權矩陣，本文中取 ?？梢钥闯觯B接輸入和動態(tài)閾值都受到 F、 L 和 E 等衰減系數(shù)的影響。在式(2， 成為連接系數(shù)，表征 ()t 為時間常數(shù)， 幅度常數(shù)。可以看出，在 每次迭代過程中，當 調制域的輸出信號()輸出脈沖。 在圖像處理當中，用神經元模型來表征圖像的像素。在給定一個連接權矩陣后，認為每個神經元對應于圖像的一個像素。當神經元接受到外部輸入的信號時，會受到激勵，通過神經元各系統(tǒng)單元的作用而產生一個脈沖，這個脈沖可以作為外部信號，繼續(xù)激發(fā)其它相鄰的神經元發(fā)放脈沖，這就是 經元的 同步脈沖發(fā)放特性。 學模型表達是可以看出，某一時間內的動態(tài)閾值 ()間衰減的，這是因為 每 個神經元具有不同的點火周期。從式 (2以看出， 當 調制域的輸出信號)放同步脈沖。在這個過程中， 第 (i, j)個神經元 的 反饋輸入 F( )一步輸入到系統(tǒng)中，發(fā)放同步脈沖。 由此可見， 法不僅考慮了神經元的脈沖特性，還考慮了該神經元周圍其它 具有相似特性的神經元對其輸入信號的影響。 蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 于特征提取 由于 經元具有點火捕獲特性，而且相似神經元具有同步脈沖發(fā)放特性，使其 在圖像處理尤其特征提取領域得到了許多學者的探索和研究。由于法在圖像特征提取時，不易受到圖像平移、旋轉等變化的影響 40,41， 使其非常適合 不變特征提取，并且對噪聲具有較好的魯棒性。 1993 年首次將 法 應用于 圖像檢索當中，發(fā)現(xiàn)這種方法在 圖像特征提取 時具有較好的性能 42,43。不久后， 人也 將這種 方法應用于圖像檢索當中，并證實了這種方法的優(yōu)越性 44,45。 隨著越來越多的學者對 法在特征提取中的應用進行探索， 特征提取領域得到了推廣 。 輸出是一些二值圖像序列，其中包含著 紋理等 原始圖像的 許多特征信息， 這些特征信息是圖像的不變性特征，但是，這些信息比較混雜，具有很大的數(shù)據量，并不利于實際的數(shù)據處理，無法直接用來對圖像進行識別，因此最初的 法具有一定的 局限性。如何對 出的二值圖像序列進行變換以減少數(shù)據量，并且作為原始圖像的唯一性特征是一個需要解決的問題。 為了解 決上述問題， 出了一種時間序列的變換方法 46,47，通過對次迭代輸出的結果進行 變換， 然后進行 求和運算，得到 這樣一個 時間序列： G(n) = (n)。在這個時間序列中， Y(n)是 n 次迭代輸出的二值圖像， )為求和函數(shù)。這個變換將圖像的多維特征成功轉化為一維特征，使運算量大幅度減少。通過實驗， 實驗結果進行分析得出，對于每一個輸入，都可以得到一個時間序列，而且這個時間序列具有唯一性。也就是說，每個圖像與所輸出的時間序列是一一對應的。同時 發(fā)現(xiàn)輸出的時間序列具有一定的周期性。 出的時間序列變換方法計算簡單，可以減少計算量并且易于實現(xiàn)，但是仍有一定的局限性， 這種方法由于考慮的是二值圖像中 1的個數(shù)，并不能全面反映圖像的信息，比較容易發(fā)生較大的偏差。 熵特征序列方法 是在 理論的基礎上產生的 。 信息 熵 最早表示隨機變量的概率分布函數(shù)，在圖像檢索中，熵可以反映 圖像 的 統(tǒng)計特性 。 根據 以將二值圖像的熵表示為： H(P) = 1) 0)。 在這個表達式中 ，0 和 1 出現(xiàn)的概率。通過 計算 E(n)= (n)41， ()其中， Y(n)為 第 n 次迭代輸出的二值圖像， )是求解輸入圖像的熵函數(shù)。通過二值熵序列的表達式可以看出， 出 的 二值熵序列方法同時考慮了二值圖像中的 1 和 0，因此比 間 序列更加全面地反映了檢索圖像的信息。很多學者對于這種方法進行了研究實驗，結果證明在參數(shù)選擇適當蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 時，對大多數(shù)圖像而言，其熵序列具有唯一性，不同圖像之間的熵序列具有明顯差異 6。同時， 熵特征序列方法 同時間序列 變換方法一樣，具有 不變性 特征，適用于圖像檢索 。 通過以上論述，由于熵特征序列提取具有唯一性，而且適合于不變性特征提取，因此本文在研究中選用熵特征序列方法。 叉皮層模型 交叉皮層模型 (一種 簡化模型，最早由 5等人提出。交叉皮層模型是由生物視覺神經元模型演化而來的，因此與實際的生物神經元更為接近。 個神經元的基本模型如圖 2示 6，型由于其結構簡單，運算較為簡單，使其在圖像處理中具有一定的優(yōu)勢。通過對比 型圖與 本模型圖可以看出， 為 簡化模型， 傳統(tǒng) 經元模型中的 外部輸入信號 ()反饋輸入 F( )直接作為內部活動項的一部分，這樣 型就大為簡化，而原有的功能并沒有減弱。在圖像檢索時，當一個神經元產生脈沖，這個脈沖可以“捕獲”或者通過刺激使得周圍的同性質的神經元也發(fā)放一個或者多個同步脈沖。通過對得到的同步脈沖進行熵特征序列變換，就可以達到提取圖像的不變性特征的目的。 圖 2單個 神經元 的基本 模型 交叉皮層 模型 可以用 以下 離散 數(shù)學 方程式表述 6,35 ( ) = ( 1 ) ( 1 )i j i j i j k l k l i n f F n M Y n S (2( ) ( 1 ) ( )i j i j i jE n g E n h Y n (2h g S Y E F W Y f 蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 1 , ( ) ( 1 )()0, i j i f F n E 其 它(2其中， n)表示 第 (i, j)個神經元的第 n 次反饋輸入 ， 外部輸入 的 激 勵 信號； n)是 輸出脈沖 ； 同 型不同的是， ( 1)前一時刻該神經元 所產生的動態(tài)閾值， 它 的大小 決定 了 這一時刻神經元所接受到的 反饋輸入F( ) 否 可以 激發(fā)脈沖 。 連接矩陣 M 仍然 表示第 (i, j)個神經元 周圍其它神經元對其影響程度。 f 和 g 分別為 F 和 E 的衰減系數(shù) ，通常取 y 為 類支持向量機的應用 法利用核函數(shù)將低維空間的樣本數(shù)據映射到高維 特征空間 ，并在高維空間中 構造最優(yōu) 包圍球， 使樣本數(shù)據 盡可能的全部包圍在球的內部，球面外的即為噪音樣本和異常點。這一特點非常適合解決單類問題，現(xiàn)在已經廣泛應用于各種圖像檢索領域中。 8和 7等人對單類支持向量機進行研究并將其用于文本分類問題，取得了良好的效果。 1等人對單類支持向量機進行改進，將其應用在基于內容的圖像檢索當中。不少學者還將 法應用 于其它方面，文獻 52用 法對類條件概率密度進行分析，提出了一種基于 貝葉斯分類算法。在遙感圖像目標檢索中， 法可以改善傳統(tǒng)支持向量機分類方法在處理正負樣本數(shù)目極不對稱情況下的誤檢率問題 53。 在對 法的研究和探索中，隨著研究的不斷深入，涌現(xiàn)出了一些改進的 法，越來越多的學者開始對它們進行了關注和應用。 4等人提出了鄰近單類支持向量機方法， 5等人提出了一種加權單類支持向量機，這些方法都得到了實現(xiàn)。 6等人首次將模 糊集理論引入到 法中，提出了一種模糊單類支持向量機。這種方法的思想是通過對每一個輸入樣本引入模糊隸屬度，來重新構成一個特殊的單類支持向量機，新構成的樣本點對最優(yōu)分類面有不同的貢獻，這樣所得到的支持向量機方法同時兼?zhèn)淠：碚撆c支持向量機理論的優(yōu)點，推廣能力得到增強。隨著模糊集理論的引入，一些學者開始研究不確定性理論與支持向量機結合應用問題，加權支持向量機、模糊支持向量機和粗糙集支持向量機等理論被不斷提出，并取得了一定的研究成果。 糊單類支持向量機 模糊單類支持向量機（ 7）是指在單類支持向量機中應用模糊技術，對不同樣本添加不同程度的懲罰權系蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 數(shù)，從而使不同樣本在所構造的目標函數(shù)中具有不同程度的貢獻，對含有異常點和噪聲的樣本賦予較小的懲罰權系數(shù)值，這樣可以有效地消除異常點和噪聲對樣本的影響。 傳統(tǒng)單類支持向量機在訓練過程中對所有的樣本數(shù)據采用統(tǒng)一的懲罰因子C，這種分類模型對異常點和噪聲十分敏感。模糊單類支持向量機 ( 訓練時根據懲罰權系數(shù)的大小區(qū) 分不同樣本的貢獻，懲罰權系數(shù)越大，說明該樣本 在 構造分類模型時的貢獻越大，因此為了減小噪聲和異常點對分類模型的影響，提高分類方法的泛化性，對其賦予較小的權值 ( 即 模 糊 隸 屬 度 ) 。 模 糊 支 持 向 量 機 中 訓 練 樣 本 集 可 以 表 示 為1 1 1, , ) , , ( , , ) n n nX y x y x=( K，其中， , 1, ,i 通過在單類支持向量機中添加模糊隸屬度而形成的模糊單 類支持向量機，有效地解決了樣本中存在噪音和異常點的問題，將其運用在圖像檢索的過程中能更好 地 提高檢索率。 糊理論 “模糊”即英文“ 的直譯，英文中不僅有模糊的意思，還包含“不分明”等意。模糊問題就是指現(xiàn)實中存在的許多界限不分明的問題，也指那些不能確定事物本身是否符合這個概念的問題。實際中通常運用模糊數(shù)學來解決模糊問題。因為概念的外延而造成 的不確定性也稱為模糊 性 ，這與概率論中的不確定性是嚴格區(qū)分開的， 即不規(guī)律事件出現(xiàn)的規(guī)律性。 1965 年， 8教授在模糊集合論中采用“隸 屬函數(shù)”這一新的概念來描述存在差異的事物之間的中間過渡，超越了古典集合論中事物之間絕對的屬于或者不屬于關系，這一開創(chuàng)性工作標志了模糊數(shù)學的誕生。模糊集合理論的出現(xiàn)使數(shù)學能夠形象的描述復雜事物 ， 使模糊的對象確切化，它將確定性對象的數(shù)學研究和不確定性對象的數(shù)學研究溝通起來，解決了精確數(shù)學和隨機數(shù)學中對事物描述的不足。 模糊理論還處于不斷的發(fā)展和完善過程中，但作為一門新興的學科已經初步應用于各種領域，例如：模糊控制、模糊識別、圖像識別、聚類分析、信息檢索、生物、醫(yī)學等，本文中主要將模糊理論知識應用在圖像檢索中。 糊隸屬度的確定 在模糊單類支持向量機理論中，模糊隸屬度的設計是實現(xiàn) 關鍵，隸屬度函數(shù)的選取直接決定著算法的選擇和算法的實現(xiàn)，隸屬度函數(shù)選擇不當會使得算法實現(xiàn)困難，計算量增大。 蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 現(xiàn)階段構造隸屬度函數(shù)的方法多種多樣，但是還沒有形成統(tǒng)一的準則，仍舊需要 根據經驗和 實際情況來選擇 或者 構造 適合的 隸屬度函數(shù) ， 隸屬度大小 是由該隸屬度所對應的樣本在樣本集中的貢獻來確定的。 常見的隸屬度函數(shù) 59,60主要有以下幾種： (1) 線性隸屬度函數(shù) 在構造線性隸屬度函數(shù)時需要將樣本與其所在類中心之 間的距離進行線性約束。采用線性函數(shù)描述為：特征空間中樣本到類中心之間的距離即是隸屬度的大小，這樣構造的隸屬度函數(shù)即是基于線性距離的隸屬度函數(shù) 61。樣本距離類中心越近時，得到的隸屬度值越大，反之得到的隸屬度值越小。首先引入樣本類中 心點的描述 ： 將 的一類點記為12 , , nx x x， 其中0 r 代表類半徑 ， 則有 ： 0m a xi x x (3依據距離確定隸屬度函數(shù)時 ， 類中各樣本的隸屬度表示為模糊隸屬度 ()： 0 11 (3( ) 1 ii r (3為了避免 式 (3 ( ) 0這一 情況 的出現(xiàn) ， 取 01。 (2) 將樣本與其 所在類中心之間距離進行非線性描述，即采用 62來描述的 隸屬度函數(shù) 被稱為 這種非線性關系表示為一種連續(xù)的從 0到 1單調增長的 通常用 a、 b、 由 義的標準型 ： 220 ( )()2 ( )( ; , , ) ()1 2 ( ) / ( ) ( )1 ( )x bx a b c c c a b x (3式中： ( ) / 2b a c ，且在隸屬度大小等于 (3) 球型隸屬度函數(shù) 將樣本的隸屬度看作樣本與 最小 包圍 球中心 的距離和 最小 包圍 球半徑之間蘭州大學碩士研究生學位論文 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 的函數(shù)， 采用這種方法構造出的函數(shù)被稱為球型 隸屬度函數(shù) 63。 分別采取兩種不同的方式計算基于半徑內、外的樣本隸屬度，則基于球型隸屬度的計算公式表示為： 1 ( ) /0 . 6 * 0 . 4 , ( )1 ( ) /()10 . 4 * , ( )1 ( ( ) )x Rd x Rd x x Rd x R (3中，樣本集中的樣本到包圍其大多數(shù)樣本的最小包圍球球心之間的距離用()示，最小包圍球的半徑用 ()計算公式如下： ( ) , 1, ,x x a i n (3從定義的基于球型的隸屬度函數(shù)中可以看出： ()大，則該樣本集中樣本的隸屬度值就越?。环粗?， ()屬度值越大，樣本位于最小包圍球中的可能性越大，對構造最小包圍球所起的貢獻 越 大。考慮在特征空間中樣本的分布，在上式中，當隸屬度值大于 本分布于包圍球內部；當隸屬度值小于 本分布在包圍球外邊；當隸屬度值等于 本分布在包圍球的球面上。 糊單類支持向量機 方法 作為 一種特殊的單類支持向量機方法， 模糊單類支持向量機是根據樣本集中不同樣本的貢 獻， 通過添加模糊隸屬度， 來 構造基于不同隸屬度 的單類支持向量機。 它能更好地解決單類問題，從而更準確地檢測出異常點和噪音，提高圖像的檢索效率。 圖 3模糊單類支持向量機 本文 采用超球法解決模糊單類問題， 選擇 球型隸屬度函數(shù)， 實現(xiàn)含有球型隸屬度 的模糊單類支持向量機 ，如圖 3示 。設可以將訓練樣本集表示為1 1 1, , ) , , ( , , )n n ny x y x( K,其中 , , 1, ,i 映樣本 基于脈沖耦合神經網絡和模糊單類支持向量機的圖像檢索 在類中的重要程度 ,01i, 1, 1表示類標識 , 示每個樣本的特征。設 () 為從模式空間 高維特征空間 z 的映射，則模糊單類支持向量機方法即是采用二次規(guī)劃方法求解下面帶約束條件的目標函數(shù)的最小值： 21( , , ) ( )n a R C (3約束條件為： 2 2 , 1 , ,i i ix a R i n K (30 , 1, ,i K (3其中 C 為懲罰因子，通常取正常數(shù)；i為松