1、圖像檢索技術(shù)綜述,本文主要內(nèi)容,圖像檢索技術(shù)的發(fā)展歷史 當(dāng)前主流的圖像檢索技術(shù)介紹 一個(gè)圖像搜索引擎的系統(tǒng)模型,20世紀(jì)70年代： TBIR (Text-based Image Retrieval） 基于文本的圖像檢索技術(shù) 沿用了傳統(tǒng)文本檢索技術(shù)，利用文本描述的方式表示圖像的特征。,早期的TBIR： 手工對(duì)圖像進(jìn)行注釋，工作量相當(dāng)大，不可避免地會(huì)帶來(lái)主觀性和不精確性 Internet環(huán)境下的TBIR： 網(wǎng)頁(yè)信息的自動(dòng)采集和標(biāo)引技術(shù) 索引方式：全文索引和關(guān)鍵詞索引 Google，Yahoo和百度等搜索引擎所提供的圖像檢索服務(wù)，它們采用的都是TBIR技術(shù),TBIR的優(yōu)點(diǎn)：使用成熟的文本檢索和搜索引

2、擎技術(shù)，符合人們的檢索習(xí)慣，實(shí)現(xiàn)簡(jiǎn)單,TBIR的缺點(diǎn)：標(biāo)注的準(zhǔn)確性差，也不能滿足用戶對(duì)圖像原始特征信息的檢索,MPEG-7 國(guó)際標(biāo)準(zhǔn)化組織ISOIEC 制定的MPEG-7國(guó)際標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)的正式名稱為“多媒體內(nèi)容描述接口”（Multimedia Content Description Interface），為各類多媒體信息提供一種標(biāo)準(zhǔn)化的描述，并將該描述與所描述的內(nèi)容相關(guān)聯(lián)，極大地促進(jìn)了對(duì)各種多媒體信息的快速查詢和訪問(wèn)。 該標(biāo)準(zhǔn)于1998年10月提出，于2001年最終完成并公布。,MPEG-7標(biāo)準(zhǔn)化的范圍包括： 一系列的描述子（描述子是特征的表示法，一個(gè)描述子就是定義特征的語(yǔ)法和語(yǔ)義學(xué)）； 一系

3、列的描述結(jié)構(gòu)（詳細(xì)說(shuō)明成員之間的結(jié)構(gòu)和語(yǔ)義）； 一種詳細(xì)說(shuō)明描述結(jié)構(gòu)的語(yǔ)言、描述定義語(yǔ)言（DDL）； 一種或多種編碼描述方法。,90年代以來(lái)： CBIR (Content-based Image Retrieval） 基于內(nèi)容的圖像檢索 對(duì)圖像的視覺內(nèi)容，如圖像的顏色、紋理、形狀等進(jìn)行分析和檢索圖像。 其特點(diǎn)是圖像本身包含的客觀視覺特性，不需要人為干預(yù)和解釋，能夠通過(guò)計(jì)算機(jī)自動(dòng)實(shí)現(xiàn)對(duì)圖像特征的提取和存儲(chǔ)。,CBIR進(jìn)行檢索時(shí)利用的是第2層的特征。特征提取是CBIR系統(tǒng)最基礎(chǔ)的部分，在很大程度上決定了CBIR系統(tǒng)的成敗 1,特征提取,1 基于顏色特征的檢索,實(shí)踐表明，基于顏色的CBIR系統(tǒng)具有較

4、好的性能，而且實(shí)現(xiàn)相對(duì)容易最常用的表達(dá)顏色特征的方法是顏色直方圖。 其他常用的顏色特征表示方法還有顏色矩和顏色相關(guān)圖。 2,2 基于紋理特征的檢索,紋理是一種不依賴于顏色或亮度的反映圖像中同質(zhì)現(xiàn)象的視覺特征，對(duì)圖像灰度變化的特征進(jìn)行量化,與對(duì)象的位置、走向、大小、形狀有關(guān),與平均灰度級(jí)無(wú)關(guān)。 圖像檢索中用到的紋理特征表示方法主要有：Tamura法、小波變換和自回歸紋理模型。 3,3 基于形狀特征的檢索,形狀特征常與目標(biāo)聯(lián)系在一起，需提取目標(biāo)的輪廓或描述目標(biāo)輪廓所包圍的區(qū)域的性質(zhì)。因此形狀比顏色和紋理的語(yǔ)義性更強(qiáng)。 基于邊界的表示：代表方法是傅里葉描述子。其基本思想是用對(duì)圖像進(jìn)行傅里葉變換得到的

5、邊界作為形狀描述. 其中一個(gè)優(yōu)點(diǎn)就是把二維問(wèn)題簡(jiǎn)化為一維問(wèn)題。 基于區(qū)域的表示：代表方法是不變矩法。,CBIR系統(tǒng)向用戶提供的查詢方式,示例查詢就是由用戶提交一個(gè)或幾個(gè)例子圖像，然后由系統(tǒng)檢索出特征與之相似的圖像這里的“相似”，指的是上述的顏色、紋理和形狀等幾個(gè)視覺特征上的相似。 草圖查詢：用戶可以簡(jiǎn)單地畫一幅草圖，由系統(tǒng)檢索出視覺特征上與之相似的圖像。,目前基于內(nèi)容圖像檢索技術(shù)已經(jīng)取得了不少的成就，一些著名的圖像檢索系統(tǒng)相繼被推出，有IBM的 QBIC 系統(tǒng)，哥倫比亞大學(xué)開發(fā)的 Visual-SEEK，MIT多媒體實(shí)驗(yàn)室開發(fā)的 Photo-Book，U C Berkeley開發(fā)的 Chabo

6、t 系統(tǒng)等。,CBIR利用圖像本身固有的物理信息，能夠?qū)D像的顏色、紋理和形狀等特征進(jìn)行比較，在指紋識(shí)別、商標(biāo)檢索和醫(yī)學(xué)圖像檢索等特定領(lǐng)域得到了廣泛應(yīng)用，因?yàn)檫@些領(lǐng)域的圖像在某些特征上容易識(shí)別，比如同一個(gè)手指的指紋其紋理是一樣的。 然而，Internet上的圖像來(lái)自不同的領(lǐng)域，根本無(wú)法捕獲其共同點(diǎn)，用基于內(nèi)容的方法對(duì)這些圖像進(jìn)行檢索，其效果遠(yuǎn)不能令人滿意,基于語(yǔ)義的圖像檢索,基于語(yǔ)義的圖像檢索的目的，就是要使計(jì)算機(jī)檢索圖像的能力達(dá)到人的理解水平。 在圖1所示的圖像內(nèi)容層次模型中，語(yǔ)義位于最高層：第3層。第2層和第3層之間的差別被許多學(xué)者稱為“語(yǔ)義鴻溝” (semantic gap)。縮小語(yǔ)義鴻

7、溝的辦法有2種：由高層語(yǔ)義導(dǎo)出低層特征和由低層特征向高層語(yǔ)義的轉(zhuǎn)換。,在原有檢索系統(tǒng)中加入高級(jí)語(yǔ)義到低層特征的轉(zhuǎn)化，可以在不改變現(xiàn)有的圖像特征庫(kù)和匹配方式的情況下，實(shí)現(xiàn)基于語(yǔ)義的圖像檢索，其基本框圖見圖2. 圖像語(yǔ)義的提前過(guò)程是由低層特征向高層語(yǔ)義轉(zhuǎn)化的過(guò)程。在獲取語(yǔ)義和有效地表達(dá)語(yǔ)義的基礎(chǔ)上，可以建立語(yǔ)義索引，提取圖像語(yǔ)義的模型見圖3。,基于反饋的圖像檢索,相關(guān)反饋方法的基本思想是在檢索過(guò)程中，允許用戶對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)和標(biāo)記，指出結(jié)果中哪些是用戶希望得到的查詢圖像，哪些是不相關(guān)的，然后將用戶標(biāo)記的相關(guān)信息作為訓(xùn)練樣本反饋給系統(tǒng)進(jìn)行學(xué)習(xí)，指導(dǎo)下一輪檢索，從而使得檢索結(jié)果更符合用戶的需要。,基

8、于知識(shí)的圖像檢索,將人工智能領(lǐng)域的基于知識(shí)的處理方法引入到圖像處理領(lǐng)域，通過(guò)對(duì)圖像理解、知識(shí)表達(dá)、機(jī)器學(xué)習(xí)，并結(jié)合專家和用戶的先驗(yàn)知識(shí)，建立圖像知識(shí)庫(kù)實(shí)現(xiàn)對(duì)圖像數(shù)據(jù)庫(kù)的智能檢索。主要涉及到自然語(yǔ)言理解、專家系統(tǒng)、知識(shí)表達(dá)和機(jī)器學(xué)習(xí)等人工智能的主要研究領(lǐng)域。,一個(gè)圖像搜索引擎的系統(tǒng)模型,SeekImg系統(tǒng)是華中科技大學(xué)圖像識(shí)別與人工智能研究所開發(fā)的，一個(gè)www上的圖像搜索引擎的原型系統(tǒng)。4 該系統(tǒng)采用Internet搜索技術(shù)、圖像自動(dòng)識(shí)別技術(shù)和基于內(nèi)容的圖像檢索技術(shù)，基于C1ientServer 架構(gòu)和 Microsoft SQL ServerNT 平臺(tái)研制開發(fā)。,SeekImg由四部分組成：爬

9、蟲部分、圖像處理、圖像數(shù)據(jù)庫(kù)和查詢服務(wù)器。,爬蟲又稱為“www圖片自動(dòng)搜尋和下載模塊”，主要完成從www網(wǎng)站上尋找圖片并下載到系統(tǒng)的服務(wù)器上；圖像處理部分是SeekImg的核心模塊，主要完成下載的圖像的自動(dòng)分析和特征信息的自動(dòng)提??；數(shù)據(jù)庫(kù)部分在服務(wù)器端完成SeekImg的圖像信息組織，在客戶端接受用戶的例子圖像，通過(guò)基于內(nèi)容的圖像檢索算法，完成對(duì)服務(wù)器端圖像信息的檢索，并將結(jié)果輸出給用戶。5,用戶可采用的三種查詢方式： 當(dāng)用戶采用傳統(tǒng)的關(guān)鍵字檢索方式時(shí)，利用圖像數(shù)據(jù)庫(kù)中的關(guān)鍵字字段進(jìn)行檢索。 當(dāng)用戶提供了示例圖像時(shí)，先對(duì)示例圖像產(chǎn)生索引向量，采用某種距離度量算法，算出示例圖像和圖像數(shù)據(jù)庫(kù)中圖片

10、的索引向量之間的距離，得到距離最近的若干幅圖片。 用戶也可以指定圖像特征，例如，紅色30，黃色50。服務(wù)器將構(gòu)造出索引向量，然后找出距離最近的若干幅圖片。,參考文獻(xiàn),1賀玲, 吳玲達(dá), 蔡益朝 CBIR 中的索引技術(shù)綜述J.小型微型計(jì)算機(jī)系統(tǒng).2006，vol.27：141-145 2劉忠偉，章毓晉十種基于顏色特征的圖像檢索算法的比較和分析J信號(hào)處理，2OOO，16(1)：79-84 3MA W Y，ZHANG H JBenchmarking of Image Features for Content-based RetrievalCThe 32nd Asilomar Conference on Signals，Systems Computers