基于多特征的圖像檢索技術(shù)研究與實現(xiàn)Researchand

Implementationof

ImageRetrievalBasedonMulti-features答辯人：

刁興亮導(dǎo)

師：

才書訓(xùn)

教授專

業(yè)：

計算機應(yīng)用技術(shù)

研究背景現(xiàn)狀及本文研究內(nèi)容

相關(guān)技術(shù)概論

總體方案設(shè)計

關(guān)鍵技術(shù)算法實現(xiàn)

系統(tǒng)設(shè)計

實驗測試

總結(jié)和展望內(nèi)容提要東北大學(xué)信息科學(xué)與工程學(xué)院 研究背景■圖像等多媒體資源日益豐富，圖像檢索系統(tǒng)需求迫切■基于內(nèi)容的圖像檢索系統(tǒng)應(yīng)運而生 研究現(xiàn)狀:■基于文本到基于內(nèi)容■出現(xiàn)了很多原型系統(tǒng)■具有一定的缺陷研究背景現(xiàn)狀及本文研究內(nèi)容東北大學(xué)信息科學(xué)與工程學(xué)院I

本文研究內(nèi)容■設(shè)計多特征圖像檢索方案■實現(xiàn)多特征圖像檢索關(guān)鍵技術(shù)算法■實現(xiàn)一個基于本文研究的多特征圖像檢索

系統(tǒng)■在此基礎(chǔ)上進(jìn)行實驗分析研究背景現(xiàn)狀及本文研究內(nèi)容東北大學(xué)信息科學(xué)與工程學(xué)院

返回I

傳統(tǒng)單特征檢索流程相關(guān)技術(shù)概論單一

的特征提取用戶給定查詢圖像東北大學(xué)信息科學(xué)與工程學(xué)院相似性度量查詢結(jié)果用戶給定特征權(quán)值或圖像多特征提取多特征的相似性度量I

傳統(tǒng)多特征檢索流程相關(guān)技術(shù)概論東北大學(xué)信息科學(xué)與工程學(xué)院查詢結(jié)果

特征提取■顏色

顏色直方圖

顏色矩■

紋理

Tamura紋理特征

共生矩陣■

形狀

傅立葉描述符

Hu不變矩相關(guān)技術(shù)概論東北大學(xué)信息科學(xué)與工程學(xué)院I

相似性度量■

歐氏距離■

Mink

owsky距離■

直方圖相交■

二次式距離■Mahalanobis距離相關(guān)技術(shù)概論東北大學(xué)信息科學(xué)與工程學(xué)院

返回I傳統(tǒng)的圖像檢索系統(tǒng)所存在的問題■傳統(tǒng)單特征: 特征提取的統(tǒng)計信息不全面■傳統(tǒng)多特征: 用戶給定權(quán)值:不能全面表示用戶意愿，存在一定的盲目性 系統(tǒng)給定權(quán)值:沒有體現(xiàn)圖像各種特征的相對重要性 不具有用戶相關(guān)反饋模型總體方案設(shè)計東北大學(xué)信息科學(xué)與工程學(xué)院 本文多特征圖像檢索模型■實現(xiàn)的功能: 對傳統(tǒng)兼容:基于文本特征檢索 對傳統(tǒng)兼容:基于顏色、紋理或者形狀的單特征檢索 基于文本、內(nèi)容相結(jié)合的多特征檢索 構(gòu)建用戶相關(guān)反饋模型，并由系統(tǒng)動態(tài)調(diào)整多特征權(quán)值，多次檢索 返回總體方案設(shè)計東北大學(xué)信息科學(xué)與工程學(xué)院返回圖像庫前臺用戶界

面后臺查詢服務(wù)器權(quán)值設(shè)置分析產(chǎn)生權(quán)值或調(diào)整權(quán)值東北大學(xué)信息科學(xué)與工程學(xué)院初始權(quán)值設(shè)置人機交互

查詢反饋人機交互數(shù)據(jù)庫管理員界面后臺數(shù)據(jù)庫服務(wù)器圖像庫管理模塊用戶查詢要求用戶查詢模塊初始問

題特征提

取相關(guān)反

饋示例圖像結(jié)果圖像管理操作結(jié)果輸出關(guān)鍵字不滿意查

詢I

特征提取中特征向量的歸一化■特征內(nèi)部歸一化過程的目的在于使特征向量的各分量具有相同的重要性 內(nèi)部歸一化■特征外部歸一化過程的目的使綜合特征的各特征向量在相似距離計算中的地位相同。

外部歸一化關(guān)鍵技術(shù)算法實現(xiàn)東北大學(xué)信息科學(xué)與工程學(xué)院I多特征相似性度量■綜合各種相似性度量函數(shù)所適應(yīng)的環(huán)境,顏色直方圖和顏色矩特征我們使用二次式距離進(jìn)行測量,Tamura紋理特征、共生矩陣、傅立葉函數(shù)及Hu不變矩我們使用馬氏進(jìn)行測量。關(guān)鍵技術(shù)算法實現(xiàn)東北大學(xué)信息科學(xué)與工程學(xué)院I初始檢索特征權(quán)值的動態(tài)獲取■1.用戶查詢界面中包含了查詢的相關(guān)問題■2.系統(tǒng)分析用戶的答案,進(jìn)行初始的多特征權(quán)值設(shè)置 其中w0為,n為特征值個數(shù)。ci為每個有答案的問題所對應(yīng)的權(quán)值變動值關(guān)鍵技術(shù)算法實現(xiàn)東北大學(xué)信息科學(xué)與工程學(xué)院I

用戶反饋信息調(diào)整多特征權(quán)值■

圖像對象模型

D是原始圖像數(shù)據(jù)

F是此圖像對象的底層特征的集合

R是某種給定特征的表達(dá)形式關(guān)鍵技術(shù)算法實現(xiàn)東北大學(xué)信息科學(xué)與工程學(xué)院I檢索過程■（1）初始化W■（2）給定示例圖像,特征提取■（3）根據(jù)權(quán)值計算特征向量■（4）相似性度量,返回N幅圖像■（5）相關(guān)反饋■（6）系統(tǒng)根據(jù)用戶的反饋意見調(diào)整權(quán)值■（7）回到第2步,開始新一輪的檢索。關(guān)鍵技術(shù)算法實現(xiàn)東北大學(xué)信息科學(xué)與工程學(xué)院I

權(quán)重更新■

Wij的調(diào)整關(guān)鍵技術(shù)算法實現(xiàn)東北大學(xué)信息科學(xué)與工程學(xué)院

歸一化I

權(quán)重更新■

Wijk的調(diào)整關(guān)鍵技術(shù)算法實現(xiàn)東北大學(xué)信息科學(xué)與工程學(xué)院歸一化I

權(quán)重更新■

Wi

的調(diào)整改進(jìn)

1.關(guān)鍵技術(shù)算法實現(xiàn)東北大學(xué)信息科學(xué)與工程學(xué)院返回

2.I開發(fā)環(huán)境■CPU:Pentium(R)D3.00GHZ■內(nèi)存:512M■操作系統(tǒng):WindowsXPSP2■開發(fā)語言:Java6.0■開發(fā)工具:eclipseeuropajavaforWindowsXP■數(shù)據(jù)庫:Mysql6.0系統(tǒng)設(shè)計東北大學(xué)信息科學(xué)與工程學(xué)院I系統(tǒng)結(jié)構(gòu)■圖像庫管理模塊 添加圖像 刪除,修改圖像■圖像檢索模塊 用戶初始查詢模塊 圖像處理模塊 檢索模塊 相關(guān)反饋模塊系統(tǒng)設(shè)計東北大學(xué)信息科學(xué)與工程學(xué)院返回I實驗數(shù)據(jù)■實驗數(shù)據(jù)來自于時代圖片網(wǎng)（）中有關(guān)汽車與貓的圖片,該數(shù)據(jù)集包括123張汽車的圖片和135張貓的圖片,共258張。每張圖片都有相關(guān)的文本信息標(biāo)記,圖片尺寸約為500X500,大小約為15萬-25萬個像素組成,汽車與貓為圖片中主要元素。實驗測試東北大學(xué)信息科學(xué)與工程學(xué)院I實驗方案■將本文研究的多特征圖像檢索與傳統(tǒng)的單特征圖像檢索進(jìn)行對比,結(jié)合查全率和查準(zhǔn)率,驗證動態(tài)反饋多特征算法的有效性。實驗測試東北大學(xué)信息科學(xué)與工程學(xué)院I實驗流程■（1）添加圖像庫■（2）示例圖像:一副汽車的圖像■（3）閾值:0.4■（4）通過單特征檢索■（5）通過傳統(tǒng)多特征（無反饋）檢索■（6）通過多特征檢索■（7）實驗分析實驗測試東北大學(xué)信息科學(xué)與工程學(xué)院指方

標(biāo)法檢索結(jié)果相關(guān)圖數(shù)目檢索結(jié)果總數(shù)圖像庫圖像總數(shù)查準(zhǔn)率

（%）查全率

（%）

實驗結(jié)果分析相關(guān)圖

像數(shù)目實驗測試顏色紋理形狀傳統(tǒng)多特征多特征東北大學(xué)信息科學(xué)與工程學(xué)院73100996982110967096982582582582582580.700.570.730.820.660.740.590.870.780.56123123123123123實驗測試實驗結(jié)果分析東北大學(xué)信息科學(xué)與工程學(xué)院返回I總結(jié)■分析各種特征提取方法,提出了適合多特征檢索的算法■選擇了適合多特征檢索的相似性度量方法■實現(xiàn)了檢索初始權(quán)值的動態(tài)設(shè)置■將傳統(tǒng)相關(guān)反饋理論應(yīng)用于多特征圖像檢索系統(tǒng),并對其進(jìn)行了改進(jìn)■實現(xiàn)了原型系統(tǒng)并進(jìn)行了實驗分析總結(jié)和展望東北大學(xué)信息科學(xué)與工程學(xué)院I

展望■特征提取中的圖片