基于哈希技術的跨模態(tài)數據檢索方法評測對比研究開題報告一、研究背景及意義隨著“萬物互聯(lián)”及“互聯(lián)網+”的大力發(fā)展，圖像、文本、視頻和音頻等多模態(tài)數據隨處可見，數據規(guī)模呈現(xiàn)爆炸式增長。例如，F(xiàn)acebook有接近19億的月活躍用戶，他們每小時分享的圖片可達上千萬張，Youtube每天上傳視頻大約有6萬小時。用戶每天都會接觸到如此海量的多模態(tài)數據，如何從中快速檢索到所需要的信息，已經成為迫在眉睫的問題。許多高科技企業(yè)對此做出了不懈努力，比如谷歌和百度等搜索引擎巨擘在原來基于文本的檢索服務下，相繼推出了以圖識圖等應用，阿里巴巴在圖片這一垂直領域推出了拍立淘等應用。數據檢索的核心是最近鄰檢索問題，即已知一個待檢索數據，并給定一個多媒體數據集，首先采用一定的方法計算出待檢索數據和數據集中所有數據的距離，然后返回和待檢索數據最近的前若干個數據即可。由于嚴格解決最近鄰檢索需要線性掃描整個數據集，實際應用中為了提高運行效率，通常使用近似最近鄰檢索。傳統(tǒng)的近似最近鄰方法主要基于樹結構。當數據維度較高時，這種方法的時間和空間復雜度呈現(xiàn)指數增長，其檢索效率嚴重下降。近年來，基于哈希的近似最近鄰檢索方法[7,8]憑借對海量高維數據的高效處理能力受到廣泛關注。哈希檢索的本質是將高維的數據用少量位數的二進制碼表示，即把數據投影到漢明空間，然后利用這些二進制碼進行最近鄰檢索。該過程中最重要的是對二進制碼進行有效約束，使其能夠保持原始高維數據間的相似性關系。由于漢明空間由緊湊的0、1數值組成，通過異或操作和位運算就能得出漢明距離（HammingDistance），所以哈希檢索具有較快的檢索速度。另外，由于二進制碼維度較低，所以哈希檢索只需要少量的存儲空間。然而，目前檢索任務除了存在數據量大和維度高這兩個問題，還面臨多模態(tài)特性。對應同一主題或事件，通常有不同模態(tài)的信息對其進行描述。而在這些多模態(tài)數據間進行跨模態(tài)檢索變得越來越普遍?？缒B(tài)檢索能夠幫助人們從不同的視角認識事物，對人們了解世界、事件具有十分重要的意義。由于不同模態(tài)數據的底層特征差異巨大，如何獲取具有高級語義的特征，以便將具有相同語義的多模態(tài)數據耦合起來，成為跨模態(tài)哈希檢索的難點。二．國內外研究現(xiàn)狀隨著互聯(lián)網時代的到來，信息的存儲和檢索變得更容易實現(xiàn)。信息檢索這個概念誕生于20世紀50年代，信息檢索通常被認為是處理信息的表示、存儲和訪問的計算機科學的子領域。過去幾十年來，信息檢索技術的便捷性惠及到越來越多的人，每一天都有許多檢索系統(tǒng)被大量的用戶使用，現(xiàn)在人們也習慣于利用互聯(lián)網的搜索引擎來檢索想要的信息。信息檢索系統(tǒng)的提出主要就是為了幫助管理大型數據。在這個大數據時代，信息檢索的重要性不言而喻。如今信息檢索已被應用到各個領域，主要有數字圖書館、搜索引擎、多媒體檢索。信息檢索通常涉及到從大型數據庫中搜索和檢索信息。信息檢索是表述、存儲和搜索數據集合的過程總和，其目的為了挖掘知識信息，響應用戶的檢索請求。信息檢索的實現(xiàn)過程一般包括以下步驟：1.抽取信息的關鍵信息，以摘要或者更簡潔的形式將信息存儲在數據庫中。2.對比用戶輸入的關鍵信息與數據庫中的關鍵信息，篩選掉無關信息，并將相關信息按照相關強度系數排序。一個信息檢索系統(tǒng)有三個基本過程：信息文檔的表示；用戶的需求信息的表示；兩個表示的匹配。圖1展示一個基本的信息檢索過程，圖中直角方框表示數據，圓角方框表示處理過程。從上圖1能夠看出，信息檢索過程中有兩個重要的處理過程：原始信息文檔的索引化和用戶需求信息的公式化。哈希方法一直是索引化方法的一種重要方法，它能在最大限度保持每個文檔的關鍵信息的同時極大的減小原始文檔所需要的存儲空間。而且哈希方法在檢索時的匹配速度也是它的一大特優(yōu)勢。本文主要的研究目標就是基于哈希的思想提出一種新的信息檢索方法。MessinaA等人在2015年NIPS會議上提出了一個基于深度置信網絡的多模態(tài)深度學習算法來學習多模態(tài)數據之間的共享表示，從而實現(xiàn)多模態(tài)檢索。該方法利用深度置信網絡的降維與重構數據的特性，先針對不同的數據模態(tài)，訓練出針對各個模態(tài)的不同的DBN，再在每個DBN的最后一層之上，加上一個隱層，利用受限玻爾茲曼機的特性來訓練一個有雙可視層的受限玻爾茲曼機，最后將該隱層視為不同模態(tài)數據的共享表示。LiK等人于2015年ICCV會議上提出基于卷積神經網絡的多模態(tài)網絡m-CNN。HaJW等人在2017年ACMICMR會議上提出了基于生成對抗網絡的多模態(tài)數據表示學習模型CGANs，該模型能夠實現(xiàn)圖像文本交叉翻譯。臧虎等人在2015年的IJCAI會議上提出基于卷積神經網絡的文本哈希模型。該模型中，作者首先將關鍵字特征嵌入到有局部保持約束的緊湊二進制碼中，同時將詞語特征和位置特征一起輸入到卷積網絡中用來學習隱性特征，這些隱性特征將與顯性特征相結合來微調預訓練的二進制碼。該方法是基于文本的深度哈希代表方法。三、主要研究內容1緒論1.1研究背景及意義1.2研究內容及方法2跨模態(tài)哈希檢索2.1引言2.2多模態(tài)數據的特征提取2.2.1手工設計的特征提取2.2.2基于深刻學習的特征提取2.3常用的跨模態(tài)的哈希檢索方法3基于關聯(lián)耦合的跨模態(tài)哈希檢索3.1引言3.2基于關聯(lián)耦合的落寞太哈希檢索3.3實驗結果與分析4基于深度耦合的跨模態(tài)哈希檢索4.1引言4.2基于深度耦合的跨模態(tài)哈希檢索4.3實驗結果與分析總結參考文獻四、研究進度1.2019年11月21日-12月10日，查閱相關資料，完成文獻綜述。2.2019年12月10日-12月15日，完成開題報告。3.2020年1月01日-2月3日，確定文章大綱，構建論文框架體系。4.2020年2月5日-3月31日，完成文章初稿。5.2020年4月01日-4月30日，文章檢查、完善、修改、定稿。6.2020年5月01日-答辯前，文章最后完善與答辯準備。參考文獻[1]馮方向.基于深度學習的跨模態(tài)檢索研究[D].2015.[2]石理想.結合ITQ的跨模態(tài)的多媒體信息檢索[D].2015.[3]劉卓錕,劉華平,黃文美,etal.視聽覺跨模態(tài)表面材質檢索[J].智能系統(tǒng)學報,2019,14(03):423-429.[4]邵曦[1],郁青玲[1].基于典型相關的音樂跨模態(tài)檢索[J].計算機技術與發(fā)展,2015(7):76-81.[5]宣瑞晟,歐衛(wèi)華,宋浩強,etal.圖約束的半監(jiān)督對抗跨模態(tài)檢索方法研究[J].貴州師范大學學報:自然科學版,2019(4):86-94.[6]劉瑤.融合CCA和Adaboost的跨模態(tài)多媒體信息檢索[D].2016.[7]臧虎.基于深層網絡的多模態(tài)特征融合問題的研究與應用[D].北京郵電大學,2015.[8]胡輝,胡松,黃思博,etal.海量跨媒體數據智能分析系統(tǒng)的研究[J].科技尚品,2016(5).[9]劉霄翔.異質人臉識別理論與方法研究[D].2017.[10]金漢均,段貝貝.基于深度視覺特征正則化的跨媒體檢索研究[J].電子測量技術,2018(12).[11]MessinaA,MontagnuoloM.Ageneralisedcross-modalclusteringmethodappliedtomultimedianewssemanticindexingandretrieval[C]//Proceedingsofthe18thInternationalConferenceonWorldWideWeb,WWW2009,Madrid,Spain,April20-24,2009.ACM,2009.[12]LiK,QiG,YeJ,etal.LinearSubspaceRankingHashingforCross-ModalRetrieval[J].IEEETransactionsonSoftwareEngineering,2016,PP(99):1825-1838.[13]HaJW,KimBH,LeeB,etal.LayeredHypernetworkModelsforCross-Modal[13]A