多模態(tài)信息處理研究進展、現(xiàn)狀及趨勢任務定義、目標和研究意義多模態(tài)（multimodality）的概念起源于計算機人機交互領域信息表示方式的研究，其中術(shù)語“模態(tài)”一詞被定義為在特定物理媒介上信息的表示及交換方式。在研究中人們發(fā)現(xiàn)，用語言、視頻、音頻等媒體指稱來描述信息表示方式過于寬泛、粒度太大，不足以區(qū)分實際采用的表示方式，為此引入了比媒體（或媒介）更細粒度的“模態(tài)”概念。而多媒體媒介可以分解為多個單模態(tài)，如視頻作為一種多媒體媒介，可以分解為動態(tài)圖像、動態(tài)語音、動態(tài)文本等多個單模態(tài)。為了模態(tài)概念定義的科學性和實用性，單模態(tài)的分類必須滿足完整性、正交性、關(guān)聯(lián)性和直觀性的要求。在同一事物上多類單模態(tài)信息共生或共現(xiàn)的現(xiàn)象是十分普遍的。人與人交談時有聲語音與文字文本是共生的；互聯(lián)網(wǎng)網(wǎng)頁中圖片與其對應的解說文字是共現(xiàn)的，凡此等等。共生或共現(xiàn)的多種單模態(tài)信息的統(tǒng)稱即所謂的多模態(tài)信息。融合多種單模態(tài)的信息處理即所謂的多模態(tài)信息處理，其中涉及對多模態(tài)信息的獲取、組織、分析、檢索、理解、創(chuàng)建等。多模態(tài)信息處理技術(shù)主要應用于對象識別、信息檢索、人機對話等與智能系統(tǒng)及人工智能相關(guān)的領域。大量研究成果顯示，基于多模態(tài)理念的信息處理算法和方法，往往會得到比傳統(tǒng)方法更好的性能和效果。例如，語義計算相關(guān)領域基于指稱語義的研究發(fā)現(xiàn)，采用語言表達式的視覺指稱（即一組圖片）來定義指稱相似性度量，在某些語義推導任務中，效果好于基于純文本的分布式語義表示；情感計算領域相關(guān)研究發(fā)現(xiàn)，不同模態(tài)的數(shù)據(jù)在情感表達中具有互補性，在愉悅度表達方面文本模態(tài)優(yōu)于音頻模態(tài)，而在激活度表達方面音頻模態(tài)則優(yōu)于文本模態(tài)。在基于內(nèi)容的多媒體信息檢索領域，針對基于內(nèi)容的視音頻檢索中的語義鴻溝問題，利用與視音頻數(shù)據(jù)共生或共現(xiàn)的文本信息，進行多模態(tài)的語義分析和相似性度量，是克服語義鴻溝問題的一種十分有效的方法。以媒體為單位的跨媒體信息處理任務，普遍存在語義鴻溝問題，所處理信息對象的語義，無論是基于外延語義（指稱語義）還是內(nèi)涵語義（關(guān)聯(lián)語義）概念，在單一媒體信息范圍內(nèi)得不到完整或最終表達，而多模態(tài)信息處理方法為該問題的解決提供了新的思路和方法。研究內(nèi)容和關(guān)鍵科學問題多模態(tài)信息處理是在文本、圖像、音頻等現(xiàn)有單媒體信息處理的基礎上發(fā)展起來的，現(xiàn)有單媒體數(shù)據(jù)的處理方法是多模態(tài)數(shù)據(jù)處理的基礎。 例如在特征提取層面，針對文本、圖像、音頻等單模態(tài)數(shù)據(jù)，往往直接利用成熟的文本、圖像、音頻特征提取方法來實現(xiàn)。多模態(tài)信息處理特有的研究內(nèi)容主要關(guān)注于多模態(tài)信息的建模、獲取、融合、語義度量、分析、檢索等方面。2.1多模態(tài)信息建模如何科學、嚴謹?shù)亩x單模態(tài)信息，是多模態(tài)信息建模要解決的問題。由于用媒體方式界定人機交互方式粒度太大， 從而引入了模態(tài)的概念。所謂多模態(tài)信息建模，就是要構(gòu)建一個單模態(tài)的分類體系， 在該分類體系中，各單模態(tài)類別之間滿足完整性、正交性、關(guān)聯(lián)性和直觀性的要求。 NielsOleBernsen2008 年基于前人的工作，在“多模態(tài)理論 (MultimodalityTheory)”一文中給出了一個滿足這些要求的單模態(tài)的分類體系，如表 1所示。表1一個輸入/輸出模態(tài)的分類頂層通用層原子層亞原子層1靜態(tài)擬真圖形元素2靜-動態(tài)擬真聲音元素3靜-動態(tài)擬真觸覺元素4動態(tài)擬真圖形4a.靜動手勢話語4b.靜動手勢關(guān)鍵字4c.靜動手勢符號5靜態(tài)非擬真圖形5a.書面文本5a1.打印文本5a2.手寫文本5b.書面關(guān)鍵字5b1.打印關(guān)鍵字5b2.手寫關(guān)鍵字語言模態(tài)5c.書面符號5c1.打印符號5c2.手寫符號6靜-動態(tài)非擬真聲音 6a.口語話語6b.口語關(guān)鍵字6c.口語符號7靜-動態(tài)非擬真觸覺 7a.觸覺文本7b.觸覺關(guān)鍵字7c.觸覺符號8動態(tài)非擬真圖形 8a.動態(tài)書面文本8b.動態(tài)書面關(guān)鍵字8c.動態(tài)書面符號8d.靜動口語話語8e.靜動口語關(guān)鍵字8f.靜動口語符號9.靜態(tài)圖形 9a.圖像9b.地圖9c.組合圖表9d.圖形9e.概念圖表10.靜-動態(tài)聲音10a.圖像10b.地圖10c.組合圖表10d.圖形10e.概念圖表擬真模態(tài)11.靜-動態(tài)觸覺11a.圖像11b.地圖11c.組合圖表11d.圖形11e.概念圖表12.動態(tài)圖形12a.圖像12a1.臉部表情12b.地圖12a2.手勢12c.組合圖表 12a3.肢體動作12d.圖形12e.概念圖表靜態(tài)圖形靜-動態(tài)聲音主觀模態(tài) 15.靜-動態(tài)觸覺動態(tài)圖形靜態(tài)圖形顯式結(jié)構(gòu)模態(tài) 18.靜-動態(tài)聲音靜-動態(tài)觸覺動態(tài)圖形隨著人機交互設備的發(fā)展和豐富，新的傳感器可以采集到更多新的、可與人交互的信息，如定位信息、重力加速度信息、腦電信息、熱量消耗信息、步行運動信息等，表1給出模態(tài)分類體系已不能完全覆蓋新模態(tài)信息的種類，因此需要持續(xù)研究新的模態(tài)分類體系。2.2多模態(tài)信息獲取盡管人與人、人與機器之間交互信息的多模態(tài)現(xiàn)象是普遍存在的，但對于多模態(tài)信息處理而言，所處理的對象數(shù)據(jù)往往需要特殊處理才能獲得。多模態(tài)信息的獲取主要包括數(shù)據(jù)的采集、解析與數(shù)據(jù)集構(gòu)建。多模態(tài)數(shù)據(jù)的采集盡管可以對單模態(tài)數(shù)據(jù)類別進行比較形式化的定義，但實際研究中只要盡可能地遵守完整性、正交性、關(guān)聯(lián)性和直觀性的原則，新模態(tài)數(shù)據(jù)類別的引入是比較靈活，同時也是比較活躍的。比如除了圖像、聲音等信息外，針對社交媒體，可通過智能終端，采集到位置、重力加速度、睡眠、運動等人體信息；針對車聯(lián)網(wǎng)，可通過車載傳感器，采集到車速、位置、溫度、發(fā)動機轉(zhuǎn)速、雷達等汽車狀態(tài)信息；針對監(jiān)控網(wǎng)，可以采集紅外、震動、煙霧濃度、生物指紋等與安防相關(guān)的信息。多數(shù)情況下，多模態(tài)信息處理任務要求所有處理樣本數(shù)據(jù)的各單模態(tài)數(shù)據(jù)是完整的。好在各單模態(tài)數(shù)據(jù)源經(jīng)常是共生或共現(xiàn)的，滿足完整性要求是可以做得到的。但也有例外的情況，例如歌曲多模態(tài)信息中，盡管音頻與歌詞是共生的，但歌詞很難從音頻中分離，因此，歌詞文本數(shù)據(jù)還要通過其它單獨途徑采集。多模態(tài)數(shù)據(jù)的解析多模態(tài)數(shù)據(jù)的解析就是將原始混合狀態(tài)的多模態(tài)數(shù)據(jù)，分解為單模態(tài)的數(shù)據(jù)。例如視頻數(shù)據(jù)，需要分解為動態(tài)圖像、音頻語言、文本語言等三種單模態(tài)數(shù)據(jù)，其中文本語言部分，可能來自于視頻字幕、圖像內(nèi)容中的文字和語音識別的結(jié)果等。多模態(tài)數(shù)據(jù)的解析往往需要與數(shù)據(jù)采集相結(jié)合，例如歌曲MTV視頻的解析，歌詞文本很難從視頻本身得到，可以通過采集系統(tǒng)來彌補。再例如，藝術(shù)、影視評論類文本數(shù)據(jù)的解析，其中涉及的圖像、視頻、音頻數(shù)據(jù)的獲取，更需要借助采集系統(tǒng)來完成。 多模態(tài)訓練數(shù)據(jù)集的構(gòu)建為了進行對多模態(tài)信息的機器學習處理，如分類、回歸、聚類等，需要構(gòu)建訓練用樣本數(shù)據(jù)集，特別是針對有監(jiān)督學習，還需要進行數(shù)據(jù)標注。多模態(tài)訓練數(shù)據(jù)集的構(gòu)建有自己獨特的方法。以多模態(tài)人臉情感識別為例，需要選擇一組參試人員，選擇一組表達不同情感的詩詞，準備一個相對封閉的環(huán)境，一個顯示詩詞的屏幕，一個面對受試人員臉部的攝像頭，一個錄音麥克風，一個采集視頻、音頻和交互數(shù)據(jù)的軟件，交互數(shù)據(jù)通過受試人員拖動屏幕上采集軟件的滾動條來產(chǎn)生。 標注的情感數(shù)據(jù)可采用二維連續(xù)的VA情感模型來量化，由于標注的情感模型是二維的， 因此每個詩詞樣本都需要標注兩次。標注開始后，受試人朗誦屏幕上的詩詞，并根據(jù)朗誦詩詞的情感體驗拖動滾動條。最終可以獲得包含有聲語言、文本語言和人臉視頻的多模態(tài)情感標注數(shù)據(jù)及相應的訓練數(shù)據(jù)集。2.3多模態(tài)語義分析術(shù)語“語義分析”在不同領域有不同的含義，這里特指機器學習中的語義分析。在機器學習中，語義分析是指構(gòu)建一個文檔集概念結(jié)構(gòu)的任務，該概念結(jié)構(gòu)逼近文檔集所表達的概念。也即，運用機器學習的方法提取或挖掘文檔的深層次概念。雖然語義分析一般不等同于文檔的語義理解，但往往是語義理解的基礎步驟。在語義分析相關(guān)研究中，所分析的文檔集已從文本類數(shù)據(jù)，擴展到圖像、視頻、音頻等其它媒體形式的數(shù)據(jù)集。以圖像數(shù)據(jù)為例，所謂圖像語義分析是指完整地將圖像內(nèi)容轉(zhuǎn)換成可直觀理解的類文本語言表達，即將圖像內(nèi)容 “像素-區(qū)域-目標-場景”的層次關(guān)系，采用合適的詞匯、合理的構(gòu)詞方式進行詞匯編碼和標注的過程。語義分析過程中首先要面對的是如何克服語義本身在表達上的多義性和不確定性問題，如同詞不同義，同義不同詞的問題。對于圖像、音頻這樣的非文本類數(shù)據(jù)，更要解決在數(shù)據(jù)表達和語義解釋之間建立合理的聯(lián)系的問題，即語義鴻溝問題。大量研究表明，多模態(tài)語義分析方法對解決上述兩類問題具有明顯的優(yōu)勢。例如，在對足球比賽視頻語義分析的基礎上，輔以音頻歡呼聲事件的鑒別，能夠更好地分析出進球事件的語義。所謂多模態(tài)語義分析是指在同一個媒體對象的多個模態(tài)數(shù)據(jù)上，同時并行或協(xié)同進行語義分析，并最終通過融合得到分析結(jié)果的語義分析方法。2.4多模態(tài)情感識別人機交互、多媒體信息處理等多個領域的研究和應用，對情感計算技術(shù)的發(fā)展起到了重要的推動作用。目前人機交互的主要方式仍是書面語言，書面語言交流與人類面對面交流的最大差別是，所謂副語言（Para-language）的缺失。副語言包括語氣聲、哭笑聲、面部表情、肢體語言等。實現(xiàn)副語言的人機交流是實現(xiàn)和諧自然人機對話的基礎。鑒于副語言更多地側(cè)重情感語義表達的屬性，引入情感識別技術(shù)來實現(xiàn)對副語言的理解是順理成章的。為了處理語音和副語言這樣的多模態(tài)數(shù)據(jù)，將情感識別技術(shù)擴展到處理多模態(tài)數(shù)據(jù)，既是所謂的多模態(tài)情感識別技術(shù)。在多媒體檢索研究領域，傳統(tǒng)的基于文本知識的索引方法已顯現(xiàn)出它的局限性，而基于情感的索引吸引了多媒體研究的學者們。在多媒體應用領域，用戶也期望內(nèi)容推薦和分發(fā)系統(tǒng)，能夠更好地適應他們的體驗和情感。多媒體情感分析與識別的研究目標是，在多媒體內(nèi)容的推薦和檢索中使用情感因素。 例如，當把“我想聽一首歡快的歌”、“我想看一部恐怖片”等檢索條件輸入給計算機系統(tǒng)時，計算機系統(tǒng)能夠給出滿足要求的響應。 其中關(guān)鍵的前提是，多媒體內(nèi)容的情感屬性，不是人工標注的，而是計算機自己通過計算獲得的。歌曲、電影數(shù)據(jù)的多模態(tài)屬性，同樣要求情感識別技術(shù)是多模態(tài)的。2.5多模態(tài)信息檢索隨著經(jīng)典的文本檢索文本、圖像檢索圖像的單模態(tài)信息檢索技術(shù)的成熟與大規(guī)模應用，各單模態(tài)之間相互檢索，諸如用圖像檢索文本、文本檢索音頻這樣的跨媒體檢索系統(tǒng)，也成為信息檢索領域的研究熱點。與單模態(tài)信息檢索方式相比,跨媒體信息檢索不僅能夠更好地表達用戶的檢索意圖,改善用戶的檢索體驗，提高檢索召回率和準確率，而且對媒體數(shù)據(jù)語義的理解也具有重要作用。跨媒體信息檢索首先要解決的是所謂語義鴻溝問題,由于各單模態(tài)內(nèi)容的異構(gòu)性導致語義的不可度量，使得傳統(tǒng)多媒體檢索方法不能直接適用于跨媒體檢索。有多種方法被用來解決這一問題。一種方法是對多媒體數(shù)據(jù)不同模態(tài)的語義關(guān)系進行統(tǒng)一建模，以實現(xiàn)跨媒體檢索。這種方法的缺點是受限于語義概念的建模規(guī)模； 另一種方法是利用共生或共現(xiàn)的多模態(tài)信息作為語義橋梁， 來實現(xiàn)跨媒體檢索。廣義上講，上述兩種檢索方法，都可以被稱為多模態(tài)信息檢索，狹義上講，后者為典型的多模態(tài)信息檢索，前者可稱為跨模態(tài)信息檢索。一個典型的多模態(tài)信息檢索系統(tǒng)是歐盟基金項目 I-SEARCH（Axenopoulos，2010，見圖1），該項目的目標是提供一個統(tǒng)一的多模態(tài)內(nèi)容索引、搜索和檢索框架，該框架能夠處理指定的多媒體和多模態(tài)內(nèi)容類型，如文本、圖像、圖形、視頻、3D對象和音頻，現(xiàn)實對上述任何類型信息內(nèi)容的檢索和查詢。 I-SEARCH將多種媒體類型封裝到一個稱為 “內(nèi)容對象（CO）”的媒體容器中，并共享相同的語義，同時，不同的媒體類型可擁有各自的的元數(shù)據(jù)，如文本、分類、位置或時間等信息。多模態(tài)信息的索引、檢索和查詢，都基于內(nèi)容對象來完成。圖1I-SEARCH多模態(tài)檢索系統(tǒng)框架2.6多模態(tài)人機對話多模態(tài)人機對話系統(tǒng)與基于文本語言的傳統(tǒng)人機對話系統(tǒng)類似，由信息獲取、信息處理和信息輸出三部分組成，不同之處在于，多模態(tài)人機對話系統(tǒng)的信息獲取模塊通過麥克風、攝像機等輸入設備，采集語音、面部表情、肢體動作等多模態(tài)信息作為輸入；信息處理模塊對輸入信息進行多模態(tài)融合的語義分析，并基于多模態(tài)知識庫產(chǎn)生協(xié)同對話內(nèi)容，該內(nèi)容除語言內(nèi)容外，還包括反映情感的面部表情內(nèi)容；信息輸出部分將兩部分內(nèi)容同步輸出到輸出設備上，目前主要是輸出到有模擬對話人臉部圖像的屏幕上，長遠目標是輸出到仿真機器人上，實現(xiàn)整合了語音、手勢和面部表情的、類似人類的自然互動與對話。已有許多多模態(tài)人機對話系統(tǒng)框架被提出，如較早的MIND系統(tǒng)（Chai,J.2002，見圖2），國內(nèi)的中科院自動化所的系統(tǒng)（陶建華等，2011，見圖3）。圖2MIND多模態(tài)人機對話系統(tǒng)框架圖3多模態(tài)人機對話系統(tǒng)框架多模態(tài)人機對話系統(tǒng)的核心研究內(nèi)容是兩個方面，即多模態(tài)會話內(nèi)容的理解和多模態(tài)會話內(nèi)容的生成。在會話內(nèi)容理解方面，除了會話人情感識別外，對會話內(nèi)容所涉及圖像的理解，也成為研究的熱點。如對基于圖像的字幕生成（看圖說話，imagecaptiongeneration，見圖3）的研究，以及更進一步的基于圖像的問答系統(tǒng)的研究。這些研究的目標是實現(xiàn)機器對會話場景及會話視覺內(nèi)容的理解。圖4基于圖像的字幕生成技術(shù)方法和研究現(xiàn)狀為實現(xiàn)多模態(tài)信息處理的目標，大量的文本和多媒體信息處理的技術(shù)和方法被多模態(tài)信息處理系統(tǒng)集成和采納。 下面僅就多模態(tài)信息處理中比較重要的關(guān)鍵技術(shù)和方法作一介紹。3.1多模態(tài)融合方法多模態(tài)信息由于底層數(shù)據(jù)的異構(gòu)性，比如圖像是 24位的RGB顏色值矩陣、音頻是16位的聲壓值串、中文文本是 16位或24位的漢字編碼串。如何讓這些異構(gòu)的數(shù)據(jù)完成同一個識別或檢索任務，是多模態(tài)信息處理首先要解決的問題。解決這個問題的方法被稱為多模態(tài)融合（ Multimodalfusion）。所謂多模態(tài)融合是指：整合各種輸入模態(tài)的信息，并將它們合并在一個完成同一目標的系統(tǒng)中的處理方法。以多模態(tài)人臉情感識別為例，輸入的多模態(tài)信息為人臉圖像和語音，一個最直觀的融合方案是，分別對人臉圖像和語音各構(gòu)造一個情感識別系統(tǒng)， 然后對兩個系統(tǒng)的輸出進行加權(quán)平均，得到最終的識別結(jié)果。PradeepK.Atrey等人2010年在“多媒體分析的多模態(tài)融合綜述”一文，對多模態(tài)融合方法作了較系統(tǒng)的總結(jié)和分析。 關(guān)于實現(xiàn)多模態(tài)融合的方法，一般是在兩個層次上進行融和，即特征層融合（或稱早期融合）和決策層融合（或稱后期融合）。第三種融合策略是所謂混合融合方法，該方法是將特征層融合與決策層融合結(jié)合起來一起使用。圖5是PradeepK.Atrey等人對各種融合方法給出的圖示。圖5多模態(tài)融合方法示意圖其中，（a）是分析單元，（b）是特征層融合單元，（ c）是決策層融合單元，d）特征層多模態(tài)分析，（e）決策層多模態(tài)分析，（f）混合多模態(tài)分析。特征層融合方法先對各模態(tài)信息分別進行特征提取，再對特征數(shù)據(jù)進行綜合分析和處理，形成規(guī)模更大的多模態(tài)聯(lián)合特征矩陣或向量。 對于采用機器學習作為決策層分析的系統(tǒng)，特征層融合的主要作用是使學習器有結(jié)構(gòu)統(tǒng)一的輸入樣本數(shù)據(jù)。由于大多數(shù)機器學習方法對輸入樣本有格式要求， 如等長的向量，此時特征融合是必須執(zhí)行的處理步驟。最常見的融合方法是將不同模態(tài)的特征向量進行拼接。決策層融合策略是，首先讓每個模態(tài)單獨完成各自的分析或?qū)傩耘袆e，然后通過融合來它們的分析或?qū)傩耘袆e結(jié)果， 來形成最后的分析或判別結(jié)果。 主要的融合技術(shù)有表決法、加權(quán)線性表達式、集成學習、協(xié)同學習、多層學習等。為了結(jié)合特征層融合和決策層融合各自的優(yōu)勢， 一些研究人員提出一種將特征層融合與決策層融合的組合策略， 即所謂的混合融合?；旌先诤系姆桨赣卸喾N選擇，圖5（f）是其中的一種，這種方案可以實現(xiàn)部分模態(tài)采用特征層融合，部分模態(tài)采用決策層融合的融合策略。3.2多模態(tài)深度學習采用深度學習方法研究多模態(tài)信息處理問題是近年來的熱門方向。學者們充分利用了深度學習的特點，針對多模態(tài)信息處理任務，提出了一系列新的方法和算法。深度學習是一個非常好的多模態(tài)融和工具。 多模態(tài)深度學習模型的一種實現(xiàn)方案是，為每一個參與融和的單模態(tài)訓練一個深度波爾茲曼機（ DBM），然后在這些DBM之上增加一個額外的隱藏層給出融和后的聯(lián)合表示（圖6）。上述融和過程，如果是無監(jiān)督的，則可視為特征學習過程，輸出的即為特征層融和的結(jié)果特征；如果是有監(jiān)督的，輸出的即為決策層融和的最終分類結(jié)果。 (更多關(guān)于深度學習的內(nèi)容，請參見報告的《語言表示與深度學習》一章。 )圖6多模態(tài)深度學習模型基于圖像的字幕生成問題也可以用深度學習方法來解決，即采用所謂交叉模態(tài)特征學習。由于字幕與圖像之間存在內(nèi)在的多模態(tài)關(guān)聯(lián)關(guān)系， 因此，運用上述多模態(tài)深度學習模型，可以學習到融和的特征（也稱為共享特征表示， SharedRepresentation），那么理論上該模型應該支持訓練一個模態(tài)， 而測試另外一個模態(tài)，且仍能獲得好