1、 基于注意力機(jī)制的神經(jīng)匹配模型用于短文本檢索專知 微信號(hào) Quan_Zhuanzhi功能介紹 專知，一個(gè)新的認(rèn)知方式！專門(mén)為人工智能從業(yè)者服務(wù)！我們致力于利用人工智能技術(shù)為用戶提供專業(yè)可信的AI知識(shí)分發(fā)服務(wù)。后臺(tái)回復(fù)“專知”，即可訪問(wèn)或者www.zhuanzhi.ai訪問(wèn)。在這里，關(guān)注獲取AI知識(shí)、專知等動(dòng)態(tài)信息，一起成長(zhǎng)！【導(dǎo)讀】在基于檢索的問(wèn)答系統(tǒng)中，很重要的一步是將檢索到的答案進(jìn)行排序得到最佳的答案。在檢索到的答案比較短時(shí)，對(duì)答案進(jìn)行排序也成為了一個(gè)難題。使用深度學(xué)習(xí)的方法，如建立在卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)期短期記憶模型基礎(chǔ)上的神經(jīng)網(wǎng)絡(luò)模型，不需要手動(dòng)設(shè)計(jì)語(yǔ)言特征，也能自動(dòng)學(xué)習(xí)問(wèn)題與答案之間的語(yǔ)

2、義匹配，但是缺陷是需要詞匯重疊特征和BM25等附加特征才能達(dá)到較好的效果。本文分析了出現(xiàn)這個(gè)問(wèn)題的原因，并提出了基于值的權(quán)值共享的神經(jīng)網(wǎng)絡(luò)，并使用注意力機(jī)制為問(wèn)題中的值賦予不同的權(quán)值。專知內(nèi)容組編輯整理。 aNMM: Ranking Short Answer Texts with Attention-Based Neural Matching Model摘要作為基于特征工程的問(wèn)題答案方法的替代方法，最近已經(jīng)提出了諸如卷積神經(jīng)網(wǎng)絡(luò)（CNN）和長(zhǎng)期短期記憶模型（LSTM）的深度學(xué)習(xí)方法用于問(wèn)題和答案的語(yǔ)義匹配。然而，為了獲得好的結(jié)果，這些模型已經(jīng)結(jié)合了詞匯重疊或BM25分?jǐn)?shù)等附加特征。沒(méi)有這種組合

3、，這些模型比基于語(yǔ)言特征工程的方法表現(xiàn)得更差。在本文中，我們提出了一種基于注意力的神經(jīng)匹配模型來(lái)對(duì)短的答案匹配。我們采用價(jià)值共享權(quán)值，而不是位置共享權(quán)值方案來(lái)組合不同的匹配信號(hào)，并且注意力機(jī)制來(lái)衡量問(wèn)題中判斷問(wèn)題中重要的部分。使用流行的基準(zhǔn)TREC QA數(shù)據(jù)，我們表明，相對(duì)簡(jiǎn)單的aNMM模型可以顯著超越已經(jīng)用于問(wèn)答任務(wù)的其他神經(jīng)網(wǎng)絡(luò)模型，并且與具有附加特征的深度學(xué)習(xí)模型相競(jìng)爭(zhēng)。當(dāng)aNMM與附加特征組合時(shí)，它的性能優(yōu)于所有現(xiàn)有的模型。簡(jiǎn)介問(wèn)答（QA）是一種具有挑戰(zhàn)性的任務(wù)，它在下一代高級(jí)網(wǎng)絡(luò)搜索中扮演著重要的角色。它將精確的答案組織成簡(jiǎn)短的事實(shí)或長(zhǎng)篇段落返回給提出問(wèn)題的用戶。目前問(wèn)答系統(tǒng)使用排序

4、學(xué)習(xí)來(lái)編碼具有復(fù)雜語(yǔ)言特征的問(wèn)題/答案對(duì)。他們使用相似性特征，翻譯特征，密度/頻率特征和網(wǎng)絡(luò)關(guān)聯(lián)特征等特征，用于答案的排序?qū)W習(xí)，并使準(zhǔn)確性得到顯著的提高。然而，這樣的方法依賴于手動(dòng)特征工程，這經(jīng)常是耗時(shí)的，并且需要領(lǐng)域依賴的專業(yè)知識(shí)和經(jīng)驗(yàn)。此外，他們可能需要額外的自然語(yǔ)言解析器或外部知識(shí)來(lái)源，可能不適用于某些語(yǔ)言，泛化能力不強(qiáng)。最近，研究人員一直在研究深度學(xué)習(xí)方法，以自動(dòng)學(xué)習(xí)問(wèn)題和答案之間的語(yǔ)義匹配。這種方法建立在神經(jīng)網(wǎng)絡(luò)模型（如卷積神經(jīng)網(wǎng)絡(luò)（CNN）和長(zhǎng)期短期記憶模型之上。所提出的模型具有不需要手工制作的語(yǔ)言特征和外部資源的優(yōu)點(diǎn)。他們中的一些為T(mén)REC QA競(jìng)賽的問(wèn)答任務(wù)取得了最佳表現(xiàn)。然而

5、，現(xiàn)有研究的薄弱之處在于，要達(dá)到良好的效果，所提出的基于CNN或LSTM的深度模型需要結(jié)合詞匯重疊特征和BM25等附加特征。如果不把這些附加特征結(jié)合起來(lái)，它們的性能就會(huì)比基于語(yǔ)言特征工程的最先進(jìn)的方法得到的結(jié)果要差得多。這導(dǎo)致我們提出以下研究問(wèn)題：1. 如果不結(jié)合其他功能，我們是否可以構(gòu)建深度學(xué)習(xí)模型，與使用特征工程的方法相比，可以達(dá)到相當(dāng)甚至更好的性能？2. 通過(guò)結(jié)合附加功能，我們的模型可以超越問(wèn)題回答的最先進(jìn)模型嗎？為了解決這些研究問(wèn)題，我們分析了現(xiàn)有的深度學(xué)習(xí)架構(gòu)，并發(fā)現(xiàn)了以下兩個(gè)事實(shí)：1. 一些深度學(xué)習(xí)架構(gòu)，如CNN不是專門(mén)為問(wèn)題/答案匹配而設(shè)計(jì)的：有些方法使用CNN進(jìn)行問(wèn)題/答案匹配

6、。然而，CNN最初是為計(jì)算機(jī)視覺(jué)（CV）設(shè)計(jì)的，計(jì)算機(jī)視覺(jué)使用位置共享權(quán)重和局部感知濾波器來(lái)學(xué)習(xí)，是因?yàn)樵S多CV任務(wù)的空間規(guī)律性，圖片的像素點(diǎn)的分布很大程度上和周?chē)南袼赜嘘P(guān)。然而，問(wèn)題與答案之間的語(yǔ)義匹配可能不存在這樣的空間規(guī)律性，由于自然語(yǔ)言的復(fù)雜語(yǔ)言特性，問(wèn)答詞之間的重要相似性信號(hào)可能出現(xiàn)在任何位置。同時(shí)，基于LSTM的模型依次查看問(wèn)題/答案匹配問(wèn)題辦法。如果問(wèn)題和回答之間沒(méi)有直接的交互作用，模型可能無(wú)法捕捉到足夠詳細(xì)的匹配信號(hào)。對(duì)此，本文提出的改進(jìn)是，將基于位置的權(quán)值共享改變成基于值的權(quán)值共享。2. 缺乏建模問(wèn)題重點(diǎn)：理解問(wèn)題的重點(diǎn)，例如問(wèn)題中的重要術(shù)語(yǔ)，有助于正確排列答案。例如，在“

7、漢堡王第一家餐廳在哪里打開(kāi)”這個(gè)問(wèn)題，關(guān)于“漢堡”，“國(guó)王”，“開(kāi)放”等等的答案是至關(guān)重要的。大多數(shù)現(xiàn)有的文本匹配模型并不明確模型問(wèn)題的重點(diǎn)。例如，基于CNN的模型在匹配回答術(shù)語(yǔ)時(shí)將所有問(wèn)題術(shù)語(yǔ)視為同等重要?；贚STM的模型通常將問(wèn)題術(shù)語(yǔ)模擬得更接近尾聲更重要。對(duì)此，我們提出了注意力機(jī)制，為問(wèn)題中的詞按照重要性賦予不同的權(quán)值。模型簡(jiǎn)介根據(jù)上面的討論，結(jié)合發(fā)現(xiàn)的問(wèn)題和解決方案，我們提出了兩種模型，aNNM-1(Attention-Based NeuralMatching Model)和aNNM-2，其中后者是對(duì)前者的細(xì)微改進(jìn)。aNMM-1模型的構(gòu)建主要分成三步。1. 對(duì)問(wèn)題和答案對(duì)中的詞使用w

8、ordEmbedding進(jìn)行編碼，然后使用余弦相似度計(jì)算QA 匹配矩陣。假設(shè)一個(gè)問(wèn)題對(duì) 中，問(wèn)題Q有M個(gè)詞，答案A有N個(gè)詞，問(wèn)題和答案中的每次詞使用embedding后的向量計(jì)算余弦相似度，得到M*N的QA匹配矩陣P，每個(gè)問(wèn)答對(duì)都有一個(gè)匹配矩陣。那么問(wèn)題來(lái)了，同一個(gè)問(wèn)題的不同答案的詞的個(gè)數(shù)不一樣，得到的匹配矩陣的大小不一樣，不利于后面神經(jīng)網(wǎng)絡(luò)中的全連接計(jì)算。為了將不一樣的矩陣的維度變成一致的，參考了CNN+Maxpooling的做法，對(duì)矩陣按行處理，最終的得到M*1的一個(gè)向量。2. 使用基于值的權(quán)值共享將匹配矩陣編程相同維度。CNN的關(guān)鍵思想是，相對(duì)位置一致的一些結(jié)點(diǎn)權(quán)值共享，這也是基于圖像的

9、像素點(diǎn)和周?chē)袼攸c(diǎn)關(guān)系很大的假設(shè)之上的。使用基于位置的權(quán)值共享時(shí)，可表示成如下所示，其中同樣顏色的邊表示相同的權(quán)值。然而，問(wèn)題與答案之間的語(yǔ)義匹配可能不存在這樣的空間規(guī)律性，因此，采用相同的值共享權(quán)值的方式，來(lái)組織網(wǎng)絡(luò)，如下圖所示。其中，匹配矩陣中相似度為1的所有節(jié)點(diǎn)共享一個(gè)權(quán)值，相似度在0,0.5)之間的節(jié)點(diǎn)，共享一個(gè)權(quán)值，相似度在0.5,1)之間的節(jié)點(diǎn)，共享一個(gè)權(quán)值。通過(guò)這樣的方式，可以將計(jì)算得到的匹配矩陣轉(zhuǎn)換為相同維度的，并且不管輸入矩陣的維度怎么樣，隱層節(jié)點(diǎn)的個(gè)數(shù)是固定的。3. 使用問(wèn)題的注意力機(jī)制，學(xué)習(xí)問(wèn)題中每個(gè)詞的重要度，并該問(wèn)答對(duì)最后的分值。經(jīng)過(guò)前兩步，每一個(gè)QA對(duì)都可以計(jì)算得到

10、一個(gè)M* 1 的向量，向量中的每一個(gè)元素代表了這個(gè)答案與問(wèn)題中的每一個(gè)詞的相似度，為了計(jì)算最后的相似度，我們并不是將這些值直接相加，得到整個(gè)問(wèn)題與答案之間的相似度，而是為每個(gè)詞賦予不同的權(quán)值，然后再加權(quán)。為了完成這一點(diǎn)，我們?cè)黾恿艘粋€(gè)參數(shù)v 并使用作為每個(gè)問(wèn)題的權(quán)值加權(quán)，最后得到問(wèn)答對(duì)之間的相似度。aNMM-2aNNM-2相對(duì)于aNMM-1的改進(jìn)是，使用多個(gè)基于值的權(quán)值網(wǎng)絡(luò)，就像CNN有多個(gè)濾波器一樣，這樣做可以提取多方面的特征。因?yàn)殡[層的結(jié)構(gòu)由M*1 變成了M*k，其中k為 共享權(quán)值的組數(shù)，為了讓網(wǎng)絡(luò)的結(jié)構(gòu)與aNMM-1 盡可能相似，aNMM-2 多了一個(gè)隱層，即將從第一個(gè)隱層學(xué)到的多個(gè)分值合并起來(lái)，其他結(jié)構(gòu)沒(méi)有改變，結(jié)構(gòu)如下所示:總結(jié)在本文中，我