基于中文預(yù)訓(xùn)練BERT模型的意圖識(shí)別和語義理解模型分析綜述中文預(yù)訓(xùn)練BERT模型BERT模型是目前NLP任務(wù)領(lǐng)域中最常用的預(yù)訓(xùn)練模型之一。該模型通過利用在一個(gè)較大規(guī)模的語料庫，該語料庫通常是沒有標(biāo)注的，訓(xùn)練得到所需要的模型，然后利用模型獲得輸入文本的語義表示，通過微調(diào)便可以用于特定的自然語言處理任務(wù)。在NLP任務(wù)中，我們通常會(huì)使用詞向量來表征輸入的文本，該向量一般都是一維向量。然后在深度學(xué)習(xí)的方法中，作為輸入的文本的詞向量通過一系列轉(zhuǎn)換，便可以獲得該文本的語義表示。為了讓輸出的文本向量更加準(zhǔn)確地表示輸入文本地語義信息，在BERT模型中，我們以包含字信息、文本信息和位置信息地向量作為模型地輸入，也即原始文本各個(gè)詞對(duì)應(yīng)的向量，然后經(jīng)過模型訓(xùn)練，輸出融合了全文語義信息的向量。該向量作為輸入文本的語義表示，可用于后續(xù)的分類和標(biāo)注任務(wù)等。該預(yù)處理過程如圖3-1所示。圖3-1BERT模型的示例BERT模型是由多層的Transformer模塊組裝而成的。作為BERT模型的核心組件，Transformer通過將注意力機(jī)制引入模塊的構(gòu)建，不僅節(jié)省了資源，還提升了捕獲有效信息的速度?；赥ransformers的BERT模型也正因?yàn)樯鲜龅膬?yōu)勢(shì)，其性能表現(xiàn)在多個(gè)具有挑戰(zhàn)性的NLP任務(wù)中都得到了充分的驗(yàn)證。該全詞覆蓋的中文BERT預(yù)訓(xùn)練模型REF_Ref71108871\r\h[26]的效果如表3-1所示，該模型作用的第一步是對(duì)輸入的語料進(jìn)行分詞，第二步才是對(duì)同屬于一個(gè)詞中的字進(jìn)行覆蓋操作。通過訓(xùn)練，該模型便能實(shí)現(xiàn)詞級(jí)別的預(yù)測(cè)。表3-1中文預(yù)訓(xùn)練BERT原始語句：使用語言模型來預(yù)測(cè)下一個(gè)詞的probability。分詞之后的原始語句：使用語言模型來預(yù)測(cè)下一個(gè)詞的probability。BERT的原始輸入：使用語言[MASK]型來[MASK]測(cè)下一個(gè)詞的pro[MASK]。全詞掩蓋輸入：使用語言[MASK][MASK]來[MASK][MASK]下一個(gè)詞的[MASK][MASK]。模型結(jié)構(gòu)本文搭建的BERTNLU模型由BertEmbeddings、BertEncoder、BertPooler以及用于意圖檢測(cè)和語義槽識(shí)別的兩個(gè)分類器組成。該模型的具體組成如表3-2所示：表3-2BERTNLU模型介紹BERTNLU嵌入層：BertEmbeddings字向量：Embedding(21128,768,padding_idx=0)位置向量：Embedding(512,768)文本向量：Embedding(2,768)歸一化層、dropout層Encoder層：BertEncoder-BertLayer(12層疊加)BertAttention由BertSelfAttention和BertSelfOutput組成。前者query_layer，key_layer和value_layer分別是三個(gè)線形Linear層，后者為一個(gè)線形Linear層+dropout+一個(gè)LayerNorm歸一化層。BertIntermediate一個(gè)線形Linear層加激活函數(shù)BertOutput線性Linear層+Dropout+LayerNorm歸一化層池化層：BertPooler一個(gè)Linear線形層加一個(gè)Tanh()的激活函數(shù)，用來池化BertEncoder的輸出Dropout層Dropout(p=0.1,inplace=False)分類器：Intent_classifier一個(gè)Linear線性層，輸出為代表158種意圖分類的向量分類器：Slot_classifier一個(gè)Linear線性層，輸出為代表158種意圖分類的向量在面向任務(wù)的對(duì)話系統(tǒng)中，該模塊以一句話語為輸入，輸出對(duì)應(yīng)的語義表示，即一種對(duì)話行為。該任務(wù)可分為兩個(gè)子任務(wù):意圖分類(intentclassification)和語義槽位標(biāo)記(slottagging)，前者決定話語的意圖類型，后者確定槽位的值。BERT在許多NLP任務(wù)中表現(xiàn)出了強(qiáng)大的性能。我們首先利用中文預(yù)訓(xùn)練BERT模型在數(shù)據(jù)集上進(jìn)行訓(xùn)練，通過微調(diào)參數(shù)獲得適合本任務(wù)的模型。我們從BERT獲得了詞嵌入和句子的表示。由于話語中可能存在多個(gè)意圖，我們對(duì)傳統(tǒng)方法進(jìn)行了相應(yīng)的修改。對(duì)于inform意圖和recommend意圖的對(duì)話行為(intent=inform,domain=Attraction,slot=fee,value=free),其值出現(xiàn)在句子中，我們使用一個(gè)MLP進(jìn)行序列標(biāo)記，該MLP將單詞嵌入(free)作為BIO模式(“B-Inform-Attraction-fee”)中的輸入和輸出標(biāo)記。對(duì)于每個(gè)沒有實(shí)際值的其他對(duì)話行為(例如(intent=Request,domain=Attraction,slot=fee))，我們使用另一個(gè)MLP對(duì)句子表示進(jìn)行二分類，以預(yù)測(cè)該句子是否應(yīng)該被標(biāo)記為該對(duì)話行為。為了整合語境信息，我們使用相同的BERT來得到最后三個(gè)話語的嵌入。我們使用[SEP]標(biāo)記分隔語句，并在開頭插入一個(gè)[CLS]標(biāo)記。然后，將兩個(gè)MLP的每個(gè)原始輸入與上下文嵌入(嵌入[CLS])連接起來，作為新的輸入。我們也進(jìn)行了去除上下文信息的消融測(cè)試。我們用系統(tǒng)側(cè)和用戶側(cè)的話語訓(xùn)練模型。下表為示例。表3-3BIO標(biāo)簽示例我O想O找O一O個(gè)O評(píng)O分O4B+Inform+景點(diǎn)+評(píng)分分I+Inform+景點(diǎn)+評(píng)分以I+Inform+景點(diǎn)+評(píng)分上I+Inform+景點(diǎn)+評(píng)分可O以O(shè)游O玩O時(shí)O間O2B+Inform+景點(diǎn)+游玩時(shí)間小I+Inform+景點(diǎn)+游玩時(shí)間時(shí)I+Inform+景點(diǎn)+游玩時(shí)間的O景O點(diǎn)O通過意圖識(shí)別和命名實(shí)體識(shí)別我們就可以完成自然語言理解。本文提出了一種BERTNLU-context的模型來做多輪對(duì)話下的自然語言理解。BERTNLU就是把BERT作為編碼器對(duì)輸入文本進(jìn)行編碼。然后為了利用上下文信息，BERTNLU-context會(huì)把對(duì)話歷史的之前三句話用[SEP]分割作為文本輸入另一個(gè)BERT模型，取出那個(gè)模型的[CLS]位置變量作為上下文表征。然后把該上下文表征和用戶輸入的語句的特征向量連接起來再進(jìn)行命名實(shí)體識(shí)別和文本分類，效果很好。模型實(shí)驗(yàn)結(jié)果與分析意圖檢測(cè)結(jié)果(F1得分)如表3-4所示。我們進(jìn)一步測(cè)試了不同場(chǎng)景的性能，如表3-5所示。一般來說，BERTNLU在處理上下文信息方面表現(xiàn)良好。表3-4NLU模塊的性能表現(xiàn)GeneralInformRequestRecommendNoOfferSelectPrecision0.99260.96440.95530.98250.91360.8017Recall0.99630.92970.97640.98570.96520.8444F10.99450.94670.96570.98410.93870.8225表3-5NLU模塊的性能表現(xiàn)單領(lǐng)域獨(dú)立多領(lǐng)域不獨(dú)立多領(lǐng)域獨(dú)立多領(lǐng)域+交通不獨(dú)立多領(lǐng)域+交通總體情況Precision0.96180.96350.96000.97020.96080.9626Recall0.97210.95680.94010.95290.94700.9481F10.96690.96010.94990.96150.95380.9553模型在