多輪對話情緒分析模型案例概述目錄TOC\o"1-2"\h\u655多輪對話情緒分析模型案例概述 1143551.1基于卷積神經網絡的情緒分析 1208271.2基于長短期記憶網絡的情緒分析 869041.3基于融合神經網絡的情緒分析 15299421.4實驗 1674081.5小結 191.1基于卷積神經網絡的情緒分析卷積神經網絡（英文名CNN）是深度學習中一種重要的模型算法，也是當下研究中經常用到的一種神經網絡。CNN主要是應用在圖像識別的領域，它具有高效的特征提取能力，可以通過卷積層覆蓋整個范圍，提取到細微處像素的特征，一般使用多層卷積，是一種漸進式的動態(tài)提取過程。文本的分析的過程，也是一種粒度從小到大的特征提取過程，因此，CNN也可以應用到文本情緒分析中來。1.1.1一般神經網絡與卷積神經網絡神經網絡（英文簡稱NN）是本文所用的所有模型的基礎，是由大量神經元組成的。每個神經元為一個最小單位，都有權重和偏置，除可以進行輸入輸出外，還可以進行一些簡單的點積運算。神經網絡是一種自適應的具有自我學習能力的結構，在輸入變化的時候，它能夠根據這種變化調節(jié)自己的內部狀態(tài)，得到正常的結果。一般神經網絡的結構如圖1.1所示：圖1.1神經網絡圖圖1.1所示的神經網絡是一個包含了兩個隱藏層、一個輸入層以及一個輸出層的簡單神經網絡，其中的每一個圓圈都代表一個神經元。每個神經元都通過不同的函數(shù)進行計算并進行輸出，這些函數(shù)一般為激活函數(shù)。每個層之間不同的神經元進行連接，每一次的連接都是一個加權的過程，就是學習的過程，也叫做記憶的過程。經過兩個隱藏層的計算后，最終的結果會在輸出層上輸出。輸出層會因為神經元之間連接方式不同、神經元中激活函數(shù)不同、神經元連接增加的權重不同而不同，但一般都為自然界中存在的一種函數(shù)所得到的值或者這個值的相似值。神經網絡對于很多分類問題都有著很好的結果，但是當面臨較多分類類別的問題時，則會出現(xiàn)很多問題。首先，較多類別所建立的神經網絡意味著更深的網絡結構、更多的神經元、更多的連接，這需要很多的資源，會造成浪費。其次，神經網絡的學習能力與其層次的深度有關，當設計的模型層次變深時，其學習的能力也會加強，也就意味著記憶能力增強。更強的學習能力代表著在數(shù)據量不是特別大的時候，神經網絡的深層學習能夠將數(shù)據及其標簽全部記憶下來，這樣在輸出預測結果的時候，其結果就會完全正確。但在輸入變化時，尤其是輸入量級足夠大的數(shù)據時，其準確率將會大大降低，即泛化能力很差，因此多類別的神經網絡模型分類容易產生機器學習中最不愿遇到的過擬合的情況。針對神經網絡以上兩個問題，在涉及多分類問題時，一般使用卷積神經網絡。一般的，CNN的結構分為兩個層次，這兩個層次分別進行局部特征的提取和特征的映射。進行局部特征提取的是提取層，當數(shù)據輸入提取層時，上一層次的特征也會進行輸入，這樣就提取到了局部特征，這種局部特征主要是為了確定此層次的特征的位置。在特征映射層，多個特征經過映射后加上權重，每一個相同的映射平面上權重相同，也就是上面的神經元特征權值相同。神經元中激活函數(shù)的不同對位移影響很大，因此一般會選擇sigmoid函數(shù)這種影響小的函數(shù)。另一方面，不同于一般神經網絡，CNN是隱式學習，即它是在訓練數(shù)據的過程中進行學習，同時又因為其同一映射平面的權值相同，所以其可以同時處理多組數(shù)據，并不會產生位移。因此一般維度較高時都會使用CNN網絡，這樣相對簡單并且可以節(jié)約資源。1.1.2CNN模型結構及構建卷積神經網絡不同于一般神經網絡。首先是卷積神經網絡具有稀疏權重的特點，即模型學習的局部性，它并不是對整體神經元進行全連接，而是只學習附近的神經元，因此這就會大大壓縮卷積核的大小，對輸入的維度進行壓縮。因此，CNN適合數(shù)據量較大、層次較多時的多維度建模。當然，各個神經元提取完部分特征后還是會與整體產生一定的聯(lián)系。其次是參數(shù)共享，一般神經網絡中需要了解每一個參數(shù)，但卷積神經網絡只需要知道一個，因為卷積神經網絡中不同部分的參數(shù)是相同的，因此，在卷積層中，平移造成的結果是同等變化的，而在一般的神經網絡中，神經網絡大多數(shù)使用矩陣乘法，經過對比發(fā)現(xiàn)，卷積神經網絡存儲大小更小，統(tǒng)計效率更強。最后是卷積神經網絡等變表示，即進行平移變換時，其輸出應該具有相同的變換，即當函數(shù)f(x)與g(x)滿足卷積運算也是CNN模型中重要的組成部分，卷積核被稱為為filter，即濾波器，因為卷積運算類似于濾波的作用，卷積運算即從原始的數(shù)據特征中抽取某些特征。而實際上，不同于人為手工去設計每個卷積核中的卷積核點值，卷積神經網絡是根據學習算法進行學習，使得模型自動學得卷積核中每個位置的值。對于一個卷積核，它只能提取一種類型的特征，但提取多個特征時，可以并行使用多個卷積核，當然每個卷積核依舊只能提取一種特征。通過卷積運算操作后，即可得到卷積層的輸出，即featuremap特征圖。不同于一般的卷積核并不翻轉的互相關操作，卷積操作是指將卷積核翻轉，然后做點乘運算。上述過程如圖1.2所示。此卷積核是一個kernel_size=2、filters=4的卷積核。本次的情緒識別模型為序列模型，因此只用到了一維數(shù)據，因此下面介紹使用Keras包進行一維卷積Conv1d的相關原理。圖1.2Conv1d卷積神經網絡運算過程圖在一維卷積中，其公式為：Lout=Lin上述所講的處理過程具體流程圖如圖1.3所示：圖1.3卷積流程圖Keras官網對于Conv1d的示例如圖1.4所示：圖1.41D卷積層圖input:參數(shù)為(batch_size,steps,input_dim)，是張量，output:參數(shù)為(batch_size,new_steps,filters)，也是張量。所涉及的主要參數(shù)如圖1.5所示：圖1.5Keras中Conv1d的相關參數(shù)圖本次實驗中以LeNet-5為原型，構造了一個CNN模型，其中有三個卷積層，最后加上全連接層進行輸出。代碼如圖1.6所示。通過代碼可知，模型的構建為先通過一個嵌入層，然后接著通過三層卷積層，為了使維度統(tǒng)一再經過兩層池化層，最后再加上一個全連接層進行預測，此模型設置為5輪訓練。圖1.6CNN模型代碼實現(xiàn)圖1.1.3TextCNN模型結構及構建運用與CNN相似的原理，TextCNN也是以得到局部特征為中心內容，再通過對于局部特征的組合和篩選，得到整體的語義信息。就像上文中提到的N-gram，通過輸入中心詞周圍n個單詞，得到局部特征，再將這些部分進行組合。然而不同的是，TextCNN是自動的進行這個過程的。TextCNN模型處理文本序列的框架如圖1.7所示：圖1.7TextCNN結構圖在圖1.7中，每個句子長度為n，句子包含了一些詞，每個詞的維度為k，即詞向量維度為k，則輸入層矩陣大小也就是n×k。隨后，TextCNN對輸入樣本進行卷積操作，對于文本數(shù)據，處理過程類似于N-gram提取詞與詞間的局部相關性的過程，filter向下移動。如圖1.7所示，步長大小為2、3、4，在構建模型時，一般也會選擇這樣的大小。圖1.7中兩個濾波器對應步長為1，分別應用于不同的單詞窗口，這樣就一共形成了6個向量，并且這些向量都經過了卷積。卷積層后經過池化層進行維度統(tǒng)一后，就可以根據分類體系進行分類，得到分類預測。(1)詞嵌入層（EmbeddingLayer）詞嵌入層在進行數(shù)據的輸入時，這些輸入需要是數(shù)字向量，而且長度相同。在將句子進行分詞后，需要運用詞向量構建將其轉化成矩陣，并更正其長度。例如，一個句子少于固定長度，那么可以用特殊數(shù)字進行補充，一般使用0，句子較長則進行斷尾操作即可。通過這種操作，就得到了一個合法的輸入。詞向量的相關技術已經在上一章中進行過介紹。(2)卷積層（ConvolutionLayer）在上文介紹卷積的相關知識時，了解到卷積時卷積核只向下移動，其實這與TextCNN的最小單位有關。最小的處理單元是單詞，在輸入層中，通過詞向量的方法使其變成了相同維度的數(shù)字序列后，每個句子中的詞的個數(shù)也就進行了固定。因此，在卷積時，只需要用窗口向下按行滑動即可，當然窗口的大小就是在輸入層設置的詞向量的維度。窗口的高度則是不同的，依舊是上文N-gram中提到的，因為要提取其局部語義，窗口的高度依舊為n，當然這是可以進行設置的。從上文中不難看出，TextCNN擁有局部序列特征，因此卷積層也叫上采樣層，一般進行一些初級特征的獲取。卷積層結構如圖1.8所示。圖1.8卷積層操作圖卷積公式為：Ci=f(W?x如上文公式(1.2)，其中，為第i次卷積的輸出，W為卷積核，x為輸入矩陣b為系數(shù)。(3)池化層（PoolingLayer）上一小節(jié)提到了卷積層的高度n，它是可以在一定范圍內進行變化的，也就是說，雖然規(guī)定了特征的數(shù)量是一致的，但是卷積過的向量，每個特征維度是不一樣的。然而，在下一層的全連接層進行分類時，必須控制輸入向量的維度完全相同。因此，卷積后需要對不同窗口高度卷積所形成的向量的縱向維度進行壓縮，也就是池化。一般來講，只要選取每個特征中最大的值就可以了，這樣每個特征都是1維的，這種方法叫做1-Max-pooling。在進行1-Max-pooling時需要將每個特征分開來看，在進行最大值選取之后，再將其拼接起來。上文中也講到了在維度高產生過擬合的問題，數(shù)據量小，TextCNN也可以學會所有的數(shù)據并記住，因此，在進行最后的操作之前，先對其進行丟棄（即dropout），這樣就可以一定程度上的避免了最討厭的過擬合問題。池化層也叫下采樣層，其作用是提取高級特征。至此，特征提取工作已經結束。結構如圖1.9所示。圖1.9池化層操作圖(4)全連接層（Fullyconnectedlayer）經過池化層的降維后，全連接層得到了相同維度的序列，接下來可以進行最終的分類操作。分類操作就是通過不同的激活函數(shù)得到每個類別的概率，然后選取每個類別中概率最大的值作為其分類。在本文中，模型使用了兩個激活函數(shù)進行分類，這樣得到的概率會更加準確。TextCNN也使用Keras框架，具體參數(shù)參照CNN即可，代碼如圖1.10所示。通過代碼可知，模型的構建為先通過一個嵌入層，然后接著通過三層卷積層，為了使維度統(tǒng)一在再經過三層池化層，最后再加上一個全連接層進行概率預測，從而對結果進行匹配。此模型設置為5輪訓練。圖1.10TextCNN模型代碼圖1.2基于長短期記憶網絡的情緒分析長短時記憶網絡是特意為了解決長序列問題所設計的一種模型結構，在長序列當中，由于序列長度較大，因此很難學習到全局整體特征，也就是說，模型的整體效率在一般模型正常應用的情況下，模型準確率依賴于長序列。長短時記憶網絡屬于循環(huán)神經網絡，在本文的實驗中，就有一些長序列的句子需要處理。在卷積神經網絡中，一般不會設置過長的句子長度，因此它們被直接截斷，不予考慮，而長短時記憶網絡則可以解決這個問題。1.2.1普通RNN模型上一節(jié)中介紹了CNN模型，卷機神經網絡模型對于提取局部特征方面有很大的優(yōu)勢，尤其是其使用N-gram算法，這使得特征的考慮不再是獨立的，當然這依賴于它的層次結構。CNN模型中，每個層次之間都是連接起來的，在層次之間進行矩陣的交換來傳遞輸入輸出，但是在層次內，各個神經元節(jié)點依舊是相互獨立的，也就是CNN模型并沒有考慮序列的影響。一個長序列前后單詞之間必然包含著很多信息，CNN模型沒有辦法考慮這種聯(lián)系，但RNN模型可以。圖1.11是一個整體的RNN模型圖，其清楚地表示了RNN內部傳遞實現(xiàn)的細節(jié)。從整體部分來看，RNN模型考慮了時間序列。從詳細分解中，可以看到這種序列實現(xiàn)的機制就是將上一時刻單詞的輸出作為下一時刻小模型的一部分輸入，這樣通過傳遞后，在最后一個時間序列中，可以得到一個包含了前面所有時刻序列信息的輸出。圖1.11RNN模型結構圖Tt=f(Uyt=softmaxU、W、V、b、c均為參數(shù)，f表示激活函數(shù)，模擬神經刺激。通過對普通RNN模型的介紹可以發(fā)現(xiàn)，RNN模型是具有考慮前后單詞之間相互影響的關系功能的，但當真正使用RNN時，一般會對其單層內的節(jié)點數(shù)進行限制，因為普通RNN模型并不擅長處理單個層次內神經元節(jié)點較多的問題。從圖1.11也可以看出，序列過程的模型拼接會使得前面的信息所占的比重越來越小，也就是說會遺忘之前的信息。因此，普通的RNN模型一般不能直接用于NLP領域，實際應用較廣的是一個基于RNN模型的特殊的LSTM模型。1.2.2LSTM模型如何能夠使模型在序列較長的情況下依舊記得較早時間序列時的信息是LSTM模型解決的問題。最主要的解決方法就是引入了細胞這一結構，當然這也會使得單個LSTM小模型的內部隱藏結構變得更為復雜。LSTM模型結構如圖1.12所示。圖1.12LSTM整體結構圖（1）LSTM的細胞狀態(tài)如圖1.13中紅線部分所示，這是一種隱藏的細胞狀態(tài)，其將前一狀態(tài)的細胞狀態(tài)經過運算后向前傳遞，也就是說LSTM模型不僅單單地像RNN那樣傳遞上一時刻的隱藏狀態(tài)，它還會傳遞一個細胞狀態(tài)，這個細胞狀態(tài)中包含著長序列中的早期信息。圖1.13LSTM細胞狀態(tài)圖（2）LSTM遺忘門在處理序列很長的數(shù)據的時候，如果考慮前后時刻的狀態(tài)，正常狀態(tài)下會對結果產生積極影響，但是也會產生一些問題。這種細胞結構使得模型對于前面時刻序列的信息記憶得過于清楚，以至于忽略當前狀態(tài)的影響，激活函數(shù)在這種狀態(tài)下就失去了自我作用，不再具有良好的學習能力，因此這種狀態(tài)會因為激活函數(shù)的不同產生不同的難以解決的誤差。這種情況下，需要對上一時刻細胞的記憶進行丟棄，也就是遺忘，即只以一定的系數(shù)記住上一時刻細胞狀態(tài)。公式如下：ft=σ(Wf如公式(1.5)所示，Wf、Uf、bf圖1.14LSTM遺忘門圖（3）LSTM輸入門如圖1.15所示，輸入門處理當前序列的輸入，由兩部分組成，分別使用sigmoid和tanh激活函數(shù)得到結果。圖1.15LSTM輸入門圖it=at=tanh(公式(1.6)、(1.7)中參數(shù)RNN類似，為線性關系系數(shù)。（4）LSTM細胞更新狀態(tài)如圖1.16所示，LSTM區(qū)別于RNN的最大特點就是引入了細胞狀態(tài)，遺忘門對早期序列信息的遺忘概率為f，細胞隱藏狀態(tài)和上一時刻序列的隱藏狀態(tài)組合進行計算，這樣就得到了新的細胞狀態(tài)。具體計算為公式(1.8)所示。Ct=C圖1.16LSTM細胞更新狀態(tài)圖（5）LSTM輸出門如圖1.17所示，輸出是由三部分決定的，一個是細胞的隱藏狀態(tài)，計算過程公式(1.10)；另一個是此時刻的輸入，再一個就是上一時刻的隱藏狀態(tài)，如公式(1.9)所示。Ot=σ(WoTt=Ot圖1.17LSTM輸出門圖LSTM模型在對話中的處理原理如下。當輸入一句話如：“今天天氣真好啊出去玩吧”到LSTM時，時刻1：今天=x1通過計算得到C1、T1，時刻2：天氣=x2，利用上一階段的C1、T11.2.3BiLSTM模型BiLSTM即為雙向的LSTM模型，是由一個前向LSTM與一個后向LSTM組合而成。結合上文中LSTM中的相關原理，最后時刻的隱狀態(tài)包含著整個句子的信息，因此對于情緒分析的任務，BiLSTM一般采用句子的前向和后向最后一個時刻隱狀態(tài)結果進行拼接，再經過softmax得到結果。如圖1.19所示：圖1.19BiLSTM在情緒分析中的模型圖如圖1.19所示，BiLSTM由左右兩個LSTM模型組成。一般情況下，會選取最后時刻的輸出進行拼接，這樣就可以得到整個序列的狀態(tài)。但同時，可以發(fā)現(xiàn)，每個時刻的隱藏狀態(tài)在BiLSTM中都是進行輸出的，因此還可以對每個單詞的輸出進行研究，這樣可以得到各個單詞之間的關系。使用Pytorchtorch.nn.LSTM構建模型過程如下。Python中的pytorh提供了構架LSTM模型的包，通過設置參數(shù)還可以輕松地構建BiLSTM模型。官網上對于LSTM的理解如圖1.20所示。圖1.20官網LSTM模型圖由圖1.20所示，在每層中，對于輸入序列的每個元素的計算即為上文LSTM模型圖所示，而在多層的LSTM中，每個元素上一時刻的所輸出的隱藏態(tài)即為此時刻的輸入。LSTM模型構建的各參數(shù)及其意義如圖1.21所示。圖1.21LSTM參數(shù)意義圖通過設置參數(shù)，模型得以構建出來。在應用編碼時，可以視為黑箱，只要設置參數(shù)讓神經網絡最后輸出目標shape即可。具體編碼過程如圖1.22所示。如圖1.23所示，首先，在經過數(shù)據處理和詞典構建后，可以得到一個個的詞（即token），此時一個句子可表示為一個固定長度的token數(shù)字串，經過embedding層后，變成了embedding的維度×length的矩陣，每一列代表一個詞向量。一次LSTM只能處理一個句子，句子經過embedding后的每個列作為不同時序t的輸入，輸入大小即為embedding維度的大小。之后經過上文中所講的LSTM的內部結構就可以得到輸出，在本次模型中，對隱藏層的大小和層數(shù)都做了定義，根據上文中所講的LSTM算法結構即可清楚知道其整個過程。取最后的一個輸出作為整體的輸出，接下來就使用交叉損失函數(shù)再加上一個softmax進行分類得出損失及準確率結果。圖1.22LSTM模型代碼結構圖圖1.23LSTM具體流程圖1.3基于融合神經網絡的情緒分析上文中已經介紹了CNN和RNN兩大方法及其幾種變形方法，總結來講，CNN模型由于在層級中會提取前后n個單詞，也就是使用N-gram思想，所以其局部特征的抽取能力十分強大。但是，雖然其層與層之間進行了連接，但每個層級的神經元之間沒有進行連接，所以對于長序列的處理能力是不好的，因為它無法對早期的信息進行記憶。而RNN模型是具有處理長序列能力的，它會記憶上一時刻的隱藏狀態(tài)信息并將其傳遞給下一時刻，但也會由于傳遞過程過長而導致早期信息的遺忘，因此便設計了LSTM模型。LSTM比一般的普通RNN模型多了細胞狀態(tài)，也就是通過傳遞前一時刻的細胞狀態(tài)而使得模型不會忘記早期的狀態(tài)信息。當然，為了平衡此時刻序列的輸入和上一時刻細胞隱藏狀態(tài)的信息，使早期的序列信息對此時刻產生適當?shù)挠绊?，LSTM模型還會使用一定概率遺忘的方式來平衡這種關系。同時，在具體應用中，還可以使用BiLSTM模型，這種兩個不同方向LSTM模型組合方式會使得準確率更高。基于上述兩類模型的優(yōu)劣，下面進行兩個模型的拼接。首先用CNN模型獲取局部特征，即用N-gram的思想，選取長度合適的作為窗口高度，進行初步特征提取。然后將這些局部特征序列輸入到LSTM中，通過LSTM的具有時間序列的特征的工作方式，獲取其早期的信息，從而使得整個模型的準確率得到較為明顯的提升。具體過程如圖1.24所示：圖1.24基于CNN-LSTM模型的情緒分類圖如圖1.24所示，具體工作流程如下。首先在進行完數(shù)據預處理后，確定句子長度將其設為n，然后在嵌入層將其轉化為詞向量，詞向量維度設為m，這樣就得到了一個n×m的矩陣，這個矩陣表示一個句子。然后設置不同長度的卷積核的大小，將其進行卷積，得到不同長度的輸出后將其進行池化操作使其轉化成相同長度，然后這種輸出就可以作為LSTM模型的輸入。經過多個LSTM小模型的計算，就可以捕捉到長序列的特征，為了避免過擬合再進行dropout操作，最后進入決策層進行分類即可。還有一種方法是先用LSTM獲取序列化的相關特征信息后，再使用CNN卷積進行特征提取，這樣的模型也結合了兩者的優(yōu)點。使用Keras框架構建代碼如圖1.25所示。圖1.25CNN-LSTM模型代碼實現(xiàn)圖1.4實驗1.4.1實驗中相關設置實驗中模型的損失量也是一項評測標準同時一般需要對模型進行優(yōu)化，因此首先對優(yōu)化器和損失函數(shù)進行詳細介紹，本文所用到的優(yōu)化函數(shù)為Adam優(yōu)化算法，Adam優(yōu)化算法不同于一般的優(yōu)化算法，它可以動態(tài)地更新模型構建中的相關參數(shù)，即它可以改變每一次網絡的權重，而且這種改變的過程是迭