深度學(xué)習(xí)文本分類算法分析綜述深度學(xué)習(xí)從發(fā)展之初，一直面臨兩個巨大的難題，一個是參數(shù)量巨大的問題，深層次神經(jīng)網(wǎng)絡(luò)由于學(xué)習(xí)率等問題，往往得到的是極小值，而不是最小值，也就是非全局最優(yōu)解，這成為了阻礙深度神經(jīng)網(wǎng)絡(luò)發(fā)展的最主要因素。第一個問題隨著計算設(shè)備的發(fā)展可以得到解決，但是第二個問題不是換上更好的計算設(shè)備就可以解決。直到2006年，深度學(xué)習(xí)大牛，Hinton教授發(fā)表的論文中提出了兩個重要的觀點：（1）復(fù)雜的神經(jīng)網(wǎng)絡(luò)能夠?qū)W到特征越好越本質(zhì)；（2）為了解決得不到全局最優(yōu)解問題可以一層一層來訓(xùn)練。這時起，深度學(xué)習(xí)引來了快速發(fā)展。深度學(xué)習(xí)在應(yīng)用到非線性問題中表現(xiàn)極佳，準確率高，對比一些傳統(tǒng)的機器學(xué)習(xí)算法，它不需要進行一些人為篩選的過程，減少了很多的人力成本。它通過一種維度的轉(zhuǎn)換，解決了很多維度爆炸問題，并且它能夠在眾多特征向量中選擇最適合本問題的特征向量。深度學(xué)習(xí)它可以將現(xiàn)有的較為火熱的，比如語音識別，圖像處理，情感分析都有深度學(xué)習(xí)的影子，它們都是運用深度學(xué)習(xí)得到一個深層次的特征向量，和人一樣可以進行深層次的學(xué)習(xí)。在國內(nèi)中，很多學(xué)者把深度學(xué)習(xí)應(yīng)用到中文文本的情感分析上。1.1卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)REF_Ref68555014\r\h[34]的出現(xiàn)得益于Hubel和Wiesel對生物視覺的研究。近年來，人們對這一領(lǐng)域進行了大量研究，把CNN用于NLP的語義分析REF_Ref68555043\r\h[35]、句子建模REF_Ref68555052\r\h[36]、搜索查詢檢索REF_Ref68555062\r\h[37]和其他NLP任務(wù)取得了優(yōu)異的成果。卷積神經(jīng)網(wǎng)絡(luò)作為前饋神經(jīng)網(wǎng)絡(luò)最為特殊的存在，顧名思義就是含有卷積操作。一般的人工神經(jīng)網(wǎng)絡(luò)，它的上一層神經(jīng)元和下一層神經(jīng)網(wǎng)絡(luò)都是相互連接，然后通過反向傳播進行一個參數(shù)的更新，但是神經(jīng)網(wǎng)絡(luò)復(fù)雜的參數(shù)會降低其速度。而卷積神經(jīng)網(wǎng)絡(luò)使得相鄰層的神經(jīng)元細胞和前一層部分神經(jīng)元細胞相連接，極大的減少了神經(jīng)網(wǎng)絡(luò)參數(shù)的復(fù)雜度，訓(xùn)練速度得到了提高，這一系列的操作被稱為局部連接。圖2.4CNN的局部連接圖2.4為卷積神經(jīng)網(wǎng)絡(luò)的局部連接圖，神經(jīng)網(wǎng)絡(luò)的第K層的3神神經(jīng)元不是和K-1層的神經(jīng)元全部連接，K+1層中的每個神經(jīng)元和k層的所有神經(jīng)元都進行了連接，網(wǎng)絡(luò)則通過K-1層到K層的連接模式局部來接收輸入到網(wǎng)絡(luò)中的信息，再通過K層到K+1層的連接模式綜合全部信息。權(quán)值共享是CNN最大特點。卷積核的作用就是進行特征提取。卷積核就和滑輪一樣不斷滑動，按照一定步長，然后在不同區(qū)域得到不同的特征，每一個卷積核都有它獨特的特征，都是不一樣。圖2.5CNN的權(quán)值共享圖2.5是卷積神經(jīng)網(wǎng)絡(luò)權(quán)值的權(quán)值共享圖，我們將局部感知和滑動步長分別設(shè)置為3和1.將挨著的兩層神經(jīng)元相連。本來是15個參數(shù)，但是通過權(quán)值共享以及局部連接兩個功能，可以降低參數(shù)數(shù)目，減低模型復(fù)雜度，提高擬合能力。圖2.6卷積模型上圖為卷積模型圖，卷積網(wǎng)絡(luò)的檢測和提取功能由卷積層和池化層來完成，再由卷積網(wǎng)絡(luò)完成信息整合以及去除表層意思，以達到提取深層信息和特征提取。神經(jīng)網(wǎng)絡(luò)當中只能夠識別數(shù)字形式的向量形式，所以需要用模型把微博短文本變?yōu)橄蛄啃问剑捎谖谋鞠蛄炕笾档牟町愝^大，所以需要把文本統(tǒng)一變成0到1之間的數(shù)，也就是歸一化操作。每一個尺寸的卷積核可以提取的特征尺寸不一樣，從問題本質(zhì)出發(fā)，卷積過程就是池化操作，池化操作的作用很強，具有對重點特征進行篩選的功能，所以在經(jīng)過池化操作后，收斂所需的epoch會減少。還有一個深度學(xué)習(xí)普遍面臨的問題，就是過擬合問題，但是通過池化操作可以減少過擬合發(fā)生的機會。池化操作如2.7所示圖2.7池化圖全連接層就是最后一層隱藏層和輸出層相連接，起到映射樣本作用，把多維數(shù)據(jù)表示為一維數(shù)據(jù)，起到降維的作用。圖2.8CNN文本分類示意圖圖2.8以中國地大物博、風(fēng)景秀麗、交通便捷舒適，對這個輸入文本進行一個詞向量轉(zhuǎn)化，然后特征提取的工作由卷積層來做。接著深度特征提取和特征篩選是池化層來完成，最后經(jīng)過全連接之后就完成了文本分類。1.2長短期記憶網(wǎng)絡(luò)長短期記憶網(wǎng)絡(luò)REF_Ref68557045\r\h[38]（LSTM）是RNN的后代，為解決梯度消失而產(chǎn)生出來的，這一模型的提出有效解決了梯度消失的問題。LSTM在文本分類REF_Ref68557058\r\h[39]REF_Ref68557059\r\h[40]，手寫體識別REF_Ref68557070\r\h[41]REF_Ref68557071\r\h[42]表現(xiàn)出極大的優(yōu)勢。記憶門如圖2.9所示。圖2.9記憶門LSTM網(wǎng)絡(luò)計算過程如下：（1）遺忘門計算。（2.22）（2）記憶門計算。（2.23）（2.24）（3）計算當前時刻細胞狀態(tài)。（2.25）（4）計算輸出門和當前時刻隱層狀態(tài)：（2