循環(huán)卷積神經(jīng)網(wǎng)絡(luò)用于文本分類(lèi)問(wèn)題:文本分類(lèi)特征表示:

詞袋方法（一元、兩元、N元）其它方法：frequecy,MI,pLSA,LDA缺點(diǎn)：忽略了詞語(yǔ)所在的語(yǔ)境和詞語(yǔ)的順序，不能有效獲取詞語(yǔ)的語(yǔ)義EX：AsunsetstrollalongtheSouthBankaffordsanarrayofstunningvantagepoints.（Bank在這里是河岸，而不是銀行）已有解決方法1.增加詞袋元素維度：比如擴(kuò)展到“strollalongtheSouthBank”(5-gram)2.更復(fù)雜的特征表示方法：比如TreeKernels方法3.存在問(wèn)題：

數(shù)據(jù)稀少（datasparsity)，即有效的信息量太少，影響分類(lèi)的準(zhǔn)確度。單詞表示—詞向量1.詞向量（wordembedding)：傳統(tǒng)的詞向量：

One-hotRepresentation

“話筒”表示為[000

1

000000000000...]

“麥克”表示為[00000000

1

0000000...]

缺點(diǎn)：“詞匯鴻溝”；緯度高；數(shù)據(jù)稀疏改進(jìn)的詞向量：DistributedRepresentation

即一種單詞的分布式表示方法，能有效降低數(shù)據(jù)稀疏問(wèn)題，經(jīng)過(guò)訓(xùn)練的詞向量可以表征句法和語(yǔ)義信息。DistributedRepresentation表示形式：

[0.792,?0.177,?0.107,0.109,?0.542,...]。維度以50維和100維比較常見(jiàn)。這種向量的表示不是唯一的。特點(diǎn)是越相似的詞距離越近。解決了One-hotRepresentation表示詞匯時(shí)不能表示兩個(gè)詞匯關(guān)系的問(wèn)題。

文本表示-神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：

基本的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包含三部分：輸入層、隱含層、輸出層神經(jīng)網(wǎng)絡(luò)的特點(diǎn)：自學(xué)習(xí)、聯(lián)想存儲(chǔ)、高度并行性、容錯(cuò)性、魯棒性。。。文本表示遞歸神經(jīng)網(wǎng)絡(luò)（RecursiveNN）：

利用樹(shù)結(jié)構(gòu)對(duì)語(yǔ)句進(jìn)行建模。

時(shí)間復(fù)雜度：至少是O（n2），其中n是句子或者文本的長(zhǎng)度，因此不適合長(zhǎng)句子或者文本。

另一方面，兩個(gè)句子之間的關(guān)系很難通過(guò)樹(shù)結(jié)構(gòu)進(jìn)行表示。文本表示

循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNN）：

對(duì)文本進(jìn)行逐詞分析，將已有的文本信息存儲(chǔ)在固定大小的隱藏層。

時(shí)間復(fù)雜度：Ｏ(n)

缺點(diǎn)：不公平性，后出現(xiàn)的單詞比前出現(xiàn)的單詞重要性更高。因此對(duì)于整個(gè)文本進(jìn)行分類(lèi)時(shí)會(huì)降低有效性。因?yàn)槲谋局兄匾膯卧~會(huì)在任何地方出現(xiàn)。文本表示

卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNN）：

卷積神經(jīng)網(wǎng)絡(luò)可以有效解決不公平性問(wèn)題。

時(shí)間復(fù)雜度O（n）

已有的研究大多使用簡(jiǎn)單的卷積內(nèi)核，比如固定窗口大小。這樣窗口大小成為制約性能的關(guān)鍵因素：太小可能會(huì)丟失重要信息、太大會(huì)導(dǎo)致參數(shù)空間過(guò)大而難以訓(xùn)練。本文解決方法

利用循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（RCNN）解決文本分類(lèi)問(wèn)題，即將循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，對(duì)文本進(jìn)行表示。

方法主要貢獻(xiàn)： 1.利用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)表征單詞的上下文信息 2.利用最大池層自動(dòng)判斷哪個(gè)特征在文本分類(lèi)中的作

用更大方法細(xì)節(jié)—單詞表示利用單詞和它的上下文信息共同表示一個(gè)單詞： wi=[cl(wi);e(wi);cr(wi)]cl(wi):單詞wi左邊的文本內(nèi)容cr(wi):單詞wi右邊的文本內(nèi)容e(wi-1):單詞wi-1的詞向量W(l)：將隱藏層傳遞到下一層的矩陣W(sl):將當(dāng)前單詞的語(yǔ)義和下一個(gè)單詞左邊的文本組合

起來(lái)的矩陣f:非線性激活函數(shù)方法細(xì)節(jié)—單詞表示利用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)句“AsunsetstrollalongtheSouthBankaffordsanarrayofstunningvantagepoints”進(jìn)行建模表示。方法細(xì)節(jié)—文本表示得到單詞wi的表示形式xi之后，利用雙曲正切函數(shù)進(jìn)行轉(zhuǎn)換，將結(jié)果傳遞到下一層：Yi(2)=tanh(w(2)xi+b(2))利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)表示文本，當(dāng)所有的單詞的表示都計(jì)算完成后，進(jìn)行池化操作，這里采用的是最大池化： Y(3)=maxyi(2)(i=1,2….n)最大池層將不同長(zhǎng)度的文本轉(zhuǎn)換為具有相同長(zhǎng)度的向量。采用最大池層的好處是可以發(fā)現(xiàn)文本中最重要的語(yǔ)義信息。方法細(xì)節(jié)—輸出結(jié)果輸出層：y(4)=W(4)y(3)+b(4)轉(zhuǎn)換為概率：意義：表示文本屬于某個(gè)類(lèi)別的概率參數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的參數(shù)?：將所有