了解文本向量化

深入文本進(jìn)階處理文本離散表示文本分布式表示文本分布式表示文本分布式表示：將每個(gè)詞根據(jù)上下文從高維空間映射到一個(gè)低維度、稠密的向量。思想：詞的語(yǔ)義是通過(guò)上下文信息確定的。優(yōu)點(diǎn)：考慮到了詞與詞之間存在的相似關(guān)系，減小了詞向量的維度。文本分布式表示分布式表示VS獨(dú)熱表示：形式上功能上獨(dú)熱表示的詞向量是一種稀疏詞向量，其長(zhǎng)度就是字典長(zhǎng)度。分布式表示是一種固定長(zhǎng)度的稠密詞向量。分布式表示最大的特點(diǎn)是相關(guān)或相似的詞在語(yǔ)義距離上更接近。文本分布式表示常用方法：基于矩陣的分布式表示LSA矩陣分解模型PLSA潛在語(yǔ)義分析概率模型LDA文檔生成模型基于聚類(lèi)的分布式表示基于神經(jīng)網(wǎng)絡(luò)的分布式表示W(wǎng)ord2Vec模型Doc2Vec模型Word2Vec模型Word2Vec模型：Google開(kāi)源了一款用于詞向量建模的工具、簡(jiǎn)單化的神經(jīng)網(wǎng)絡(luò)模型?？梢栽诎偃f(wàn)數(shù)量級(jí)的字典和上億數(shù)量級(jí)的數(shù)據(jù)集上進(jìn)行高效的訓(xùn)練。A得到的訓(xùn)練結(jié)果可以很好地度量詞與詞之間的相似性。BWord2Vec模型Word2Vec模型特點(diǎn)：在模型訓(xùn)練好后，不會(huì)使用訓(xùn)練好的模型處理新的任務(wù)。使用模型通過(guò)訓(xùn)練數(shù)據(jù)所學(xué)得的參數(shù)。Word2Vec模型Word2Vec模型訓(xùn)練流程：構(gòu)建語(yǔ)料庫(kù)創(chuàng)建詞匯表準(zhǔn)備訓(xùn)練數(shù)據(jù)訓(xùn)練模型評(píng)估模型Word2Vec模型CBOW模型輸入：某一個(gè)特定詞的上下文對(duì)應(yīng)的獨(dú)熱向量。輸出：這個(gè)特定詞的概率分布。小型語(yǔ)料庫(kù)。Skip-Gram模型輸入：一個(gè)特定詞的獨(dú)熱向量。輸出：這個(gè)特定詞的上下文的概率分布。大型語(yǔ)料庫(kù)。CBOW模型CBOW模型結(jié)構(gòu)：CBOW模型將詞匯表中的所有詞都轉(zhuǎn)化為獨(dú)熱向量輸入到CBOW模型，CBOW模型由權(quán)重矩陣決定，權(quán)重矩陣的確定流程。對(duì)權(quán)重矩陣隨機(jī)值初始化權(quán)重矩陣可以通過(guò)隨機(jī)梯度下降法確定，按序訓(xùn)練樣本，計(jì)算損失函數(shù)計(jì)算這些損失函數(shù)的梯度，在梯度方向更新權(quán)重矩陣CBOW模型CBOW模型示例：建設(shè)美麗新中國(guó)Skip-Gram模型Skip-Gram模型結(jié)構(gòu)：Skip-Gram模型Skip-Gram模型的輸出是一個(gè)概率分布，表示在給定中心詞匯下，每個(gè)單詞作為上下文單詞的概率。該模型同樣是由權(quán)重矩陣決定，權(quán)重矩陣的訓(xùn)練流程如下。對(duì)權(quán)重矩陣隨機(jī)值初始化通過(guò)隨機(jī)梯度下降算法確定權(quán)重矩陣，計(jì)算交叉熵?fù)p失函數(shù)計(jì)算交叉熵函