了解文本向量化

深入文本進(jìn)階處理知識(shí)引入文本向量化將文本表示成一系列能夠表達(dá)文本語義的向量。在NLP中，文本向量化是一個(gè)重要環(huán)節(jié)，其產(chǎn)出的向量質(zhì)量將直接影響到后續(xù)模型的表現(xiàn)。NLP知識(shí)引入NLP領(lǐng)域特性計(jì)算機(jī)任何計(jì)算的前提都是向量化，而文本難以直接被向量化。文本的向量化應(yīng)當(dāng)盡可能地包含語言本身的信息，但文本中存在多種語法規(guī)則及其他種類的特性，導(dǎo)致向量化困難。自然語言本身可體現(xiàn)人類社會(huì)深層次的關(guān)系（如諷刺等語義），這種關(guān)系會(huì)給向量化帶來挑戰(zhàn)。此外，在文本向量化的過程中，根據(jù)映射方法的不同，將其分為文本離散表示和文本分布式表示。在實(shí)際應(yīng)用中，可根據(jù)具體情況選擇適合的方法。知識(shí)引入文本離散表示文本分布式表示文本離散表示離散表示：基于規(guī)則和統(tǒng)計(jì)的向量化方式。特點(diǎn)：忽略文本信息中的語序信息和語境信息；僅將其反映為若干維度的獨(dú)立概念。問題：如主語和賓語的順序問題，無法區(qū)分“我為你鼓掌”和“你為我鼓掌”。獨(dú)熱表示BOW模型TF-IDF表示獨(dú)熱表示獨(dú)熱表示用一個(gè)長(zhǎng)的向量表示一個(gè)詞。向量長(zhǎng)度為字典的大小。每個(gè)向量只有一個(gè)維度為1。其余維度全部為0。向量中維度為1的位置表示該詞語在字典中的位置。獨(dú)熱表示獨(dú)熱表示示例：實(shí)現(xiàn)中華民族偉大復(fù)興實(shí)現(xiàn)民族偉大團(tuán)結(jié)構(gòu)造字典：{"實(shí)現(xiàn)":1,"中華":2,"民族":3,"偉大":4,"復(fù)興":5,"團(tuán)結(jié)":6}向量化：獨(dú)熱向量表示實(shí)現(xiàn)：[1,0,0,0,0,0]中華：[0,1,0,0,0,0]民族：[0,0,1,0,0,0]偉大：[0,0,0,1,0,0]復(fù)興：[0,0,0,0,1,0]團(tuán)結(jié)：[0,0,0,0,0,1]獨(dú)熱表示獨(dú)熱表示優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：操作簡(jiǎn)單缺點(diǎn)：維數(shù)過大矩陣稀疏不能保留語義BOW模型BOW模型用一個(gè)向量表示一句話或一個(gè)文檔。忽略文檔的詞語順序、語法、句法等要素。將文檔看作若干個(gè)詞匯的集合。文檔中每個(gè)詞都是獨(dú)立的。每個(gè)維度上的數(shù)值代表ID對(duì)應(yīng)的詞在句子里出現(xiàn)的頻次。BOW模型BOW模型示例：實(shí)現(xiàn)中華民族偉大復(fù)興實(shí)現(xiàn)民族偉大團(tuán)結(jié)構(gòu)造字典：{"實(shí)現(xiàn)":1,"中華":2,"民族":3,"偉大":4,"復(fù)興":5,"團(tuán)結(jié)":6}向量化：詞庫句子向量1句子向量2實(shí)現(xiàn)11中華10民族11偉大11復(fù)興10團(tuán)結(jié)01BOW模型BOW模型缺點(diǎn)：維數(shù)過大矩陣稀疏不能保留語義TF-IDF表示1用一個(gè)向量表示一個(gè)句話或一個(gè)文檔。2在