詞向量與關(guān)鍵詞提取Python自然語言處理第五章CONTENT目錄

01詞向量算法02關(guān)鍵詞提取技術(shù)概述03TF-IDF算法04TextRank算法05LSA/LSI/LDA算法06提取文本關(guān)鍵詞章節(jié)回顧01OPTION02OPTIONLSA/LSI算法LDA算法實(shí)例：提取文本關(guān)鍵詞實(shí)驗(yàn)內(nèi)容：運(yùn)用這些算法從一個(gè)數(shù)據(jù)集中提取關(guān)鍵詞實(shí)驗(yàn)介紹：本節(jié)代碼主要應(yīng)用了Jieba以及Gensim。應(yīng)用了Jieba工具中analyse模塊封裝的TextRank算法；Gensim是一個(gè)開源的第三方Python工具包，用于原始的非結(jié)構(gòu)化的文本中，進(jìn)行無監(jiān)督學(xué)習(xí)到文本隱層的主題向量表達(dá)，支持TF-IDF、LSA、LDA和word2vec的主題模型算法，提供信息檢索、相似度計(jì)算等API接口方便使用。在本節(jié)中主要調(diào)用Gensim中LSI、LDA模型的接口，我們?cè)诿钚兄休斎搿皃ipinstallgenism”命令來安裝Gensim。提取文本關(guān)鍵詞引入相關(guān)庫:

由于Python3中sorted函數(shù)去掉了cmp參數(shù)，所以實(shí)現(xiàn)cmp功能用cmp_to_key函數(shù)。提取文本關(guān)鍵詞關(guān)鍵詞提取算法步驟：加載文檔數(shù)據(jù)集。除TextRank算法以外，其余兩類算法都要在一個(gè)已知的數(shù)據(jù)集中才可以提取關(guān)鍵詞。加載停用詞表。一個(gè)文檔中除了能表達(dá)文章信息的實(shí)詞以外，還有很多“的”、“地”等虛詞和一些無意義的詞，這些詞不是要提取的關(guān)鍵詞且阻礙算法的運(yùn)行，稱之為干擾詞。所以，在算法運(yùn)算前，需要去除停用詞，因此在程序中首先要加載一個(gè)受控的停用詞表。對(duì)數(shù)據(jù)集進(jìn)行分詞，參照停用詞表進(jìn)行過濾干擾詞。依據(jù)數(shù)據(jù)集訓(xùn)練算法。特別地，TextRank不需要訓(xùn)練就能用一個(gè)文檔進(jìn)行關(guān)鍵詞提取。提取文本關(guān)鍵詞停用詞表的加載：LSA/LSI/LDA算法對(duì)數(shù)據(jù)集進(jìn)行分詞：

LSA/LSI/LDA算法依據(jù)分詞結(jié)果來過濾干擾詞：LSA/LSI/LDA算法對(duì)數(shù)據(jù)集中的數(shù)據(jù)來實(shí)行分詞與過濾干擾詞：加載數(shù)據(jù)集LSA/LSI/LDA算法對(duì)數(shù)據(jù)集中的數(shù)據(jù)來實(shí)行分詞與過濾干擾詞：LSA/LSI/LDA算法定義主題模型實(shí)現(xiàn)方法中實(shí)現(xiàn)了LSI、LDA算法，依據(jù)傳入?yún)?shù)model來選擇。LSA/LSI/LDA算法最終進(jìn)行算法測(cè)試：LSA/LSI/LDA算法不進(jìn)行詞性過濾得出的結(jié)果：進(jìn)行詞性過濾得出的