Python商業(yè)數(shù)據(jù)分析表征學(xué)習(xí)學(xué)習(xí)目標(biāo)理解什么表征學(xué)習(xí)掌握文本表征的不同方法掌握網(wǎng)絡(luò)表征的不同方法使用Gensim和Sklearn實(shí)現(xiàn)表征模型14.1文本表征學(xué)習(xí)——詞袋模型以詞出現(xiàn)的頻率作為權(quán)重的文本表征方法：對原始文本進(jìn)行分詞通過統(tǒng)計(jì)每個詞在文本中出現(xiàn)的次數(shù)，用“詞-詞頻”向量表征各文本Python中g(shù)ensim庫是常用的可用來語義分析、主題建模和向量空間建模的文本分析工具可以通過corpora模塊來實(shí)現(xiàn)詞袋模型首先，創(chuàng)建一個Dictionary類作為詞典然后，使用doc2bow()方法對原始文檔進(jìn)行處理最后，可以通過One-Hot編碼轉(zhuǎn)化成稀疏向量，計(jì)算文檔1和文檔2的余弦相似詞袋模型14.1文本表征學(xué)習(xí)——詞袋模型sklearn庫feature_extraction模塊中的text.CountVectorizer()方法也可以快速實(shí)現(xiàn)詞袋模型14.1.2TF-IDF模型一個文本往往只會使用詞匯表中很少一部分詞匯，通過詞袋模型構(gòu)建的詞向量會有大量的0。當(dāng)詞匯量達(dá)萬級時，直接使用詞袋模型會導(dǎo)致每一文本向量有上萬維度，造成“維度爆炸”，極大影響了存儲和運(yùn)算的效率。如常用的“I”、“you”等詞會頻繁地出現(xiàn)在文本中，其頻率遠(yuǎn)高于文本主題詞的頻率，這些詞“喧賓奪主”，使得文本主題無法被有效地表征14.1.2TF-IDF模型

14.1.2TF-IDF模型可以通過gensim庫實(shí)現(xiàn)TF-IDF模型14.1.2TF-IDF模型sklearn庫feature_extraction模塊中的text.TfidfVectorizer()也可以快速實(shí)現(xiàn)TF-IDF模型14.1.3文檔主題模型非監(jiān)督學(xué)習(xí)的方式對文檔隱含語義結(jié)構(gòu)進(jìn)行挖掘核心思想如果一個文檔有一個中心思想，那么一些特定詞語會更頻繁地出現(xiàn)如果一篇文檔涉及了多個主題，那么與其高度相關(guān)的特定詞語會共同出現(xiàn)在文章內(nèi)，且每個主題代表詞匯所占比例各不相同主題模型能自動分析每個文檔、統(tǒng)計(jì)文檔內(nèi)的詞語，根據(jù)統(tǒng)計(jì)的信息來推斷當(dāng)前文檔含有哪些主題，以及每個主題所占的比例各為多少，由此對文檔進(jìn)行表征。14.1.3文檔主題模型

14.1.3文檔主題模型通過gensim庫來使用LSA模型14.1.3文檔主題模型隱狄利克雷分布包含詞、主題和文檔的三層貝葉斯概率模型文檔服從主題的多項(xiàng)式分布，主題服從詞的多項(xiàng)式分布對于給定的一篇已知詞匯量的文檔，每個詞都是通過以一定概率選擇某個主題從這個主題中以一定概率選擇某個詞遍歷文檔中的每一個詞以形成整篇文檔14.1.3文檔主題模型

14.1.3文檔主題模型

14.1.3文檔主題模型通過gensim庫來使用LDA模型14.1.4Word2Vec模型Google在2013年開發(fā)的文本表征模型Word2VecCBOW（ContinuousBagofWords）Skip-Gram簡化的神經(jīng)網(wǎng)絡(luò)輸入One-Hot編碼后的向量隱層采用線性單元輸出層是Softmax函數(shù)訓(xùn)練后便可以對所有詞進(jìn)行向量化表征14.1.4Word2Vec模型CBOW：用一個詞的上下文作為輸入，預(yù)測這個詞本身以“analysis”前后8個詞向量作為輸入，輸出詞典中所有詞的概率訓(xùn)練目標(biāo)為使“analysis”對應(yīng)的概率最大訓(xùn)練后可以用每個詞的One-Hot編碼乘以權(quán)重矩陣得到詞向量Skip-Gram：用這個詞語作為輸入，預(yù)測它的上下文輸入“analysis”的One-Hot詞向量，輸出詞典中所有詞與“analysis”共同出現(xiàn)的概率訓(xùn)練目標(biāo)為使得前后窗口詞對應(yīng)的概率最大，訓(xùn)練后就可以得到對應(yīng)的詞向量CBOW模型適合于小型語料，而Skip-Gram模型則在大型語料中的表現(xiàn)更好14.1.4Word2Vec模型gensim庫的models模塊的word2vec.Word2Vec()函數(shù)能實(shí)現(xiàn)Word2Vec模型14.1.5Doc2Vec模型在Word2Vec模型基礎(chǔ)上設(shè)計(jì)的非監(jiān)督算法相比Word2Vec模型的輸入層，Doc2Vec新增了一個句子向量，這個向量負(fù)責(zé)保留句子承載的“記憶”，作為對詞向量的補(bǔ)充PV-DM模型（DistributedMemoryModelofParagraphVectors）PV-DBOW模型（DistributedBagofWordsofParagraphVector）14.1.5Doc2Vec模型gensim庫的models模塊中的doc2vec.Doc2Vec()函數(shù)能實(shí)現(xiàn)Doc2Vec模型14.2網(wǎng)絡(luò)表征學(xué)習(xí)——DeepWalk算法

14.2.1DeepWalk算法14.2.1DeepWalk算法14.2.1DeepWalk算法14.2.2Node2Vec算法Node2Vec算法Node2Vec與DeepWalk的不同之處在于，該算法設(shè)計(jì)了隨機(jī)游走策略以在深度優(yōu)先搜索和廣度優(yōu)先搜索這兩種搜索策略中維持平衡14.2.2Node2Vec算法

14.2.2Node2Vec算法14.2.3Metapath2Vec算法Metapath2Vec算法網(wǎng)絡(luò)中可以包含多種類型的節(jié)點(diǎn)，這類網(wǎng)絡(luò)稱為異構(gòu)網(wǎng)絡(luò)（HeterogeneousNetwork）根據(jù)消費(fèi)記錄建立的“消費(fèi)者-商品”網(wǎng)絡(luò)根據(jù)學(xué)術(shù)合作關(guān)系構(gòu)造的“期刊-論文-作者”網(wǎng)絡(luò)在異構(gòu)網(wǎng)絡(luò)中，隨機(jī)游走會偏向于某些高度可見類型的節(jié)點(diǎn)，即具有主導(dǎo)優(yōu)勢的節(jié)點(diǎn)需要使用基于元路徑（metapath）的隨機(jī)游走方法，通過預(yù)先設(shè)置元路徑指導(dǎo)隨機(jī)游走，指定游走時對節(jié)點(diǎn)類型的選擇模式。14.2.3Metapath2Vec算法

14.2.3Metapath2Vec算法