主題模型背景知識(shí)基礎(chǔ)主要內(nèi)容文本分析參數(shù)估計(jì)共軛分布概率基礎(chǔ)知識(shí)貝葉斯網(wǎng)絡(luò)LDA主題模型應(yīng)用文本分析隨著存儲(chǔ)技術(shù)和互聯(lián)網(wǎng)的進(jìn)步,各種各樣的信息特別是文本信息呈指數(shù)式增長(zhǎng)檢索這些海量的信息,挖掘出有用的知識(shí)成為主要任務(wù)如：分析一篇文章涉及了哪些主題

一個(gè)文本數(shù)據(jù)集中包含了哪些主題

一位作者對(duì)哪些主題感興趣。。。。。。文本分析參數(shù)估計(jì)已知觀測(cè)值集合X估計(jì)出分布參數(shù)θ計(jì)算新觀測(cè)值的概率參數(shù)估計(jì)問(wèn)題預(yù)測(cè)/回歸問(wèn)題貝葉斯法則參數(shù)估計(jì)后驗(yàn)邊緣概率似然先驗(yàn)三種簡(jiǎn)單的估計(jì)方法參數(shù)估計(jì)ML——得到讓可能性達(dá)到最大的參數(shù)，結(jié)果與觀測(cè)值擬合最優(yōu)MAP——在ML的基礎(chǔ)上引入先驗(yàn)Bayesian——待估參數(shù)服從某種分布的隨機(jī)變量形式相同共軛分布便于計(jì)算概率知識(shí)基礎(chǔ)——Dirichlet分布其中概率知識(shí)基礎(chǔ)——Multinomial分布有三個(gè)隨機(jī)變量X,Y,Z如果條件概率密度可以寫(xiě)成p(X,Y|Z)=p(X|Z)?p(Y|Z).那么隨機(jī)變量X和Y是條件獨(dú)立的記做X╨Y|Z概率知識(shí)基礎(chǔ)——條件獨(dú)立貝葉斯網(wǎng)絡(luò)是將概率統(tǒng)計(jì)應(yīng)用于復(fù)雜領(lǐng)域進(jìn)行不確定性推理和數(shù)據(jù)分析的工具。建立BN的目的主要是進(jìn)行概率推理(probabilisticinference)。貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)的提出就是把復(fù)雜的聯(lián)合概率分布分解成一系列相對(duì)簡(jiǎn)單的模塊，從而大大降低知識(shí)獲取和概率推理的復(fù)雜度，使得可以把概率論應(yīng)用于大型問(wèn)題。一個(gè)貝葉斯網(wǎng)絡(luò)定義包括一個(gè)有向無(wú)環(huán)圖（DAG）和一個(gè)條件概率表集合。DAG中每一個(gè)節(jié)點(diǎn)表示一個(gè)隨機(jī)變量，可以是可直接觀測(cè)變量或隱藏變量，而有向邊表示隨機(jī)變量間的條件依賴(lài)；條件概率表中的每一個(gè)元素對(duì)應(yīng)DAG中唯一的節(jié)點(diǎn)，存儲(chǔ)此節(jié)點(diǎn)對(duì)于其所有直接前驅(qū)節(jié)點(diǎn)的聯(lián)合條件概率。貝葉斯網(wǎng)絡(luò)性質(zhì)：每一個(gè)節(jié)點(diǎn)在其直接前驅(qū)節(jié)點(diǎn)的值制定后，這個(gè)節(jié)點(diǎn)條件獨(dú)立于其所有非直接前驅(qū)前輩節(jié)點(diǎn)?；A(chǔ)：條件獨(dú)立LDA是非常重要的一個(gè)主題模型LDA基于Bag-of-word假設(shè)，丟棄詞語(yǔ)、句子、段落的結(jié)構(gòu)次序，但是依然能夠僅僅通過(guò)單詞的數(shù)量來(lái)分析文檔的主題分布每個(gè)文檔表示成潛在主題的隨機(jī)混合，而每個(gè)主題是一個(gè)在所有單詞上的概率分布LDALDA——過(guò)程對(duì)于語(yǔ)料庫(kù)中的每個(gè)文檔，LDA是如下的變參數(shù)層次貝葉斯網(wǎng)絡(luò)：采樣得到單詞的個(gè)數(shù)采樣得到θ作為文檔的主題分布對(duì)于每個(gè)單詞把θ作為參數(shù)，選擇話(huà)題從分布中選擇單詞LDA——推斷得到參數(shù)文檔中主題的概率每個(gè)詞的主題指定概率LDA模型中最重要的計(jì)算任務(wù)是計(jì)算隱含變量的后驗(yàn)概率變分法抽樣法VariationalInferenceGibbsSampling主題模型（如LDA）估計(jì)出觀測(cè)到的文檔、單詞之間的內(nèi)在聯(lián)系，在一些擴(kuò)展模型中（如ATM）甚至能估計(jì)出更多的信