主題模型概述THOMASHOFMANNth@DepartmentofComputerScience,BrownUniversity,Providence,USAUnsupervisedLearningbyProbabilisticLatent

SemanticAnalysis1精品PPT·借鑒參考第一頁(yè)，共十五頁(yè)。PPT內(nèi)容概述主題模型概述。UnsupervisedLearningbyProbabilisticLatent

SemanticAnalysis。精品PPT·借鑒參考。Latentsemanticanalysis(LSA)。Probabilisticlatentsemanticanalysis(PLSA)。LDA(LatentDirichletAnalysis)。思想：找低階的矩陣對(duì)terms-doc矩陣進(jìn)行分解，得到doc的潛在語(yǔ)義。迭代法、并行方法、求NN’的特征值法。P(zk|di)：表示在di這篇文章中選擇主題zk的概率。(1)E步驟：求隱含變量Given當(dāng)前估計(jì)的參數(shù)條件下的后驗(yàn)概率。(2)M步驟：最大化Completedata對(duì)數(shù)似然函數(shù)的期望，此時(shí)我們使用E步驟里計(jì)算的隱含變量的后驗(yàn)概率，得到新的參數(shù)值第二頁(yè)，共十五頁(yè)。ContentLatentsemanticanalysis(LSA)SVDProbabilisticlatentsemanticanalysis(PLSA)ExpectMaximum(EM)LDA(LatentDirichletAnalysis)各種變種及應(yīng)用（擴(kuò)展部分）3精品PPT·借鑒參考第三頁(yè)，共十五頁(yè)。LSA主要用于文本分析思想：找低階的矩陣對(duì)terms-doc矩陣進(jìn)行分解，得到doc的潛在語(yǔ)義可以處理多義詞和同義詞的問(wèn)題求解方式：SVD（奇異值分解）4精品PPT·借鑒參考第四頁(yè)，共十五頁(yè)。SVD奇異值分解詞項(xiàng)文檔矩陣做SVD分解求解方法：迭代法、并行方法、求NN’的特征值法5精品PPT·借鑒參考第五頁(yè)，共十五頁(yè)。PLSAGeneratemodel其中：P(di)：表示生成這篇文章的先驗(yàn)概率P(zk|di)：表示在di這篇文章中選擇主題zk的概率P(wj|zk)：表示在Zk主題下選擇單詞wj的概率6精品PPT·借鑒參考第六頁(yè)，共十五頁(yè)。7精品PPT·借鑒參考第七頁(yè)，共十五頁(yè)。最大似然函數(shù)8精品PPT·借鑒參考第八頁(yè)，共十五頁(yè)。EM（期望最大化算法）EM算法的步驟是：(1)E步驟：求隱含變量Given當(dāng)前估計(jì)的參數(shù)條件下的后驗(yàn)概率。(2)M步驟：最大化Completedata對(duì)數(shù)似然函數(shù)的期望，此時(shí)我們使用E步驟里計(jì)算的隱含變量的后驗(yàn)概率，得到新的參數(shù)值。兩步迭代進(jìn)行直到收斂。9精品PPT·借鑒參考第九頁(yè)，共十五頁(yè)。解決方法（MLE)10精品PPT·借鑒參考第十頁(yè)，共十五頁(yè)。拉格朗日乘子法11精品PPT·借鑒參考第十一頁(yè)，共十五頁(yè)。求解方程組得到12精品PPT·借鑒參考第十二頁(yè)，共十五頁(yè)。LDA13精品PPT·借鑒參考第十三頁(yè)，共十五頁(yè)。14精品PPT·借鑒參考第十四頁(yè)，共十五頁(yè)。涉及到的數(shù)學(xué)知識(shí)概率

條件概率、貝葉斯、Gamma\Beta\Dir