層次主題模型導(dǎo)語(yǔ)層次主題模型整個(gè)文檔集合的產(chǎn)生過(guò)程導(dǎo)語(yǔ)/01導(dǎo)語(yǔ)除了主題關(guān)系，Blei還在主題之間的層次邏輯上對(duì)LDA進(jìn)行了拓展。層次主題模型與傳統(tǒng)的LDA主題模型相比具有完全不同的結(jié)構(gòu)，可應(yīng)用于不同的文本分析場(chǎng)合。在傳統(tǒng)的LDA主題模型中，各個(gè)主題是平行分布的；在層次主題模型中，各個(gè)主題是垂直分布的。各個(gè)主題垂直分布時(shí)，可以組織成一個(gè)樹(shù)狀的結(jié)構(gòu)，每個(gè)主題對(duì)應(yīng)樹(shù)狀結(jié)構(gòu)中的一個(gè)節(jié)點(diǎn)。每個(gè)主題具有不同的抽象層次，靠近樹(shù)根節(jié)點(diǎn)的主題具有更泛化的內(nèi)涵，靠近葉子節(jié)點(diǎn)的主題具有更具體的內(nèi)涵。

層次主題模型/02

層次主題模型層次主題模型在生成一篇文檔時(shí)，首先選擇樹(shù)結(jié)構(gòu)中的一條路徑，從根部最泛化的主題節(jié)點(diǎn)一直到葉子的節(jié)點(diǎn)，路徑的長(zhǎng)度對(duì)應(yīng)于樹(shù)的深度，出等價(jià)于文檔對(duì)應(yīng)的主題個(gè)數(shù)。在生成詞匯時(shí)，先在路徑上隨機(jī)抽取一個(gè)節(jié)點(diǎn)（對(duì)應(yīng)的主題），然后根據(jù)該主題的詞匯分布，產(chǎn)生具體的詞匯項(xiàng)。根據(jù)層次主題模型訓(xùn)練文檔，可以獲得樹(shù)狀的主題結(jié)構(gòu)，也可以知道每篇文章對(duì)應(yīng)的具體路徑。層次主題模型實(shí)際上完成了對(duì)文檔的層次化內(nèi)容組織與歸類(lèi)，十分適合百科類(lèi)詞條文檔及科研文檔的分析。

層次主題模型層次主題模型的靈活性很大，樹(shù)狀的結(jié)構(gòu)可以包含諸多節(jié)點(diǎn)與路徑。只要預(yù)先規(guī)定樹(shù)的深度，就可以通過(guò)訓(xùn)練文本集合自由地產(chǎn)生主題樹(shù)。主題的個(gè)數(shù)及主題路徑的個(gè)數(shù)可以任意增加，其完全取決于文檔集合里包含的內(nèi)容。整個(gè)模型可以動(dòng)態(tài)增量地學(xué)習(xí)，每當(dāng)有新的文檔產(chǎn)生并添加到文檔集合中時(shí)，該模型就可以對(duì)樹(shù)的結(jié)構(gòu)進(jìn)行實(shí)時(shí)擴(kuò)展。

整個(gè)文檔集合的產(chǎn)生過(guò)程

/03

整個(gè)文檔集合的產(chǎn)生過(guò)程整個(gè)文檔集合的產(chǎn)生過(guò)程包括兩個(gè)步驟：一是產(chǎn)生主題的樹(shù)結(jié)構(gòu)；二是對(duì)每一篇文檔根據(jù)主題樹(shù)的主題節(jié)點(diǎn)路徑產(chǎn)生詞匯內(nèi)容。在生成主題的樹(shù)狀結(jié)構(gòu)時(shí)，遵循名為層次中國(guó)餐館過(guò)程（HCRP）的動(dòng)態(tài)模型。

整個(gè)文檔集合的產(chǎn)生過(guò)程HCRP假設(shè)存在一個(gè)初始的餐廳，里面有無(wú)限多張桌子，每張桌子對(duì)應(yīng)無(wú)限個(gè)座位。每個(gè)訪問(wèn)者首先隨機(jī)地占據(jù)其中一張桌子的某個(gè)座位，訪問(wèn)者占據(jù)某個(gè)桌子的座位的概率與桌子上已有的訪問(wèn)者相關(guān)。餐館的每張桌子都有一個(gè)唯一的序號(hào)，序號(hào)指向另外一個(gè)餐館。在當(dāng)前訪問(wèn)階段坐在同一張桌子的訪問(wèn)者，在接下來(lái)的決策過(guò)程，將去桌子序號(hào)所指代的餐館進(jìn)行訪問(wèn)，并在新的餐館重新選擇桌子。在新的階段，訪問(wèn)規(guī)則和上面公式一致，桌子的訪問(wèn)過(guò)程不斷迭代。

整個(gè)文檔集合的產(chǎn)生過(guò)程最終，訪問(wèn)者在各階段的訪問(wèn)結(jié)果可對(duì)應(yīng)于主題樹(shù)上的某一條確切的路徑，所有的主題路徑及路徑上的節(jié)點(diǎn)共同構(gòu)成主