馬爾科夫模型分析綜述馬爾科夫模型被提出主要針對(duì)于對(duì)序列信息進(jìn)行建模。由于馬爾科夫的序列建模能力，因此在早期的興趣點(diǎn)中基于馬爾科夫的興趣點(diǎn)建模方法被廣泛的引用進(jìn)行下一個(gè)興趣點(diǎn)推薦。馬爾可夫模型是一種統(tǒng)計(jì)模型，已經(jīng)被廣泛的應(yīng)用于語(yǔ)音識(shí)別、序列推薦領(lǐng)域等等。在馬爾科夫模型中，為了預(yù)測(cè)，將序列信息編碼成狀態(tài)形式。K階馬爾科模型根據(jù)用戶的最后的k個(gè)行為動(dòng)作定義一個(gè)狀態(tài)。針對(duì)不同的應(yīng)用可以定義不同的“動(dòng)作”，它可以是用戶訪問(wèn)某特定網(wǎng)頁(yè)的行為，或者用戶購(gòu)買某些特定物品的行為，或者用戶訪問(wèn)過(guò)的興趣點(diǎn)的行為。我們假設(shè)符號(hào)集為={,,...}。狀態(tài)的表示Q=由k個(gè)動(dòng)作行為定義。通常來(lái)說(shuō)，一個(gè)序列定義了馬爾科夫鏈之間的轉(zhuǎn)換。在一個(gè)k階的模型里，當(dāng)前狀態(tài)是由馬爾科夫鏈的最后k個(gè)動(dòng)作行為決定。必須考慮一個(gè)序列的興趣點(diǎn)的簽到行為，到目前狀態(tài)為止已經(jīng)發(fā)生了t個(gè)動(dòng)作行為，其中屬于，那么，t時(shí)刻的k階馬爾科夫模型的當(dāng)前狀態(tài)就是取最后的k個(gè)行為。在這個(gè)序列中，最后的動(dòng)作是，是由從狀態(tài),轉(zhuǎn)化到。因此，馬爾科夫鏈中的狀態(tài)通過(guò)邊相連，相當(dāng)于轉(zhuǎn)化，其中每條邊都被標(biāo)注上一個(gè)中提取的動(dòng)作行為和轉(zhuǎn)移概率。在這個(gè)案例中，狀態(tài),轉(zhuǎn)化到與動(dòng)作行為相關(guān)。由于每一種狀態(tài)都有||種可能。因此k階馬爾科夫模型中邊的總數(shù)等于||。一個(gè)狀態(tài)的轉(zhuǎn)移概率之和總是1?？梢詮挠?xùn)練的序列數(shù)據(jù)中學(xué)習(xí)到轉(zhuǎn)移概率，比如興趣點(diǎn)簽到行為數(shù)據(jù)。下面本文拿4個(gè)簽到興趣點(diǎn)舉例{A，B，C，D}，我們繪制一階馬爾科夫鏈。圖2.SEQ圖2.\*ARABIC4一階馬爾科夫鏈說(shuō)明：該馬爾科夫模型包括4個(gè)狀態(tài)和4x4=16條邊。Fig2.SEQFig2.\*ARABIC4FirstorderMarkovchainNote:theMarkovmodelconsistsoffourstatesand4x4=16edges.假如用戶的簽到動(dòng)作行為序列為ABCAABC，那么一階馬爾科夫鏈的狀態(tài)路徑如下表示：A->B->C->A->A->B->C如果是一個(gè)2階的馬爾科夫模型，那么就會(huì)有4x4=16個(gè)狀態(tài)和=64條邊。這樣就難像上圖中用簡(jiǎn)單的圖形來(lái)展示了。2階馬爾科夫鏈簽到動(dòng)作序列AABCBCA對(duì)應(yīng)的狀態(tài)轉(zhuǎn)化序列可以用下面序列表示：AA->AB->BC->CB->BC->CA馬爾科夫建模通常分為兩個(gè)階段訓(xùn)練階段和預(yù)測(cè)階段1）訓(xùn)練階段。另S為長(zhǎng)度為k的||個(gè)可能的的動(dòng)作序列的集合。對(duì)于出現(xiàn)的每個(gè)可能的動(dòng)作序列s屬于S。使用序列的序列數(shù)據(jù)學(xué)習(xí)||中的概率，對(duì)于每個(gè)候選動(dòng)作的概率。學(xué)習(xí)的概率總共有個(gè)，即構(gòu)建k階馬爾科夫模型的邊數(shù)。學(xué)習(xí)到的每個(gè)概率對(duì)應(yīng)于馬爾科夫模型中每條邊的轉(zhuǎn)移概率。2）預(yù)測(cè)階段例如對(duì)于用戶簽到動(dòng)作行為的當(dāng)前序列，使用用戶最后k個(gè)簽到動(dòng)作行為確定馬爾科夫鏈中的相關(guān)狀態(tài)，返回中轉(zhuǎn)移概率值最大的前TOP-K個(gè)動(dòng)作行為作為推薦結(jié)果。基于馬爾科夫的模型依賴于用戶動(dòng)作行為序列的短記憶假設(shè)。它的的想法是，用戶的動(dòng)作行為之取決于當(dāng)前的k個(gè)動(dòng)作的集合。雖然這種加上在現(xiàn)實(shí)生活可能不是特別的準(zhǔn)確，但是，在現(xiàn)實(shí)的應(yīng)用場(chǎng)景下，基于馬爾科夫的序列模型通常具有不錯(cuò)的表現(xiàn)能力。從上面所述可以發(fā)現(xiàn)，基于馬爾科夫模型的計(jì)算量很