矩陣分解模型概述目錄TOC\o"1-3"\h\u10957矩陣分解模型概述 195601.1傳統(tǒng)的矩陣分解（MF） 142961.2深度矩陣分解（DMF） 3234101.3帶偏置的矩陣分解(Biased-SVD) 61.1傳統(tǒng)的矩陣分解（MF）在基于協(xié)同過濾（CF）的推薦算法中可以獲取用戶喜好的數(shù)據(jù)信息的來源有顯示反饋信息和隱式反饋信息，前者可以是用戶給出的物品評分?jǐn)?shù)據(jù)，后者可以是用戶的屬性數(shù)據(jù)、行為數(shù)據(jù)等。通過構(gòu)建用戶-物品（user-product）集合的評分矩陣，可以得到一個反應(yīng)用戶喜好程度的元素矩陣。假設(shè)在某網(wǎng)絡(luò)社交平臺中存在用戶集和物品集，在該場景下用戶可以對物品進(jìn)行評分操作，將評分?jǐn)?shù)據(jù)匯總成用戶-物品評分矩陣，如表2-1所示。表2-1用戶-物品評分矩陣User/Product………………在表2-1中的代表由用戶給出的物品的評分，意味著用戶對該物品的喜好程度。當(dāng)數(shù)據(jù)量足夠大的時候，某一用戶所進(jìn)行過評分的物品總和也只是占所有評分中的一小撮，所有與該用戶沒有交集的物品則為數(shù)據(jù)缺失值（默認(rèn)都為0），評分矩陣中數(shù)據(jù)的稀疏性相當(dāng)明顯。因此推薦任務(wù)也可以是評分預(yù)測，通過這種方式來把矩陣補全，根據(jù)中已經(jīng)存在的評分?jǐn)?shù)據(jù)預(yù)測缺失值，然后將預(yù)測出評分高的前幾個進(jìn)行推薦。矩陣分解方法是基于協(xié)同過濾的推薦算法中經(jīng)常會考慮采用的一種方法，該方法使用的數(shù)據(jù)集為前面提到的（user-item）評分矩陣。矩陣分解算法的思想是基于用戶的評分行為是受幾個因素的影響才產(chǎn)生的，并不需要考慮這幾個因素具體是啥，而是將它們都看作潛在因素。因此將評分矩陣中的每個用戶和物品建模為和潛在因素相關(guān)的各種隱因子向量，假設(shè)某用戶對應(yīng)的隱因子向量用表示，物品的隱因子向量用表示，對兩者進(jìn)行內(nèi)積運算，即可輸出用戶對物品給出的評分，將其形式化： （2-1）矩陣分解是通過初始化兩個任意的低維矩陣，并計算預(yù)測數(shù)據(jù)和真實數(shù)據(jù)存在的損失，借此設(shè)計一個目標(biāo)函數(shù)來供推薦模型選擇的優(yōu)化算法進(jìn)行多次迭代，得到兩個新的特征矩陣，一個是用戶隱藏特征矩陣，由用戶的隱因子向量組成，中每一行數(shù)據(jù)代表用戶對隱因子的喜好；另一個是物品隱藏特征矩陣，由用戶的隱因子向量組成，矩陣中的每一列數(shù)據(jù)則代表的是物品可能分布在所有隱因子上的幾率。具體如圖2-1所示：圖2-1矩陣分解圖假設(shè)在某平臺中有位用戶，他們對個物品進(jìn)行了評分操作，將所有操作得到的數(shù)據(jù)匯總，便可形成用戶-物品評分矩陣，如表2-1所示，但中缺失值多不勝數(shù)，故將高維矩陣通過矩陣分解方法來分解，可以得到兩個低維矩陣和，隱因子個數(shù)用指代，和分別對應(yīng)的是隱含的用戶和物品特征矩陣。將現(xiàn)存的評分集下的損失函數(shù)形式化： （2-2）為避免過擬合現(xiàn)象的發(fā)生，在算式中引入正則項，可以防止和過大或者過小，是正則項系數(shù)。通過上述公示可以訓(xùn)練得到和，對它們進(jìn)行內(nèi)積運算，可以獲得原來這個矩陣中存在的大量缺失值，得到的便是一個完整的用戶-物品評分矩陣，然后從中找出用戶對物品的預(yù)測評分高的物品進(jìn)行推薦。1.2深度矩陣分解（DMF）推薦模型通?？梢岳糜脩?物品（user-product）交互評分、隱式反饋或者是其他數(shù)據(jù)信息來完成相對應(yīng)的推薦任務(wù)。矩陣分解方法是通過計算用戶和物品中獲得的相似程度來預(yù)測用戶對物品的喜好，并將其排序后推薦前幾個可能喜歡的物品。在此基礎(chǔ)進(jìn)行上改進(jìn)，將神經(jīng)網(wǎng)絡(luò)引入其中得到深度矩陣分解模型DMFADDINEN.CITE<EndNote><Cite><Author>Xue</Author><Year>2017</Year><RecNum>147</RecNum><DisplayText><styleface="superscript">[50]</style></DisplayText><record><rec-number>147</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649592391">147</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Xue,Hong-Jian</author><author>Dai,Xinyu</author><author>Zhang,Jianbing</author><author>Huang,Shujian</author><author>Chen,Jiajun</author></authors></contributors><titles><title>Deepmatrixfactorizationmodelsforrecommendersystems</title><secondary-title>IJCAI</secondary-title></titles><pages>3203-3209</pages><volume>17</volume><dates><year>2017</year></dates><publisher>Melbourne,Australia</publisher><urls></urls></record></Cite></EndNote>[50]，它可以同時利用好顯示的交互評分和隱式反饋數(shù)據(jù)，具體方式是通過交互學(xué)習(xí)低維空間中的用戶和物品對應(yīng)的偏好表示來獲得新的高階非線性關(guān)系。在該模型由4個結(jié)構(gòu)部分組成，分別是輸入層（Inputlayer）、隱藏層（Hiddenlayer）、隱因子表示層（LatentfactorrepresentationLayer）、評分預(yù)測層（Ratingpredictionlayer）。將其結(jié)構(gòu)圖進(jìn)行描繪，具體樣式如圖2-2所示：圖2-2DMF模型結(jié)構(gòu)圖輸入層將該用戶對物品的顯式評分和非偏好隱式反饋的用戶-物品矩陣作為輸入數(shù)據(jù)；在隱藏層，對于以用戶和物品為基準(zhǔn)輸入的兩個高維向量，在第一層先利用權(quán)重矩陣完成維度變換，然后從第二層才開始使用Relu激活函數(shù)，經(jīng)過多層非線性變換后得到的最終隱藏表示作為隱因子表示層的潛在特征向量；最后，在評分預(yù)測層采用余弦函數(shù)得到模型預(yù)測出來的評分。下面分別對深度矩陣分解模型的各個結(jié)構(gòu)層進(jìn)行詳細(xì)說明。（1）輸入層（Inputlayer）假設(shè)在某網(wǎng)絡(luò)平臺中存在用戶集和物品集，放入輸入層的數(shù)據(jù)是一個用戶-物品矩陣，用戶對物品給出的評分可以用指代，評分?jǐn)?shù)據(jù)的具體取值只能是1-5的整數(shù)數(shù)值，而沒有用戶給出物品評分時將評分記為null?，F(xiàn)存的構(gòu)建評分矩陣的方法包括兩種，將兩種方法公式化后如公式（2-3）和（2-4）所示： （2-3） （2-4）第一種是多數(shù)研究采用的方案，研究者們選擇放棄現(xiàn)成的顯示評分，轉(zhuǎn)而采用二值化方法，即用戶與物品之間存在交互行為時，將評分值設(shè)置為1。相反，當(dāng)兩者之間不存在交互行為時，將評分值設(shè)置為0。另一種方法則考慮了初始的評分?jǐn)?shù)據(jù)大小意味著用戶對物品的偏好程度，這些信息都是可以較大程度提高推薦模型性能的。于是另一種方法則保留原來的顯示評分構(gòu)建評分矩陣，即用戶與物品之間存在交互行為時，評分值不作變更。相反，當(dāng)兩者之間不存在交互行為時，將評分值依然設(shè)置為0，未產(chǎn)生交互的部分稱為非偏好隱式反饋。（2）隱藏層（Hiddenlayer）將顯示評分和非偏好隱式反饋構(gòu)成的評分矩陣輸入到隱藏層，對數(shù)據(jù)進(jìn)行拆分，以用戶為基準(zhǔn)，每一個用戶用一個高維向量表示，指代用戶給出去的所有評分；同樣以物品為基準(zhǔn)，每一個物品用一個高維向量表示，指代物品從所有用戶處得到的評分。將它們作為輸入進(jìn)行特征編碼，在每一層中把輸入在空間與空間之間進(jìn)行映射。將輸入和輸出分別定義為和，隱藏層用指代，第層對應(yīng)的權(quán)重矩陣用指代，第層對應(yīng)的偏置項用指代，在末尾輸出的潛在特征可以用進(jìn)行指代，將其公式化后得到： （2-5）神經(jīng)網(wǎng)絡(luò)中的隱藏層最為關(guān)鍵，此處的激活函數(shù)能幫助向量進(jìn)行非線性變換，這種方式可以使得該網(wǎng)絡(luò)能盡量往非線性函數(shù)的方向上靠攏。此處的激活函數(shù)有兩種，sigmoid函數(shù)則需要進(jìn)行的計算操作更多。相比于sigmoid函數(shù)，Relu激活函數(shù)不會在某一時刻將所有神經(jīng)元激活，每一段時間內(nèi)激活少量的神經(jīng)元，可以避免梯度彌散問題，這種存在也更有利于后續(xù)的計算，也能一定程度上提升效率。因此隱藏層采用Relu函數(shù)，將其公式化后得到： （2-6）（3）隱因子表示層（LatentfactorrepresentationLayer）從DMF模型結(jié)構(gòu)圖（2-2）中可以看出，隱因子向量和是通過兩個多層非線性網(wǎng)絡(luò)將用戶和物品的輸入向量隱射到潛在空間的低維向量進(jìn)行訓(xùn)練后得到的高層特征向量，分別如公式（2-7）和公式（2-8）所示： （2-7） （2-8）公式中的和分別對應(yīng)用戶和物品的第一層加權(quán)矩陣，和對應(yīng)第二層，總共有層神經(jīng)網(wǎng)絡(luò)，和對應(yīng)為網(wǎng)絡(luò)中的激活函數(shù)，但第一層未使用。（4）評分預(yù)測層（Ratingpredictionlayer）最后，在進(jìn)行評分預(yù)測的過程中使用計算采用余弦函數(shù)進(jìn)行計算，具體公式如（2-9）所示： （2-9）為了優(yōu)化模型，DMF模型采用不同于傳統(tǒng)的損失函數(shù)的規(guī)范化交叉熵?fù)p失（NormalizedCrossEntropy，NCE），NCE也能夠充分利用用戶對物品的顯式評分和隱式反饋數(shù)據(jù)。具體公式為： （2-10）為了規(guī)范化所以選用評分?jǐn)?shù)據(jù)中的最大值（一般為5），為所有正樣本，為隨機抽樣的負(fù)樣本。1.3帶偏置的矩陣分解(Biased-SVD)從以上兩種方式不難看出，都是在構(gòu)建出用戶對于物品喜好的關(guān)系式來補全用戶對物品的評分?jǐn)?shù)據(jù)。盡管補全評分?jǐn)?shù)據(jù)足以反應(yīng)用戶對于物品的喜好，但是有些評分的高低卻與用戶或物品本身的屬性關(guān)聯(lián)性更強，而這些屬性的功能卻不能在上述預(yù)測評分?jǐn)?shù)據(jù)的方式中得以表現(xiàn)，此類信息被統(tǒng)一歸類為偏置信息。以用戶為例，有一些用戶給分標(biāo)準(zhǔn)較低，盡管物品本身不怎么樣，但給出的分?jǐn)?shù)普遍偏高；以商品為例，有些天然的物品就是比人工合成的物品獲得的分?jǐn)?shù)更高。單純采用公式（2-1）中的來預(yù)測用戶對物品的評分并不嚴(yán)謹(jǐn)，于是Biased-SVD在其基礎(chǔ)上進(jìn)行改進(jìn)，充分考慮用戶和物品自身屬性引起的評分偏置。設(shè)為評分的均值，為用戶的屬性引起的評分偏置，為物品的屬性引起的評分偏置，因此用戶對物品的評分可以表示為： （2-11）Biased-SVD模型的實驗結(jié)果表明在矩陣分解模型中偏置信息能提高評分預(yù)測準(zhǔn)確，因此用戶和物品偏置項的引入是有必要的ADDINEN.CITE<EndNote><Cite><Author>Sui</Author><Year>2021</Year><RecNum>133</RecNum><DisplayText><styleface="superscript">[51]</style></DisplayText><record><rec-number>133</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649500548">133</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Sui,Jialu</author><author>Yin,Jian</author></authors></contributors><titles><title>ABiasedProportional-Integral-Derivative-IncorporatedLatentFactorAnalysisModel</ti