基于評分和評論特征融合的深度推薦模型分析案例目錄TOC\o"1-3"\h\u25242基于評分和評論特征融合的深度推薦模型分析案例 1108971.1引言 1221891.2目標描述 1140201.3DRMF模型結構 2225081.4帶偏置的深度矩陣分解模型 492461.4.1BDMF模型設計思路 453021.4.2BDMF模型結構 6222271.1.3算法偽代碼 8231651.5評論文本處理模型 1083041.5.1評論文本處理模型結構 1038221.5.2評論文本處理模型實現 11104641.6DRMF模型特征融合模塊 14305831.6.1DRMF模型特征融合層 1441861.6.2評論預測層 17271161.7模型訓練及優(yōu)化 181.1引言由于用戶-物品評分矩陣中存在數據稀疏性問題，經常會致使推薦模型的評分預測性能受到限制。隨著互聯(lián)網的快速發(fā)展，越來越多的人愿意參與到這個互聯(lián)的網絡中來，他們也更愿意在網絡上面發(fā)表自己的想法和評論來分享給大家。因此在推薦模型中從用戶給出的評論文本數據提取更具價值的信息到推薦模型中成了可行之法，于是研究者們也都對這一數據源開始展開研究，并進行了合理的分析與利用，經研究表明這一方法的確有利于提升推薦的準確度。本文基于這一角度，在有效利用深度學習技術的情況下，分別完成對評分和評論文本數據的特征提取，并把它們融合到本文提出的推薦模型中來提升模型的準確性。1.2目標描述從網上獲取的json格式的Amazon數據集，數據集中包含有個數據樣本，每個數據樣本中包括（，，，），指代的是用戶對物品所給出的一個評分，評分為1-5的5個整數，指代的是用戶對物品所給出的一條評論，評論文本所含詞匯數可參差不齊。最終目標是訓練出一個可以充分利用用戶以往對商品給出的評論數據來算出預測評分的模型，評論數據包括兩種，以用戶為基準的評論集合（除了的用戶給出的所有評論集），以物品為基準的評論集（除了的物品得到的所有評論集），并盡可能讓和兩者之間的差值減小。1.3DRMF模型結構因為現有的一些基于評分和評論的推薦模型中存在的局限性，所以本文分別就這幾個方面進行改進，最終提出了基于評分和評論特征融合的深度推薦模型DRMF（DeepRecommendationModelBasedonFusionofRatingandReviewFeatures）。由于經過傳統(tǒng)的矩陣分解模型LFM提取出來的只是低階特征向量ADDINEN.CITE<EndNote><Cite><Author>馮興杰</Author><Year>2020</Year><RecNum>129</RecNum><DisplayText><styleface="superscript">[48]</style></DisplayText><record><rec-number>129</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649378800">129</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>馮興杰</author><author>曾云澤</author></authors></contributors><titles><title>基于評分矩陣與評論文本的深度推薦模型</title><secondary-title>計算機學報</secondary-title></titles><periodical><full-title>計算機學報</full-title></periodical><pages>17</pages><volume>43</volume><number>5</number><dates><year>2020</year></dates><urls></urls></record></Cite></EndNote>[48]，而要想獲得高階非線性交互信息就必須采用采用深度矩陣分解模型DMFADDINEN.CITE<EndNote><Cite><Author>尹志強</Author><Year>2021</Year><RecNum>126</RecNum><DisplayText><styleface="superscript">[63]</style></DisplayText><record><rec-number>126</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649339461">126</key></foreign-keys><ref-typename="Thesis">32</ref-type><contributors><authors><author>尹志強</author></authors><tertiary-authors><author>孫永奇,</author></tertiary-authors></contributors><titles><title>融合評分矩陣與評論文本的混合推薦算法的研究</title></titles><keywords><keyword>推薦系統(tǒng)</keyword><keyword>BERT</keyword><keyword>注意力機制</keyword><keyword>門限遞歸單元</keyword><keyword>深度矩陣分解</keyword></keywords><dates><year>2021</year></dates><publisher>北京交通大學</publisher><work-type>碩士</work-type><urls></urls><electronic-resource-num>10.26944/ki.gbfju.2021.000449</electronic-resource-num><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[63]，但它不能充分利用好交互數據中不可以忽視的偏置信息，所以該使用表達用戶和物品偏好信息更為準確的的矩陣分解模型，本文采用帶偏置的深度矩陣分解模型BDMFADDINEN.CITE<EndNote><Cite><Author>馬昌勝</Author><Year>2019</Year><RecNum>127</RecNum><DisplayText><styleface="superscript">[64]</style></DisplayText><record><rec-number>127</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649378084">127</key></foreign-keys><ref-typename="Thesis">32</ref-type><contributors><authors><author>馬昌勝</author></authors><tertiary-authors><author>李劍軍,</author></tertiary-authors></contributors><titles><title>一種帶偏置的深度矩陣分解推薦模型</title></titles><keywords><keyword>個性化推薦</keyword><keyword>帶偏置的矩陣分解</keyword><keyword>神經網絡</keyword><keyword>隱語義</keyword></keywords><dates><year>2019</year></dates><publisher>華中科技大學</publisher><work-type>碩士</work-type><urls></urls><electronic-resource-num>10.27157/ki.ghzku.2019.003623</electronic-resource-num><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[64]來解決這一問題。又因為詞向量模型Word2vec不能很好地對文本內容中的有些詞語實現多語義理解ADDINEN.CITE<EndNote><Cite><Author>吳瑩瑩</Author><Year>2020</Year><RecNum>128</RecNum><DisplayText><styleface="superscript">[65]</style></DisplayText><record><rec-number>128</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649378226">128</key></foreign-keys><ref-typename="Thesis">32</ref-type><contributors><authors><author>吳瑩瑩</author></authors><tertiary-authors><author>任志波,</author></tertiary-authors></contributors><titles><title>基于評分矩陣和評論文本的混合推薦算法</title></titles><keywords><keyword>個性化推薦</keyword><keyword>混合推薦算法</keyword><keyword>卷積神經網絡</keyword><keyword>隱語義模型</keyword></keywords><dates><year>2020</year></dates><publisher>河北大學</publisher><work-type>碩士</work-type><urls></urls><electronic-resource-num>10.27103/ki.ghebu.2020.000746</electronic-resource-num><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[65]，而卷積神經網絡也不能很好地處理序列問題，因此設計了基于BERT的注意力網絡模型來解決。最后，提出了FM模塊和MLP模塊串聯(lián)組成的DRMF模型特征融合模塊，該模型層可以利用好之前提取的特征向量來進行交互學習得到更復雜的特征向量，然后將得到的深度特征向量輸入到全連接層中來獲得用戶對物品的預測評分。DRMF模型結構如下圖所示：圖3-1DRMF模型結構圖在上述的DRMF模型結構圖中包含三個子模塊，他們分別是帶偏置的深度矩陣分解模型BDMF、評論文本處理模型和特征融合模塊。BDMF模型負責將用戶-物品的評分矩陣進行特征提取，得到用戶和物品兩者對應的的潛在評分特征和。評論文本處理模型則由用戶注意力網絡和物品注意力網絡這兩個并行的網絡組成，分別處理用戶和物品的評論文本數據集，到用戶和物品兩者對應的的潛在評論特征和。最后，通過在特征融合模塊中來將之前提取的特征向量來進行交互學習得到更復雜的特征向量，得到用戶和物品的高階特征和，最后將它們輸入到全連接層中，經過回歸得出用戶對物品的評分預測。1.4帶偏置的深度矩陣分解模型1.4.1BDMF模型設計思路深度矩陣分解模型（DMF）通過將神經網絡引入其中得到矩陣分解模型得到的，它可以同時利用好顯示的交互評分和隱式反饋數據，但是評分是一個具有差異性的數據。比如，在實際生活中每一位用戶的評分標準是不一樣的。有的用戶給分就比較嚴苛，對于物品給出的分數普遍不高；也有的用戶給分標準比一般人低，對于物品普遍給分都比較高。也有因為不同購物網站銷售理念和出售的物品小類別存在差異造成評分數據集的整體分布存在差異的現象。比如，逛網站某些區(qū)域內物品的用戶對于該區(qū)域內的物品能輕易地給出高分，有些區(qū)域內的物品用戶對于他們的要求更高一些，普遍給出的分數也就低一些。正是由于這種問題的存在，我們希望模型能具備有效地方法為該問題提供一定程度上的緩解，決定將這些差異性的信息都定義為偏置信息，避免對用戶和物品之間的交互數據中提取出來的特征進行過擬合的學習。綜上，帶偏置的深度矩陣分解模型BDMF所提取的特征向量更能體現用戶和物品的偏好信息，因此在DRMF模型的矩陣分解過程采用BDMF模型。在2.2.2節(jié)中提到的DMF模型在編碼過程的輸入中包含了差異性的信息，而想要保護這些輸入的底層特征一直到高層網絡，我們就必須確保它的完整性，可以利用殘差網絡ResNet來完成。ResNet提出的原因是因為訓練神經網絡時會發(fā)現，持續(xù)為深神經網絡提高層結構的數量，準確率能得到一定提高，但在達到頂峰之后如果仍然繼續(xù)則會不增反降，考慮改變學習的目標。在高速網絡HighwayNetwork技術中，它是通過將網絡結構中的一部分輸出進行留存操作，而ResNet在設計上與前者的設計理念是互相接近的，它是通過在網絡中設計幾個可以前后直接連接通道，這個通道能幫助一開始的輸入直接抵達到后方去，這在一定程度上為原始信息的留存進行鋪墊。在這一技術方法中，也使得該層網絡不用將所有輸出都進行一遍學習了，它只要將前一網絡輸出的殘差把一塊進行學習即可，殘差由輸出減掉輸入來獲得，這種方式學習目標簡化了。接下來，對傳統(tǒng)神經網絡、高速網絡和ResNet的詳細計算過程進行說明，具體內容如下：傳統(tǒng)的神經網絡在處理輸入時，它是通過非線性變換來為進行處理，然后將處理后的結果作為輸出，將其形式化： （3-1）其中代表的是輸出，代表的是激活函數，代表的是輸入，代表的是網絡權重參數。HighwayNetwork基于門機制引入了transformgate（變換系數）和carrygate（保留系數），輸出由transforminput和carryinput組成，將其形式化： （3-2）利用上述方法，來到上一層的一部分內容進行留存操作，使其無需在原網絡中的進行非線性變換等操作直接抵達下一層。添加了恒等映射的ResNet與HighwayNetwork類似，也能達到前傳后的直接傳輸目的。首先，若將在CNN其中一層的輸入看作為，并將模型處理后我們需要的得到的輸出看作是。然后，在傳統(tǒng)神經網絡的基礎上加入了一組前后連通的連接，這樣也就構成了一個殘差學習模塊。具體樣式如圖3-2所示：圖3-2殘差學習模塊結構圖將輸入直接傳到輸出作為初始結果，那么目標函數為： （3-3）殘差網絡采用殘差塊和shortcut連接的方式，這樣就可以是網絡僅對差值進行學習即可，差值為輸出減去輸入，而不再是原來的。這種方式有兩個好處，一方面留存下來的信息在一定程度上得到了保護，另一方面可以很好地解決加深網絡的層數可能會出現的梯度消失問題。由于深度矩陣分解模型（DMF）是成一個小塔形狀的結構，每經過一層操作向量的維度都在逐漸下降，而要想讓目標函數可以計算，必須是兩個同維度的向量才能進行計算。于是對輸入向量采取一種線性變換的操作來促使其變成與輸出向量同一維度的向量形式，加入維度處理后的殘差學習模塊結構如圖3-3所示：圖3-3輸入輸出維度一致的殘差學習模塊結構殘差學習模塊中權重矩陣負責通過線性變換將輸入向量維度處理成與輸出向量的維度，維度與非線性變換的最后一層一樣，這樣能夠保證向量之間是可計算的。1.4.2BDMF模型結構BDMF模型與前文2.2.2節(jié)提到的DMF結構類似，兩者將神經網絡引入到了傳統(tǒng)的矩陣分解模型之中，它們都可以根據提取的用戶和物品的兩個隱語義向量來完成計算得到需要補全的評分數據。在BDMF模型中，將用戶-物品矩陣作為模型輸入數據，它能充分結合該矩陣中的顯示評分數據和隱式反饋信息，具體方式是通過交互學習低維空間中的用戶和物品對應的偏好表示來獲得新的高階非線性關系。該模型結構一般分為3層：Inputlayer（輸入層），Hiddenlayer（隱藏層），和LatentfactorrepresentationLayer（融合層）。圖3-4BDMF模型結構圖（1）輸入層（Inputlayer）輸入層同DMF模型一樣輸入兩個分別以用戶和物品為基礎的高維向量和。根據公式（2-4）來建立用戶-物品的評分矩陣，提取的每一行來得到，提取的每一行來得到。（2）隱藏層（Hiddenlayer）隱藏層中利用兩個結構相同的網絡來處理高維向量和，兩個網絡都是由單層的線性隱射層和多層的非線性隱射層組成。線性隱射層作為偏執(zhí)層來完成輸入向量的維度變換，為輸入和輸出建立直連通道，目的是將含有用戶和物品特征信息的數據盡量完整的保存下來傳到輸出。另一隱射層將分別用戶和物品為基準的兩個高維向量和進行映射，然后得到新的向量空間的向量。從圖中可以發(fā)現，在權重矩陣存在那一層進行操作是并沒有采用Relu激活函數，而是在第二層至第層才開始使用，具體如第二章兩公式（2-7）（2-8）所示。這是因為如果輸入的數據集合相當龐大，我們就會得到很大的一個輸入向量，這不利于后續(xù)操作。于是在第一層通過維度變換先將高維特征向量壓縮成低維稠密向量，可以增強模型的泛化能力。（3）融合層（Fusionlayer）將單層線性隱射層和多層的非線性隱射層隱射出來的兩個向量對應元素一一相加，得到最終的隱語義向量和，向量表示具體如圖所示： （3-4） （3-5）從BDMF模型結構圖可以發(fā)現，和是在經過了兩個網絡的處理后得到的，在網絡中將用戶和物品的輸入向量向潛在空間進行映射，便可以得到他們對應的隱語義向量，和指代的是偏置層的權重矩陣，和表示偏置層的偏置項。最后，在進行獲得預測評分的計算中，使用余弦函數對兩個向量進行計算，具體如公式（3-6）所示： （3-6）最后通過DMF模型的損失函數公式（2-10）來計算得到預測值和實際評分兩者之間的差值大小。1.1.3算法偽代碼按照上述模型結構，編寫B(tài)DMF算法的偽代碼，如表3-2所示:表3-2BDMF算法的偽代碼Algorithm1:BDMFTrainingAlgorithmWithNormalizedCrossEntropyInput::Originalratingmatrix,:Trainingiterations,:Negativesamplingratio,:Earlystopsteps,:NumberoftimesHRhasnotimprovedOutput:and：Theuserandproductweightmatrixofthenetwork;and：Biaslayerweightmatrix;and：Biastermforthebiaslayer;1:Initialization:2:randomlyinitialize,,,,,;3:setuseformula(2-4)with;4:setallnonezerointeractionsin;5:setallzerointeractionsin;6:setsampleinteractionsfrom;7:set;8:forfrom1todo9:foreachinteractionofeachandindo10:setuseformula(3-4)(3-5)withinputof;11:setuseformula(3-6)withinputof;12:setuseformula(2-10)withinputof13:if14:break;15:usebackpropagationtooptimizemodelparameters;16:endfor17:endfor在BDMF算法中首先確定好該算法程序的輸入和輸出的數據，輸入數據包括從數據集中得到的用戶-物品的評分矩陣數據和需要單獨設置的模型參數（訓練的迭代次數、負采樣率、程序及時停止的步數，預測命中率沒有持續(xù)提升的步數）。輸出數據則包括用戶和物品的網絡權重矩陣、偏置層的權重矩陣和偏置層的偏置項。當程序正式運行之前，需要先將程序的目標輸出進行初始化操作，并將交互數據處理成用戶-物品的評分矩陣樣式，接著采用留一驗證法和樣本數據負采樣的方法來得到訓練數據集。然后是網絡訓練，通過將用戶和與它存在交互關系的物品兩者的特征輸入模型中來獲取用戶和物品的隱語義向量和。最后通過預選相似度來計算兩個隱語義向量的相似性，然后利用損失函數來計算預測評分和實際評分的差值，根據此差值不斷利用Adam算法進行網絡訓練，要不等到設置的訓練的次數走完，要不因性能持續(xù)無較大提升而被終止訓練。在DRMF模型特征融合層模塊的評分預測層中，輸入到全連接層的是評分和評論中提取并融合的特征，而其中評分特征用的是BDMF模型提取出來的用戶隱向量和物品隱向量。將該特征與評論文本特征進行融合得到表達更精準的高階特征，然后根據高階特征完成評分預測。因此在融合層1.2.3中分別將用戶隱向量和物品隱向量分別記為和。1.5評論文本處理模型在文本處理方面，大多數研究者選擇采用主題模型來完成本信息的特征提取。LDA主題模型是較為常用的主題模型，該模型指出任何一篇文章都是可以有幾個主題的，而每個主題都有它對應的詞。手動確定要劃分的主題個數，采用非監(jiān)督的機器學習，并采用詞袋模型為文章構造詞向量。但是這種處理方式沒有充分考慮詞的順序所附加的含義和上下文信息，得到的主題有時并不能很好地表達出文本含義。因此本文決定采用基于BERT和注意力機制的雙向GRU網絡來完成對評論文本的處理，雙向GRU網絡結構中一般由兩層左右讀取序列相反的RNN層組成，它可以分別從兩個相反的方向捕獲到詞的內容，因此它更能讀取到豐富的語義信息。注意力機制作為輔助引入到文本處理模塊中，它可以過濾掉一些不那么重要的信息，聚焦于重要信息，通過計算兩種序列中每個單詞的權重來完成于文本內容相關度更高的詞的捕獲。1.5.1評論文本處理模型結構為了提取用戶和物品評論文本數據的特征，需要在這些數據上進行建模來表達。在本節(jié)設計了一個評論文本處理模塊，它由兩個基于BERT和注意力機制的雙向GRU網絡用戶注意力網絡和物品注意力網絡構成，可以分別用來處理用戶和物品對應的文本類型評論數據集，他們兩個網絡結構一致，都是由詞嵌入層、序列編碼層、注意力機制層和特征投影層這四個部分組成。繪制兩個注意力網絡的處理與某位用戶或者某件物品的相關評論文本數據過程，網絡具體結構如圖3-5所示：圖3-5注意力網絡處理文本數據流程圖接下來對用戶注意力網絡和物品注意力網絡在評論文本處理模型中的具體運用過程進行講述。1.5.2評論文本處理模型實現同上一節(jié)的帶偏置的深度矩陣分解模型一樣假設在某網絡平臺中存在用戶集和物品集，以用戶為基準，用指代用戶給出去的所有評論；同樣以物品為基準，指代物品從所有用戶處得到的評論。不難發(fā)現存在一條評論同時存在于兩個集合中的現象，用戶給出物品某條評論不僅存在于中，同時也存在于中。面對這種情況，我們希望能夠在中學習得到用戶評論特征表示，在中學習得到物品評論特征表示，因此需要設置兩個基于BERT和注意力機制的雙向GRU網絡（用戶注意力網絡）和（物品注意力網絡）來分別處理和，他們兩個網絡結構一致，參數根據數據適當調整。通過和學習得到用戶評論特征表示和物品評論特征表示，用于與深度矩陣分解模型提取出來的和進行特征融合。因為中含有用戶給出去的所有評論，評論的數量不在少數，所以我們先利用完成中每條評論的特征提?。織l評論特征是否設置數字符號），再將平均化處理特征提取得到的所有的特征表示作為中學習到的用戶特征。對也進行相同的處理。模型結構以（用戶注意力網絡）為例展開介紹，（物品注意力網絡）也是一樣的，就是數據不一樣。結構如圖3-5所示，網絡結構總共包含4層：第一層是詞嵌入層，中間層分別是序列編碼層和注意力機制層，最后一層為特征投影層。（1）詞嵌入層以某一用戶發(fā)出的所有評論組成的集合作為研究對象，設置為進入模型的評論條數最大值。當存在大于時，取中的前條評論構成，使用BERT映射處理得到相同維度的向量組成的列表；當存在小于時，先BERT映射處理得到相同維度的向量，然后向中加入若干條與映射出來的向量維度相同的零向量，再度構成具有條相同維度的向量組成的列表，因此可作為BERT映射后的輸出向量列表。同理，物品的輸出向量列表為。（2）序列編碼層在序列編碼層中選擇使用雙向GRU網絡來處理BERT映射后的輸出向量列表，對中的每一條向量進行編碼，且可以分別從前向和后向兩個方向完成更豐富的信息提取。前向負責從到的編碼處理，負責從到的編碼處理，將其形式化： （3-7） （3-8）采用拼接策略來獲取的隱藏狀態(tài)，具體如公式（3-9）所示： （3-9）每個GRU隱藏的單元個數為,則整個雙向GRU網絡的隱藏狀態(tài)連接起來得到，將其形式化： （3-10）（3）注意力機制層在注意力機制層，本文使用注意力機制這個方法來讓用戶不同的評論可以表達出來不同的喜好偏向，因為該方法可以為不同的評論附上一個不同的權值，完成評論文本聚焦工作。而在注意力機制的計算過程中有兩個關鍵步驟：一是完成對輸入的所有信息注意力分布的計算。二是根據前一個步驟得出的注意力分布再完成信息的加權平均計算，然后完成輸出。通過計算每條評論的相對重要性的注意力分布（Attentiondistribution）來完成對中所有信息的匯總，具體如公式（3-11）所示： （3-11）公式內，，其中是超參數，且可以將其設置成任意維度，再引入的計算方式來完成數值轉換得到。該注意力分布可以發(fā)揮兩個作用：一是完成了注意力權重的歸一化，權重分布相加后的數值為1；二是采用這種方式后能突出相對更重要的元素的權重。在注意力向量中的信息可以將評論影響用戶偏好的程度進行一個很好的體現。因此在計算用戶相關的評論集合數據的整體特征表示時，可以利用注意力數值進行加權求和操作。當這個利用了雙向GRU的用戶注意力網絡中的隱藏狀態(tài)經過的操作后，便得到了需要的，將其形式化： （3-12）（4）特征投影層最后將用戶評論集合的整體特征表示作為特征投影層的輸入，然后進行特征轉換，得到在用戶注意力網絡的處理后的用戶在用戶評論集合的最終偏好表示，將其形式化： （3-13）其中代表的該結構層的權重，代表的是它的偏倚項。以上是以用戶注意力網絡為基礎進行描述的，同樣我們也可以按照上述方法采用物品注意力網絡來處理物品的物品評論集合，得到以物品為基準的。因此該層模塊可以分別通過兩種不同的數據集合，經過注意力網絡和的處理，輸出和。1.6DRMF模型特征融合模塊1.6.1DRMF模型特征融合層利用上述兩個模型分別從評分矩陣提取得到了特征向量和從評論文本數據提取得到了特征向量，但是它們兩者本質上是位于不一樣的特征空間中的，無法實現有效的交互學習。因此設計了在DRMF模型中加入一個融合層模塊來實現數據的多源特征融合，并加以利用，實現用戶對物品的評分預測任務。通過帶偏置的深度矩陣分解模型可以從評分矩陣中提取得到用戶和物品的特征矩陣和，通過文本處理的注意力網絡可以從評論文本中提取得到用戶和物品的特征矩陣和，為了更好地完成特征之間的多種交互，將、、和這四個特征矩陣設置成為同一維度的向量。然后在DRMF模型融合層將特征向量進行融合，并經過交互學習得到特征向量，然后將其輸入全連接層中，獲得最終的評分預測值。在僅使用評論文本數據的DeepCoNN模型中，它將提取得到的用戶和物品的評論特征實行有效拼接，再將拼接后的新向量放入FM模塊來完成評分預測任務。這樣的操作無疑是沒有任何問題的，因為用戶和物品的特征向量均取自與評論文本這同一類型的數據集，在后續(xù)的特征交互學習過程中也取得了很好的表現效果。但是本文考慮將非同源的特征進行融合，所以這種特征拼接后送入FM的方式并不適用。（是否引入文獻）在推薦模型中，深度神經網絡在學習特征交互的方面具有出色的表現。通過研究深度因子分解機模型（DeepFactorisationMachine，DeepFM），設計一個由FM模塊與MLP模塊串聯(lián)組成的融合層，可以通過該融合層來實現用戶與物品間的線性交互和非線性交互。在融合層中首先通過向量對應維度相加來獲得用戶和物品的原始特征，然后分別將兩種特征輸入到FM模塊中來獲取對應的低階特征，再將低階特征輸入到串聯(lián)其后的MLP模塊中來獲取對應的高階特征，再將其輸入評分預測層中獲得最終的預測評分值。融合層中FM模塊和MLP模塊的具體計算過程如下圖所示：圖3-6融合層結構圖在進行有關于不同源的特征融合的研究過程中，發(fā)現利用評分矩陣和評論文本數據兩者進行有效結合能提高推薦模型的性能，而一般的操作是將兩者提取得到的特征向量中的元素進行對應維度的相加操作。因此在融合層中，也利用這一相加操作來獲取用戶和物品相應的原始特征集合，將其形式化： （3-14） （3-15）表示的是用戶相應的原始特征，它是通過BDMF模型處理得到的和用戶注意力網絡得到的對應維度的相加得到的，采用相同方法來獲取物品相應的原始特征。（1）低階特征經過特征相加操作后得到了兩個原始特征，分別是和，再將他們輸入到FM模塊中，來獲取用戶和物品的不同源數據融合后的低階特征，在FM模塊中具體計算過程如下： （3-16）由文獻ADDINEN.CITE<EndNote><Cite><Author>馮興杰</Author><Year>2020</Year><RecNum>129</RecNum><DisplayText><styleface="superscript">[48]</style></DisplayText><record><rec-number>129</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649378800">129</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>馮興杰</author><author>曾云澤</author></authors></contributors><titles><title>基于評分矩陣與評論文本的深度推薦模型</title><secondary-title>計算機學報</secondary-title></titles><periodical><full-title>計算機學報</full-title></periodical><pages>17</pages><volume>43</volume><number>5</number><dates><year>2020</year></dates><urls></urls></record></Cite></EndNote>[48]中提及的運算簡化過程可知在上一公式中可以對二次項進行轉化來實現運算復雜度的下降，轉化結果為公式（3-17a）。為了促使其更易完成，將其繼續(xù)進行變換得到了公式（3-17c）。將其形式化： （3-17） （3-17a） （3-17b） （3-17c）根據上述公式（3-17a）表明，FM模塊可以把特征向量轉化為來實現運算復雜度的下降，在這些特征向量中將所有的兩維特征都互相進行交互計算，經過計算得到的用戶和物品的特征是基于FM模塊模擬對特征進行的二階交互得到的，因此得到的特征屬于低階特征。依然以用戶相關數據為基準進行展開說明，將相加操作得到的帶入公式（3-16）得： （3-18）在該公式中指代的是全局偏差，則指代的是與中的第個變量所對應的權重。采用相同方法來獲取物品的低階特征（2）高階特征盡管FM模塊能夠在數據稀疏性問題明顯的數據中完成參數學習任務，但是最終得到的結果只是特征向量經過二階交互所產生的，該結果只是屬于低階特征。而高階特征一般都采用神經網絡來對復雜特征進行學習后產生，但是神經網絡學習本身具有一定的局限性，那就是當數據稀疏性問題明顯時，會使得參數過多，從而使得性能下降。考慮到以上兩種方法中存在的優(yōu)勢和不足，因此將兩者結合，首先使用FM模塊對數據進行過濾處理可以達到緩解稀疏性問題的作用，然后將處理得到的低階特征輸入到MLP模塊中進行高階特征的提取，這樣便可以實現兩者兼顧，獲得表現效果更佳的用戶和物品的高階特征和。將其形式化： （3-19）在上述公式中，指代的是第層的輸出向量，指代的是第層的激活函數，該處的激活函數也采用的是Relu激活函數，指代的是第層的權重向量，指代的是第層的偏置項，指代的是隱藏層所含層數。將低階向量輸入到MLP模塊中進行學習訓練最終得到了一個更深層的用戶高階特征，采用相同方法來獲取物品的高階特征。1.6.2評論預測層評分預測層就是將經過