海量數(shù)據(jù)計(jì)算研究中心Massive

Data

Computing

Lab

@

HIT大數(shù)據(jù)分析·原理與實(shí)踐16、推薦系統(tǒng)王宏志哈爾濱工業(yè)大學(xué)目錄為什么需要推薦系統(tǒng)推薦算法概述基于協(xié)同過濾的算法推薦方法的組合推薦系統(tǒng)的評(píng)價(jià)12345目錄為什么需要推薦系統(tǒng)推薦算法概述基于協(xié)同過濾的算法推薦方法的組合推薦系統(tǒng)的評(píng)價(jià)12345什么是稀缺資源貨架空間是稀缺資源傳統(tǒng)零售商的貨架空間是稀缺資源。注意力成為了稀缺資源然而網(wǎng)絡(luò)使零成本產(chǎn)品信息傳播成為可能，“貨架空間”從稀缺變得豐富。人們逐漸從信息匱乏的時(shí)代走入了信息過載的實(shí)在。這時(shí)，注意力便成了稀缺資源。為什么需要推薦系統(tǒng)為什么需要推薦系統(tǒng)推薦系統(tǒng)旨在向用戶提供建議根據(jù)用戶的興趣特點(diǎn)和購買行為，向用戶提供建議。推薦系統(tǒng)的價(jià)值將正確的商品在正確的時(shí)間推薦給正確的人，這在商業(yè)上有巨大巨大價(jià)值。在閱讀網(wǎng)站上，一個(gè)合適的推薦

遠(yuǎn)比首頁上的圖書更加吸引用戶。為什么需要推薦系統(tǒng)推薦系統(tǒng)的應(yīng)用在線商城當(dāng)用戶進(jìn)入商城首頁后，就會(huì)看到系統(tǒng)根據(jù)用戶的的歷史行為推薦了豐富的商品。推有電影推薦薦系統(tǒng)在電影的推薦中著廣泛的應(yīng)用。國(guó)內(nèi)的

一些影視類網(wǎng)站大都有自己的推薦系統(tǒng)，比如愛奇藝、優(yōu)酷、土豆等。個(gè)性化閱讀推薦在個(gè)性化閱讀中也有廣泛的應(yīng)用，一個(gè)典型的例子就是豆瓣，其根據(jù)用戶歷史對(duì)書籍的打分為用戶推薦可能喜歡的書籍。目錄為什么需要推薦系統(tǒng)推薦算法概述基于協(xié)同過濾的算法推薦方法的組合推薦系統(tǒng)的評(píng)價(jià)12345推薦算法概述推薦結(jié)果是否因人而異大眾化推薦在同樣的外部條件下，不同用戶獲得的推薦是一樣的。如查詢推薦，它往往只與當(dāng)前的

query有關(guān)，很少與用戶直接相關(guān)。推薦算法概述推薦結(jié)果是否因人而異大眾化推薦在同樣的外部條件下，不同用戶獲得的推薦是一樣的。如查詢推薦，它往往只與當(dāng)前的

query有關(guān)，很少與用戶直接相關(guān)。個(gè)性化推薦不同的人在不同的外部條件下，可以獲得與其本身興趣愛好、歷史記錄等相匹配的推薦。推薦算法概述不同的推薦方法1基于人口統(tǒng)計(jì)學(xué)的推薦Demographic-basedmendation2基于內(nèi)容的推薦Content-based

mendation3基于協(xié)同過濾的推薦Collaborative

Filtering-basedmendation4混合型推薦方式Hybrid

mendation推薦算法概述基于人口統(tǒng)計(jì)學(xué)的推薦主要思想一個(gè)用戶可能會(huì)喜歡與其相似的用戶所喜歡的東西。實(shí)施方法記錄每一用戶的性別、年齡、活躍時(shí)間等元數(shù)據(jù)。當(dāng)我們需要對(duì)一個(gè)用戶進(jìn)行個(gè)性化推薦時(shí)，利用元數(shù)據(jù)計(jì)算與其他用戶之間的相似度，并選出最相似的幾個(gè)用戶，進(jìn)而利用這些用戶的購買記錄進(jìn)行推薦。優(yōu)點(diǎn)計(jì)算簡(jiǎn)單。缺點(diǎn)可信度較低。即便是性別、年齡

等源數(shù)據(jù)屬性相同的用戶，也可

能在物品上有著截然不同的愛好。基于人口統(tǒng)計(jì)學(xué)的方法在實(shí)際推薦系統(tǒng)中很少作為一個(gè)特點(diǎn)的方法單獨(dú)使用，而常常與其他方法結(jié)合，利用用戶元數(shù)據(jù)對(duì)推薦結(jié)果進(jìn)行進(jìn)一步的優(yōu)化。推薦算法概述基于內(nèi)容的推薦主要思想一個(gè)用戶可能會(huì)喜歡和他曾經(jīng)喜歡過的物品相似的物品。用戶畫像一種簡(jiǎn)單的推薦方法是，考慮該用戶曾經(jīng)購買或?yàn)g覽過的所有物品，并將這些物品的內(nèi)容信息加權(quán)整合作為對(duì)應(yīng)用戶的畫像。然后計(jì)算用戶畫像和其他物品之間的相似度。推薦算法概述基于內(nèi)容的推薦優(yōu)點(diǎn)很好地解決了新物品的冷啟動(dòng)問題。推薦結(jié)果有較好的可解釋性。推薦算法概述基于內(nèi)容的推薦優(yōu)點(diǎn)很好地解決了新物品的冷啟動(dòng)問題。推薦結(jié)果有較好的可解釋性。缺點(diǎn)為了得到物品的特征，系統(tǒng)需要復(fù)雜的模塊甚至手工的方法來對(duì)物品信息進(jìn)行預(yù)處理。很難發(fā)現(xiàn)用戶并不熟悉但是具有潛在興趣的物品。推薦算法概述基于協(xié)同過濾的推薦基于協(xié)同過濾的推薦技術(shù)是推薦系統(tǒng)中應(yīng)用最早和最為成功的技術(shù)之一。它一般采用最近鄰技術(shù)，利用用戶的歷史喜好信息計(jì)算用戶對(duì)特定商品的喜好程度，從而根據(jù)這一喜好程度對(duì)目標(biāo)用戶進(jìn)行推薦。推薦算法概述混合型推薦方式各有優(yōu)缺點(diǎn)由于各種推薦方法都有優(yōu)缺點(diǎn)，所以在實(shí)際應(yīng)用中，組合推薦經(jīng)常被采用。一個(gè)例子研究和應(yīng)用最多的是基于內(nèi)容的推薦和協(xié)同過濾推薦的組合。最簡(jiǎn)單的做法就是分別基于內(nèi)容和方法和基于協(xié)同過濾的方法產(chǎn)生一個(gè)預(yù)測(cè)解決，然后用某種方法組合其結(jié)果?；趦?nèi)容的推薦協(xié)同過濾推薦目錄為什么需要推薦系統(tǒng)推薦算法概述基于協(xié)同過濾的算法推薦方法的組合推薦系統(tǒng)的評(píng)價(jià)12345基于協(xié)同過濾的算法基于用戶的協(xié)同過濾基本思想用戶可能喜歡和他具有相似愛好的用戶所喜歡的物品。推薦過程對(duì)于特定用戶A，當(dāng)我們找到和他相似的用戶，我們便把他們購買的物品推薦給用戶A。這個(gè)方法的核心是如何量化用戶之間的相似度?；谟脩舻膮f(xié)同過濾用戶對(duì)商品的評(píng)分我們采用一定的策略獲取用戶對(duì)商品的評(píng)分。如用戶瀏覽一個(gè)商品，則分?jǐn)?shù)+0.1；當(dāng)他購買了這件商品，則分?jǐn)?shù)+1。計(jì)算用戶相似度使用???

?

?10,7,2,4,0?

作為用戶00001的特征，???

?

?8,7,8,5,8?作為用戶00002的特征?；趨f(xié)同過濾的算法基于用戶的協(xié)同過濾計(jì)算用戶相似度使用???

?

?10,7,2,4,0?

作為用戶00001的特征，???

?

?8,7,8,5,8?作為用戶00002的特征。這里使用余弦相似度。那么用戶00001和用戶00002的相似度為基于協(xié)同過濾的算法基于用戶的協(xié)同過濾基于用戶帶來的問題·算法擴(kuò)展性· 隨著用戶數(shù)量的增加，其時(shí)間代價(jià)也顯著增長(zhǎng)。·數(shù)據(jù)稀疏性· 往往用戶所購買的不到一個(gè)商城所有物品的1%，因此用戶之間的相似性可能不準(zhǔn)確。因此，研究人員提出了基于物品的協(xié)同過濾?；趨f(xié)同過濾的算法基于物品的協(xié)同過濾基本思想基本思想與基于內(nèi)容的推薦相似，都是計(jì)算物品之間的相似性。但兩者計(jì)算的角度不同。在基于物品的方法中，兩個(gè)物品之間的相似性是由購買二者的用戶群體之間的相似度決定的。讓我們舉個(gè)例子說明一下?；趨f(xié)同過濾的算法基于物品的協(xié)同過濾物品間的相似性右表表示一個(gè)系統(tǒng)中用戶的消費(fèi)情況。如第一行表示用戶A購買了物品a,b,d。基于協(xié)同過濾的算法用戶物品Aa,

b,

dBb,

c,

eCc,

dDb,

c,

dEa,

d基于物品的協(xié)同過濾物品間的相似性右表表示一個(gè)系統(tǒng)中用戶的消費(fèi)情況。如第一行表示用戶A購買了物品a,b,d。為計(jì)算物品之間的相似性，我們重新組織一下表格?；趨f(xié)同過濾的算法基于物品的協(xié)同過濾物品間的相似性使用???

?

?1,0,0,0,1?作為物品a的特征，???

?

?1,1,0,1,0?作為物品b特征。仍使用余弦相似度。那么物品a和物品b的相似度為基于協(xié)同過濾的算法基于物品的協(xié)同過濾相似性的調(diào)整有些物品的銷售量比較多，也就是平均評(píng)分比較高。這導(dǎo)致了這些物品與其他物品的相似度會(huì)偏高。在計(jì)算相似性之前，我們將表中所有評(píng)分減去所在列的均值，使得每列的和為0?；趨f(xié)同過濾的算法基于物品的協(xié)同過濾相似性的調(diào)整用???

?

?0.6,

?0.4,

?0.4,

?0.4,0.6?作為物品a的特征，???

??0.4,0.4,

?0.6,0.4,

?0.6?作為物品b特征。那么物品a和物品b調(diào)整后的相似度為基于協(xié)同過濾的算法基于物品的協(xié)同過濾預(yù)測(cè)用戶是否喜歡某物品得到物品之間的相似度后，我們使用加權(quán)和的方法，計(jì)算用戶對(duì)他未購買的物品的喜好程度。例如，用戶A對(duì)物品b的喜好程度基于協(xié)同過濾的算法當(dāng)喜好程度fond???,???大于設(shè)定的閾值時(shí)，我們就將物品c推薦給用戶A?；趨f(xié)同過濾的算法基于物品的協(xié)同過濾缺點(diǎn)計(jì)算簡(jiǎn)單，容易實(shí)現(xiàn)實(shí)時(shí)響應(yīng)。物品被評(píng)分的變化往往比用戶的變化低的多，因此物品相似度的計(jì)算一般可以采取離線完成、定期更新的方式，從而減少了線上計(jì)算?？山忉屝员容^好?；谖锲返耐扑]方法很容易讓用戶理解為什么推薦了某個(gè)商品。基于協(xié)同過濾的算法基于物品的協(xié)同過濾缺點(diǎn)以物品為基礎(chǔ)的信息過濾系統(tǒng)較少考慮用戶之間的差別，因此精度與基于用戶的方法往往稍微遜色一些。除此之外，數(shù)據(jù)稀疏性和冷啟動(dòng)仍有待解決。?；趨f(xié)同過濾的算法基于用戶的方法往往時(shí)在線計(jì)算量大，難以實(shí)時(shí)響應(yīng)。用戶數(shù)量大大超過物品數(shù)量對(duì)于一個(gè)用戶數(shù)量大大超過物品數(shù)量且物品數(shù)量相對(duì)穩(wěn)定的應(yīng)用，一般而言基于物品的方法從性能和復(fù)雜度上都比基于用戶的方法更優(yōu)。這是因?yàn)槲锲废嗨贫鹊挠?jì)算不但計(jì)算量小，而且不必頻繁更新。物品數(shù)量巨大且頻繁更新而對(duì)于諸如新聞、博客或者微內(nèi)容等物品數(shù)量巨大且頻繁更新的應(yīng)用，基于用戶的方法往往更具優(yōu)勢(shì)。基于用戶與基于物品的對(duì)比計(jì)算復(fù)雜性基于用戶的方法基于物品的方法OR基于協(xié)同過濾的算法適用場(chǎng)景非社交網(wǎng)站內(nèi)容之間的內(nèi)在聯(lián)系是非社交網(wǎng)站中很重要的推薦原則，往往比基于相似用戶的推薦原則更加有效。如果向用戶推薦圖書并解釋某個(gè)與該用戶有相似興趣的人也購買了被推薦的圖書，是很難讓目標(biāo)用戶信服的，因?yàn)樵撚脩舾静徽J(rèn)識(shí)那個(gè)

“有相似興趣的”用戶；但如果解釋為被推薦的圖書與用戶之前看過的圖書相似，則更容易被用戶接受，因?yàn)橛脩敉鶎?duì)自己的歷史行為記錄是非常熟悉和認(rèn)可的?；谟脩襞c基于物品的對(duì)比社交網(wǎng)站相反，在社交性網(wǎng)站中，基于用戶的方法以及相關(guān)的基于用戶網(wǎng)絡(luò)的方法則是更不錯(cuò)的選擇。因?yàn)榛谟脩舻耐扑]方法加上社交網(wǎng)站中社會(huì)網(wǎng)絡(luò)信息，可以大大增加用戶對(duì)推薦解釋的信服度?；趨f(xié)同過濾的算法基于模型的協(xié)同過濾計(jì)算規(guī)模龐大基于用戶和基于物品的方法共有的缺點(diǎn)就是計(jì)算規(guī)模龐大，并難以處理大規(guī)模數(shù)據(jù)量下的實(shí)時(shí)結(jié)果?；谀Ｐ偷膮f(xié)同過濾基于模型的協(xié)同過濾則致力于改進(jìn)該問題，我們首先利用歷史數(shù)據(jù)訓(xùn)練得到一個(gè)模型，然后再用此模型進(jìn)行預(yù)測(cè)。基于協(xié)同過濾的算法基于模型的協(xié)同過濾使用的技術(shù)基于模型的方法廣泛使用的技術(shù)包括語義分析、貝葉斯網(wǎng)絡(luò)、矩陣分解等。思路將用戶屬性和物品屬性的各個(gè)特征作為輸入，以用戶打分作為輸出來擬合模型，或者將打分作為類別轉(zhuǎn)化未一個(gè)多分類器問題。種方式不是基于一些啟發(fā)規(guī)則進(jìn)行預(yù)測(cè)計(jì)算，而是對(duì)于已有數(shù)據(jù)應(yīng)用統(tǒng)計(jì)和機(jī)器學(xué)習(xí)得到的模型進(jìn)行預(yù)測(cè)?；趨f(xié)同過濾的算法基于模型的協(xié)同過濾優(yōu)點(diǎn)·快速響應(yīng)·只要訓(xùn)練出了模型就可以對(duì)新用戶或新物品進(jìn)行實(shí)時(shí)快速計(jì)算?！?zhǔn)確率高·由于可以直接以用戶打分作為優(yōu)化目標(biāo)，往往可以獲得較高的預(yù)測(cè)精度?；趨f(xié)同過濾的算法基于模型的協(xié)同過濾優(yōu)點(diǎn)·快速響應(yīng)·只要訓(xùn)練出了模型就可以對(duì)新用戶或新物品進(jìn)行實(shí)時(shí)快速計(jì)算?！?zhǔn)確率高·由于可以直接以用戶打分作為優(yōu)化目標(biāo)，往往可以獲得較高的預(yù)測(cè)精度。存在的問題其問題在于如何將用戶實(shí)時(shí)或者新增的喜好信息反饋給訓(xùn)練好的模型，從而在系統(tǒng)擴(kuò)展的過程中維持推薦的準(zhǔn)確度，也就是模型的增量訓(xùn)練問題。目錄為什么需要推薦系統(tǒng)推薦算法概述基于協(xié)同過濾的算法推薦方法的組合推薦系統(tǒng)的評(píng)價(jià)12345推薦方法的組合組合方案1.

加權(quán)融合（Weighted）將多種推薦技術(shù)的結(jié)果加權(quán)混合產(chǎn)生推薦。最簡(jiǎn)單的方式是基于感知器的線性混合，首先將協(xié)同過濾的推薦結(jié)果和基于內(nèi)容的推薦結(jié)果賦予相同的權(quán)重值，然后比較用戶對(duì)物品的評(píng)價(jià)與系統(tǒng)的預(yù)測(cè)是否相符，進(jìn)而不斷調(diào)整權(quán)值。2.

變換（Switch）根據(jù)問題背景和實(shí)際情況采取不同的推薦技術(shù)。例如，系統(tǒng)首先使用基于內(nèi)容的推薦技術(shù)，如果不足以產(chǎn)生高可信度的推薦就轉(zhuǎn)而嘗試使用協(xié)同過濾技術(shù)。因?yàn)樾枰槍?duì)各種可能的情況設(shè)計(jì)轉(zhuǎn)換標(biāo)準(zhǔn)，所以這種方法會(huì)增加算法的復(fù)雜度。當(dāng)然這么做的好處是對(duì)各種推薦技術(shù)的優(yōu)點(diǎn)和弱點(diǎn)比較靈敏，可以根據(jù)特定場(chǎng)景充分發(fā)揮不同推薦算法的優(yōu)勢(shì)。推薦方法的組合組合方案3.

混合（Mix）將多種不同的推薦算法混合在一起，其難點(diǎn)是如何進(jìn)行結(jié)果的重排序。4.特征混合（FeatureCombination）將來自不同推薦數(shù)據(jù)源的特征組合起來，由另一種推薦技術(shù)采用。這種方法一般會(huì)將協(xié)同過濾的信息作為增加的特征向量，然后在這增加的數(shù)據(jù)集上采用基于內(nèi)容的推薦技術(shù)。特征組合的混合方式使得系統(tǒng)不再僅僅考慮協(xié)同過濾的數(shù)據(jù)源，所以它降低了用戶對(duì)物品評(píng)分?jǐn)?shù)量的敏感度。相反，它允許系統(tǒng)擁有物品的內(nèi)部相似信息，對(duì)協(xié)同系統(tǒng)是不透明的。推薦方法的組合組合方案5.級(jí)聯(lián)型（Cascade）首先用一種推薦技術(shù)產(chǎn)生一個(gè)較為粗略的候選結(jié)果，在此基礎(chǔ)上使用第二種推薦技術(shù)對(duì)其作出進(jìn)一步精確的推薦。6.特征遞增（Feature

Augmentation）將前一個(gè)推薦方法的輸出作為后一個(gè)推薦方法的輸入。它與級(jí)聯(lián)型的不同支出在于，這種方法上一級(jí)產(chǎn)生的并不是直接的推薦結(jié)果，而是為下一級(jí)的推薦提供某些特征。一個(gè)典型的例子是將聚類分析環(huán)節(jié)作為關(guān)聯(lián)規(guī)則挖掘環(huán)節(jié)的預(yù)處理，從而將聚類所提供的類別特征用于關(guān)聯(lián)規(guī)則挖掘。推薦方法的組合組合方案7.元層次混合（Meta-level

Hybrid）將不同的推薦模型在模型層面上進(jìn)行深度的融合，而不僅僅是將一個(gè)