1、機器學(xué)習(xí)算法day03_協(xié)同過濾推薦算法及應(yīng)用課程大綱協(xié)同過濾推薦算法原理協(xié)同過濾推薦算法概述協(xié)同過濾推薦算法思想?yún)f(xié)同過濾推薦算法分析協(xié)同過濾推薦算法要點協(xié)同過濾推薦算法實現(xiàn)協(xié)同過濾推薦算法案例案例需求數(shù)據(jù)規(guī)整參數(shù)設(shè)定用Scikili機器學(xué)習(xí)算法庫實現(xiàn)算法檢驗實現(xiàn)推薦協(xié)同過濾推薦算法補充計算距離的數(shù)學(xué)公式協(xié)同過濾算法常見問題課程目標(biāo)：1、 理解協(xié)同過濾算法的核心思想2、 理解協(xié)同過濾算法的代碼實現(xiàn)3、 掌握協(xié)同過濾算法的應(yīng)用步驟：數(shù)據(jù)處理、建模、運算和結(jié)果判定1. CF協(xié)同過濾推薦算法原理1.1 概述什么是協(xié)同過濾 (Collaborative Filtering, 簡稱 CF)？首先想一個簡

2、單的問題，如果你現(xiàn)在想看個電影，但你不知道具體看哪部，你會怎么做？大部分的人會問問周圍的朋友，看看最近有什么好看的電影推薦，而我們一般更傾向于從口味比較類似的朋友那里得到推薦。這就是協(xié)同過濾的核心思想。協(xié)同過濾算法又分為基于用戶的協(xié)同過濾算法和基于物品的協(xié)同過濾算法1.2 案例需求如下數(shù)據(jù)是各用戶對各文檔的偏好：用戶/文檔文檔A文檔B文檔C文檔D用戶A推薦？推薦？用戶B用戶C用戶D現(xiàn)在需要基于上述數(shù)據(jù)，給A用戶推薦一篇文檔1.3 算法分析1.3.1 基于用戶相似度的分析直覺分析：“用戶A/B”都喜歡物品A和物品B，從而“用戶A/B”的口味最為相近因此，為“用戶A”推薦物品時可參考“用戶B”的偏

3、好，從而推薦D這種就是基于用戶的協(xié)同過濾算法UserCF指導(dǎo)思想1.3.2 基于物品相似度的分析直覺分析：物品組合(A,D)被同時偏好出現(xiàn)的次數(shù)最多，因而可以認(rèn)為A/D兩件物品的相似其實BD組合出現(xiàn)次數(shù)也最多真實的推薦應(yīng)該根據(jù)A用戶的A文檔推薦結(jié)果匯總B文檔推薦結(jié)果，然后評分取前N名度最高，從而，可以為選擇了A物品的用戶推薦D物品這種就是基于物品的協(xié)同過濾算法ItemCF指導(dǎo)思想1.4 算法要點1.4.1、指導(dǎo)思想這種過濾算法的有效性基礎(chǔ)在于： 1、用戶偏好具有相似性，即用戶可分類。這種分類的特征越明顯，推薦準(zhǔn)確率越高 2、物品之間具有相似性，即偏好某物品的人，都很可能也同時偏好另一件相似物品

4、1.4.2、兩種CF算法適用的場景什么情況下使用哪種算法推薦效果會更好？不同環(huán)境下這兩種理論的有效性也不同，應(yīng)用時需做相應(yīng)調(diào)整。a. 如豆瓣上的文藝作品，用戶對其的偏好程度與用戶自身的品位關(guān)聯(lián)性較強；適合UserCFb. 而對于電子商務(wù)網(wǎng)站來說，商品之間的內(nèi)在聯(lián)系對用戶的購買行為影響更為顯著。1.5 算法實現(xiàn)總的來說，要實現(xiàn)協(xié)同過濾，需要一下幾個步驟：1 收集用戶偏好2 找到相似的用戶或物品3 計算推薦1.5.1 收集用戶偏好用戶有很多方式向系統(tǒng)提供自己的偏好信息，而且不同的應(yīng)用也可能大不相同，下面舉例進行介紹：用戶行為類型特征作用評分顯式整數(shù)量化值0,n可以得到精確偏好投票顯式布爾量化值0|

5、1可以得到精確偏好轉(zhuǎn)發(fā)顯式布爾量化值0|1可以得到精確偏好保存書簽顯式布爾量化值0|1可以得到精確偏好標(biāo)記書簽Tag顯式一些單詞需要進一步分析得到偏好評論顯式一些文字需要進一步分析得到偏好點擊流隱式一組點擊記錄需要進一步分析得到偏好頁面停留時間隱式一組時間信息噪音偏大，不好利用購買隱式布爾量化值0|1可以得到精確偏好1.5.2 原始偏好數(shù)據(jù)的預(yù)處理v 用戶行為識別/組合在一般應(yīng)用中，我們提取的用戶行為一般都多于一種，關(guān)于如何組合這些不同的用戶行為，比如，可以將用戶行為分為“查看”和“購買”等等，然后基于不同的行為，計算不同的用戶 / 物品相似度。類似于當(dāng)當(dāng)網(wǎng)或者京東給出的“購買了該圖書的人還購

6、買了 .”，“查看了圖書的人還查看了 .”v 喜好程度加權(quán)根據(jù)不同行為反映用戶喜好的程度將它們進行加權(quán)，得到用戶對于物品的總體喜好。一般來說，顯式的用戶反饋比隱式的權(quán)值大，但比較稀疏，畢竟進行顯示反饋的用戶是少數(shù)；同時相對于“查看”，“購買”行為反映用戶喜好的程度更大，但這也因應(yīng)用而異。v 數(shù)據(jù)減噪和歸一化。1 減噪：用戶行為數(shù)據(jù)是用戶在使用應(yīng)用過程中產(chǎn)生的，它可能存在大量的噪音和用戶的誤操作，我們可以通過經(jīng)典的數(shù)據(jù)挖掘算法過濾掉行為數(shù)據(jù)中的噪音，這樣可以是我們的分析更加精確。2 歸一化：如前面講到的，在計算用戶對物品的喜好程度時，可能需要對不同的行為數(shù)據(jù)進行加權(quán)。但可以想象，不同行為的數(shù)據(jù)取

7、值可能相差很大，比如，用戶的查看數(shù)據(jù)必然比購買數(shù)據(jù)大的多，如何將各個行為的數(shù)據(jù)統(tǒng)一在一個相同的取值范圍中，從而使得加權(quán)求和得到的總體喜好更加精確，就需要我們進行歸一化處理。最簡單的歸一化處理，就是將各類數(shù)據(jù)除以此類中的最大值，以保證歸一化后的數(shù)據(jù)取值在 0,1 范圍中。v 形成用戶偏好矩陣一般是二維矩陣，一維是用戶列表，另一維是物品列表，值是用戶對物品的偏好，一般是 0,1 或者 -1, 1 的浮點數(shù)值。1.5.3 找到相似用戶或物品當(dāng)已經(jīng)對用戶行為進行分析得到用戶喜好后，我們可以根據(jù)用戶喜好計算相似用戶和物品，然后基于相似用戶或者物品進行推薦，這就是最典型的 CF 的兩個分支：基于用戶的 C

8、F 和基于物品的 CF。這兩種方法都需要計算相似度，下面我們先看看最基本的幾種計算相似度的方法。1.5.4 相似度的計算相似度的計算，現(xiàn)有的幾種基本方法都是基于向量（Vector）的，其實也就是計算兩個向量的距離，距離越近相似度越大。在推薦的場景中，在用戶 - 物品偏好的二維矩陣中，我們可以將一個用戶對所有物品的偏好作為一個向量來計算用戶之間的相似度，或者將所有用戶對某個物品的偏好作為一個向量來計算物品之間的相似度。CF的常用方法有三種，分別是歐式距離法、皮爾遜相關(guān)系數(shù)法、余弦相似度法。為了測試算法，給出以下簡單的用好偏好數(shù)據(jù)矩陣：行表示三名用戶，列表示三個品牌，對品牌的喜愛度按照15增加。用

9、戶蘋果小米魅族zhangsan552Lisi354wangwu125（1） 歐氏距離法就是計算每兩個點的距離，比如Nike和Sony的相似度。數(shù)值越小，表示相似度越高。def OsDistance(vector1, vector2): sqDiffVector = vector1-vector2 sqDiffVector=sqDiffVector*2 sqDistances = sqDiffVector.sum() distance = sqDistances*0.5 return distance（2）皮爾遜相關(guān)系數(shù)兩個變量之間的相關(guān)系數(shù)越高，從一個變量去預(yù)測另一個變量的精確度就越高，這是因

10、為相關(guān)系數(shù)越高，就意味著這兩個變量的共變部分越多，所以從其中一個變量的變化就可越多地獲知另一個變量的變化。如果兩個變量之間的相關(guān)系數(shù)為1或-1，那么你完全可由變量X去獲知變量Y的值。 當(dāng)相關(guān)系數(shù)為0時，X和Y兩變量無關(guān)系。 當(dāng)X的值增大，Y也增大，正相關(guān)關(guān)系，相關(guān)系數(shù)在0.00與1.00之間 當(dāng)X的值減小，Y也減小，正相關(guān)關(guān)系，相關(guān)系數(shù)在0.00與1.00之間 當(dāng)X的值增大，Y減小，負(fù)相關(guān)關(guān)系，相關(guān)系數(shù)在-1.00與0.00之間 當(dāng)X的值減小，Y增大，負(fù)相關(guān)關(guān)系，相關(guān)系數(shù)在-1.00與0.00之間相關(guān)系數(shù)的絕對值越大，相關(guān)性越強，相關(guān)系數(shù)越接近于1和-1，相關(guān)度越強，相關(guān)系數(shù)越接近于0，相關(guān)度

11、越弱。在python中用函數(shù)corrcoef實現(xiàn)，具體方法見參考資料（3）余弦相似度通過測量兩個向量內(nèi)積空間的夾角的余弦值來度量它們之間的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1;并且其最小值是-1。從而兩個向量之間的角度的余弦值確定兩個向量是否大致指向相同的方向。兩個向量有相同的指向時，余弦相似度的值為1；兩個向量夾角為90時，余弦相似度的值為0；兩個向量指向完全相反的方向時，余弦相似度的值為-1。在比較過程中，向量的規(guī)模大小不予考慮，僅僅考慮到向量的指向方向。余弦相似度通常用于兩個向量的夾角小于90之內(nèi)，因此余弦相似度的值為0到1之間。 def cosSim(inA,i

12、nB): num = float(inA.T*inB) denom = la.norm(inA)*la.norm(inB) return 0.5+0.5*(num/denom)注：本課程的實戰(zhàn)案例基于皮爾遜相關(guān)系數(shù)法實現(xiàn)1.5.3 計算推薦UserCF基于用戶相似度的推薦計算推薦的過程其實就是KNN算法的計算過程ItemCF基于物品相似度的推薦算法思路1. 構(gòu)建物品的同現(xiàn)矩陣2. 構(gòu)建用戶對物品的評分矩陣3. 通過矩陣計算得出推薦結(jié)果推薦結(jié)果=用戶評分矩陣*同現(xiàn)矩陣實質(zhì)：計算各種物品組合的出現(xiàn)次數(shù)2. CF協(xié)同過濾算法Python實戰(zhàn)2.1 電影推薦需求根據(jù)一個用戶對電影評分的數(shù)據(jù)集來實現(xiàn)基于

13、用戶相似度的協(xié)同過濾算法推薦，相似度的算法采用皮爾遜相關(guān)系數(shù)法數(shù)據(jù)樣例如下：用戶ID：電影ID：評分：時間1:1193:5:1:661:3:1:914:3:1:3408:4:1:2355:5:1:1197:3:1:1287:5:1:2804:5:1:594:4:1:919:4:2.2 算法實現(xiàn)本案例使用的數(shù)據(jù)分析包為pandas，Numpy和matplotlib2.2.1 數(shù)據(jù)規(guī)整首先將評分?jǐn)?shù)據(jù)從ratings.dat中讀出到一個DataFrame 里： import pandas as pd from pandas import Series,DataFrame rnames = user_

14、id,movie_id,rating,timestamp ratings = pd.read_table(rratings.dat,sep=:,header=None,names=rnames) ratings:3 user_id movie_id rating timestamp0 1 1193 5 1 1 661 3 2 1 914 3 3 rows x 4 columnsratings 表中對我們有用的僅是 user_id、movie_id 和 rating 這三列，因此我們將這三列取出，放到一個以 user 為行，movie 為列，rating 為值的表 data 里面。 data =

15、 ratings.pivot(index=user_id,columns=movie_id,values=rating) #形成一個透視表 data:5可以看到這個表相當(dāng)?shù)孟∈瑁畛渎蚀蠹s只有 5%，接下來要實現(xiàn)推薦的第一步是計算 user 之間的相關(guān)系數(shù)2.2.2 相關(guān)度測算DataFrame對象有一個很親切的方法：.corr(method=pearson, min_periods=1) 方法，可以對所有列互相計算相關(guān)系數(shù)。其中：method默認(rèn)為皮爾遜相關(guān)系數(shù)，min_periods參數(shù)，這個參數(shù)的作用是設(shè)定計算相關(guān)系數(shù)時的最小樣本量，低于此值的一對列將不進行運算。這個值的取舍關(guān)系到相關(guān)系

16、數(shù)計算的準(zhǔn)確性，因此有必要先來確定一下這個參數(shù)。2.2.3 min_periods 參數(shù)測定測定這樣一個參數(shù)的基本方法:v 統(tǒng)計在 min_periods 取不同值時，相關(guān)系數(shù)的標(biāo)準(zhǔn)差大小，越小越好；但同時又要考慮到，我們的樣本空間十分稀疏，min_periods 定得太高會導(dǎo)致出來的結(jié)果集太小，所以只能選定一個折中的值。這里我們測定評分系統(tǒng)標(biāo)準(zhǔn)差的方法為：v 在 data中挑選一對重疊評分最多的用戶，用他們之間的相關(guān)系數(shù)的標(biāo)準(zhǔn)差去對整體標(biāo)準(zhǔn)差做點估計。在此前提下對這一對用戶在不同樣本量下的相關(guān)系數(shù)進行統(tǒng)計，觀察其標(biāo)準(zhǔn)差變化。首先，要找出重疊評分最多的一對用戶。我們新建一個以 user 為行列

17、的方陣 foo，然后挨個填充不同用戶間重疊評分的個數(shù)： foo = DataFrame(np.empty(len(data.index),len(data.index),dtype=int),index=data.index,columns=data.index)#print(empt.shape): (6040, 6040) for i in foo.index: for j in foo.columns: foo.ixi,j = data.ixidata.ixj.notnull().dropna().count()這段代碼特別費時間，因為最后一行語句要執(zhí)行 4000*4000 = 1600

18、萬遍；找到的最大值所對應(yīng)的行列分別為 424 和 4169，這兩位用戶之間的重疊評分?jǐn)?shù)為 998： for i in foo.index: foo.ixi,i=0 #先把對角線的值設(shè)為 0 ser = Series(np.zeros(len(foo.index) for i in foo.index: seri=fooi.max() #計算每行中的最大值 ser.idxmax() #返回ser的最大值所在的行號4169 ser4169 #取得最大值998 foofoo=9984169.dropna() #取得另一個 user_id424 4169Name: user_id, dtype: fl

19、oat64把 424 和 4169 的評分?jǐn)?shù)據(jù)單獨拿出來，放到一個名為 test 的表里，另外計算了一下這兩個用戶之間的相關(guān)系數(shù)為 0.456，還算不錯，另外通過柱狀圖了解一下他倆的評分分布情況： data.ix4169.corr(data.ix424)0. test = data.reindex(424,4169,columns=data.ix4169data.ix424.notnull().dropna().index) testmovie_id 2 6 10 11 12 17 .424 4 4 4 4 1 5 .4169 3 4 4 4 2 5 . test.ix424.value_co

20、unts(sort=False).plot(kind=bar) test.ix4169.value_counts(sort=False).plot(kind=bar)對這倆用戶的相關(guān)系數(shù)統(tǒng)計，我們分別隨機抽取 20、50、100、200、500 和 998 個樣本值，各抽 20 次。并統(tǒng)計結(jié)果： periods_test = DataFrame(np.zeros(20,7),columns=10,20,50,100,200,500,998) for i in periods_test.index: for j in periods_test.columns: sample = test.rei

21、ndex(columns=np.random.permutation(test.columns):j) periods_test.ixi,j = sample.iloc0.corr(sample.iloc1) periods_test:5 10 20 50 100 200 500 9980 -0. 0. 0. 0. 0. 0. 0.1 0. 0. 0. 0. 0. 0. 0.2 0. 0. 0. 0. 0. 0. 0.3 0. 0. 0. 0. 0. 0. 0.4 0. 0. 0. 0. 0. 0. 0. 5 rows x 7 columns periods_test.describe() 1

22、0 20 50 100 200 500 #998略count 20. 20. 20. 20. 20. 20. mean 0. 0. 0. 0. 0. 0. std 0. 0. 0. 0. 0. 0. min -0. 0. 0. 0. 0. 0. 25% 0. 0. 0. 0. 0. 0. 50% 0. 0. 0. 0. 0. 0. 75% 0. 0. 0. 0. 0. 0. max 0. 0. 0. 0. 0. 0. 8 rows x 7 columns從 std 這一行來看，理想的 min_periods 參數(shù)值應(yīng)當(dāng)為 200 左右(標(biāo)準(zhǔn)差和均值、極值最接近)。2.2.3 算法檢驗為了確認(rèn)在

23、 min_periods=200 下本推薦算法的靠譜程度，最好還是先做個檢驗。具體方法為：在評價數(shù)大于 200 的用戶中隨機抽取 1000 位用戶，每人隨機提取一個評價另存到一個數(shù)組里，并在數(shù)據(jù)表中刪除這個評價。然后基于閹割過的數(shù)據(jù)表計算被提取出的 1000 個評分的期望值，最后與真實評價數(shù)組進行相關(guān)性比較，看結(jié)果如何。 check_size = 1000 check = check_data = data.copy() #復(fù)制一份 data 用于檢驗，以免篡改原數(shù)據(jù) check_data = check_data.ixcheck_data.count(axis=1)200 #濾除評價數(shù)小于2

24、00的用戶 for user in np.random.permutation(check_data.index): movie = np.random.permutation(check_data.ixuser.dropna().index)0 check(user,movie) = check_data.ixuser,movie check_data.ixuser,movie = np.nan check_size -= 1 if not check_size: break corr = check_data.T.corr(min_periods=200) corr_clean = cor

25、r.dropna(how=all) corr_clean = corr_clean.dropna(axis=1,how=all) #刪除全空的行和列 check_ser = Series(check) #這里是被提取出來的 1000 個真實評分 check_ser:5(15, 593) 4(23, 555) 3(33, 3363) 4(36, 2355) 5(53, 3605) 4dtype: float64接下來要基于corr_clean 給 check_ser 中的 1000 個用戶-影片對計算評分期望。計算方法為：對與用戶相關(guān)系數(shù)大于 0.1 的其他用戶評分進行加權(quán)平均，權(quán)值為相關(guān)系數(shù)

26、result = Series(np.nan,index=check_ser.index) for user,movie in result.index: #這個循環(huán)看著很亂，實際內(nèi)容就是加權(quán)平均而已 prediction = if user in corr_clean.index: corr_set = corr_cleanusercorr_cleanuser0.1.dropna() #僅限大于 0.1 的用戶 else:continue for other in corr_set.index: if not np.isnan(data.ixother,movie) and other !=

27、 user:#注意bool(np.nan)=True prediction.append(data.ixother,movie,corr_setother) if prediction: result(user,movie) = sum(value*weight for value,weight in prediction)/sum(pair1 for pair in prediction) result.dropna(inplace=True) len(result)#隨機抽取的 1000 個用戶中也有被 min_periods=200 刷掉的862 result:5(23, 555) 3.

28、(33, 3363) 4.(36, 2355) 3.(53, 3605) 2.(62, 1488) 2.dtype: float64 result.corr(check_ser.reindex(result.index)0.9696 (result-check_ser.reindex(result.index).abs().describe()#推薦期望與實際評價之差的絕對值count 862.mean 0.std 0.min 0.25% 0.50% 0.75% 1.max 3.dtype: float64862 的樣本量能達到 0.436 的相關(guān)系數(shù)，應(yīng)該說結(jié)果還不錯。如果一開始沒有濾掉評價

29、數(shù)小于 200 的用戶的話，那么首先在計算 corr 時會明顯感覺時間變長，其次 result 中的樣本量會很小，大約 200+個。但因為樣本量變小的緣故，相關(guān)系數(shù)可以提升到 0.50.6 。另外從期望與實際評價的差的絕對值的統(tǒng)計量上看，數(shù)據(jù)也比較理想。2.2.4 實現(xiàn)推薦在上面的檢驗，尤其是平均加權(quán)的部分做完后，推薦的實現(xiàn)就沒有什么新東西了。首先在原始未閹割的 data 數(shù)據(jù)上重做一份 corr 表： corr = data.T.corr(min_periods=200) corr_clean = corr.dropna(how=all) corr_clean = corr_clean.dr

30、opna(axis=1,how=all)我們在 corr_clean 中隨機挑選一位用戶為他做一個推薦列表： lucky = np.random.permutation(corr_clean.index)0 gift = data.ixlucky gift = giftgift.isnull() #現(xiàn)在 gift 是一個全空的序列最后的任務(wù)就是填充這個 gift： corr_lucky = corr_cleanlucky.drop(lucky)#lucky 與其他用戶的相關(guān)系數(shù) Series，不包含 lucky 自身 corr_lucky = corr_luckycorr_lucky0.1.d

31、ropna() #篩選相關(guān)系數(shù)大于 0.1 的用戶 for movie in gift.index: #遍歷所有l(wèi)ucky沒看過的電影 prediction = for other in corr_lucky.index: #遍歷所有與lucky 相關(guān)系數(shù)大于 0.1 的用戶 if not np.isnan(data.ixother,movie): prediction.append(data.ixother,movie,corr_cleanluckyother) if prediction: giftmovie = sum(value*weight for value,weight in p

32、rediction)/sum(pair1 for pair in prediction) gift.dropna().order(ascending=False) #將 gift 的非空元素按降序排列movie_id3245 5.2930 5.2830 5.2569 5.1795 5.981 5.696 5.682 5.666 5.572 5.1420 5.3338 4.669 4.214 4.3410 4.2833 12777 12039 11773 11720 11692 11538 11430 11311 11164 1843 1660 1634 1591 156 1Name: 3945, Length: 2991, dtype: float643、 CF協(xié)同過濾算法補充3.1、計算距離的數(shù)學(xué)公式歐幾里德距離（Euclidean Distance）最初用于計算歐幾里德空間中兩個點的距離，假設(shè) x，y 是 n 維空間的兩個點，它們之間的歐幾里德距離是：可以看出，當(dāng) n=2 時，歐幾里德距離就是平面上兩個點的距離。當(dāng)用歐幾里德距離表示相似度，一般采用以下公式進行轉(zhuǎn)換：距離越小，相似度越大皮爾遜相關(guān)系數(shù)（Pearson Correlatio