南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 1 目 錄 摘要 . 1 關(guān)鍵詞 . 1 . 1 . 1 一、 . 2 （一）、數(shù)據(jù)預(yù)處理 . 2 （二）、模式發(fā)現(xiàn) . 4 （三）、模式分析 . 5 二、關(guān)聯(lián)分析 . 5 （一）關(guān)聯(lián)規(guī)則 . 5 （二） 法簡(jiǎn)介 . 7 四、實(shí)證分析 . 8 （一）數(shù)據(jù)預(yù)處理 . 8 （二）模式發(fā)現(xiàn) . 9 （三） 模式分析 . 10 五、個(gè)性化推薦 . 11 六 、結(jié)束語(yǔ) . 12 參考文獻(xiàn) . 13 附錄 . 15 南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 2 基于 關(guān)聯(lián) 分析 的 志挖掘 摘要 :志挖掘是 據(jù)挖掘中的一個(gè)重要組成部分，通過從 問日志中發(fā)現(xiàn)用戶的訪問模式，預(yù)測(cè)用戶的瀏覽行為。 本文主要介紹了 利用該方法對(duì)某網(wǎng)站某天的部分 得 出了用戶瀏覽模式及網(wǎng)頁(yè)內(nèi)容之間的關(guān)聯(lián)規(guī)則， 找到單個(gè)用戶在瀏覽頁(yè)面興趣愛好以及群體用戶的瀏覽習(xí)慣， 繼而對(duì)網(wǎng)站的網(wǎng)頁(yè)規(guī)劃 布局 提出了 個(gè)性化 的意見 。 關(guān)鍵詞 :關(guān)聯(lián)分析 ;實(shí)證分析 n is an of s in eb s eb at we to a s to It of a we on 京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 3 隨著 據(jù)信息已經(jīng)在這個(gè)時(shí)代爆炸了。但是，我們又不得不面對(duì)“人們被數(shù)據(jù)淹沒 ,人們卻饑餓于知識(shí)”的現(xiàn)實(shí)。隨著興起與 20世紀(jì) 80年代末的數(shù)據(jù)挖掘在 某種程度上改善了上述情況。 根據(jù)所挖掘的 據(jù)的類型，可以將 據(jù)挖掘分為以下三類： 容挖掘 ( 構(gòu)挖掘 ( 用挖掘 (也稱為 過對(duì) 現(xiàn)用戶的訪問模式和興趣愛好等有趣、新穎、潛在有用的以及可理解的未知信息和知識(shí)，用于分析站點(diǎn)的使用情況，從而輔助管理和支持決策。當(dāng)前， 進(jìn)系統(tǒng)性能和結(jié)構(gòu)、站點(diǎn)修改、商業(yè)智能以及 一、 現(xiàn)用戶的瀏覽模式 ，更好地規(guī)劃站點(diǎn) 。 下面是一段日志： 20060:00:00 80 / +U；+T+0060426+要包括：訪問時(shí)間； 用戶 訪問的 口 ； 請(qǐng)求方法 (“ “ )； 訪問模式； 用戶使用的操作系統(tǒng)類型和瀏覽器軟件 。 （ 一） 數(shù)據(jù)預(yù)處理 數(shù)據(jù)預(yù)處理是 志挖掘的首要環(huán)節(jié) , 其任務(wù)是將原始日志數(shù)據(jù)轉(zhuǎn)換成適合數(shù)據(jù)挖掘和模式發(fā)現(xiàn)所必需的格式 , 預(yù)處理可以直接簡(jiǎn)化數(shù)據(jù)挖掘過程，使結(jié)果更具客觀性。數(shù)據(jù)預(yù)處理包括數(shù)據(jù)凈化、用戶識(shí)別、會(huì)話識(shí)別、路徑補(bǔ)充四南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 4 個(gè)步驟。 1數(shù)據(jù)凈化 數(shù)據(jù)凈化 , 是指將待處理的日志數(shù)據(jù)導(dǎo)入到關(guān)系數(shù)據(jù)庫(kù) ,刪除 失值等，同時(shí)把與 達(dá)到簡(jiǎn)便運(yùn)算的目的； 用戶識(shí)別 , 是從 免挖掘的重復(fù)性。目前 , 由于本地緩存、代理服務(wù)器和防火墻的存在 , 為用戶動(dòng)態(tài)的分配 址 , 想要識(shí)別出每一個(gè)用戶變得很復(fù)雜?？梢酝ㄟ^以下 3 種方法來識(shí)別用戶 : ( 1) 如果 務(wù)器提供 則具有相同 的頁(yè)面請(qǐng)求是來自同一個(gè)用戶 ; ( 2) 如果 務(wù)器沒有提供 但每個(gè)網(wǎng)站用戶都要一個(gè)登錄標(biāo)識(shí)符 ( 用戶 方可訪問站點(diǎn) , 則利用登錄標(biāo)識(shí)符識(shí)別用戶 ; ( 3) 如果 務(wù)器既沒有 沒有用戶 常用的方法就是采用啟發(fā)式規(guī)則。根據(jù)我們的日志格式采用 兩條啟發(fā)式規(guī)則：不同的 如果 是操作系統(tǒng)類型或者瀏覽器軟件不同我們認(rèn)為是不同的用戶。 會(huì)話 , 是指同一個(gè)用戶連續(xù)請(qǐng)求的頁(yè)面。在跨越時(shí)間區(qū)段較大的 務(wù)器日志中 , 用戶可能多次訪問該站點(diǎn)。會(huì)話識(shí)別的目的是將用戶的所有訪問序列分成單個(gè)的訪問序列。常用的算法有以下幾種 : （ 1） 對(duì)用戶在整個(gè)網(wǎng)站的停留時(shí)間設(shè)一個(gè)閾值 T。如果兩個(gè)相鄰的瀏覽頁(yè)面之間的訪問時(shí)間超過 T, 則認(rèn)為用戶又開始了一個(gè)新的會(huì)話。一般 0 （ 2）對(duì)用戶在一個(gè)頁(yè)面停留時(shí)間設(shè)一個(gè)域 值 t。如果 2 個(gè)連續(xù)請(qǐng)求的時(shí)間南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 5 間隔沒有超過這個(gè)值 t, 則屬于同一會(huì)話。否則 , 分屬于兩個(gè)會(huì)話。 t 一般取 10 （ 3）利用用戶的訪問歷史和引用頁(yè)來劃分。如果一個(gè)用戶的請(qǐng)求不能通過引用頁(yè)的鏈接進(jìn)入 , 則屬于另一個(gè)會(huì)話。 （ 4）最大向前引用算法 ( 。設(shè)一個(gè)用戶會(huì)話里不會(huì)出現(xiàn)用戶以前已經(jīng)訪問過的頁(yè)面 , 如果用戶在向前瀏覽到一個(gè)網(wǎng) 4. 路徑補(bǔ)充 用戶會(huì)話對(duì)數(shù)據(jù)挖掘來講，顯得粗糙，仍不夠精確，需把會(huì)話進(jìn)一步分成具有一定語(yǔ)意的事務(wù)，如同籃子數(shù)據(jù)中顧客一次購(gòu)買的商品?？梢园?容頁(yè)和導(dǎo)航頁(yè)。在編程中采用的區(qū)分導(dǎo)航頁(yè)和內(nèi)容頁(yè)的方法是時(shí)間點(diǎn)法，即設(shè)定一時(shí)間值，實(shí)際中時(shí)間點(diǎn)的取值為 30秒。當(dāng)用戶對(duì)該網(wǎng)頁(yè)訪問的時(shí)間小于時(shí)間點(diǎn)為導(dǎo)航頁(yè)，大于時(shí)間點(diǎn)則為內(nèi)容頁(yè)。用戶對(duì)網(wǎng)頁(yè)的訪問時(shí)間為用戶前后兩次訪問該網(wǎng)頁(yè)的時(shí)間差，通過調(diào)用 而區(qū)分出導(dǎo)航頁(yè)和內(nèi)容頁(yè)。 （ 二 ） 模式發(fā)現(xiàn) 模式發(fā)現(xiàn) , 是對(duì)預(yù)處理后的數(shù)據(jù)用數(shù)據(jù)挖掘算法來分析數(shù)據(jù)。分有統(tǒng)計(jì)、分類、聚類、關(guān)聯(lián)規(guī)則、路徑分析等多種方法。 （ 1）統(tǒng)計(jì)。統(tǒng)計(jì)方法是從 點(diǎn)中抽取知識(shí)的最常用方法 , 它通過分析會(huì)話文件 , 對(duì)瀏覽時(shí)間、瀏覽路徑等進(jìn)行頻度、平均值等統(tǒng)計(jì)分析。雖然缺乏深度 , 但仍可用于改進(jìn)網(wǎng)站結(jié)構(gòu) , 增強(qiáng)系統(tǒng)安全性 , 提高網(wǎng)站訪問的效率等。 （ 2）分類。分類包括的挖掘技術(shù)將找出定義了一個(gè)項(xiàng)或事件是否屬于數(shù)據(jù)中某特定子集或類的規(guī)則。該類技術(shù)是最廣泛應(yīng)用于各類業(yè)務(wù)問題的一類挖掘技術(shù)。分類算法最知名的是決策樹方法，此外還有神經(jīng)元網(wǎng)絡(luò)、 （ 3）聚類。聚類是將數(shù)據(jù)集劃分為多個(gè)類，使得在同一類中的數(shù)據(jù)之間有南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 6 較高的相似度，而在不同類中的數(shù)據(jù)差別盡可能大。在聚類技術(shù)中，沒有預(yù)先定義好的類別和訓(xùn)練樣本存在 ，所有記錄都根據(jù)彼此相似程度來加以歸類。主要算法有 k （ 4） 關(guān)聯(lián)規(guī)則。關(guān)聯(lián)分析的目的是挖掘隱藏在數(shù)據(jù)間的相互關(guān)系，自動(dòng)探測(cè)以前未發(fā)現(xiàn)的隱藏著的模式，關(guān)聯(lián)分析經(jīng)常被表達(dá)為規(guī)則的形式。目前采用的主要關(guān)聯(lián)規(guī)則挖掘算法有 （ 5） 路徑分析。路徑分析可以用來確定網(wǎng)站上的頻繁訪問路徑 , 從而調(diào)整和優(yōu)化網(wǎng)站結(jié)構(gòu) , 使得用戶訪問所需網(wǎng)頁(yè)更加簡(jiǎn)單快捷 , 還可以根據(jù)用戶典型的瀏覽模式用于智能推薦和有針對(duì)性的電子商務(wù)活動(dòng)。 （ 三 ） 模式分析 基于以上的所有過程， 對(duì)原始數(shù)據(jù)進(jìn)行進(jìn)一步分析，找出用戶的瀏覽模式規(guī)律，即用戶的興趣愛好及習(xí)慣，并使其可視化，為網(wǎng)頁(yè)的規(guī)劃及網(wǎng)站建設(shè)的決策提供具體理論依據(jù)。其主要方法有：查詢、 術(shù)和可視化技術(shù) 等 。 二 、關(guān)聯(lián)分析 （一） 關(guān)聯(lián)規(guī)則 顧名思義，關(guān)聯(lián)規(guī)則（ 掘技術(shù)用于于發(fā)現(xiàn)數(shù)據(jù)庫(kù)中屬性之間的有趣聯(lián)系。 設(shè) D 交易 (T 的集合， ,21 ，這里交易 T 是項(xiàng)的集合，可以表述為： , 21 并且 。 T 中的元素 ,2,1 稱為項(xiàng)。對(duì)應(yīng)每一個(gè)交易有唯一的標(biāo)識(shí)，如交易號(hào)，記作 設(shè) ,21 是數(shù)據(jù)集中所有項(xiàng)的集合， I 是二進(jìn)制文字的集合。 I 中的任何子集稱為項(xiàng)目集(若 k|X| ，則稱集合 X 為 K 項(xiàng)集。設(shè) X 分別為 D 中的事務(wù)和項(xiàng)目集，如果 ，稱事務(wù) 含項(xiàng)目 集 X 。項(xiàng)目集 X 的支持率 ) ,南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 7 若 ) 不小于用戶指定的最小支持率 (記作： 則稱 X 為頻繁項(xiàng)目集，否則稱 X 為非頻繁項(xiàng)目集。設(shè) X ， Y 是數(shù)據(jù)集 D 中的項(xiàng)目集。若 ，則 ) s u p p o r t( Ys u p p o r t( X ) ；若 ，如果 X 是非頻繁項(xiàng)目集，則 Y 也是非頻繁項(xiàng)目集；若 ，如果 Y 是頻繁項(xiàng)目集，則 X 也是頻繁項(xiàng)目集。 一個(gè) 關(guān)聯(lián)規(guī)則是形如 的蘊(yùn)涵式，這里 X ， Y 都是項(xiàng)目集，且 1，1Y ，并且 ， X ， Y 分別稱為關(guān)聯(lián)規(guī)則 的前提和結(jié)論。 一般使用支 持度（ 置信度（ 個(gè)參數(shù)來描述關(guān)聯(lián)規(guī)則的屬性。 規(guī)則 在數(shù)據(jù)庫(kù) D 中的支持度 (是交易集中同時(shí)包含 X ， Y 的事務(wù)數(shù)與所有事務(wù)數(shù)之比，記為 Y) po )( 。支持度描述了 X ， Y 這兩個(gè)項(xiàng)集在所有事務(wù)中同時(shí)出現(xiàn)的概率。 2 置信度 規(guī)則 在事務(wù)集中的置信度 (指同時(shí)包含 X ， Y 的事務(wù)數(shù)與包含 X 的事務(wù)數(shù)之比，它用來衡量關(guān)聯(lián)規(guī)則的可信程度。記為 )(s u p/)(s u p)( Xp o r o r o n f i d e n c e 規(guī)則 A C: 支持度 = AC) = 50% 置信度 = AC)/A) = 圖 1:支持度計(jì)算圖解 0 A, B, C 20 A, C 30 A,D 40 B,E,F A 75% B 50% C 50% A,C 50% 南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 8 （二） 993年提出的，它的基本思想是： 首先找出所有具有超出最小支持度的支持度項(xiàng)集，用頻繁的 (k 1)次利用大項(xiàng)集產(chǎn)生所需的規(guī)則； 任何頻繁項(xiàng)集的所有子集一定是頻繁項(xiàng)集是 其核心。 一個(gè)是生成條目集；第二個(gè)是使用生成的條目集創(chuàng)建一組關(guān)聯(lián)規(guī)則。 長(zhǎng)度為 長(zhǎng)度為 頻繁項(xiàng) ; k = 1; =; k+) do k+1 = 由 據(jù)庫(kù)中的事務(wù) t 加包含在 t 中的所有候選 的計(jì)數(shù) = 中滿足 南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 9 圖 2:數(shù)據(jù)庫(kù) 0 A, C, D 20 B, C, E 30 A, B, C, E 40 B, E A 2 B 3 C 3 D 1 E 3 第一次掃描 A 2 B 3 C 3 E 3 二 次掃描 1 2 1 2 3 2 2 2 3 2 三 次掃描 2 2 南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 10 三 、實(shí)證分析 本數(shù)據(jù)來源為某網(wǎng)站某天 的全部 （一） 數(shù)據(jù)預(yù)處理 由于 此選用數(shù)據(jù)庫(kù)作為分析工具 ， 將原始數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù) ，取出前 10000行日志數(shù)據(jù)，處理如下 ： 在缺失值的整行 -刪除，訪問方式除 刪除； 2. 用戶識(shí)別：由于數(shù)據(jù)中不存在 是操作系統(tǒng)類型或者瀏覽器軟件不同的情況， 從而認(rèn)為不同的 路徑補(bǔ)充：用戶會(huì)話被定義為用戶在對(duì)網(wǎng) 站的一次訪問過程中所請(qǐng)求的 某一用戶發(fā)出連續(xù)兩個(gè) 這兩次請(qǐng)求被劃分在同一用戶會(huì)話中，否則分別屬于兩個(gè)不同的用戶會(huì)話，對(duì)與本數(shù)據(jù)， 時(shí)間閾值設(shè)為 30分鐘。 （二） 模式發(fā)現(xiàn) 對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，得出以下描述性統(tǒng)計(jì)： 總用戶數(shù)： 1469 總鏈接數(shù)： 146 /1066; /1056; /052; /010; 南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 11 /73; /63; /54; /53; /53; /29. 2. （ 1）生成數(shù)據(jù)庫(kù)集 從描述性統(tǒng)計(jì)中得到的不同用戶作為數(shù)據(jù)庫(kù)集的行自變量，不同 的鏈接作為列自變量 ；當(dāng)用戶 j，則其對(duì)應(yīng)項(xiàng) 1，否則 0； 設(shè)置相應(yīng)的覆蓋要求， 這樣我們可以同時(shí)得到單項(xiàng)集合 。 （ 2）生成關(guān)聯(lián)規(guī)則 從單項(xiàng)集合中，生成可能的雙項(xiàng)集合規(guī)則，分別計(jì)算置信度。 （ 3）結(jié)果部分 見表 1:關(guān)聯(lián)度計(jì)算結(jié)果表 (三 )模式分析 當(dāng)我們把最小置信度設(shè)為 85%，通過關(guān)聯(lián)規(guī)則的形成以及對(duì)應(yīng)置信度的計(jì)算，我們可以從中得到以下有用的信息： 們可以這樣認(rèn)為，用戶群體在瀏覽 相關(guān)網(wǎng)頁(yè)時(shí)，所呈列的鏈接之間是有很大關(guān)聯(lián)的，他們是用戶群的共同愛好，通過網(wǎng)頁(yè)布局的調(diào)整，從某種意義上，可以帶來更高的點(diǎn)擊率及潛在客戶； 們可以這樣認(rèn)為，用戶群體對(duì)所呈列鏈接之間沒太多的關(guān)聯(lián)，亦或關(guān)聯(lián)規(guī)則中的鏈接在爭(zhēng)奪用戶。 南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 12 表 1:關(guān)聯(lián)度計(jì)算結(jié)果表 關(guān)聯(lián)度 關(guān)聯(lián) 數(shù) 分母 數(shù) 分子 分母 18 130 /18 133 /14 129 /12 128 /12 128 /12 128 /12 129 /12 130 /14 133 /53 179 /09 129 /12 133 /53 182 /09 130 /48 179 /47 178 /47 179 /46 178 /48 181 /46 182 /45 181 /42 178 /45 182 /42 181 /7 181 / （算法詳 見附錄） 南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 13 四 、個(gè)性化推薦 通過以上的關(guān)聯(lián) 分析， 有了用戶頻繁訪問路徑和鏈接之間的興趣度，可以構(gòu)建個(gè)性化推薦系統(tǒng)模型。對(duì)于以上的實(shí)證例子，我們可以在置信度高于最低置信度的相關(guān)鏈接之間，建立某種信息快速互聯(lián)的橋梁， 亦或是在網(wǎng)頁(yè)規(guī)劃中，充分考慮鏈接之間的關(guān)聯(lián)關(guān)系，從而為更人性化、合理化的網(wǎng)頁(yè)設(shè)計(jì)提供決策依據(jù)。如：當(dāng)客戶瀏覽 / 么，在兩者之間就存在很高的關(guān)聯(lián)性，從而我們有必要對(duì)這兩個(gè)鏈接建立某種跟緊密的聯(lián)系。 五 、結(jié)束語(yǔ) 本文 先研究了 紹了 后著重介紹了如何利用 出瀏覽頁(yè)面之間的關(guān)聯(lián)規(guī)則，為個(gè)性化推薦系統(tǒng)模型提供了依據(jù)。 志挖掘作為 今年來已經(jīng)取得了一些突破性的進(jìn)展 , 但是由于 不確定性和多樣性 ,以及 有很多問題亟待解決 , 有待于我們進(jìn)一步去研究和探索。 南京財(cái)經(jīng)大學(xué)本科畢業(yè)論文 14 參考文獻(xiàn) 1 李國(guó)慧 數(shù)據(jù)庫(kù)與信息管理本 ,2008年 1月 12日 2. 王 玉珍 J 2003年 4月 3 張莉 教育與教學(xué)研究 ,2009年 4月第四期 4 蘇晶 中國(guó)新技術(shù)新產(chǎn)品 ,2008 ） 5 葉苗群 寧波工程學(xué)院學(xué)報(bào) ,2005年 6月 6 郭欣 ,許林英 微機(jī)處理 , 2008年 10月 5期 7 據(jù)挖掘教程 M2003版 8. 高哲 ,魏海平 ,王福威 ,趙曉碧 計(jì)算機(jī)工程與設(shè)計(jì) ,2008年 9月 9志挖掘技術(shù)研究，光盤技術(shù)， 2008年第 4期 10劉建東等 J11劉美玲 ,