5.3.2關(guān)聯(lián)分析《數(shù)據(jù)與計算》P113-118數(shù)據(jù)的特征探索系統(tǒng)日志采集法網(wǎng)絡(luò)數(shù)據(jù)采集法（網(wǎng)絡(luò)爬蟲）其他數(shù)據(jù)采集法數(shù)據(jù)分析的步驟1.概念：分析并發(fā)現(xiàn)存在于大量數(shù)據(jù)之間的關(guān)聯(lián)性或相關(guān)性，從而描述一個事物中某些屬性同時出現(xiàn)的規(guī)律和模式。2.常見案例：價格和年齡之間的關(guān)系：個性化推薦購買相關(guān)商品之間的關(guān)系：捆綁銷售3.常用的算法：aprior算法（關(guān)聯(lián)規(guī)則挖掘算法）一、關(guān)聯(lián)分析2.常見案例：捆綁銷售一、關(guān)聯(lián)分析3.關(guān)聯(lián)分析的基本算法及流程圖掃描數(shù)據(jù)，并統(tǒng)計數(shù)據(jù)出現(xiàn)的頻率次數(shù)構(gòu)建候選項集C1計算支持度：數(shù)據(jù)出現(xiàn)的頻率次數(shù)/總數(shù)形成頻繁項集L1：篩選候選項集C1，要求支持度不小于最小支持度連接頻繁項集L1，生成候選項集C2重復步驟③-⑤，得到最大的頻繁項集一、關(guān)聯(lián)分析掃描數(shù)據(jù)庫，統(tǒng)計數(shù)據(jù)出現(xiàn)的頻率次數(shù)構(gòu)建候選項集Cn支持度>最小支持度形成頻繁項集Ln開始結(jié)束是否計算支持度：頻率次數(shù)/總數(shù)構(gòu)建候選項集Cn+1Aprioir-Gen運算掃描數(shù)據(jù)庫統(tǒng)計數(shù)據(jù)出現(xiàn)的頻率次數(shù)4.案例分析一、關(guān)聯(lián)分析原始數(shù)據(jù)集：[面包，牛奶],[面包，尿布，啤酒，雞蛋][牛奶，尿布，啤酒，可樂][面包，牛奶，尿布，啤酒][面包，牛奶，尿布，可樂]掃描數(shù)據(jù)庫，統(tǒng)計每種食物出現(xiàn)的次數(shù)候選項集C1食物數(shù)目牛奶4面包4尿布4啤酒3雞蛋1可樂24.案例分析一、關(guān)聯(lián)分析支持度大于2的頻繁項集L1候選項集C1食物數(shù)目牛奶4面包4尿布4啤酒3雞蛋1可樂2頻繁項集L1食物數(shù)目牛奶4面包4尿布4啤酒3候選項集C2食物組合牛奶、面包牛奶、尿布牛奶、啤酒面包、尿布面包、啤酒尿布、啤酒根據(jù)算法，生成候選項集C24.案例分析一、關(guān)聯(lián)分析原始數(shù)據(jù)集：[面包，牛奶],[面包，尿布，啤酒，雞蛋][牛奶，尿布，啤酒，可樂][面包，牛奶，尿布，啤酒][面包，牛奶，尿布，可樂]掃描數(shù)據(jù)庫，統(tǒng)計候選項集C2食物組合出現(xiàn)的次數(shù)候選項集C2食物組合[牛奶、面包][牛奶、尿布][牛奶、啤酒][面包、尿布][面包、啤酒][尿布、啤酒]候選項集C2食物組合數(shù)目[牛奶、面包]3[牛奶、尿布]3[牛奶、啤酒]2[面包、尿布]3[面包、啤酒]2[尿布、啤酒]34.案例分析一、關(guān)聯(lián)分析候選項集C2食物組合數(shù)目[牛奶、面包]3[牛奶、尿布]3[牛奶、啤酒]2[面包、尿布]3[面包、啤酒]2[尿布、啤酒]3支持度大于2的頻繁項集L2頻繁項集L2食物組合數(shù)目[牛奶、面包]3[牛奶、尿布]3[面包、尿布]3[尿布、啤酒]3候選項集C3食物組合[牛奶、面包、尿布][牛奶、面包、啤酒][牛奶、尿布、啤酒][面包、尿布、啤酒]根據(jù)算法，生成候選項集C34.案例分析一、關(guān)聯(lián)分析根據(jù)算法，生成候選項集C3候選項集C3食物組合[牛奶、面包、尿布][牛奶、面包、啤酒][牛奶、尿布、啤酒][面包、尿布、啤酒]候選項集C3食物組合數(shù)目[牛奶、面包、尿布]2[牛奶、面包、啤酒]1[牛奶、尿布、啤酒]2[面包、尿布、啤酒]2原始數(shù)據(jù)集：[面包，牛奶],[面包，尿布，啤酒，雞蛋][牛奶，尿布，啤酒，可樂][面包，牛奶，尿布，啤酒][面包，牛奶，尿布，可樂]掃描數(shù)據(jù)庫，統(tǒng)計候選項集C3食物組合出現(xiàn)的次數(shù)4.案例分析一、關(guān)聯(lián)分析候選項集C3食物組合數(shù)目[牛奶、面包、尿布]2[牛奶、尿布、啤酒]1[牛奶、尿布、啤酒]2[面包、尿布、啤酒]2根據(jù)計算和篩選，得到最終的頻繁項集最終的頻繁項集食物組合[牛奶、面包、尿布]原始數(shù)據(jù)集：[面包，牛奶],[面包，尿布，啤酒，雞蛋][牛奶，尿布，啤酒，可樂][面包，牛奶，尿布，啤酒][面包，牛奶，尿布，可樂]4.案例分析support（支持度）

兩個商品被同時購買發(fā)生的概率confidence（置信度）B商品被購買的情況下，A商品被購買的概率P(A|B)=P(AB)/P(B)例如：同時買牛奶、面包的概率為買了牛奶后，買面包的概率為P(A|B)=P(AB)/P(B)=(3/5)/(4/5)=3/4一、關(guān)聯(lián)分析原始數(shù)據(jù)集：[面包，牛奶],[面包，尿布，啤酒，雞蛋][牛奶，尿布，啤酒，可樂][面包，牛奶，尿布，啤酒][面包，牛奶，尿布，可樂]P(AB)=3/5二、課堂小結(jié)關(guān)聯(lián)分析概念數(shù)據(jù)之間的關(guān)聯(lián)性或相關(guān)性描述一個事物中某些屬性同時出現(xiàn)的規(guī)律和模式。算法aprior算法候選項集頻繁項集支持度置信度應用價格和年齡之間的關(guān)系：個性推送購買相關(guān)商品之間的關(guān)系：捆綁銷售三、課堂練習1.某超市曾經(jīng)研究銷售數(shù)據(jù)，發(fā)現(xiàn)購買方便面的顧客購買火腿腸、鹵蛋等商品的概率很大，進而調(diào)整商品擺放位置。這種數(shù)據(jù)分析方法是（ ）A.聚類分析 B.分類分析 C.關(guān)聯(lián)分析 D.回歸分析2.下列有關(guān)數(shù)據(jù)關(guān)聯(lián)分析的說法正確的是()A.對數(shù)據(jù)進行預處理，發(fā)現(xiàn)和處理缺失值，異常數(shù)據(jù)、繪制直方圖，觀察數(shù)據(jù)分布的特征，求最大值、最小值、極差等描述性統(tǒng)計量。B.分析發(fā)現(xiàn)存在于大量數(shù)據(jù)之間的關(guān)聯(lián)性和相關(guān)性，從而描述一個事物的共同規(guī)律和模式。C.是一種探索性的分析。不必事先給出一個分類標準，而是讓其自動分類。D.是數(shù)據(jù)分析中最基本的方法。先基于樣本數(shù)據(jù)構(gòu)建分類器,然后進行預測。CA訂單商品1商品2商品3商品4訂單1ace

訂單2bd

訂單3bc

訂單4abcd訂單5ab

訂單6bc

訂單7ab

訂單8abce訂單9abc

訂單10ace

【實踐操作】假設(shè)購買商品A的有100人，購買商品B的有80人，購買商品C的有50人，同時購買商品A和商品B的有70人，同時購買商