1、 實(shí)習(xí)生：王漪 指導(dǎo)導(dǎo)師：趙昕實(shí)習(xí)工作總結(jié)匯報(bào)目錄2/23 一、當(dāng)數(shù)據(jù)遇上挖掘 二、文本分類流程 三、相關(guān)算法 四、遇到的困難及解決辦法 五、數(shù)據(jù)挖掘利器 -3/23一、數(shù)據(jù)挖掘解決四類問題-分類4/23描述 -分類問題屬于預(yù)測(cè)性的問題 -預(yù)測(cè)結(jié)果是類別（類別A、B或C），而不是數(shù)字 應(yīng)用 -電信行業(yè)：根據(jù)客戶基本信息，預(yù)測(cè)他會(huì)不會(huì)離網(wǎng) -銀行業(yè)：某客戶的信用度是好/一般/差，是否批準(zhǔn)其貸款請(qǐng)求 -。 -郵件應(yīng)用：垃圾郵件過濾及郵件自動(dòng)分類 -網(wǎng)頁自動(dòng)分類：基于網(wǎng)頁內(nèi)容分類 -。二、數(shù)據(jù)挖掘解決的四類問題-聚類5/23描述 -把一群對(duì)象劃分為若干組 -不屬于預(yù)測(cè)問題 -分類與聚類的區(qū)別應(yīng)用 -

2、客戶細(xì)分：選擇客戶消費(fèi)行為習(xí)慣的若干指標(biāo)對(duì)用戶群進(jìn)行劃分： 特征相似的用戶聚為一類，特征相似度低的聚在不同類。 三、數(shù)據(jù)挖掘解決的四類問題-關(guān)聯(lián)6/23描述 -從大量數(shù)據(jù)中挖掘出數(shù)據(jù)項(xiàng)之間相互聯(lián)系的有價(jià)值的知識(shí)。 -一群用戶購買了很多產(chǎn)品，哪些產(chǎn)品同時(shí)購買的幾率比較高？ 買了A產(chǎn)品的同時(shí)買哪個(gè)產(chǎn)品的幾率比較高？ 應(yīng)用 - 典型的應(yīng)用：購物籃分析（啤酒與尿布） 四、數(shù)據(jù)挖掘解決的四類問題-預(yù)測(cè)7/23描述 -狹義的預(yù)測(cè)，不包括之前的分類問題 -主要指預(yù)測(cè)變量的取值為連續(xù)數(shù)值型數(shù)據(jù) -e.g. 天氣預(yù)報(bào)預(yù)測(cè)氣溫、預(yù)計(jì)下一年度GDP增長(zhǎng)率、電信運(yùn)營(yíng)商預(yù)測(cè)收入等解決方法-回歸 -Y=aX1+bX2+n

3、Xn - 一元回歸 線性回歸 多元回歸 非線性回歸 -邏輯回歸（Logistic回歸）8 -9/23步驟概述10/23 python文本預(yù)處理12/23分詞 特征選擇&加權(quán) -降維：提高分類準(zhǔn)確率；提高運(yùn)行速度語義映射 文本-詞頻矩陣Document Term Matrix -13/23一、分類算法（1）決策樹KNN（最近鄰）SVM（支持向量機(jī)）14/23一、分類算法（2）線性可分線性不可分15/23一、分類算法（3）-優(yōu)缺點(diǎn)及適用情況決策樹 -由于詞條數(shù)量大，決策樹很龐大，不易生成。KNN -缺點(diǎn)：k值需要自己設(shè)定，不能自適應(yīng)調(diào)整，需要大量實(shí)驗(yàn)。 -樣本分布不均衡時(shí)，影響分類精度SVM -優(yōu)點(diǎn)：不容易過擬合 -最終決策函數(shù)依賴于少量支持向量，與樣本空間維數(shù)無關(guān)，避免了維數(shù)災(zāi)難。16/23二、其它算法聚類k-means -算法： 1.選擇k個(gè)點(diǎn)作為初始質(zhì)心； 2. 將每個(gè)點(diǎn)指派到最近的質(zhì)心； 3.重新計(jì)算每個(gè)簇的質(zhì)心； 4.重復(fù)2-3直至質(zhì)心不發(fā)生變化。關(guān)聯(lián)規(guī)則Apriori -事務(wù)transaction -項(xiàng)集I=網(wǎng)球拍，網(wǎng)球，運(yùn)動(dòng)鞋，羽毛球 -求頻繁二項(xiàng)集網(wǎng)球拍，網(wǎng)球的支持度與置信度-apriori算法 -支持度 -置信度17/23 -18/17一、特征選擇VS特征加權(quán)特征選擇特征加權(quán) （10，3，4，20，5） （10，20，