《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》?精品課件合集《Python數(shù)據(jù)挖掘?qū)崙?zhàn)》

第八章聚類分析二、

K-means算法

一、聚類的基本原理主要內(nèi)容三、聚類算法的性能評價指標四、DBSCAN算法

五、GMM聚類算法4一、聚類的基本原理

聚類（clustering)是將數(shù)據(jù)集劃分或者識別為若干個有意義的簇的過程，是一種典型的無監(jiān)督數(shù)據(jù)挖掘方法。

目標是：簇內(nèi)的數(shù)據(jù)對象之間更相似（或相關的），而不同簇的數(shù)據(jù)對象之間更不相似（不相關的），即：“高的簇內(nèi)相似性，低的簇間相似性”簇間相似性小簇內(nèi)相似性大一、聚類的基本原理聚類算法具有廣泛行業(yè)應用，例如：市場營銷生物信息學工程規(guī)劃土地使用地震研究一、聚類的基本原理總體上，聚類算法大體上可以分成以下幾類：基于劃分的方法：如k-means算法、k-medoids算法、

CLARANS算法等基于層次的方法：如AGNES算法、DIANA算法、BIRCH算法等基于密度的方法：如DBSCAN算法、OPTICS算法、DPC算法等基于網(wǎng)格的方法：如STING算法、CLIQUE算法等基于模型的方法：如GMM算法、AP算法等。二、K-means算法

k-means是聚類分析中最經(jīng)典、應用最廣泛的一種基于劃分的聚類算法。二、K-means算法kmeans算法在Blobs數(shù)據(jù)集上聚類過程地示意圖：二、K-means算法

二、K-means算法迭代過程中SSE值的變化情況：二、K-means算法參數(shù)k的選取方法k-means算法需要事先確定簇的數(shù)量，也即，參數(shù)k。過大或過小的k值均不能獲得高質(zhì)量的聚類結(jié)果。

常用的方法：（1）使用快速聚類方法估計簇的數(shù)量

（2）

基于SSE值的肘部法SSE（誤差平方和）的計算公式：二、K-means算法思考：取不同k值時的SSE值的變化？

二、K-means算法肘部法的原理：

SSE值隨著k值的變化曲線呈現(xiàn)一個手肘的形狀，如下圖所示，而這個肘部位置對應的k值是對實際聚類簇數(shù)的理想的估計。這也是該方法被稱為“肘部法”的原因。二、K-means算法

初始質(zhì)心的選擇對聚類結(jié)果有很大的影響。一旦初值選擇不合適，可能使得聚類過程變得緩慢，甚至無法得到正確的聚類結(jié)果初始質(zhì)心的選擇問題二、K-means算法

初始質(zhì)心的選擇方法：

（1）多次運行k-means，選擇SSE值最低的聚類結(jié)果

（2）使用特殊規(guī)則選擇初始質(zhì)心例如kmeans++算法選擇初始質(zhì)心時采用了質(zhì)心應該彼此盡量遠離的原則。(3)使用預先設定的初始質(zhì)心二、K-means算法

在scikit-learn的cluster模塊中提供了Kmeans類。創(chuàng)建一個k-means聚類模型的典型過程如下（假設預置的簇數(shù)量為4）：model=KMeans(n_clusters=4)它的主要參數(shù)包括：K-means的實現(xiàn)方法二、K-means算法

對于由200個對象組成的Blobs(二維)數(shù)據(jù)集，使用k-means算法將它聚類成4個簇。二、K-means算法K-means算法的代碼實現(xiàn):代碼部分1：二、K-means算法代碼部分2：二、K-means算法代碼部分3：二、K-means算法

K-means是一種應用非常廣泛的聚類算法，其主要優(yōu)點有：（1）原理簡單、收斂速度快（2）伸縮性好，能處理大規(guī)模數(shù)據(jù)（3）聚類效果較好，特別是針對球形簇或者凸簇的聚類效果好。k-means的優(yōu)缺點分析K-means算法也存在一些明顯的缺點：（1）在非凸簇上的聚類效果不好（2）當簇大小差異顯著時簇聚類效果不好

(3)對于含噪聲的數(shù)據(jù)集聚類效果不好二、K-means算法k-means的優(yōu)缺點分析

三、聚類算法的性能評價指標

評價聚類結(jié)果的準則是：簇內(nèi)（Inter-cluster）越緊密、簇間（Intra-cluster）越分離越好。

誤差平方和（SSE）可以用來評價聚類結(jié)果的質(zhì)量，但是它只度量了簇的內(nèi)聚性，并且只適合球型簇或者凸簇。

根據(jù)評價時是否已知數(shù)據(jù)集的實際簇劃分結(jié)果，評價指標可以分為：1.內(nèi)部度量指標2.外部度量指標

三、聚類算法的性能評價指標

內(nèi)部度量指標

三、聚類算法的性能評價指標

三、聚類算法的性能評價指標

三、聚類算法的性能評價指標外部度量指標

三、聚類算法的性能評價指標外部度量指標

三、聚類算法的性能評價指標

三、聚類算法的性能評價指標

四、DBSCAN算法

四、DBSCAN算法

四、DBSCAN算法

四、DBSCAN算法

四、DBSCAN算法DBSCAN算法識別一個簇的過程是：從某個核心點出發(fā)，獲得密度相連的最大數(shù)據(jù)對象集合，組成一個聚類簇。

并且，它能夠自動確定簇的數(shù)量。

算法步驟為：

四、DBSCAN算法

使用scikit-learn的cluster模塊提供的DBSCAN類，可以輕松創(chuàng)建一個DBSCAN聚類模型。典型的方法如下：model=DBSCAN(eps=0.2,min_samples=4)它的主要參數(shù)如下：DBSCAN的實現(xiàn)

四、DBSCAN算法

四、DBSCAN算法實現(xiàn)代碼：

代碼部分1：

四、DBSCAN算法代碼部分2：

四、DBSCAN算法代碼部分3：

四、DBSCAN算法DBSCAN算法的聚類結(jié)果：

五、GMM聚類算法高斯混合模型（GaussianMixtureModel,GMM）假設每一個簇都是由一個指定參數(shù)的高斯分布所生成，整個數(shù)據(jù)集是由多個高斯分布混合而成。GMM聚類模型通過估計出每一個高斯分布的參數(shù)和混合系數(shù)，從而明確地給出生成數(shù)據(jù)集的概率密度函數(shù)。因此，GMM能夠顯式地估計出數(shù)據(jù)集的分布模型，是一種基于概率的生成式聚類算法。

五、GMM聚類算法

五、GMM聚類算法

五、GMM聚類算法

采用EM（ExpectationMaximization,期望最大化）算法進行迭代地優(yōu)化求解。

五、GMM聚類算法GMM算法步驟：

五、GMM聚類算法和K-means的比較

觀察GMM算法的步驟，可以發(fā)現(xiàn)它和K-means的算法步驟有類似之處，它們都需要事先指定簇的數(shù)量K，都是迭代地將數(shù)據(jù)劃分到不同的簇，然后更新每個簇的均值。實際上，有一些學者將K-means算法看成GMM算法的特殊情況。但是，GMM算法遠比K-means復雜。（1）GMM是基于概率的模型，能夠估計出數(shù)據(jù)對象屬于每一個簇的概率，而不是簡單地依據(jù)距離來劃分數(shù)據(jù)。（2）GMM通過特定參數(shù)的高斯分布去描述一個簇，簇的形狀可以是橢圓形，而不像K-means那樣只擅長識別球形的簇，因而適用范圍更廣。（3）GMM能估計出數(shù)據(jù)集的概率密度函數(shù)，因而還能生成同分布的新數(shù)據(jù)，因而是一種生成式模型。

五、GMM聚類算法GMM的實現(xiàn)使用Scikit-learn的mixture模塊中GaussianMixture類，可以輕松創(chuàng)建一個GMM聚類模型，它的主要類參數(shù)、屬性和函數(shù)如下。

五、GMM聚類算法創(chuàng)建一個GMM聚類模型的典型過程如下： model=GaussianMixture(n_components=3, covariance_type='full',random_state=12)獲得GMM聚類算法對數(shù)據(jù)集的聚類結(jié)果的操作語句如下： y_pred=model.fit_predict(X)

五、GMM聚類算法GMM聚類算法實現(xiàn)對圖8-2所示的Blobs數(shù)據(jù)集的聚類結(jié)果：(見代碼8-4)

五、GMM聚類算法輪廓系數(shù)為0.553，AMI為0.828GMM算法是一種基于概率的生成式聚類算法，它的優(yōu)點包括：（1）聚類結(jié)果可以表示為數(shù)據(jù)對象屬于某一個簇的概率，結(jié)果更具可解釋性。Ga