第13章聚類分析本章的學(xué)習(xí)目標(biāo)為：理解聚類分析的使用范圍?熟悉如何使用K均值方法實現(xiàn)聚類分析?熟悉使用程序?qū)崿F(xiàn)聚類分析案例：貸款違約?在監(jiān)督學(xué)習(xí)的章節(jié)中，我們討論過如何用監(jiān)督學(xué)習(xí)的方法對貸款違約進行預(yù)測。使用監(jiān)督學(xué)習(xí)方法的前提是我們需要一些標(biāo)記過的數(shù)據(jù)作為例子以供模型來學(xué)習(xí)。在貸款違約的案例中，作為例子的數(shù)據(jù)中有貸款者的信息，也有貸款是否違約的信息。案例：貸款違約假設(shè)，如表13.1我們沒有貸款是否違約的信息，能否通過貸款者以及貸款特點等數(shù)據(jù)來對貸款的風(fēng)險進行分類呢？表13.1貸款數(shù)據(jù)聚類分析方法：簡介聚類分析（Clustering）是一類對無標(biāo)識數(shù)據(jù)進行分類的無監(jiān)督學(xué)習(xí)方法。例如，如果違約與未違約的人群在我們的特征有著顯著的區(qū)別，那么我們可能有方法通過這些區(qū)別將數(shù)據(jù)分到不同的子集中。聚類分析的目標(biāo)則是使用算法通過我們已有的特征來對數(shù)據(jù)進行分類。在貸款違約的例子中，我們需要將數(shù)據(jù)分成兩個聚類（即違約人群和未違約人群）。但是在其他應(yīng)用中，我們可能需要對數(shù)據(jù)區(qū)分到更多的聚類中。聚類分析方法：K均值法

圖13.1：聚類分析聚類分析方法：K均值法???均值方法中的??表示的是聚類的數(shù)量。如果我們需要將數(shù)據(jù)分到違約與不違約的兩類中，那么??=2。而圖13.1中的數(shù)據(jù)則適合將??設(shè)為3

圖13.1：聚類分析K均值法：定義首先我們需要定義什么是好的分類。通常來說，好的分類可以令每個分類中數(shù)據(jù)的差別最小化。因為我們的數(shù)據(jù)中沒有標(biāo)簽??變量。因此，我們只能通過特征變量??來定義數(shù)據(jù)中的差別。最常用的定義方法數(shù)據(jù)點之間距離的兩個數(shù)據(jù)之間的平方歐幾里德距離。兩個數(shù)據(jù)點??(??)，??(??)的距離定義如下：

K均值法：定義

K均值法：算法流程以下算法可以讓我們很快的找到較好的分類又不至于消耗太多的計算資源：

?將所有數(shù)據(jù)點隨機分到??個聚類中重復(fù)?以下步驟，直到分類停止變化：?對于每個聚類??，計算出聚類??的中心點，即：?將每個數(shù)據(jù)點重新分類，每個數(shù)據(jù)點的新分類為與其擁有最近中心點的聚類

K均值法：步驟?圖13.2展示的是??均值聚類方法的步驟。

圖13.2：K聚類分析步驟K均值法：步驟在第一步，聚類明顯有嚴(yán)重的問題。許多相鄰的數(shù)據(jù)點被分到兩個不同的子集中，同時許多相隔很遠的數(shù)據(jù)被分到了同一個子集中。這是因為起始的分類是隨機的。接下來的每一步中，分類質(zhì)量都在不斷提高。同時，每個聚類的中心點（如三角形所示）也慢慢分離

K均值法：缺點?K均值方法能夠在無標(biāo)簽的情況下為我們提供快速且有效數(shù)據(jù)分類的算法。但該算法也有許多短板：在許多數(shù)據(jù)中，子集的分類不會像我們生成的數(shù)據(jù)那樣明顯。我們用K均值方法只能達到局部最好的分類，而不是整體最好的分類。分類的效果隨著我們隨機初始化的取值不同而變化。因此，我們最好進行多次隨機初始化并進行分類，并選取多次分類中效果最好的一個。

K均值法：缺點該方法對我們每個特征變量的方差特別敏感。最好在分類前先將方差進行縮放。這樣不同特征的距離更具有可比性。?K均值方法需要我們首先確定聚類的數(shù)量??。在很多問題中，我們需要多少聚類并不是特別明確。在圖13.3中，我們選擇了??=5而不是3。因此許多貌似應(yīng)屬于同一類的數(shù)據(jù)被強行分到了兩個不同的子集里。在這種情況下，我們可以考慮另一種聚類方法（層次聚類）。

K均值法：缺點圖13.3：錯誤的K值圖13.3展示了選擇錯誤K值的分類結(jié)果。K均值法：程序代碼?我們使用貸款違約數(shù)據(jù)為例。在本例子中，我們不使用之前在監(jiān)督學(xué)習(xí)章節(jié)中的目標(biāo)變量isDefault（即貸款違約變量）。我們試圖僅僅使用四個特征變量對數(shù)據(jù)進行聚類。最后，我們檢驗聚類的結(jié)果是否能給我們提供一些有用的信息?！?/p>

K均值法：程序代碼導(dǎo)入庫使用pandas存儲數(shù)據(jù)。導(dǎo)入sklearn.preprocessing庫中的StandardScaler類，用于數(shù)據(jù)標(biāo)準(zhǔn)化。導(dǎo)入sklearn.cluster模塊中的KMeans類，用于數(shù)據(jù)聚類分析。

K均值法：程序代碼數(shù)據(jù)讀取及處理讀取名為’train_sample_small.csv’的CSV文件中的數(shù)據(jù)，并將其存儲在train_sample變量中。定義一個特征列表fea_cols，包含四個特征名稱’employmentYear’,‘homeOwnership’,‘a(chǎn)nnualIncome’,‘dti’

K均值法：程序代碼數(shù)據(jù)讀取及處理使用中位數(shù)來填補缺失值

K均值法：程序代碼數(shù)據(jù)讀取及處理創(chuàng)建一個StandardScaler對象，用于對數(shù)據(jù)進行標(biāo)準(zhǔn)化處理使用scaler的fit方法計算數(shù)據(jù)集train_sample的平均值和標(biāo)準(zhǔn)偏差

K均值法：程序代碼數(shù)據(jù)讀取及處理使用transform方法對train_sample中的特征數(shù)據(jù)進行標(biāo)準(zhǔn)化處理（處理后的特征都是平均值為0，標(biāo)準(zhǔn)方差為1）將標(biāo)準(zhǔn)化處理后的數(shù)據(jù)train_x_standardized轉(zhuǎn)化為DataFrame格式，并將結(jié)果存儲train_x_standardized中，同時定義列名為特征列表fea_cols

K均值法：程序代碼數(shù)據(jù)讀取及處理從原始數(shù)據(jù)中選擇fea_cols中定義的列，用于后續(xù)的聚類分析。

K均值法：程序代碼進行KMeans聚類分析創(chuàng)建KMeans對象用于聚類分析，設(shè)置聚類數(shù)為2，隨機狀態(tài)為0。?使用特征變量對kmeans進行訓(xùn)練，并將結(jié)果添加到原始DataFrame中作為新的列‘cluster’，表示每個樣本的聚類標(biāo)簽。K均值法：程序代碼進行KMeans聚類分析?對聚類后的數(shù)據(jù)進行分組，計算每組的‘isDefault’列的平均值，并生成新的DataFrame顯示聚類結(jié)果。K均值法：程序代碼?結(jié)果分析我們要求程序根據(jù)四個特征（‘employmentYear’,‘homeOwnership’,‘a(chǎn)nnualIncome’,‘dti’），對樣本進行了聚類。因為我們沒有使用目標(biāo)變量isDefault（是否違約），因此這一過程是無監(jiān)督學(xué)習(xí)。但是我們的聚類同樣含有isDefault的信息。我們檢驗聚類結(jié)果中貸款違約的概率。

K均值法：程序代碼?結(jié)果分析?不難發(fā)現(xiàn)，編號1的聚類中違約率基本為0。而編號為0的聚類樣本的違約率是0.21?？梢姡m然在模型訓(xùn)練的過程中，我們沒有可供學(xué)習(xí)的樣本，無監(jiān)督學(xué)習(xí)仍然可以幫助我們得到有用的信息。

聚類分析：習(xí)題?請闡述K均值分析方法與K