第12章聚類分析12.1K-Means聚類 12.1.1目標函數(shù) 12.1.2K-Means聚類算法流程 12.1.3K-Means聚類模塊庫代碼 12.1.4Python中基于OpenCV的K-Means聚類12.2FCM聚類 12.2.1FCM聚類目標函數(shù) 12.2.2FCM聚類算法 12.2.3基于Python與OpenCV的FCM聚類12.3SCM聚類 12.3.1

SCM聚類算法 12.3.2SCM聚類工業(yè)應(yīng)用第12章聚類分析

聚類分析是一種無監(jiān)督學(xué)習(xí)，用于對未知類別的樣本進行劃分，將他們按照一定的規(guī)則劃分成若干個類簇，把相似的樣本聚集在同一個類簇中。與有監(jiān)督的分類算法不同，聚類算法沒有訓(xùn)練過程，直接完成對一組樣本的劃分。常用的聚類方法有K-Means聚類、FCM（Fuzzyc-Means）聚類和SCM（SubtractiveClusteringMethod）聚類。

12.1K-Means聚類

K-Means聚類算法由Steinhaus（1955年）、Lloyd（1957年）、Ball&Hall（1965年）、McQueen（1967年）分別在各自不同的領(lǐng)域內(nèi)獨立提出的。盡管K-Means聚類算法被提出有50多年了，但仍是目前應(yīng)用最廣泛的聚類算法之一。12.1.1目標函數(shù)

對于給定的

維數(shù)據(jù)點的數(shù)據(jù)集

，其中

，數(shù)據(jù)子集的數(shù)目是K，K-Means聚類將數(shù)據(jù)對象分為K個劃分，具體劃分為

。每個劃分代表一個類

，每個類

的中心為

。取歐氏距離作為相似性和距離判斷的準則，計算該類各個點到聚類中心

的距離平方和。

（11-1）

（11-2）

聚類的目標是使各類總的距離平方和

最小。12.1.1目標函數(shù)

其中：

K-Means聚類算法從一個初始的K類別劃分開始，然后將各數(shù)據(jù)點指派到各個類別中，以減少總的距離平方和。由于K-Means聚類算法中總的距離平方和隨著類別的個數(shù)K的增加而趨向于減小，當時

，

。因此，總的距離平方和只能在某個確定的類別個數(shù)K下取得最小值。12.1.2K-Means聚類算法流程

K-Means聚類算法的核心思想是把n個數(shù)據(jù)對象劃分為k個聚類，使每個聚類中的數(shù)據(jù)點到該聚類中心的平方和最小。輸入聚類個數(shù)k，數(shù)據(jù)集中的數(shù)據(jù)對象的個數(shù)n。算法如下所示。⑴從n個數(shù)據(jù)對象中任意選取k個對象作為初始的聚類中心種子點；⑵分別計算每個對象到各個聚類中心的距離，把對象分配到距離最近的聚類中心種子群；⑶所有對象分配完成后，重新計算k個聚類的中心；⑷重復(fù)上述步驟（2）至步驟（3）的過程，本周期計算的結(jié)果與上一周期計算得到的各個聚類中心比較，如果聚類中心發(fā)生變化，轉(zhuǎn)至步驟（2），否則轉(zhuǎn)至步驟（5）；⑸輸出聚類中心結(jié)果。12.1.3K-Means聚類模塊庫代碼K-Means聚類在機器學(xué)習(xí)庫Scikit-learn中，相應(yīng)的函數(shù)sklearn.cluster.KMeans。sklearn.cluster.KMeans(n_clusters=8,

init='k-means++',

n_init=10,

max_iter=300,

tol=0.0001,

precompute_distances='auto',

verbose=0,

random_state=None,

copy_x=True,

n_jobs=1,

algorithm='auto')12.1.3K-Means聚類模塊庫代碼sklearn.cluster.KMeans參數(shù)的意義：n_clusters：分類簇的個數(shù)；init:初始簇中心的獲取方法；n_init:獲取初始簇中心的更迭次數(shù)，為了彌補初始質(zhì)心的影響，算法默認會初始10次質(zhì)心，實現(xiàn)算法，然后返回最好的結(jié)果；max_iter:最大迭代次數(shù)（因為kmeans算法的實現(xiàn)需要迭代）；tol:算法收斂的閾值，即kmeans運行準則收斂的條件；precompute_distances：有3種選擇{‘a(chǎn)uto’、‘True’、‘False’}，是否需要提前計算距離，這個參數(shù)會在空間和時間之間做權(quán)衡。如果選擇True，預(yù)12.1.3K-Means聚類模塊庫代碼計算距離，會把整個距離矩陣都放到內(nèi)存中；選擇auto，在數(shù)據(jù)維度featurs*samples的數(shù)量大于12×106時不預(yù)計算距離；如果選擇False，不預(yù)計算距離。verbose：默認是0，不輸出日志信息，值越大，打印的細節(jié)越多；random_state:隨機生成簇中心的狀態(tài)條件，一般默認即可（隨機種子）；copy_x:布爾值，標記是否修改數(shù)據(jù)，主要用于precompute_distances=True的情況。如果True，預(yù)計算距離，不修改原來的數(shù)據(jù)；如果False，預(yù)計算距離，修改原來的數(shù)據(jù)用于節(jié)省內(nèi)存；n_jobs:指定計算所需的進程數(shù)；algorithm：K-Means的實現(xiàn)算法，有：‘a(chǎn)uto’,‘full’,‘elkan’,其中'full’表示用EM方式實現(xiàn)。12.1.3K-Means聚類模塊庫代碼12.1.3K-Means聚類模塊庫代碼12.1.3K-Means聚類模塊庫代碼12.1.4Python中基于OpenCV的K-Means聚類

在OpenCV中，提供了cv2.kmeans()函數(shù)實現(xiàn)K均值聚類，其一般格式為：retval,bestLabels,centers=cv2.kmeans（data，K，bestLabels，criteria,attempts,flags）返回值各參數(shù)的含義：retval：距離值（也稱密度值或緊密度），返回每個點到相應(yīng)中心點距離的平方和；bestLabels：各個數(shù)據(jù)點的最終分類標簽（索引）；centers：每個分類的中心點數(shù)據(jù)。12.1.4Python中基于OpenCV的K-Means聚類函數(shù)體內(nèi)各參數(shù)的含義：data：輸入待處理數(shù)據(jù)集合，每個特征放在單獨的一列中；K：要分出的簇的個數(shù)，即分類的數(shù)目，最常見的是K=2，表示二分類；bestLabels：表示計算之后各個數(shù)據(jù)點的最終分類標簽（索引）。實際調(diào)用時，參數(shù)bestLabels的值設(shè)置為None；

criteria：算法迭代的終止條件。當達到最大循環(huán)數(shù)目或者指定的精度閾值時，算法停止繼續(xù)分類迭代計算。該參數(shù)由3個子參數(shù)構(gòu)成，分別為：type、max_iter和eps，其中max_iter代表最大迭代次數(shù)；eps表示精確度的閾值；type表示終止的類型，分別為：cv2.TERM_CITERIA_EPS（表示精度滿足eps時，停止迭代）,cv2.TERM_CITERIA_MAX_ITER（表示迭代次數(shù)超過閾值max_iter時，停止迭代）和12.1.4Python中基于OpenCV的K-Means聚類cv2.TERM_CITERIA_EPS+cv2.TERM_CITERIA_MAX_ITER（上述兩個條件中的任意一個滿足時，停止迭代）。attempts：在具體實現(xiàn)時，為了獲得最佳分類效果，可能需要使用不同的初始分類值進行多次嘗試，指定attempts的值，可以讓算法使用不同的初始值進行多次嘗試。flags：表示選擇初始中心點的方法，主要有3種，分別為：cv2.KMEANS_RANDOM_CENTERS（表示隨機選取中心點），cv2.KMEANS_PP_CENTERS（表示基于中心化算法選取中心點），cv2.KMEANS_USE_INITIAL_LABELS（表示使用用戶輸入的數(shù)據(jù)作為第一次分類中心點，若果算法需要多次嘗試（attempts值大于1時），后續(xù)嘗試都是使用隨機值或者半隨機值作為第一次分類中心點）。12.1.4Python中基于OpenCV的K-Means聚類12.1.4Python中基于OpenCV的K-Means聚類12.1.4Python中基于OpenCV的K-Means聚類12.1.4Python中基于OpenCV的K-Means聚類12.2FCM聚類Ruspini率先提出了模糊劃分的概念。以此為基礎(chǔ)，模糊聚類理論和方法迅速發(fā)展起來。實際中，最受歡迎的是基于目標函數(shù)的模糊聚類方法，即把聚類歸結(jié)成一個帶有約束的非線性規(guī)劃問題，通過優(yōu)化求解獲得數(shù)據(jù)集的模糊劃分和聚類。在基于目標函數(shù)的聚類算法中模糊c均值（FCM，F(xiàn)uzzyc-Means）類型算法的理論最為完善、應(yīng)用最為廣泛。12.2.1FCM聚類目標函數(shù)Bezdek給出了基于目標函數(shù)模糊聚類的一般描述：

（11-3）其中，表示由c個子集的特征函數(shù)值構(gòu)成的矩陣，m稱為加權(quán)指數(shù)，又稱為平滑參數(shù)。表示樣本與第i類的聚類原型之間的距離度量，如式（11-4）所示。（11-4）其中，A為階的對稱正定矩陣，聚類的準則為取的極小值，如式（11-5）所示。（11-5）12.2.1FCM聚類目標函數(shù)由于矩陣U中各列都是獨立的，因此

（11-6）

式（11-6）采用拉格朗日乘數(shù)法來求解。

（11-7）

最優(yōu)化的一階必要條件為

（11-8）

（11-9）12.2.1FCM聚類目標函數(shù)由式（11-9）得（11-10）使得為最小的值為(11-11）用類似的方法可以獲得

為最小的

的值，令

（11-12）12.2.1FCM聚類目標函數(shù)得到（11-13）（11-14）若數(shù)據(jù)集、聚類類別數(shù)c和權(quán)重m值已知，由式（11-11）和式（11-14）確定最佳模糊分類矩陣和聚類中心。12.2.2FCM聚類算法為了優(yōu)化聚類分析的目標函數(shù)，現(xiàn)在廣泛流行的模糊c均值（FCM，F(xiàn)uzzyc-means）聚類算法得到廣泛使用。該算法從硬c均值（HCM，Hardc-means）聚類算法發(fā)展而來。FCM聚類算法如下所示。初始化：給定聚類類別數(shù)，，是數(shù)據(jù)個數(shù)，設(shè)定迭代停止閾值，初始化聚類原型模式，設(shè)置迭代計數(shù)器 ；步驟一：用式（11-15）計算或更新劃分矩陣：對于，如果，則有

（11-15）12.2.2FCM聚類算法如果使得，則有，且對（11-16）步驟二：使用式（11-17）更新聚類模式矩陣：（11-17）步驟三：如果，則停止計算，輸出矩陣和聚類原型；否則令 ，轉(zhuǎn)至步驟一。12.2.3基于Python與OpenCV的FCM聚類

例12-3在Python中編程實現(xiàn)FCM聚類算法。importnumpyasnpimportmatplotlib.pyplotaspltimporttimestar=time.time()#計時image=plt.imread("D:\Python\pic\smalldog52.jpg")#讀取圖片，存儲在三維數(shù)組中row=image.shape[0]col=image.shape[1]plt.figure(1)#plt.subplot(221)plt.imshow(image)deffcm(data,threshold,k,m):12.2.3基于Python與OpenCV的FCM聚類

#0.初始化data=data.reshape(-1,3)cluster_center=np.zeros([k,3])#簇心distance=np.zeros([k,row*col])#歐氏距離times=0#迭代次數(shù)goal_j=np.array([])#迭代終止條件：目標函數(shù)goal_u=np.array([])#迭代終止條件：隸屬度矩陣元素最大變化量

#1.初始化Uu=np.random.dirichlet(np.ones(k),row*col).T#形狀（k,col*rol），任意一列元素和=1#forsinrange(50):12.2.3基于Python與OpenCV的FCM聚類

while1:times+=1print('循環(huán)：',times)#2.簇心updateforiinrange(k):cluster_center[i]=np.sum((np.tile(u[i]**m,(3,1))).T*data,axis=0)/np.sum(u[i]**m)#update#歐拉距離foriinrange(k):distance[i]=np.sqrt(np.sum((data-np.tile(cluster_center[i],(row*col,1)))**2,axis=1))12.2.3基于Python與OpenCV的FCM聚類

#目標函數(shù)goal_j=np.append(goal_j,np.sum((u**m)*distance**2))#更新隸屬度矩陣oldu=u.copy()#記錄上一次隸屬度矩陣u=np.zeros([k,row*col])foriinrange(k):forjinrange(k):u[i]+=(distance[i]/distance[j])**(2/(m-1))u[i]=1/u[i]goal_u=np.append(goal_u,np.max(u-oldu))#隸屬度元素最大變化量print('隸屬度元素最大變化量',np.max(u-oldu),'目標函數(shù)',np.sum((u**m)*distance**2))12.2.3基于Python與OpenCV的FCM聚類

#判斷：隸屬度矩陣元素最大變化量是否小于閾值ifnp.max(u-oldu)<=threshold:breakreturnu,goal_j,goal_uif__name__=='__main__':img_show,goal1_j,goal2_u=fcm(image,1e-09,5,2)img_show=np.argmax(img_show,axis=0)plt.figure(2)#plt.subplot(223)plt.plot(goal1_j)plt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus']=False12.2.3基于Python與OpenCV的FCM聚類

#plt.title('目標函數(shù)變化曲線')plt.xlabel('迭代次數(shù)')plt.ylabel('目標函數(shù)')plt.figure(3)#plt.subplot(224)plt.plot(goal2_u)#plt.title('隸屬度矩陣相鄰兩次迭代的元素最大變化量變化曲線')plt.xlabel('迭代次數(shù)')plt.ylabel('隸屬度矩陣相鄰兩次迭代的元素最大變化量')plt.figure(4)12.2.3基于Python與OpenCV的FCM聚類

#plt.subplot(222)plt.imshow(img_show.reshape([row,col]))end=time.time()print('用時：',end-star)plt.show()程序運行結(jié)果如圖11-3所示。12.2.3基于Python與OpenCV的FCM聚類

12.3.1SCM聚類算法由于采用FCM聚類方法確定規(guī)則的數(shù)時，需要事先知道聚類中心的個數(shù)。因此，在應(yīng)用上受到很大影響。減法聚類（SCM，Subtractiveclusteringmethod）可以有效克服FCM對初始化敏感及容易陷入局部極值點的缺點，減法聚類是一種密度聚類，將每個數(shù)據(jù)點都作為一個潛在的聚類中心，按照如下步驟來確定：Step1:假定每個數(shù)據(jù)點都是聚類中心的候選者，則數(shù)據(jù)點

處的密度指標定義為

，其中

為樣本數(shù)據(jù)集，

；這里

是一個正數(shù)，定義了該點的一個鄰域，半徑以外的數(shù)據(jù)點對該點的密度指標貢獻非常小，取

；12.3.1SCM聚類算法Step2:計算最大密度值 ，選擇具有最大密度指標的數(shù)據(jù)點為第1個聚類中心，即；Step3:選取

，按照下式修改密度指標：

，

；計算最大密度值

，選擇具有最高密度指標的數(shù)據(jù)點為第2個聚類中心，即

；Step4:重復(fù)Step3，當新聚類中心

對應(yīng)的密度指標

與滿足

時,則聚類過程結(jié)束，否則進入Step3，取

。12.3.2

SCM聚類工業(yè)應(yīng)用基于上述分析，以新型干法水泥熟料生產(chǎn)過程生料分解率目標值設(shè)定為例，如圖11-4所示。

圖11-4易煅燒生料或難煅燒生料智能控制結(jié)構(gòu)簡圖12.3.2

SCM聚類工業(yè)應(yīng)用采用ANFIS建立生料分解率目標值設(shè)定模型。由于采用FCM聚類方法確定規(guī)則數(shù)量時，需要事先知道聚類中心的個數(shù)。因此，在應(yīng)用上受到很大影響。采用減法聚類方法確定隸屬函數(shù)中心及規(guī)則數(shù)量。減法聚類可以有效克服FCM對初始化敏感及容易陷入局部極值點的缺點，結(jié)構(gòu)如圖11-5所示。12.3.2

SCM聚類工業(yè)應(yīng)用

圖11-5基于減法聚類和ANFIS的生料分解率目標值設(shè)定模型12.3.2

SCM聚類工業(yè)應(yīng)用圖11-5中，生料分解率目標值設(shè)定模型由易煅燒生料的生料分解率目標值設(shè)定模型、難煅燒生料的生料分解率目標值設(shè)定模型和切換機制組成。為了描述方便，生料分解率目標值設(shè)定模型中的輸入變量集，簡寫為。圖11-5中，A部分內(nèi)每一個塊和節(jié)點描述如下。在切換機制中，易煅燒性識別模塊通過易煅燒生料游離氧化鈣含量最大值、生料煅燒指數(shù)、難煅燒生料游離氧化鈣含量最大值判斷生料的煅燒性。如果，那么代表易煅燒生料；如果，那么代表難煅燒生料。目標值選擇模塊根據(jù)式（11-18）選擇相應(yīng)的目標值設(shè)定模型。（11-18）

12.3.2

SCM聚類工業(yè)應(yīng)用在A部分的第1層，每個節(jié)點是一個方形，并且可以表示為：

（11-19）一般來說，我們選擇為高斯隸屬函數(shù)，即：

（11-20）式（11-20）中，

是前提參數(shù)，記為

。

，

，

和

分別是隸屬函數(shù)的中心和寬度，隸屬函數(shù)的中心

通過SCM來確定。將上述SCM算法得到的聚類中心

中的元素作為隸屬函數(shù)的中心

。隸屬函數(shù)的寬度

使用式（11-21）確定。

(11-21)其中

和

分別是論域的最小值和最大值，

是數(shù)據(jù)對聚類中心的影響，

12.3.2

SCM聚類工業(yè)應(yīng)用在A部分的第2層，每個節(jié)點是一個圓形，并標記為。使用AND運算符產(chǎn)生第條規(guī)則的激活強度。激活強度如式（11-22）所示：

（11-22）

在A部分的第3層，每個節(jié)點是一個圓形，并標記為N。所有規(guī)則的激活強度均正規(guī)化。這層節(jié)點函數(shù)表示為：

在A部分的第4層，每個節(jié)點

是一個方形，并具有如式（11-23）所示的線性函數(shù)。

（11-23）其中，

是第

條模糊規(guī)則的最終輸出，

是結(jié)論參數(shù)，記為

。12.3.2

SCM聚類工業(yè)應(yīng)用在A部分的第5層，每個節(jié)點是一個圓形，并具有如式（11-24）所示的函數(shù)。

（11-24）同理得出圖11-5中C部分難煅燒生料的生料分解率目標值設(shè)定模型，如式（11-25）所示。

（11-25）其中，

是第

條模糊規(guī)則的最終輸出，并具有如式（11-26）所示的線性函數(shù)。

（11-26）其中

是結(jié)論參數(shù)，記為

。12.3.2

SCM聚類工業(yè)應(yīng)用（1）數(shù)據(jù)描述采用12.3.1節(jié)提出的基于SCM與ANFIS相結(jié)合的生料分解率目標值設(shè)定模型設(shè)定生料分解率目標值。首先將經(jīng)過數(shù)據(jù)預(yù)處理的300組數(shù)據(jù)作為離線訓(xùn)練數(shù)據(jù)， ，用來確定模型參數(shù)，其中表示生料分解率離線化驗值。測試數(shù)據(jù)如表11-1所示。表11-1測試數(shù)據(jù)變量(%)(%)(%)

1組2.3413.723.590.932組2.1213.533.460.893組2.0812.893.280.88……

……300組2.1312.623.310.9112.3.2

SCM聚類工業(yè)應(yīng)用（2）模型參數(shù)選擇根據(jù)本節(jié)的問題描述，首先選擇、和作為模型的輸入變量，和分別作為易煅燒生料和難煅燒生料模型的輸出變量，即易煅燒生料模型和難煅燒生料的模型分別有3個輸入變量，1個輸出變量。，。根據(jù)表11-1可知， 。12.3.2

SCM聚類工業(yè)應(yīng)用（3）實驗結(jié)果與分析表11-1中數(shù)據(jù)經(jīng)過標準化處理后，使用SCM聚類算法，得聚類中心，如表11-2所示。表11-2基于SCM聚類的聚類中心聚類中心

0.32820.72820.3553

-2.70700.2070-1.3716

-0.5050-1.5050-0.5312

-0.3000-0.57000.8617

0.94840.89171.406012.3.2

SCM聚類工業(yè)應(yīng)用根據(jù)表表11-1可以得出式(11-20)中隸屬函數(shù)的中心如表11-2，隸屬函數(shù)寬度按照式(11-21)計算。采用梯度下降法訓(xùn)練網(wǎng)絡(luò)權(quán)值（和）和結(jié)論參數(shù)（和）。利用上述所建立的基于SCM和ANFIS模型，RMSE=0.0117。訓(xùn)練誤差曲線、實際輸出與模型輸出曲線如圖11-6所示，誤差自相關(guān)函數(shù)如圖11-7所示。12.3.2

SCM聚類工業(yè)應(yīng)用

圖11-6訓(xùn)練誤差、生料分解率實際輸出和ANFIS輸出曲線12.3.2

SCM聚類工業(yè)應(yīng)用從測試結(jié)果曲線和誤差自相關(guān)函數(shù)曲線可以看出，生料分解率目標值計算值曲線趨勢正確，且精度較高。圖11-7生料分解率目標值測試誤差自相關(guān)函數(shù)輸出曲線習(xí)題與思考題12-1簡述常用的聚類方法有哪些？他們之間的區(qū)別是什么？12-2簡述K-Means聚類算法的步驟。12-3使用手機拍攝一張圖片，使用函數(shù)cv2.kmeans()將灰度圖像處理為只有兩個灰度級的二值圖像的Python程序。12-4簡述FCM聚類算法的步驟。12-5簡述SCM聚類算法的步驟。第13章隨機配置網(wǎng)絡(luò)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.2魯棒隨機配置網(wǎng)絡(luò)原理13.3魯棒隨機配置網(wǎng)絡(luò)應(yīng)用13.4基于隨即配置網(wǎng)絡(luò)的PET油瓶智能識別

13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.1隨機配置網(wǎng)絡(luò)基礎(chǔ)13.2魯棒隨機配置網(wǎng)絡(luò)原理13.2魯棒隨機配置網(wǎng)絡(luò)原理13.2魯棒隨機配置網(wǎng)絡(luò)原理13.3魯棒隨機配置網(wǎng)絡(luò)應(yīng)用13.3魯棒隨機配置網(wǎng)絡(luò)應(yīng)用13.3魯棒隨機配置網(wǎng)絡(luò)應(yīng)用13.3魯棒隨機配置網(wǎng)絡(luò)應(yīng)用13.3魯棒隨機配置網(wǎng)絡(luò)應(yīng)用13.3魯棒隨機配置網(wǎng)絡(luò)應(yīng)用13.3魯棒隨機配置網(wǎng)絡(luò)應(yīng)用13.4基于隨機配置網(wǎng)絡(luò)的PET油瓶智能識別 PET（Polyethyle