模式識別聚類分析集群第一頁，共四十頁，編輯于2023年，星期六第七章:聚類分析（集群）第二頁，共四十頁，編輯于2023年，星期六基本概念有師識別：由學(xué)習(xí)過程和識別過程兩部分組成，且用于學(xué)習(xí)的樣本類別是已知的。無師識別：缺少樣本類別的先驗知識，在樣本類別未知的情況下進行分類（非監(jiān)督學(xué)習(xí)方法）應(yīng)用：語音識別、圖像分割、遙感圖像分類、數(shù)據(jù)挖掘3第三頁，共四十頁，編輯于2023年，星期六基本概念聚類（集群）：根據(jù)模式之間的相似度（相似程度）對模式進行無師識別的方法相似度：衡量模式之間相似程度的尺度。聚類準則：聚類分析的同一類模式相似程度的標準或不同類模式差異程度的標準。聚類效果取決于模式的特征空間中的分布！4第四頁，共四十頁，編輯于2023年，星期六相似度測量相似度測量歐氏距離（衡量兩個樣本之間的距離）設(shè)x１,x２為d維特征空間的模式向量，則歐氏距離直觀地反映了兩個樣本的相似程度5第五頁，共四十頁，編輯于2023年，星期六相似度測量馬氏距離（衡量單個樣本與某類樣本，或兩類樣本之間的距離）

6第六頁，共四十頁，編輯于2023年，星期六相似度測量設(shè)x為某樣本，則該樣本與均值向量為μ，協(xié)方差矩陣Σ為的模式類的馬氏距離為：

7第七頁，共四十頁，編輯于2023年，星期六相似度測量Ｄ１Ｄ２馬氏距離與樣本與均值向量之間的距離成正比8第八頁，共四十頁，編輯于2023年，星期六相似度測量馬氏距離與協(xié)方差成反比9第九頁，共四十頁，編輯于2023年，星期六相似度測量而均值分別為μ1和μ2，協(xié)方差為Σ的兩模式類的馬氏距離為：

10第十頁，共四十頁，編輯于2023年，星期六聚類準則聚類準則的類型聚類準則閥值準則函數(shù)準則11第十一頁，共四十頁，編輯于2023年，星期六聚類準則閥值準則根據(jù)規(guī)定的距離閥值或類別數(shù)進行分類函數(shù)準則定義一個準則函數(shù)，把聚類分析問題轉(zhuǎn)化為準則函數(shù)求極值的問題12第十二頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法合并聚類法定義樣本間的距離：歐氏距離定義類與類之間的距離：近點距離（最短距離）遠點距離（最長距離）均值距離馬氏距離13第十三頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法最近距離14第十四頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法最遠距離15第十五頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法均值距離16第十六頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法合并聚類法首先假設(shè)每個樣本自成一類，并計算各類之間的距離。然后將具有最近距離的兩類樣本合并成一類重復(fù)上述過程，直至合并的類別數(shù)等于給定的數(shù)目，或各類別間的距離大于某規(guī)定的距離閥值為止

17第十七頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法合并聚類法18第十八頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法合并聚類法-聚為3類19第十九頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法合并聚類法-聚為2類第二十頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法

C-均值算法（動態(tài)聚類法）指定群數(shù)C，選取C個代表點作為群的聚類中心。（可選各類的均值位置為聚類中心）遍歷所有的樣本，將每個樣本歸入與之最近的聚類中心所的代表的群（成批樣本修正法）重新計算C個群的中心，將其作為各群新的聚類中心，重復(fù)第2步，直至分類結(jié)果不變逐個樣本修正法21第二十一頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法

C-均值算法22第二十二頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法C-均值算法的局限性最終的聚類結(jié)果依賴于初始類中心的選擇需要事先指定聚類的類別數(shù)23第二十三頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法問題：如何確定聚類群數(shù)，初始聚類重心？改進的C-均值算法①首先計算各樣本的密度，并將樣本按密度順序排列②給定距離閥值T，挑選出可能的樣本作為初始聚類中心應(yīng)用：1、語音識別

2、圖像分類

24第二十四頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法改進的C-均值算法25第二十五頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法理論上可以證明，不論初始類中心如何選擇，動態(tài)聚類算法總是可以收斂的。26第二十六頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法核函數(shù)的聚類算法樣本x與聚類Ki間相似性度量:樣本集Ki

={xj(i)}用一個所謂的“核函數(shù)”Ki，如樣本集的某種統(tǒng)計量27第二十七頁，共四十頁，編輯于2023年，星期六基于閥值準則的聚類方法核函數(shù)的聚類算法28第二十八頁，共四十頁，編輯于2023年，星期六基于準則函數(shù)的聚類方法

誤差平方和準則

定義誤差平方和準則函數(shù)為：其中C為類別數(shù)，為第i類樣本，為第i類樣本的均值向量,即：

29第二十九頁，共四十頁，編輯于2023年，星期六基于準則函數(shù)的聚類方法為第i類樣本總數(shù)表示樣本聚為C個類別（群）后，所有樣本到各類中心之間誤差的平方和。當(dāng)最小時，即是希望的聚類結(jié)果。30第三十頁，共四十頁，編輯于2023年，星期六基于準則函數(shù)的聚類方法上述準則函數(shù)的值，只有在知道聚類群數(shù)，及各樣本屬于那一群后，才能計算欲求極小值，用窮舉法是行不通的通常是應(yīng)用迭代的方法來實現(xiàn)

31第三十一頁，共四十頁，編輯于2023年，星期六基于準則函數(shù)的聚類方法基本思想：根據(jù)一定的先驗知識確定聚類的群數(shù)，并粗略找到一個初始劃分結(jié)果，再由迭代算法得到最優(yōu)聚類結(jié)果。

32第三十二頁，共四十頁，編輯于2023年，星期六基于準則函數(shù)的聚類方法原理：采用誤差平方和準則函數(shù)

33第三十三頁，共四十頁，編輯于2023年，星期六基于準則函數(shù)的聚類方法現(xiàn)假定在初始劃分后，將中的樣本搬到中去則變?yōu)椋?/p>

34第三十四頁，共四十頁，編輯于2023年，星期六基于準則函數(shù)的聚類方法則增加到35第三十五頁，共四十頁，編輯于2023年，星期六基于準則函數(shù)的聚類方法同理，則減小到36第三十六頁，共四十頁，編輯于2023年，星期六基于準則函數(shù)的聚類方法若減小的大于增加的，即則這次搬動改進了準則函數(shù)。37第三十七頁，共四十頁，編輯于2