模糊聚類模糊聚類1模糊聚類所謂聚類分析就是根據(jù)事物間的不同特征、親疏程度和相似性等關系，對他們進行分類的一種數(shù)學方法，其數(shù)學基礎是數(shù)理統(tǒng)計中的多元分析。由于在現(xiàn)實世界中，事物間的關系其界限往往是不分明的，即為模糊關系，故利用模糊數(shù)學方法來進行聚類分析會顯得更自然，更符合客觀實際。應用：天氣預報、地震預報、災害預測、環(huán)境保護、地質(zhì)研究、石油與天然氣勘探、工程設計、圖像分析、經(jīng)濟管理、醫(yī)學研究等領域。模糊聚類所謂聚類分析就是根據(jù)事物間的不同特征、親疏程度和相似2歷史時間事件1965L.A.Zadeh創(chuàng)立模糊集合論1969E.H.Ruspinid引入模糊劃分的概念進行模糊聚類分析I.Gitman和M.D.Levine提出了單峰模糊集方法用于處理大數(shù)據(jù)集和復雜分布的聚類1974J.C.Dunn提出了模糊ISODATA聚類方法1981J.C.Bezdek改善了FCM方法歷史時間事件1965L.A.Zadeh創(chuàng)立模糊集合論3分類與聚類分類(Classification)：根據(jù)數(shù)據(jù)的特征或?qū)傩裕瑒澐值揭延械念悇e中，是一種監(jiān)督學習(SupervisedLearning)方法，必須事先明確知道各個類別的信息，并且斷言所有待分類項都有一個類別與之對應。常用的分類算法：決策樹分類法基于規(guī)則的分類器樸素的貝葉斯分類算法(nativeBayesianclassifier)神經(jīng)網(wǎng)絡法基于支持向量機(SVM)的分類器分類與聚類分類(Classification)：根據(jù)數(shù)據(jù)的特4分類與聚類聚類(Clustering)：聚類就是按照一定的要求和規(guī)律對事物進行區(qū)分和分類的過程，在這一過程中沒有任何關于分類的先驗知識，沒有教師指導，僅靠事物間的相似性作為類屬劃分的準則，因此屬于無監(jiān)督學習(unsupervisedlearning)。不同的聚類類型：劃分聚類（PartitionalClustering）層次聚類（HierarchicalClustering）互斥聚類（ExclusiveClustering）重疊的（Overlapping）或非互斥的（Non-exclusive）聚類模糊聚類（FuzzyClustering）完全聚類（CompleteClustering）部分聚類（PartialClustering)分類與聚類聚類(Clustering)：聚類就是按照一定的要5聚類分析傳統(tǒng)的聚類是一種硬劃分，它把每個待辨識的對象嚴格地劃分到某個類中，具有非此及彼的性質(zhì)，因此這種分類的類別界限是分明的。而實際上大多數(shù)對象并沒有嚴格的屬性,它們在性態(tài)和類屬方面存在著中介性,適合進行軟劃分。由于模糊聚類得到了樣本屬于各個類別的不確定性程度,表達了樣本類屬的中介性,即建立起了樣本對于類別的不確定性的描述,能更客觀地反映現(xiàn)實世界,從而成為聚類分析研究的主流。聚類分析傳統(tǒng)的聚類是一種硬劃分，它把每個待辨識的對象嚴格地劃6模糊聚類分類常用的模糊聚類方法可分為兩大類：基于模糊等價矩陣的模糊聚類分析法：分類數(shù)不定，根據(jù)不同要求對事物進行動態(tài)聚類，主要方法有：模糊傳遞閉包法、直接聚類法、最大樹法；基于目標函數(shù)的模糊聚類分析法：分類數(shù)給定，尋找出對事物的最佳分類方案，主要方法有模糊IOSDATA聚類分析法(模糊C均值聚類法)。模糊聚類分類常用的模糊聚類方法可分為兩大類：7基于模糊等價關系的動態(tài)聚類法模糊等價關系(矩陣)的每一個截矩陣都對應一個普通等價關系。利用上述結論，對論域進行分類。當截集水平λ從1變化到0時，可以得到論域從細到粗的不同的分類，形成一個動態(tài)的聚類圖?；谀：葍r關系的聚類步驟：建立數(shù)據(jù)矩陣建立模糊相似矩陣：相似系數(shù)法、距離法基于模糊等價關系聚類并畫出動態(tài)聚類圖傳遞閉包法；直接聚類法。基于模糊等價關系的動態(tài)聚類法模糊等價關系(矩陣)的每一個截矩8模糊傳遞閉包法步驟：求出模糊相似矩陣的傳遞閉包t(R)：之前建立的模糊矩陣只是一個模糊相似矩陣，不一定具有傳遞性，即R不一定時模糊等價矩陣，為進行分類，還需將R改造成模糊等價矩陣，通過逐次平方法求傳遞閉包t(R)；在[0,1]區(qū)間上適當選取置信水平值λ，求出t(R)的λ截矩陣t(R)λ

，得到λ水平上的等價分類；畫出動態(tài)聚類圖：將t(R)中所有互不相同的元素按由大到小的順序編排進行聚類，這一系列聚類畫在同一個圖上，直觀地看到被分類對象之間的相關程度?；谀：葍r關系的動態(tài)聚類法模糊傳遞閉包法基于模糊等價關系的動態(tài)聚類法9模糊傳遞閉包法流程基于模糊等價關系的動態(tài)聚類法模糊傳遞閉包法流程基于模糊等價關系的動態(tài)聚類法10直接聚類法

當被分類對象很多時，計算模糊相似矩陣R的傳遞閉包的工作量是很大的。為減少計算工作量，可以用直接聚類法，不求傳遞閉包，直接用模糊相似矩陣R進行聚類。步驟：將模糊相似矩陣R中的所有不同的元素按從大到小的順序編排，直接在模糊相似矩陣R上找出λ水平上的等價分類；畫出動態(tài)聚類圖?；谀：葍r關系的動態(tài)聚類法直接聚類法基于模糊等價關系的動態(tài)聚類法11

基于模糊等價關系的動態(tài)聚類法

基于模糊等價關系的動態(tài)聚類法12畫出動態(tài)聚類圖如下：λ越大，分類越細。基于模糊等價關系的動態(tài)聚類法畫出動態(tài)聚類圖如下：λ越大，分類越細。基于模糊等價關系的動態(tài)13基于模糊等價關系的動態(tài)聚類法特點傳遞閉包法、直接聚類法，盡管在形式上不相同，但其聚類原則不外乎是，ui與uj在λ水平上歸為一類，即元素ui與uj具有等價關系R的程度不小于λ。因此，對于同一問題，這些方法的聚類結果是相同的。傳遞閉包法適合于計算機操作，直接聚類法當矩陣階數(shù)小時，容易手工實現(xiàn)。但是，基于模糊關系的模糊聚類法不適用于大數(shù)據(jù)量情況，難以滿足實時要求高的場合，并且計算復雜度高?；谀：葍r關系的動態(tài)聚類法特點14基于目標函數(shù)的模糊聚類分析法，它的思想就是使得被劃分到同一簇的對象之間相似度最大，而不同簇之間的相似度最小。模糊C均值算法是普通C均值算法的改進，普通C均值算法對于數(shù)據(jù)的劃分是硬性的，而FCM則是一種柔性的模糊劃分。隸屬度函數(shù)是表示一個對象x隸屬于集合A的程度的函數(shù)，通常，隸屬度為{0,1}，即非0即1。而模糊C均值算法中隸屬度為區(qū)間[0,1]，即隸屬度可以屬于[0,1]中的任意值?；谀繕撕瘮?shù)的模糊聚類分析法基于目標函數(shù)的模糊聚類分析法，它的思想就是使得被劃分到同一簇15為了便于理解FCM算法的原理，以在X軸上的單維數(shù)據(jù)為例。這個數(shù)據(jù)集傳統(tǒng)上可以分為兩個集群。通過在X軸上選擇一個閾值，數(shù)據(jù)被分成兩個簇。如右圖，結果集群標記為A和B。屬于該數(shù)據(jù)集的每個點因此將具有1或0的成員系數(shù)。每個相應數(shù)據(jù)點的該成員系數(shù)由包含y軸表示。基于目標函數(shù)的模糊聚類分析法為了便于理解FCM算法的原理，以在X軸上的單維數(shù)據(jù)為例。基于16在模糊聚類中，每個數(shù)據(jù)點可以具有多個聚類的成員資格。通過從嚴格的1或0中放寬成員系數(shù)的定義，這些值的范圍可以從1到0的任何值。圖顯示了來自先前聚類的數(shù)據(jù)集，但是現(xiàn)在應用了模糊c均值聚類。首先，可以生成定義兩個集群的新的閾值。接下來，基于聚類質(zhì)心以及與每個聚類質(zhì)心的距離來生成每個數(shù)據(jù)點的新的成員系數(shù)?？梢钥闯?，中間數(shù)據(jù)點屬于A類和B類群，0.3的值是A類群的這個數(shù)據(jù)點的隸屬系數(shù)?；谀繕撕瘮?shù)的模糊聚類分析法在模糊聚類中，每個數(shù)據(jù)點可以具有多個聚類的成員資格。通過從嚴17FCM算法步驟確定類別數(shù)C，參數(shù)m，和迭代停止誤差以及最大迭代次數(shù)；初始化聚類中心P；計算初始的距離矩陣D；按下列公式更新隸屬度；更新聚類中心；重新計算距離矩陣，并計算目標函數(shù)的值；若達到最大迭代次數(shù)或者前后兩次的J的絕對差小于迭代停止誤差則停止，否則轉(zhuǎn)(d),也可以使用前后兩次隸屬度矩陣的差來判斷；將樣本點劃分為隸屬度最大的那一類?；谀繕撕瘮?shù)的模糊聚類分析法FCM算法步驟基于目標函數(shù)的模糊聚類分析法18例：待分類的數(shù)據(jù)集有188個點，每個點是二維的，我們要把他分成4類，通過FCM算法得到的輸出V就是左下的圖，圖中有4個中心向量，右下圖表示的是矩陣U，橫坐標是188個元素，縱坐標是隸屬度值。基于目標函數(shù)的模糊聚類分析法例：基于目標函數(shù)的模糊聚類分析法19基于目標函數(shù)的模糊聚類分析法特點FCM中，同一樣本屬于所有類的隸屬度之和為1，使得它對