第7章聚類分析聚類算法評估評估聚類算法評估聚類結(jié)果評估聚類算法評估可伸縮性處理不同字段類型的能力處理任意形狀的數(shù)據(jù)集領(lǐng)域知識運(yùn)用最小化(決定輸入?yún)?shù)時)處理高維數(shù)據(jù)的能力處理噪聲點(diǎn)數(shù)據(jù)的能力對數(shù)據(jù)順序的不敏感性可解釋性和可用性算法是否適用于大數(shù)據(jù)量，算法的效率是否滿足大數(shù)據(jù)量高復(fù)雜性的要求是否能夠應(yīng)付不同的數(shù)據(jù)類型，能否處理符號屬性是否能發(fā)現(xiàn)不同類型的聚類是否能應(yīng)付臟數(shù)據(jù)或異常數(shù)據(jù)聚類結(jié)果評估簇評估、簇確認(rèn)ClusterValidity內(nèi)容比較兩個簇的特性比較不同的算法、參數(shù)的得到的兩組簇通過比較兩組簇來比較聚類算法避免得到的簇是來自噪聲數(shù)據(jù)的簇評估：簇評估非監(jiān)督監(jiān)督的相對的凝聚性分離性已知分類，對聚類結(jié)果進(jìn)行檢驗(yàn)和評估準(zhǔn)確率、精度、召回率、F度量不同聚類方法的比較SSEvs.熵內(nèi)聚度與分離度簇相似度通常以簇中兩兩數(shù)據(jù)元素的相似度之和來衡量，稱之為內(nèi)聚度。對于一個簇，希望其中元素具有最大的相似度。衡量分離程度的指標(biāo)分離度，定義為分屬于不同簇中的數(shù)據(jù)元素的兩兩鄰近度之和。兩個簇之間，希望能夠最大程度地分離。內(nèi)聚度與分離度對于有原型的簇：Cic–總體原型質(zhì)心輪廓系數(shù)輪廓系數(shù)(SilhouetteCoefficient)，是聚類效果好壞的一種評價方式。最早由PeterJ.Rousseeuw在1986提出。結(jié)合內(nèi)聚度和分離度兩種因素。可以用來在相同原始數(shù)據(jù)的基礎(chǔ)上用來評價不同算法、或者算法不同運(yùn)行方式對聚類結(jié)果所產(chǎn)生的影響。輪廓系數(shù)假設(shè)已通過一定算法(如K-means或DBSCAN)，將數(shù)據(jù)進(jìn)行了聚類，分為了k

個簇。對于簇中的每個數(shù)據(jù)(向量)，可分別計(jì)算它們的輪廓系數(shù)。計(jì)算過程對于其中的一個點(diǎn)iai=average(i

向量到所有它屬于的簇中其它點(diǎn)的距離)bi=min(i

向量到所有非本身所在簇的點(diǎn)的平均距離)則i

向量輪廓系數(shù)就為：i向量到同一簇內(nèi)其他點(diǎn)不相似程度的平均值i向量到其他簇的平均不相似程度的最小值輪廓系數(shù)輪廓系數(shù)的值是介于[-1,1]越趨近于1代表內(nèi)聚度和分離度都相對較優(yōu)。將所有點(diǎn)的輪廓系數(shù)求平均，就是該聚類結(jié)果總的輪廓系數(shù)。輪廓系數(shù)輪廓系數(shù)可用于估算簇的個數(shù)簇個數(shù)相似性矩陣相似性矩陣體現(xiàn)了數(shù)據(jù)的鄰近關(guān)系，通過其圖示的方法，可以直觀地展示數(shù)據(jù)的內(nèi)聚度和分離度情況對聚類結(jié)果進(jìn)行視覺上的評價在聚類前對數(shù)據(jù)的聚集情況建立基本的認(rèn)知，來幫助選擇更為有效的聚類算法和參數(shù)相似性矩陣可以看出（借助人工視覺進(jìn)行審視、評估）：簇內(nèi)數(shù)據(jù)元素的相似性較強(qiáng)（圖中左上、中間、右下顏色較深的區(qū)塊）簇間數(shù)據(jù)元素的相似性較弱（圖中顏色較淺的區(qū)塊）與散點(diǎn)圖所展現(xiàn)的特性相同。

150points相似性矩陣ClustersinrandomdataarenotsocrispDBSCAN相似性矩陣ClustersinrandomdataarenotsocrispK-means相似性矩陣ClustersinrandomdataarenotsocrispCompleteLink相似性矩陣DBSCAN簇評估：隨機(jī)數(shù)據(jù)的聚類結(jié)果RandomPointsK-meansDBSCANCompleteLink高維度不易檢出這樣的問題簇評估：任務(wù)能夠識別數(shù)據(jù)中是否存在非隨機(jī)結(jié)構(gòu)是簇確認(rèn)的重要任務(wù)之一：確定數(shù)據(jù)集的聚類趨勢(clusteringtendency)，即識別數(shù)據(jù)中是否實(shí)際存在非隨機(jī)機(jī)構(gòu)確定正確的簇個數(shù)不引用附加的信息，評估聚類分析結(jié)果對數(shù)據(jù)擬合情況將聚類分析結(jié)果與已知的客觀結(jié)果(如外部提供的類標(biāo)號)進(jìn)行比較比較兩個簇集，確定優(yōu)劣非監(jiān)督監(jiān)督的簇評估：非監(jiān)督（凝聚度、分離度）總體簇有效性為各個簇的有效性的加權(quán)和可以是各種度量指標(biāo)簇評估：非監(jiān)督（凝聚度、分離度）分離度，基于原型組平方和SSB：簇質(zhì)心Ci到所有數(shù)據(jù)點(diǎn)的總平均值c的距離的平方和簇評估：非監(jiān)督（凝聚度、分離度）凝聚度vs

分離度誤差平方和SSE組平方和SSB總平方和TSS：每個點(diǎn)到數(shù)據(jù)集總平均的距離的平方和CorrelationCorrelationofincidenceandproximitymatricesfortheK-meansClusteringsofthefollowingtwodatasets.Corr=-0.9235Corr=-0.5810InternalMeasures：SSESSEisgoodforcomparingtwoClusteringsortwoClusters(averageSSE).CanalsobeusedtoestimatethenumberofClusters對于SSE的顯著性ExampleCompareSSEof0.005againstthreeClustersinrandomdataHistogramshowsSSEofthreeClustersin500setsofrandomdatapointsofsize100