第7章聚類(lèi)分析聚類(lèi)算法評(píng)估評(píng)估聚類(lèi)算法評(píng)估聚類(lèi)結(jié)果評(píng)估聚類(lèi)算法評(píng)估可伸縮性處理不同字段類(lèi)型的能力處理任意形狀的數(shù)據(jù)集領(lǐng)域知識(shí)運(yùn)用最小化(決定輸入?yún)?shù)時(shí))處理高維數(shù)據(jù)的能力處理噪聲點(diǎn)數(shù)據(jù)的能力對(duì)數(shù)據(jù)順序的不敏感性可解釋性和可用性算法是否適用于大數(shù)據(jù)量，算法的效率是否滿(mǎn)足大數(shù)據(jù)量高復(fù)雜性的要求是否能夠應(yīng)付不同的數(shù)據(jù)類(lèi)型，能否處理符號(hào)屬性是否能發(fā)現(xiàn)不同類(lèi)型的聚類(lèi)是否能應(yīng)付臟數(shù)據(jù)或異常數(shù)據(jù)聚類(lèi)結(jié)果評(píng)估簇評(píng)估、簇確認(rèn)ClusterValidity內(nèi)容比較兩個(gè)簇的特性比較不同的算法、參數(shù)的得到的兩組簇通過(guò)比較兩組簇來(lái)比較聚類(lèi)算法避免得到的簇是來(lái)自噪聲數(shù)據(jù)的簇評(píng)估：簇評(píng)估非監(jiān)督監(jiān)督的相對(duì)的凝聚性分離性已知分類(lèi)，對(duì)聚類(lèi)結(jié)果進(jìn)行檢驗(yàn)和評(píng)估準(zhǔn)確率、精度、召回率、F度量不同聚類(lèi)方法的比較SSEvs.熵內(nèi)聚度與分離度簇相似度通常以簇中兩兩數(shù)據(jù)元素的相似度之和來(lái)衡量，稱(chēng)之為內(nèi)聚度。對(duì)于一個(gè)簇，希望其中元素具有最大的相似度。衡量分離程度的指標(biāo)分離度，定義為分屬于不同簇中的數(shù)據(jù)元素的兩兩鄰近度之和。兩個(gè)簇之間，希望能夠最大程度地分離。內(nèi)聚度與分離度對(duì)于有原型的簇：Cic–總體原型質(zhì)心輪廓系數(shù)輪廓系數(shù)(SilhouetteCoefficient)，是聚類(lèi)效果好壞的一種評(píng)價(jià)方式。最早由PeterJ.Rousseeuw在1986提出。結(jié)合內(nèi)聚度和分離度兩種因素?？梢杂脕?lái)在相同原始數(shù)據(jù)的基礎(chǔ)上用來(lái)評(píng)價(jià)不同算法、或者算法不同運(yùn)行方式對(duì)聚類(lèi)結(jié)果所產(chǎn)生的影響。輪廓系數(shù)假設(shè)已通過(guò)一定算法(如K-means或DBSCAN)，將數(shù)據(jù)進(jìn)行了聚類(lèi)，分為了k

個(gè)簇。對(duì)于簇中的每個(gè)數(shù)據(jù)(向量)，可分別計(jì)算它們的輪廓系數(shù)。計(jì)算過(guò)程對(duì)于其中的一個(gè)點(diǎn)iai=average(i

向量到所有它屬于的簇中其它點(diǎn)的距離)bi=min(i

向量到所有非本身所在簇的點(diǎn)的平均距離)則i

向量輪廓系數(shù)就為：i向量到同一簇內(nèi)其他點(diǎn)不相似程度的平均值i向量到其他簇的平均不相似程度的最小值輪廓系數(shù)輪廓系數(shù)的值是介于[-1,1]越趨近于1代表內(nèi)聚度和分離度都相對(duì)較優(yōu)。將所有點(diǎn)的輪廓系數(shù)求平均，就是該聚類(lèi)結(jié)果總的輪廓系數(shù)。輪廓系數(shù)輪廓系數(shù)可用于估算簇的個(gè)數(shù)簇個(gè)數(shù)相似性矩陣相似性矩陣體現(xiàn)了數(shù)據(jù)的鄰近關(guān)系，通過(guò)其圖示的方法，可以直觀地展示數(shù)據(jù)的內(nèi)聚度和分離度情況對(duì)聚類(lèi)結(jié)果進(jìn)行視覺(jué)上的評(píng)價(jià)在聚類(lèi)前對(duì)數(shù)據(jù)的聚集情況建立基本的認(rèn)知，來(lái)幫助選擇更為有效的聚類(lèi)算法和參數(shù)相似性矩陣可以看出（借助人工視覺(jué)進(jìn)行審視、評(píng)估）：簇內(nèi)數(shù)據(jù)元素的相似性較強(qiáng)（圖中左上、中間、右下顏色較深的區(qū)塊）簇間數(shù)據(jù)元素的相似性較弱（圖中顏色較淺的區(qū)塊）與散點(diǎn)圖所展現(xiàn)的特性相同。

150points相似性矩陣ClustersinrandomdataarenotsocrispDBSCAN相似性矩陣ClustersinrandomdataarenotsocrispK-means相似性矩陣ClustersinrandomdataarenotsocrispCompleteLink相似性矩陣DBSCAN簇評(píng)估：隨機(jī)數(shù)據(jù)的聚類(lèi)結(jié)果RandomPointsK-meansDBSCANCompleteLink高維度不易檢出這樣的問(wèn)題簇評(píng)估：任務(wù)能夠識(shí)別數(shù)據(jù)中是否存在非隨機(jī)結(jié)構(gòu)是簇確認(rèn)的重要任務(wù)之一：確定數(shù)據(jù)集的聚類(lèi)趨勢(shì)(clusteringtendency)，即識(shí)別數(shù)據(jù)中是否實(shí)際存在非隨機(jī)機(jī)構(gòu)確定正確的簇個(gè)數(shù)不引用附加的信息，評(píng)估聚類(lèi)分析結(jié)果對(duì)數(shù)據(jù)擬合情況將聚類(lèi)分析結(jié)果與已知的客觀結(jié)果(如外部提供的類(lèi)標(biāo)號(hào))進(jìn)行比較比較兩個(gè)簇集，確定優(yōu)劣非監(jiān)督監(jiān)督的簇評(píng)估：非監(jiān)督（凝聚度、分離度）總體簇有效性為各個(gè)簇的有效性的加權(quán)和可以是各種度量指標(biāo)簇評(píng)估：非監(jiān)督（凝聚度、分離度）分離度，基于原型組平方和SSB：簇質(zhì)心Ci到所有數(shù)據(jù)點(diǎn)的總平均值c的距離的平方和簇評(píng)估：非監(jiān)督（凝聚度、分離度）凝聚度vs

分離度誤差平方和SSE組平方和SSB總平方和TSS：每個(gè)點(diǎn)到數(shù)據(jù)集總平均的距離的平方和CorrelationCorrelationofincidenceandproximitymatricesfortheK-meansClusteringsofthefollowingtwodatasets.Corr=-0.9235Corr=-0.5810InternalMeasures：SSESSEisgoodforcomparingtwoClusteringsortwoClusters(averageSSE).CanalsobeusedtoestimatethenumberofClusters對(duì)于SSE的顯著性ExampleCompareSSEof0.005againstthreeClustersinrandomdataHistogramshowsSSEofthreeClustersin500setsofrandomdatapointsofsize100