1、2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,1,第十一講,聚類分析,Cluster Analysis（1）,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,2,聚類分析也是一種分類技術(shù)。與多元分析的其他方法相比，該方法較為粗糙，理論上還不完善，但應(yīng)用方面取得了很大成功。與回歸分析、判別分析一起被稱為多元分析的三大方法。,5.1 基本概念,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,3,5.1.1 聚類的目的,根據(jù)已知數(shù)據(jù)，計(jì)算各觀察個(gè)體或變量之間親疏關(guān)系的統(tǒng)計(jì)量（距離或相關(guān)系數(shù)）。根據(jù)某種準(zhǔn)則（最短距離法、最長(zhǎng)距離法、中間距離法、重心法），使同一類內(nèi)

2、的差別較小，而類與類之間的差別較大，最終將觀察個(gè)體或變量分為若干類。,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,4,5.1.2 聚類分析的應(yīng)用例子,同一種疾?。ㄈ绺窝祝?，根據(jù)臨床表現(xiàn)等將病人分成若干類（甲、乙、丙、丁、戊型肝炎） 根據(jù)疾病的若干臨床表現(xiàn)，將病人分成輕、中、重三型 在兒童生長(zhǎng)發(fā)育研究中，把以形態(tài)學(xué)為主的指標(biāo)歸于一類，以機(jī)能為主的指標(biāo)歸于另一類,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,5,5.1.3 聚類的種類,根據(jù)分類的原理可將聚類分析分為： 系統(tǒng)聚類與快速聚類 根據(jù)分類的對(duì)象可將聚類分析分為： 系統(tǒng)Q型與R型（即樣品聚類clustering

3、 for individuals 與指標(biāo)聚類clustering for variables),2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,6,5.1.4 聚類分析數(shù)據(jù)格式,k,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,7,5.1.5. 判別分析數(shù)據(jù)格式,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,8,5.1.6 聚類分析與判別分析間的聯(lián)系,先采用聚類分析獲得各個(gè)個(gè)體的類別（classification ）；然后采用判別分析建立判別函數(shù)，對(duì)新個(gè)體進(jìn)行類型識(shí)別（(identification ）,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周

4、海廷制作,9,5.2 圖示法聚類分析,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,10,5.2.1. 散點(diǎn)圖（Scatter diagrams）,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,11,5.2.2. 輪廓圖(Profile diagram）,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,12,5.3 距離與相似系數(shù),2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,13,5.3.1 距離,假使每個(gè)樣品有p個(gè)變量，則每個(gè)樣品都可以看成p維空間中的一個(gè)點(diǎn)，n個(gè)樣品就是p維空間中的n個(gè)點(diǎn)，則第i樣品與第j樣品之間的距離記為dij,20

5、20/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,14,1. 歐式（Euclidian ）距離,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,15,1.1 二維空間歐式距離,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,16,1.2 歐式距離的平方,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,17,2. 明氏（Minkowski ）距離,SPSS稱為BLOCK,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,18,實(shí)例計(jì)算,品,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,19,絕對(duì)值距離,2020/9/5,西南科技大

6、學(xué)生命科學(xué)與工程學(xué)院周海廷制作,20,Euclidian距離的平方,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,21,Euclidian距離,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,22,變量標(biāo)準(zhǔn)化,作用：消除量綱的影響,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,23,3. Mahalanobis 距離,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,24,Mahalanobis 距離,優(yōu)點(diǎn)：馬氏距離既排除了各指標(biāo)間的相關(guān)性干擾，又消除了各指標(biāo)的量綱 缺點(diǎn)：樣品協(xié)方差矩陣不變不合理。,2020/9/5,西南科技大學(xué)生命科學(xué)與工程

7、學(xué)院周海廷制作,25,Mahalanobis 距離實(shí)例,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,26,4. Lance和Williams 距離,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,27,5. 斜交空間距離,可考慮變量間相關(guān)性問(wèn)題,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,28,6. 配合距離,適用于分類變量，尤其是名義尺度變量,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,29,5.3.2 相似系數(shù),研究樣品間的關(guān)系常用距離，研究指標(biāo)間的關(guān)系常用相似系數(shù)。,相似系數(shù)常用的有：夾角余弦與相關(guān)系數(shù),2020/9/5,西南科

8、技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,30,1. 夾角余弦（Cosine）,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,31,2. Pearson相關(guān)系數(shù),2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,32,5.4 系統(tǒng)聚類法（hierarchical clustering method）,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,33,將n個(gè)樣品各作為一類,系統(tǒng)聚類法是諸聚類分析方法中使用最多的一種，按下列步驟進(jìn)行：,計(jì)算n個(gè)樣品兩兩之間的距離，構(gòu)成距離矩陣,合并距離最近的兩類為一新類,計(jì)算新類與當(dāng)前各類的距離。再合并、計(jì)算，直至只有一類為止,畫(huà)

9、聚類圖，解釋,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,34,類與類之間的距離,1.最短距離法(single linkage),2.最長(zhǎng)距離法(complete linkage),3.中間距離法(median method),4.類平均法(average linkage),5.可變類平均法(flexible-beta method),6.重心法(centroid method),7.Ward離差平方和法(Wards minimum-variance method),2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,35,類與類之間的距離,11.兩階段密度估計(jì)法(tw

10、o-stage density linkage)等。,8.Mcquitty的相似分析法(Mcquittys similarity analysis),9.最大似然估計(jì)法(EML),10.密度估計(jì)(density linkage),2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,36,5.4.1 最短距離法(single linkage，nearest neighbor),B2 A2 * * B1 A1 * * B3 *,樣品間：歐氏距離類類間：兩類間兩兩樣品距離最短。即圖中樣品A2和B1之間的距離,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,37,6個(gè)民族的粗死亡率

11、與期望壽命,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,38,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,39,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,40,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,41,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,42,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,43,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,44,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,45,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,

12、46,5.4.2 最長(zhǎng)距離法(complete linkage，furthest neighbor),B2 A2 * * B1 A1 * * B3 *,樣品間：歐氏距離類類間：兩類間樣品兩兩距離最長(zhǎng)。即圖中樣品A2和B3之間的距離,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,47,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,48,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,49,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,50,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,51,2020/9/5,西南科技大學(xué)生命科學(xué)

13、與工程學(xué)院周海廷制作,52,5.4.3 中間距離法(median method),最長(zhǎng)距離夸大了類間距離，最短距離低估了類間距離。介于兩者間的距離即為中間距離,K,L,J,M,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,53,5.4.4 中間距離法的變形可變法,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,54,5.4.5 類平均法(average linkage between group),SPSS作為默認(rèn)方法，稱為 between-groups linkage,K,L,J,M,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,55,5.4.6 可變

14、類平均法(flexible-beta method),類平均法的變型,K,L,J,M,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,56,5.4.7 重心法(centroid method),B2 A2 * * B1 A1 * * B3 *,類類間的距離用各自重心間的距離表示,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,57,5.4.8 Ward最小方差法(Ward minimum variance method),先將n個(gè)樣品各自成一類，然后每次每縮小一類，每縮小一類離差平方和就要增加，選擇使離差平方和增加（SSMSSKSSL）最小的兩類合并，直至所有的樣品歸為一類為止。,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,58,5.6.9 八種系統(tǒng)聚類方法的統(tǒng)一,以上聚類方法的計(jì)算步驟完全相同，僅類與類之間的定義不同。Lance和Williams于1967年將其統(tǒng)一為：,2020/9/5,西南科技大學(xué)生命科學(xué)與工程學(xué)院周海廷制作,59,八種系統(tǒng)聚類法公式的