1、統(tǒng)計(jì)學(xué),從數(shù)據(jù)到結(jié)論,第十二章 判別分析,12.1 判別分析(discriminant analysis),某些昆蟲(chóng)的性別只有通過(guò)解剖才能夠判別 但雄性和雌性昆蟲(chóng)在若干體表度量上有些綜合的差異。人們就根據(jù)已知雌雄的昆蟲(chóng)體表度量（這些用作度量的變量亦稱為預(yù)測(cè)變量）得到一個(gè)標(biāo)準(zhǔn)，并以此標(biāo)準(zhǔn)來(lái)判別其他未知性別的昆蟲(chóng)。 這樣雖非100%準(zhǔn)確的判別至少大部分是對(duì)的，而且用不著殺生。此即判別分析,判別分析(discriminant analysis),判別分析和聚類分析有何不同？ 在聚類分析中，人們一般事先并不知道應(yīng)該分成幾類及哪幾類，全根據(jù)數(shù)據(jù)確定。 在判別分析中，至少有一個(gè)已經(jīng)明確知道類別的“訓(xùn)練樣本

2、”，并利用該樣本來(lái)建立判別準(zhǔn)則，并通過(guò)預(yù)測(cè)變量來(lái)為未知類別的觀測(cè)值進(jìn)行判別了。,判別分析例子,數(shù)據(jù)disc.txt:企圖用一套打分體系來(lái)描繪企業(yè)的狀況。該體系對(duì)每個(gè)企業(yè)的一些指標(biāo)（變量）進(jìn)行評(píng)分。 指標(biāo)有:企業(yè)規(guī)模（is）、服務(wù)(se)、雇員工資比例(sa)、利潤(rùn)增長(zhǎng)(prr)、市場(chǎng)份額(ms)、市場(chǎng)份額增長(zhǎng)(msr)、流動(dòng)資金比例(cp)、資金周轉(zhuǎn)速度(cs)等. 另外，有一些企業(yè)已經(jīng)被某雜志劃分為上升企業(yè)、穩(wěn)定企業(yè)和下降企業(yè)。,判別分析例子,希望根據(jù)這些企業(yè)的上述變量的打分及其已知的類別(三個(gè)類別之一：group-1代表上升，group-2代表穩(wěn)定，group-3代表下降)找出一個(gè)分類標(biāo)準(zhǔn)

3、，以對(duì)尚未被分類的企業(yè)進(jìn)行分類。 該數(shù)據(jù)有90個(gè)企業(yè)（90個(gè)觀測(cè)值），其中30個(gè)屬于上升型，30個(gè)屬于穩(wěn)定型，30個(gè)屬于下降型。這個(gè)數(shù)據(jù)就是一個(gè)“訓(xùn)練樣本”。,Disc.sav數(shù)據(jù),1. 根據(jù)距離判別的思想,Disc.txt數(shù)據(jù)有8個(gè)用來(lái)建立判別標(biāo)準(zhǔn)(或判別函數(shù))的(預(yù)測(cè))變量,另一個(gè)(group)是類別 每一個(gè)企業(yè)的打分在這8個(gè)變量所構(gòu)成的8維空間中是一個(gè)點(diǎn)。這個(gè)數(shù)據(jù)在8維空間有90個(gè)點(diǎn)， 由于已知所有點(diǎn)的類別，可以求得每個(gè)類型的中心。這樣只要定義了距離，就可以得到任何給定的點(diǎn)（企業(yè)）到這三個(gè)中心的三個(gè)距離。,1. 根據(jù)距離判別的思想,最簡(jiǎn)單的辦法就是:某點(diǎn)離哪個(gè)中心距離最近，就屬于哪一類。

4、 一個(gè)常用距離是Mahalanobis距離。 用來(lái)比較到各個(gè)中心距離的數(shù)學(xué)函數(shù)稱為判別函數(shù)(discriminant function). 這種根據(jù)遠(yuǎn)近判別的思想，原理簡(jiǎn)單，直觀易懂。為判別分析的基礎(chǔ),2. Fisher判別法(先進(jìn)行投影),Fisher判別法就是一種先投影的方法。 考慮只有兩個(gè)(預(yù)測(cè))變量的判別問(wèn)題。 假定只有兩類。數(shù)據(jù)中的每個(gè)觀測(cè)值是二維空間的一個(gè)點(diǎn)。見(jiàn)圖。 這里只有兩種已知類型的訓(xùn)練樣本。一類有38個(gè)點(diǎn)(用“o”表示),另一類有44個(gè)點(diǎn)(用“*”表示)。按原來(lái)變量(橫坐標(biāo)和縱坐標(biāo))，很難將這兩種點(diǎn)分開(kāi)。,2. Fisher判別法(先進(jìn)行投影),于是就尋找一個(gè)方向，即圖上的

5、虛線方向，沿該方向朝和這個(gè)虛線垂直的一條直線進(jìn)行投影會(huì)使得這兩類分得最清楚?？梢钥闯?，如果向其他方向投影，判別效果不會(huì)比這個(gè)好。 有了投影之后，再用前面講到的距離遠(yuǎn)近的方法得到判別準(zhǔn)則。這種先投影的判別方法就是Fisher判別法。,3.逐步判別法(僅僅是在前面的方法中加入變量選擇的功能),有時(shí)，一些變量對(duì)于判別并沒(méi)有什么作用，為了得到對(duì)判別最合適的變量，可以使用逐步判別。即，一邊判別，一邊選擇判別能力最強(qiáng)的變量， 這個(gè)過(guò)程可以有進(jìn)有出。一個(gè)變量的判別能力的判斷方法有很多種，主要利用各種檢驗(yàn)，例如Wilks Lambda、Raos V、The Squared Mahalanobis Distan

6、ce、Smallest F ratio或The Sum of Unexplained Variations等檢驗(yàn)。其細(xì)節(jié)這里就不贅述了；這些不同方法可由統(tǒng)計(jì)軟件的各種選項(xiàng)來(lái)實(shí)現(xiàn)。逐步判別的其他方面和前面的無(wú)異。,Disc.txt例子,利用SPSS軟件的逐步判別法淘汰了不顯著的流動(dòng)資金比例(cp)，還剩下七個(gè)變量。用x1,x2, x3, x4,x5, x6, x7分別表示標(biāo)準(zhǔn)化后的變量is，se，sa，prr，ms，msr，cs，得到兩個(gè)典則判別函數(shù)（Canonical Discriminant Function Coefficients）：,這兩個(gè)函數(shù)實(shí)際上是由Fisher判別法得到的向兩個(gè)方

7、向的投影。這兩個(gè)典則判別函數(shù)的系數(shù)是下面的SPSS輸出得到的：,Disc.txt例子,根據(jù)這兩個(gè)函數(shù)，從任何一個(gè)觀測(cè)值（每個(gè)觀測(cè)值都有7個(gè)變量值）都可以算出兩個(gè)數(shù)。把這兩個(gè)數(shù)目當(dāng)成該觀測(cè)值的坐標(biāo)，這樣數(shù)據(jù)中的150個(gè)觀測(cè)值就是二維平面上的150個(gè)點(diǎn)。它們的點(diǎn)圖在下面圖中。,Disc.txt例子,從上圖可以看出，第一個(gè)投影（相應(yīng)于來(lái)自于第一個(gè)典則判別函數(shù)橫坐標(biāo)值）已經(jīng)能夠很好地分辨出三個(gè)企業(yè)類型了。這兩個(gè)典則判別函數(shù)并不是平等的。其實(shí)一個(gè)函數(shù)就已經(jīng)能夠把這三類分清楚了。SPSS的一個(gè)輸出就給出了這些判別函數(shù)（投影）的重要程度：,前面說(shuō)過(guò)，投影的重要性是和特征值的貢獻(xiàn)率有關(guān)。該表說(shuō)明第一個(gè)函數(shù)的貢

8、獻(xiàn)率已經(jīng)是99%了，而第二個(gè)只有1%。當(dāng)然，二維圖要容易看一些。投影之后，再根據(jù)各點(diǎn)的位置遠(yuǎn)近算出具體的判別公式（SPSS輸出）：,Disc.txt例子,具體的判別公式（SPSS輸出），由一張分類函數(shù)表給出：,該表給出了三個(gè)線性分類函數(shù)的系數(shù)。把每個(gè)觀測(cè)點(diǎn)帶入三個(gè)函數(shù)，就可以得到分別代表三類的三個(gè)值，哪個(gè)值最大，該點(diǎn)就屬于相應(yīng)的那一類。當(dāng)然，用不著自己去算，計(jì)算機(jī)軟件的選項(xiàng)可以把這些訓(xùn)練數(shù)據(jù)的每一個(gè)點(diǎn)按照這里的分類法分到某一類。當(dāng)然，我們一開(kāi)始就知道這些訓(xùn)練數(shù)據(jù)的各個(gè)觀測(cè)值的歸屬，但即使是這些訓(xùn)練樣本的觀測(cè)值（企業(yè)）按照這里推導(dǎo)出的分類函數(shù)來(lái)分類，也不一定全都能夠正確劃分。,Disc.txt例

9、子,下面就是對(duì)我們的訓(xùn)練樣本的分類結(jié)果（SPSS）：,誤判和正確判別率,從該表看，我們的分類能夠100%地把訓(xùn)練數(shù)據(jù)的每一個(gè)觀測(cè)值分到其本來(lái)的類。 該表分成兩部分；上面一半（Original）是用從全部數(shù)據(jù)得到的判別函數(shù)來(lái)判斷每一個(gè)點(diǎn)的結(jié)果（前面三行為判斷結(jié)果的數(shù)目，而后三行為相應(yīng)的百分比）。 下面一半（Cross validated）是對(duì)每一個(gè)觀測(cè)值，都用缺少該觀測(cè)的全部數(shù)據(jù)得到的判別函數(shù)來(lái)判斷的結(jié)果。 這里結(jié)果是100%正確，但一般并不一定。,Disc.txt例子,如果就用這個(gè)數(shù)據(jù)，但不用所有的變量，而只用4個(gè)變量進(jìn)行判別：企業(yè)規(guī)模（is）、服務(wù)(se)、雇員工資比例(sa)、資金周轉(zhuǎn)速度

10、(cs)。結(jié)果的圖形和判別的正確與否就不一樣了。下圖為兩個(gè)典則判別函數(shù)導(dǎo)出的150個(gè)企業(yè)的二維點(diǎn)圖。它不如前面的圖那么容易分清楚了,原先的圖,Disc.txt例子,下面是基于4個(gè)變量時(shí)分類結(jié)果表：,這個(gè)表的結(jié)果是有87個(gè)點(diǎn)（96.7%）得到正確劃分，有3個(gè)點(diǎn)被錯(cuò)誤判別；其中第二類有兩個(gè)被誤判為第一類，有一個(gè)被誤判為第三類。,12.2判別分析要注意什么？,訓(xùn)練樣本中必須包含所有要判別的類型，分類必須清楚，不能有混雜。 要選擇好可能用于判別的預(yù)測(cè)變量。這是最重要的。當(dāng)然，在應(yīng)用中，選擇余地不見(jiàn)得有多大。 要注意數(shù)據(jù)是否有不尋常的點(diǎn)或者模式存在。還要看預(yù)測(cè)變量中是否有些不適宜的；這可以用單變量方差分

11、析（ANOVA）和相關(guān)分析來(lái)驗(yàn)證。,判別分析要注意什么？,判別分析是為了正確地分類，但同時(shí)也要注意使用盡可能少的預(yù)測(cè)變量來(lái)達(dá)到這個(gè)目的。使用較少的變量意味著節(jié)省資源和易于對(duì)結(jié)果作解釋。 在計(jì)算中需要看關(guān)于各個(gè)類的有關(guān)變量的均值是否顯著不同的 檢驗(yàn)結(jié)果(在SPSS選項(xiàng)中選擇Wilks Lambda、Raos V、The Squared Mahalanobis Distance或The Sum of Unexplained Variations等檢驗(yàn)的計(jì)算機(jī)輸出),以確定是否分類結(jié)果僅由于隨機(jī)因素。,判別分析要注意什么？,此外成員的權(quán)數(shù)（SPSS用prior probability，即“先驗(yàn)概率”

12、，和貝葉斯統(tǒng)計(jì)的先驗(yàn)概率有區(qū)別）需要考慮；一般來(lái)說(shuō)，加權(quán)要按照各類觀測(cè)值的多少，觀測(cè)值少的就要按照比例多加權(quán)。 對(duì)于多個(gè)判別函數(shù)，要弄清各自的重要性。 注意訓(xùn)練樣本的正確和錯(cuò)誤分類率。研究被誤分類的觀測(cè)值，看是否能找出原因。,SPSS選項(xiàng),打開(kāi)disc.sav數(shù)據(jù)。然后點(diǎn)擊AnalyzeClassifyDiscriminant， 把group放入Grouping Variable，再定義范圍，即在Define Range輸入13的范圍。然后在Independents輸入所有想用的變量；但如果要用逐步判別，則不選Enter independents together，而選擇Use stepwis

13、e method， 在方法（Method）中選挑選變量的準(zhǔn)則（檢驗(yàn)方法；默認(rèn)值為Wilks Lambda）。 為了輸出Fisher分類函數(shù)的結(jié)果可以在Statistics中的Function Coefficient選 Fisher和Unstandardized ，在Matrices中選擇輸出所需要的相關(guān)陣； 還可以在Classify中的Display選summary table, Leave-one-out classification；注意在Classify選項(xiàng)中默認(rèn)的Prior Probability為All groups equal表示所有的類都平等對(duì)待，而另一個(gè)選項(xiàng)為Compute f

14、rom group sizes，即按照類的大小加權(quán)。 在Plots可選 Combined-groups, Territorial map等。,和聚類分析的關(guān)系,判別分析和聚類分析都是分類. 但判別分析是在已知對(duì)象有若干類型和一批已知樣品的觀測(cè)數(shù)據(jù)后的基礎(chǔ)上根據(jù)某些準(zhǔn)則建立判別式. 而做聚類分析時(shí)類型并不知道. 可以先聚類以得知類型,再進(jìn)行判別.,距離判別法,假設(shè)有兩個(gè)總體G1和G2, 如果能夠定義點(diǎn)x到它們的距離D(x,G1)和D(x,G2), 則 如果D(x,G1) D(x,G2)則 xG1 如果D(x,G2) D(x,G1)則 xG2 如果D(x,G1) = D(x,G2)則待判,Maha

15、lanobis距離,假設(shè)m(1), m(2), S(1), S(2)分別為G1和G2的均值向量和協(xié)差陣,則點(diǎn)x到Gi的馬氏距離定義為 D2(x,Gi)=(x- m(i)(S(i)-1(x- m(i) 其他一些距離為馬氏距離的特殊情況,因此我們著重討論馬氏距離.馬氏距離的好處是可以克服變量之間的相關(guān)性干擾,并且消除各變量量綱的影響.,線性判別函數(shù):當(dāng)S(1)=S(2)=S時(shí),記,如果W(x)0即D(x,G1)D(x,G2)則 xG2 如果W(x)=0即D(x,G1)=D(x,G2)則待判,當(dāng)m(1), m(2), S 已知時(shí), 令a= S-1(m(1)- m(2) ) (a1, ap),則,顯然

16、W(x)為x1, xp的線性函數(shù), 稱為線性判別函數(shù); a稱為判別系數(shù).,當(dāng)m(1), m(2), S 未知時(shí), 可通過(guò)樣本來(lái)估計(jì):,判別函數(shù)為,為來(lái)自Gi的樣本為(i=1,2),非線性判別函數(shù):當(dāng)S(1) S(2)時(shí),這是x的一個(gè)二次函數(shù), 按照距離最近原則,判別準(zhǔn)則仍然為 如果W(x)0即D(x,G1)D(x,G2)則 xG2 如果W(x)=0即D(x,G1)=D(x,G2)則待判,多總體時(shí)的線性判別函數(shù):當(dāng)S(1)=S(k)=S時(shí),記,相應(yīng)的準(zhǔn)則為: 如果對(duì)一切ji, Wij(x)0, 則 xGi 如果有某一個(gè)Wij(x)=0, 則待判,Bayes判別法,不用判別式,而用比較新給樣品屬于

17、各個(gè)總體的條件概率P(l|x), l=1,k, 的大小(將新樣品判歸為來(lái)自概率最大的總體). 先給出對(duì)于k個(gè)總體的先驗(yàn)概率q1,qk. 如各總體密度為fk(x), 則后驗(yàn)概率為(g=1,k): P(g|x)=qgfg(x)/Si qifi(x) 當(dāng)且僅當(dāng)P(h|x)= maxgP(g|x), 判x來(lái)自第h總體. 也可以用使錯(cuò)判的損失最小來(lái)判別. 如果c(i|j)為來(lái)自j總體的個(gè)體被錯(cuò)判到第i總體的損失. 定義平均錯(cuò)判損失(ECM)為ECM=Si=1 qiSliP(l|i)c(l|i),逐步判別法,前面判別用了所有變量. 但是各變量所起作用并不一樣. 要有進(jìn)有出,引進(jìn)“最重要的”并剔除不顯著的.

18、 根據(jù)是假設(shè)檢驗(yàn)(比如似然比檢驗(yàn)). 檢驗(yàn)的零假設(shè)是各組變量均值相等. Lambda (Wilks Lambda統(tǒng)計(jì)量) 接近0表示組均值不同,接近1表示組均值沒(méi)有不同. Chi-square是lambda的卡方轉(zhuǎn)換(Bartelett近似), 用于確定其顯著性.,鳶尾花數(shù)據(jù)(花瓣,花萼的長(zhǎng)寬) 5個(gè)變量:花瓣長(zhǎng)(slen),花瓣寬(swid), 花萼長(zhǎng)(plen), 花萼寬(pwid), 分類號(hào)(1:Setosa, 2:Versicolor, 3:Virginica),StatisticsClassify Discriminant: Variables: independent (slen,

19、swid,plen,pwid) Grouping(spno) Define range(min-1,max-3) Classify: prior probability(All group equal) use covariance matrix (Within-groups) Plots (Combined-groups, Separate-groups, Territorial map) Display (Summary table) Statistics: Descriptive (Means) Function Coefficients (Fishers, Unstandardized

20、) Matrix (Within-groups correlation, Within-groups covariance, Separate-groups covariance, Total covariance) Save: (Predicted group membership, Discriminant Scores, Probability of group membership),鳶尾花數(shù)據(jù)(數(shù)據(jù)分析過(guò)程簡(jiǎn)明表),鳶尾花數(shù)據(jù)(原始數(shù)據(jù)的描述),鳶尾花數(shù)據(jù)(合并類內(nèi)相關(guān)陣和協(xié)方差陣),鳶尾花數(shù)據(jù)(總協(xié)方差陣),鳶尾花數(shù)據(jù)(特征值表)Eigenvalue:用于分析的前兩個(gè)典則判別函數(shù)的

21、特征值, 是組間平方和與組內(nèi)平方和之比值. 最大特征值與組均值最大的向量對(duì)應(yīng), 第二大特征值對(duì)應(yīng)著次大的組均值向量典則相關(guān)系數(shù)(canonical correlation):是組間平方和與總平方和之比的平方根.被平方的是由組間差異解釋的變異總和的比.,鳶尾花數(shù)據(jù)(Wilks Lambda統(tǒng)計(jì)量)檢驗(yàn)的零假設(shè)是各組變量均值相等. Lambda接近0表示組均值不同,接近1表示組均值沒(méi)有不同. Chi-square是lambda的卡方轉(zhuǎn)換, 用于確定其顯著性.,鳶尾花數(shù)據(jù)(有關(guān)判別函數(shù)的輸出),標(biāo)準(zhǔn)化的典則判別函數(shù)系數(shù)(使用時(shí)必須用標(biāo)準(zhǔn)化的自變量),鳶尾花數(shù)據(jù)(有關(guān)判別函數(shù)的輸出),典則判別函數(shù)系數(shù),鳶尾花數(shù)據(jù)(有關(guān)判別函數(shù)的輸出)這是類均值(重心)處的典則判別函數(shù)值,這是典則判別函數(shù)(前面兩個(gè)函數(shù))在類均值(重心)處的值,鳶尾花數(shù)據(jù)(用判別函數(shù)對(duì)觀測(cè)量分類結(jié)果),先驗(yàn)概率(沒(méi)有給),費(fèi)歇判別函數(shù)系數(shù) 把自變量代入三個(gè)式子,哪個(gè)大歸誰(shuí).,Territorial Map Canonical Discrimina