1、判別分析專題5.1引言有一些昆蟲的性別很難看出，只有通過解剖才能夠判別；但是雄性和雌性昆蟲在若干體表度量上有些綜合的差異。于是統(tǒng)計學(xué)家就根據(jù)已知雌雄的昆蟲體表度量（這些用作度量的變量亦稱為預(yù)測變量）得到一個標(biāo)準(zhǔn)，并且利用這個標(biāo)準(zhǔn)來判別其他未知性別的昆蟲。這樣的判別雖然不能保證百分之百準(zhǔn)確，但至少大部分判別都是對的，而且用不著殺死昆蟲來進(jìn)行判別了。在科學(xué)研究和日常生活中，我們經(jīng)常會遇到對觀測到的樣品數(shù)據(jù)進(jìn)行判別分類的問題。例如，在經(jīng)濟學(xué)中，可根據(jù)各國的人均國民收入、人均工農(nóng)業(yè)產(chǎn)值和人均消費水平等多種指標(biāo)來判定一個國家經(jīng)濟發(fā)展程度的所屬類型；在人口學(xué)中，可根據(jù)平均預(yù)期壽命、經(jīng)濟水平和嬰兒死亡率等因

2、素來判定這個地區(qū)人口死亡水平的所屬類型；在醫(yī)學(xué)上，經(jīng)常要根據(jù)患者的不同癥狀和化驗結(jié)果等多項指標(biāo)來診斷其患病類型；在氣象學(xué)中，要根據(jù)最近的一些氣象資料來判斷明天是否會下雨；等等。所有這些問題一般都可以應(yīng)用統(tǒng)計學(xué)中的判別分析方法予以解決。由于判定一個樣品的歸屬一般需要依據(jù)樣品的多項指標(biāo)，其統(tǒng)計推斷及分析也是按這些指標(biāo)來進(jìn)行的，所以將判別分析放在多元分析中討論是合適的。判別分析要解決的問題是在已知歷史上用某些方法已把研究對象分成若干組的情況下，來判定新的觀測樣品應(yīng)歸屬的組別。從概率統(tǒng)計的角度來看，判別分析問題可以歸結(jié)為：設(shè)有k個組（或總體）兀Ek，所有組的樣品都測量了相同的p個指標(biāo)，可表示為一個p維

3、向量，這k個組的分布函數(shù)分別是F,x）,F2（x），F(xiàn)k（x），均為p元分布函數(shù)，對于給定一個新樣品x，要求判斷它屬于哪一組。本章將介紹距離判別、貝葉斯（Bayes）判別和典型判別等幾種常用的判別分析方法。5.2距離判別一、馬氏距離的概念通常情況下，我們所說的距離一般是指歐氏距離，即p維歐氏空間RP中兩點x=（xi,x2，Xp）和y=（如2,yp）之間的平方距離度量為d2（x,y）=（%-yj2區(qū)-y2）（Xp-yp）2（）但是在統(tǒng)計學(xué)，特別是在多元分析中，有時用歐氏距離顯得不太合適，下面我們用一個例子來說明之。22設(shè)有兩個正態(tài)總體，xN（，；）,yNC'A二），現(xiàn)有一個樣品位于如圖5

4、.1所示的A點，距總體x的中心2-遠(yuǎn)，距總體y的中心遠(yuǎn)，那么，A點處的樣品到底離哪一個總體近呢？若按歐氏距離來度量，A點離總體x要比離總體y“近一些”。但是，從概率論的角度來看，A點位于3右側(cè)的2；亠處，而位于J2左側(cè)1.5y處，應(yīng)該認(rèn)為A點離總體y“近一些”。顯然，后一種度量更合理些。為此，我們引入一種由印度著名統(tǒng)計學(xué)家馬哈拉諾比斯（Mahalanobis,1936年）提出的“馬氏距離”的概念。圖5.1設(shè)x,y是從均值為J，協(xié)方差矩陣為Z（0）的總體二中抽取的兩個樣品（p維），則總體二內(nèi)兩點x與y之間的平方馬氏距離定義為d2（x,y）=（xy）十（xy）（）定義點x到總體二的平方馬氏距離為d

5、2（X,二）=（X-）（X-（）二、兩組距離判別設(shè)組兀1和兀2的均值分別為片和卩2，協(xié)方差矩陣分別為紜和工2（紜，2=0），x是一個新樣品（p維），今欲判斷它來自哪一組。1.7J,J3一個直觀的想法是計算新樣品x到兩個組的平方馬氏距離d2（x,二1）和d2（x,二2），并按如下的判別規(guī)則進(jìn)行判斷22xE",右d（xr1）<d（x,兀2）11、22xWji2,右d（x,眄）：>d（x,兀2）為簡化上面的表述，考慮d2（x<：1）與d2（x,二2）之間的差，有22d（x,二J-d（x,二2）=（xd）J（x-叫）_（X2）（X2）2x2二亠叫3二叫一Ax-2xLA2-a

6、21Aa2-2x2叫匕二-ZxEb2匕2-2x2叫叫三亠2xEli2-J三八2=：-2xE叫2x22*丁叫一2二422xrLiJ）（叫W，®-4）（已+巴$一2x-?。ㄒ?罷）<2丿一2（x_）打（叫-）-2（x-）a=-2a（x-可備注：3J）打（2）一U二'2-2匕一2匕亠、_叫三亠、三/2-三亠、-"2三亠、=叫匕"一2三2同理（2）f2）- U匕亠打-打匕亠、：；丄二2匕打-二2匕4）2一叫匕亠打_，打lb、.叫匕I、_.二2匕42z4J2備注完畢。其中 二-d"二一2是兩個組均值的平均值，a=T.（亠-匕），則22d(x,：)d(

7、x,二2)=-2a(x-')=-2W(x)則判別規(guī)則()式可表述為xe眄,若W(x)乏0卄()兀2,若W(x)<0稱W(x)為兩組距離判別的判別函數(shù)，由于它是x的線性函數(shù)，故又稱為線性判別函數(shù)，a稱為判別系數(shù)。使用判別函數(shù)進(jìn)行判斷，難免會發(fā)生錯判。用©表示x來自二勺，而誤判為二2的概率；用e2表示x來自二2，而誤判為二i的概率，即G=P(W(x)：0|x二J，e2=P(W(x)_0|x二2)a.假定:i和二2皆為正態(tài)組若二1和二2皆為正態(tài)組，則當(dāng)x二1，即xNp(d,3)時,W(x)二a(x_JNW(x)二a(x_JNa(S-Ua羽令2=(亠-2)三°(亠2)

8、，于是»-J)-亠2»-J)-亠2(因為a=-T)an丨宀-4)=(氣-巴)廠(氣-巴)從而有W(x)=a(x_)N所以P(W(x):0)=PW(x)一才2A二ei備注：1 2W(x)2N(0,I)備注完畢。同理e2二P(W(x)_01x二2)若二1和二2皆為正態(tài)組，則當(dāng)X二2，即XNp（2,1）時所以W(x)二a(x-')Na(J-),aEa12丿令厶2S）則W(x)=a(x円N-A2ji2I2丿從而P(W(x)-0)=PP(W(x)-0)=PA>2)JPW(x)一(一2)其中：:()表示標(biāo)準(zhǔn)正態(tài)分布的分布函數(shù)。故而兩個誤判概率相同，均為07一:-J()2在

9、實際應(yīng)用中，各組的均值和協(xié)方差矩陣一般都是未知的,差矩陣分別估計。設(shè)Xi，x21),xj是來自組：!的樣本,(5.2.7)可由樣本均值和樣本協(xié)方X1，x22),，xf是來自組二2的(5.2.7)可由樣本均值和樣本協(xié)方X1，x22),，xf是來自組二2的一(1)x丄1x(1)和x(2)門1i1n2'XiiA樣本，丄1和丄2的一個無偏估計分別為1的一個聯(lián)合無偏估計為SpSp1rnr2-2(A1A2)其中A.SxL)(xFiT-C).-x)=1,2此時，兩組距離判別的判別函數(shù)為(528)v?(x)二a?(x-x)1(1)一1(1)一(2)這里x(xx)，自二Sp(x-x)。2其判別規(guī)則為x1

10、,若V?(x)色0x兀2,若v?(x)V0b.二1和二2不能假定皆為正態(tài)組若二1和二2不能假定為正態(tài)組，則可使用相互驗證方法（稱為比例法或刀切法）對誤判率ei和e?作出估計。令T（1）=（x_Xi）S,（Xi_Xi）和Qi（1）=化（1）_X）Sj（Xi（1）_X（2）這里x是xyxj,，X：）中除去Xi之后ni-1個觀測向量的平均值，i=1,2,川1。設(shè)mi是使Ti（1）.Qi（1），i=1,2，,ni成立的個數(shù)，則估計為凹。類似地，令T（2）=（才）X）s；（Xi（2）X）和Qi=（Xi二2）s；（Xi（2）X（2）這里X是Xi（2）,x22）/-&2）中除去Xi（2）之后n2-1

11、個觀測向量的平均值，i=1,2/,n2。設(shè)m2是使Qi（2）Ti，i=1,2，,n2成立的個數(shù)，則e2估計為m2。n2例設(shè)P=1，二1和二2的分布分別為N（r,；2）和N（2,；2），-、1,2，二2均已4_4-知,1八2，則判別系數(shù)a=122:0,判別函數(shù)為W（x）二a（x-T，判別規(guī)則為兀1,若X|x匹2,若X-J下面計算誤判概率。由于宀（72）匸（72）_（f2）2CT2所以厶=1，則來自二1的X被誤判為二2的概率和來自二2的X被誤判為二1的概率均a是O叫G2O叫G2圖5.2二i和二2的分布如圖5.2所示，ei是右邊的面積，e2是丄左邊的面積。如果兩個組很接近，則兩個誤判概率都將很大。這

12、時，作判別分析就沒有多大的實際意義。2.7-”2，二1=2采用廣-H-22",右d(x,“)Ed(X,兀2):、22KE兀2,右d(x,)>d(x,兀2)作為判別規(guī)則的形式。另一種方式是，選擇判別函數(shù)為22_1iW(x)=d(X,6)-d(x,二2)=(xT)：(X-S)-(x-T)h(x-T)()它是x的二次函數(shù)，相應(yīng)的判別規(guī)則為n1,若W(x)30丿卄()兀2,若W(x)V0在實際應(yīng)用中，各組的均值和協(xié)方差矩陣一般都是未知的，可由樣本均值和樣本協(xié)方差矩陣分別估計。設(shè)X1，x2°,，xn1)是來自組二1的樣本，X1，x22),，x(是來自組二2的樣本，J1和J2的一

13、個無偏估計分別為-(1)X-(1)X和宀丄Jxn1i1n2i1眾和匕2可分別估計為S1=-1A和S21n2-1A2例在例中，設(shè)二1和二2這兩個組的方差不相同，分別為22匚1禾口二2d2（x-.）二X”2:-=1,2，故d（x,：.）二，-1,2，當(dāng)：:：X:：:%，這時J2時,d（x,7）d（x,二2）X_2-Xa1a2二2（X丄1）-；1（"2-X）十2；1；2：.：-2丄1二1亠2亠jX:1：2（；二1；2）X（匚21"2）-（G丁2；2.芥2式中它是J1和2的加權(quán)平均，其權(quán)數(shù)分別為常稱為閾值點。備注：如圖5.3所示，當(dāng)二1=；2時，丄就化為例中的）。備注完畢。判別規(guī)則

14、為x-1,若x4*O叫rJ2O叫rJ2圖5.3三、多組距離判別1協(xié)方差矩陣相同設(shè)有k個組二1,二2,，二k，它們的均值分別為匕,，協(xié)方差矩陣均是，則d2（x,二J=（x-亠.）=（x-亠.）皿x-2i.x-2-2皿x-2x”L,=x£x-21/+CJ其中i：.八亠,匚y：-1,2/,k。因此，線性判別函數(shù)為F（）（）嚴(yán)嚴(yán)嚴(yán)是12n-.，是I：.xC.,：=1,2,k相應(yīng)的判別規(guī)則為FFx二i，若IixG=max（IjxCj）當(dāng)7,T,，匕均未知時，可通過相應(yīng)的樣本值來代替。設(shè)從組兀g中抽取的一個樣本（口=1,2,k），則怙（。=1,2,，k）和工可估計為其中Xi（：）:-=1,2,，

15、k和Spn-k芒：1n=n1n2川卷nk,A（Xi（UxX（12-,k2協(xié)方差矩陣不同設(shè)有k個組二1,二2,，二k，它們的均值分別為1,2，協(xié)方差矩陣分別為二1匸2，tk，且它們不全相同，則計算X到各組的平方馬氏距離21d（x,二J=（x-J二（x-，.），:=1,2,k（）判別規(guī)則為22x二i，若d（xmind（x,二j）（）當(dāng)叫宀，二1上2，匸k未知時,S（'=1,2,k）的估計同前,二O=1,2，k）的估計為1SA.，:=1,2,k'n：-1'例對28名一級和25名健將級標(biāo)槍運動員測試了6個影響標(biāo)槍成績的訓(xùn)練項目，這些訓(xùn)練項目（成績）為：30米跑（x1），投擲小球

16、（x2），挺舉重量（x3），拋實心球（x4），前拋鉛球（X5），五級跳（X6），全部數(shù)據(jù)列于表5.1?，F(xiàn)有14名未定級的運動員，需根據(jù)這六項訓(xùn)練項目成績（列于表5.4）對它們進(jìn)行分組。備注：新樣品距離判別的計算結(jié)果列于表5.5。判別結(jié)果：有9名一級，5名健將級運動員。備注完畢。5.3貝葉斯（Bayes判別設(shè)有k個組二1,二2,，二k，且二:-Np（：.，匕：.），二0，:二1,2，k。又設(shè)樣品kX來自組二：.的先驗概率為q：.,二=1,2，k，滿足q：.=1。x到二：.的平方馬氏距離是121備注：這里換了一種記法，原來記為d2（x,二.）。備注完畢。來自二一.的x的概率密度為丄if/x）=0）

17、3工二6乂卩-05d；（x）（）利用貝葉斯理論，x屬于.的后驗概率（即當(dāng)樣品x已知時，它屬于二：.的概率）為P(二：.|x)P(二：.|x)qf(x),：=1,2,k(532)、'qf.(x)、'qf.(x)x到二：.的廣義平方距離定義為D；(x)二d：(x)g：.h：.,：“2,k(533)其中in滋若紜，龍2，Jk不全相等P，右£=送2=Mk=1,2/,k-2lnq：.,若q1,q2/,qk不全相等h、；h、；0,右qq2:-1,2,k由此可推出x屬于二.的后驗概率為exp'-0-5D2(x)lexp'-0-5D2(x)lp(.丨X)k'Z

18、expL°.5D：(x)】:-1-=1,2/,k(534)可采用如下的判別規(guī)則x二i，若P(6|x)=maxP(：j1芻盤x二i，若P(6|x)=maxP(：j1芻盤|x)(535)它也可以等價地表達(dá)為(536)(536)Di2(xH1mjinsD2(x)1，則廣義平方距離將退化為上一節(jié)的k平方馬氏距離，即D.（xHd2（x）,=1,2,，k，這時，判別規(guī)則（）式將等同于(5213)式，即等同于x,，若hxg嘔x5)()實際應(yīng)用中，以上各式中的和.(：=1,2,k)一般是未知的，需要通過樣本(1)-(2)-(k)進(jìn)行估計，叫廠匕廠、可用x,x，X來估計。三sbLEk的估計可分兩種情況

19、：當(dāng)二二H=沐=三時，可采用聯(lián)合協(xié)方差矩陣Sp進(jìn)行估計；當(dāng)匕1二2廠，3不全相等時，可采用組內(nèi)協(xié)方差矩陣S1,S2,，Sk分別進(jìn)行估計。若對X來自哪一組的先驗信息1無所知，則可認(rèn)為q1=q2二-qkk例在例中使用貝葉斯判別法。設(shè)先驗概率q二q2=0.5，這時，D：(x)=d2.(x)，:=1,2，因此，x屬于.的后驗概率為P(x),=1,2expLo.5d；(x)】exp_0.5d1(x)Iexp0.5d；(x)備注：將53名定好級和14名未定級的運動員歸屬各組的后驗概率分別列于表5.6和表5.7。判別結(jié)果完全等同于例。備注完畢。5.4典型判別k設(shè)有n：.個樣品來自組一.，-1,2/,k，共有

20、n=n：.個樣品，每一個樣品都可視1為p維歐氏空間Rp中的一個點，所有n個點由k個不同的集合組成，第個集合(由組:.形成)含有n：.個點?？臻g中的這些子集越是彼此分開，組之間的差異就越明顯，樣品來自哪一組也就越容易判斷。當(dāng)p=1或2時，我們可以把所有的n個點都畫在坐標(biāo)軸或坐標(biāo)平面上，通過觀測k個點集合的位置，從直觀上就可以直接對各組加以辨別。然而，在實際問題中，一般p大于3，這樣也就無法直接從直觀的幾何圖形上區(qū)別各組。多元分析中有一個非常重要的思想方法，就是采用降維技術(shù)，把Rp中的點通過適當(dāng)方式投影到低維空間，即用低維向量近似地替代p維向量，然后在低維空間上再進(jìn)行組的辨別。樣品在降維之后難免損

21、失一部分信息，但只要使用的方法得當(dāng)，我們可以最大限度地減少這種損失，從而保留絕大部分的有用信息，即關(guān)于能夠反映組之間差異的信息。為便于理解，我們以下用一個簡單的二維例子來加以說明。如圖5.4所示，兩個組的所有個體都測量了兩個變量x1和X2，將所有(X1,X2)點畫于直角坐標(biāo)系上，一個組的個體用“X”表示，另一個組的個體用“o”表示。假定我們希望將二維空間的點投影到某個一維空間，即一條直線上，然后再對兩組進(jìn)行判別，則投影到不同的直線上，判別的效果一般是不同的。從圖5.4中可見，如果兩個組的點都投影到直線z上,則這兩組的投影點在該直線上的分布幾乎無任何差異，它們完全混合在一起，我們無法將這兩個點集

22、合區(qū)別開來，這樣的降維把反映兩組間差異的信息都給損失了，顯然是不可取的。事實上，最好的投影是投影到直線y上，因為它把兩組的投影點很清楚地區(qū)分了開來，這種降維把有關(guān)兩組差異的信息很好地保留了下來，幾乎沒有任何損失，如此再作判別分析就顯得非常容易。3米米-22101234-4我們現(xiàn)考慮將k組的p維數(shù)據(jù)投影到某個最佳方向(即一維表達(dá)式)，為了數(shù)學(xué)上的方便，使用p個數(shù)據(jù)分量的線性組合作為一維表達(dá)式。設(shè)來自組.的p維觀測值為x®,i=1,2/,n=1,2/,k，將它們投影到某一共同方向，得到的投影點是線性組合y(:°ax(:),i=1,2,，n-1,2，k，這里a=(ai,a2,ap

23、)為一p為常數(shù)向量，表示投影方向。這樣，所有的p維觀測值就簡化為一維觀測值。下面我們用y表示組，.中的均值，y表示所有k組Z的總平均值,才二；，了丄nJ，丄"y®nai=1n也n0(4i丄如果我們想度量k個組yi(:)之間的系統(tǒng)差異程度，則一個合適的方法是采用兀方差分析的技術(shù)。yi(：)的總離差平方和kn一_SSTH(yFy)2：-4i二kn-.=SS(ax*：-4i二kn-.二a'(x®J.1i4=aTa-ax)2式中kn；_T八L(xF_x)(Xi(：)_x)yi('的處理間離差平方和k%_©2SS(TR)八'(廠_y)2i呂

24、kn(:)-(ax加i呂、k、nC)=a二二(x.-1id二aBa-ax)2o-x)(x-x)a式中-(ci-B=(x_x)(xx)：z!i呂kk(：)G)n：.(x-x)(x-x)yi(:)的組內(nèi)離差平方和k%_(&2SSE八'(y()-y)2：-4Ve(ax®_aX(»)2二a第"(xFX)(x®-x(：)aVi4二aEa式中kn()()(-.)(:)、E八'(為一x)(x-x)、吉1vk八A(:):i并有關(guān)系式SST二SS(TR)SSESST、SS仃R)和SSE所含有的自由度分別為n-1、k-1和n-k。假定各組的真實方差相

25、等，則可以對k個組的真實組均值之間是否有顯著差異進(jìn)行檢驗。原假設(shè)是k個真實組均值相等，檢驗統(tǒng)計量為SS(TR)k-1SSEn-k當(dāng)F_F：.(k-1,n-k)時，拒絕原假設(shè)。F值越大，拒絕原假設(shè)的理由就越充分，可以認(rèn)為各組真實組均值之間的差異也就越大。為各組真實組均值之間的差異也就越大。各組的差異程度盡可能地大，應(yīng)選擇這樣的Xa)二SS(TR)SSEaBaaEaF值的大小與a有關(guān)，可看成是a的函數(shù)，要使a，以使F值達(dá)到最大，也就是使(541)達(dá)到最大。使c(a)達(dá)到最大的a并不唯一，因為若a使得-：(a)達(dá)到最大，則ca也使.：(a)達(dá)到最大，其中c為任意非零實數(shù)。由()式知，.'(a

26、)的最大值就是EB的最大特征值。將E4B的全部非零特征值依次記為r-鼻-0，它們都是特征方程(542)(543)(543)的根，相應(yīng)的特征向量依次記為a1,a2/,ar，滿足方程(B-iE)a0，i=1,2,r備注:因為EBx=./:x，所以Bx二E，x，即Bx二Ex，即(B_，E)x=0備注完畢。因為(ai)二aiBaiaiEaiaQiEa)a%Eq人厲丘耳a"Ea.rii,I=1,2/,raiEaiaiEaiaiEaiaiEai(544)所以，選擇投影方向a=a!，能使得處理間離差平方和SS(TR)與組內(nèi)離差平方和SSE之比達(dá)到最大值-(耳)=、。在上述討論中，我們致力于尋找一個

27、最能反映k個組之間差異的投影方向，即尋找線性判別函數(shù)Z1(xa1x。然而，如果組數(shù)k是大的，或者原始的數(shù)據(jù)向量維數(shù)p是大的，則僅僅使用一個判別函數(shù)是不夠的，因為僅在這一個投影方向上組之間的差異可能是模糊的。這時，我們可以考慮建立第二個線性判別函數(shù)Z2(x)=a2x；如還不夠，可再建立第三個線性判別函數(shù)Z3(x)二a3X，依次類推，所有的這些線性判別函數(shù)都稱為典型判別函數(shù)。(a)的大小可以用來衡量判別函數(shù)Z(x)二ax的效果，稱它為判別效率。我們還可以定義第i個典型判別函數(shù)乙(x)二ajx的判別能力為Pi-a'ii1(545)而ro(r°:r)個典型判別函數(shù)Z1(xa1x,Z2

28、(x)=a2x，Zro(xarox的累計判別能力定義為r°V打i=1卩1,2,心二遲入i)在實際應(yīng)用中，通常取較小的r。，并使得累計判別能力達(dá)到75%95%。因此，當(dāng)»,2：.譏達(dá)到這個百分比時，可選取前面r0個典型判別函數(shù)Z1(x)=a1x,Z2(x)=a?x，Z0(x)二a0x來代替全部r個判別函數(shù)Z1(xa1x,Z2(x)二a2x，Zr(x)=arx，表明用心(5:：:r)個綜合指標(biāo)進(jìn)行判別分組已足夠了。在確定了需使用的r0個典型判別函數(shù)Z1(xa1x,Z2(x)二a2x，Zr°(x)二ar0x之后，一個很自然的問題是如何來制定判別規(guī)則。設(shè)組二：.在ro個典型判別函數(shù)上的樣本均值為Z秤(”=丄£x滬，藝2叭刈=丄£2乂皿，Zr$(X)=丄扌arox血，"ai二"ai:=12,k我們以下分ro=1和ro兩種情況來進(jìn)行討論。當(dāng)r。=1時，把新樣品x=(xix，Xp)，代入判別函數(shù)Z!(xaix，判別規(guī)則為x5，若Zi(x)-Z(i)=minZi