當前1頁，總共67頁。（優(yōu)選）第判別分析當前2頁，總共67頁。把這類問題用數(shù)學語言來表達，可以敘述如下：設有k個m維總體（或類別）G1，G2，…，Gk，(1)、它們的分布特征已知，已知分布函數(shù)分別為F1(x)，F(xiàn)2(x)，…，F(xiàn)k(x)；

(2)、或知道來自各總體的樣本（訓練樣本）。對給定的一個新樣本X（檢測樣本），判斷X來自哪一個總體（類）。當前3頁，總共67頁。

判別分析內(nèi)容很豐富，方法很多。判斷分析按判別的總體數(shù)來區(qū)分，有兩個總體判別分析和多總體判別分析；按區(qū)分不同總體所用的數(shù)學模型來分，有線性判別和非線性判別；按判別時所處理的變量方法不同，有逐步判別和序貫判別等。判別分析可以從不同角度提出問題，因此有不同的判別準則，如馬氏距離最小準則、Fisher準則、平均損失最小準則、最小平方準則、最大似然準則、最大概率準則等等，按判別準則的不同又提出多種判別方法。本章僅介紹常用的幾種判別分析方法：距離判別法、Fisher判別法、Bayes判別法和逐步判別法。當前4頁，總共67頁。第二節(jié)距離判別法距離判別的基本思想樣本與哪一類總體的距離最近，就判別它屬于哪一類總體。當前5頁，總共67頁。第二節(jié)距離判別法一馬氏距離的概念二距離判別三判別分析的實質(zhì)

當前6頁，總共67頁。已知，兩類，是設備A生產(chǎn)的產(chǎn)品，質(zhì)量高，平均耐磨程度為，設備精度的方差；是設備B生產(chǎn)的產(chǎn)品，質(zhì)量稍差，?，F(xiàn)有一產(chǎn)品X，測得其耐磨度，試判斷該產(chǎn)品是哪一臺設備生產(chǎn)的？當前7頁，總共67頁。一、馬氏距離的概念

當前8頁，總共67頁。圖5.1當前9頁，總共67頁。當前10頁，總共67頁。為此，我們引入一種由印度著名統(tǒng)計學家馬哈拉諾比斯（Mahalanobis,1936）提出的“馬氏距離”的概念。當前11頁，總共67頁。二、距離判別

1、兩個總體的距離判別問題問題：設有協(xié)方差矩陣∑相等的兩個總體G1和G2，其均值 分別是1和

2，對于一個新的樣品X，要判斷它來自哪個總體。一般的想法是計算新樣品X到兩個總體的馬氏距離D2（X，

G1）和D2（X，G2），并按照如下的判別規(guī)則進行判斷這個判別規(guī)則的等價描述為：求新樣品X到G1的距離與到G2

的距離之差，如果其值為正，X屬于G2；否則X屬于G1。當前12頁，總共67頁。首先考慮

時的判別方法當前13頁，總共67頁。

當前14頁，總共67頁。

當前15頁，總共67頁。

當前16頁，總共67頁。這里我們應該注意到：當前17頁，總共67頁。當前18頁，總共67頁。2、多個總體的距離判別當前19頁，總共67頁。三、判別分析的實質(zhì)我們知道，判別分析就是希望利用已經(jīng)測得的變量數(shù)據(jù)，找出一種判別函數(shù)，使得這一函數(shù)具有某種最優(yōu)性質(zhì)，能把屬于不同類別的樣本點盡可能地區(qū)別開來。為了更清楚的認識判別分析的實質(zhì)，以便能靈活的應用判別分析方法解決實際問題，我們有必要了解“劃分”這樣概念。設D1，D2，…，Dk是m維空間Rm的k個子集，如果它們互不相交，且它們的和集為Rm，則稱D1，

D2，…，Dk為Rm的一個劃分。這時判別準則可以采用如下方法：當前20頁，總共67頁。

這樣我們將會發(fā)現(xiàn)，判別分析問題實質(zhì)上就是在某種意義上，以最優(yōu)的性質(zhì)對m維空間Rm構(gòu)造一個“劃分”，這個“劃分”就構(gòu)成了一個判別規(guī)則。這一思想將在后面的各節(jié)中經(jīng)常出現(xiàn)。當前21頁，總共67頁。第三節(jié)貝葉斯（Bayes）判別法一

Bayes判別的基本思想

二

Bayes判別的基本方法

當前22頁，總共67頁。從上節(jié)看距離判別法雖然簡單，便于使用。但是該方法也有它明顯的不足之處。 第一，判別方法與各總體出現(xiàn)的概率的大小無關(guān)； 第二，判別方法沒有考慮錯判所造成的損失。

Bayes判別法就是為了解決這些問題而提出的一種判別方法。Bayes判別的基本思想當前23頁，總共67頁。先驗概率先驗概率是一種權(quán)重(比例)。所謂“先驗”是指先于我們判斷決策之前。先驗概率的賦值方法：

1、利用歷史資料及經(jīng)驗進行估計；

2、利用訓練樣本中各類樣品占的比例估計；

3、假定k個總體各自出現(xiàn)的概率相同，即1/k;先驗概率當前24頁，總共67頁。在馬氏距離的基礎(chǔ)上，進一步考慮先驗概率及各組內(nèi)協(xié)方差陣的不同，定義樣品X到各總體的廣義平方距離為其中廣義平方距離當前25頁，總共67頁。廣義平方距離判別準則：

當前26頁，總共67頁。Bayes判別準則一、最大后驗準則辦公室新來了一個雇員小王，小王是好人還是壞人大家都在猜測。按人們主觀意識，一個人是好人或壞人的概率均為0.5。壞人總是要做壞事，好人總是做好事，偶爾也會做一件壞事，一般好人做好事的概率為0.9，壞人做好事的概率為0.2，一天，小王做了一件好事，小王是好人的概率有多大，你現(xiàn)在把小王判為何種人。當前27頁，總共67頁。當前28頁，總共67頁。當前29頁，總共67頁。

設有總體，具有概率密度函數(shù)。并且根據(jù)以往的統(tǒng)計分析，知道出現(xiàn)的概率為。即當樣本發(fā)生時，求他屬于某類的概率。由貝葉斯公式計算后驗概率，有：判別規(guī)則則判給。當前30頁，總共67頁。二、最小平均損失準則

設有總體，具有概率密度函數(shù)并且根據(jù)以往的統(tǒng)計分析，知道出現(xiàn)的概率為，其中又D1，D2，…，Dk是Rm的一個劃分，判別法則為：當樣品X落入Di時，則判

關(guān)鍵的問題是尋找D1，D2，…，Dk劃分，這個劃分應該使平均錯判損失最小。

當前31頁，總共67頁。錯判概率：P(j|i;D)

用P(j|i;D)表示由判別法D判別歸類時，將來自總體Gi的樣品錯判到總體Gj的概率。顯然

用L(j|i;D)表示由判別法D判別歸類時，將來自總體Gi的樣品錯判到總體Gj所造成的損失。錯判損失：L(j|i;D)錯判概率和錯判損失的估計！當前32頁，總共67頁。

當前33頁，總共67頁。

當前34頁，總共67頁。定義：如果有判別法D*，使得D*帶來的平均損失g(D*)達到最小，即則稱判別法D*符合貝葉斯判別準則，或稱D*為貝葉斯判別的解當前35頁，總共67頁。

定理：設有k的總體，已知的聯(lián)合密度函數(shù)為，先驗概率為，錯判損失為，則貝葉斯判別的解為其中它表示把樣品X判歸的平均損失。當前36頁，總共67頁。

當前37頁，總共67頁。

當前38頁，總共67頁。

當前39頁，總共67頁。第四節(jié)費歇（Fisher）判別法一

Fisher判別的基本思想

二

Fisher判別函數(shù)的構(gòu)造

三線性判別函數(shù)的求法當前40頁，總共67頁。Fisher判別法是1936年提出來的，該方法的主要思想是通過將多維數(shù)據(jù)投影到某個方向上，投影的原則是將總體與總體之間盡可能的放開，然后再選擇合適的判別規(guī)則，將新的樣品進行分類判別。當前41頁，總共67頁。一、Fisher判別的基本思想

當前42頁，總共67頁。二、Fisher判別函數(shù)的構(gòu)造

1、針對兩個總體的情形

當前43頁，總共67頁。

2、針對多個總體的情形

當前44頁，總共67頁。

當前45頁，總共67頁。三、線性判別函數(shù)的求法

當前46頁，總共67頁。

當前47頁，總共67頁。

當前48頁，總共67頁。這里值得注意的是，本書有幾處利用極值原理求極值時，只給出了不要條件的數(shù)學推導，而有關(guān)充分條件的論證省略了，因為在實際問題中，往往根據(jù)問題本身的性質(zhì)就能肯定有最大值（或最小值），如果所求的駐點只有一個，這時就不需要根據(jù)極值存在的充分條件判定它是極大還是極小而就能肯定這唯一的駐點就是所求的最大值（或最小值）。為了避免用較多的數(shù)學知識或數(shù)學上的推導，這里不追求數(shù)學上的完整性。

當前49頁，總共67頁。當前50頁，總共67頁。第五節(jié)實例分析與計算機實現(xiàn)這一節(jié)我們利用SPSS對Fisher判別法和Bayes判別法進行計算機實現(xiàn)。為研究某地區(qū)人口死亡狀況，已按某種方法將15個已知地區(qū)樣品分為3類，指標含義及原始數(shù)據(jù)如下。試建立判別函數(shù)，并判定另外4個待判地區(qū)屬于哪類？

X1

：0歲組死亡概率

X

4：55歲組死亡概率

X

2

：1歲組死亡概率

X5

：80歲組死亡概率

X

3

：10歲組死亡概率X6

：平均預期壽命當前51頁，總共67頁。表4.1各地區(qū)死亡概率表當前52頁，總共67頁。

(一)操作步驟

1.在SPSS窗口中選擇Analyze→Classify→Discriminate，調(diào)出判別分析主界面，將左邊的變量列表中的“group”變量選入分組變量中，將—變量選入自變量中，并選擇Enterindependentstogether單選按鈕，即使用所有自變量進行判別分析。圖4.2判別分析主界面當前53頁，總共67頁。

2.點擊DefineRange按鈕，定義分組變量的取值范圍。本例中分類變量的范圍為1到3，所以在最小值和最大值中分別輸入1和3。單擊Continue按鈕，返回主界面。

3.單擊Statistics…按鈕，指定輸出的描述統(tǒng)計量和判別函數(shù)系數(shù)。選中FunctionCoefficients欄中的Fisher’s和Unstandardized。這兩個選項的含義如下：Fisher’s：給出Bayes判別函數(shù)的系數(shù)。（注意：這個選項不是要給出Fisher判別函數(shù)的系數(shù)。這個復選框的名字之所以為Fisher’s，是因為按判別函數(shù)值最大的一組進行歸類這種思想是由Fisher提出來的。這里極易混淆，請讀者注意辨別。）Unstandardized：給出未標準化的Fisher判別函數(shù)（即典型判別函數(shù)）的系數(shù)（SPSS默認給出標準化的Fisher判別函數(shù)系數(shù)）。當前54頁，總共67頁。單擊Continue按鈕，返回主界面。圖4.3Statistics子對話框當前55頁，總共67頁。

4.單擊Classify…按鈕，定義判別分組參數(shù)和選擇輸出結(jié)果。選擇Display欄中的Casewiseresults，輸出一個判別結(jié)果表，包括每個樣品的判別分數(shù)、后驗概率、實際組和預測組編號等。其余的均保留系統(tǒng)默認選項。單擊Continue按鈕。圖4.4Classify…子對話框當前56頁，總共67頁。

5.單擊Save按鈕，指定在數(shù)據(jù)文件中生成代表判別分組結(jié)果和判別得分的新變量，生成的新變量的含義分別為：Predictedgroupmembership：存放判別樣品所屬組別的值；

Discriminantscores：存放Fisher判別得分的值，有幾個典型判別函數(shù)就有幾個判別得分變量；Probabilitiesofgroupmembership：存放樣品屬于各組的Bayes后驗概率值。將對話框中的三個復選框均選中，單擊Continue按鈕返回。當前57頁，總共67頁。

6.返回判別分析主界面，單擊OK按鈕，運行判別分析過程。圖4.5Save子對話框當前58頁，總共67頁。 （二）主要運行結(jié)果解釋

1.StandardizedCanonicalDiscriminantFunctionCoefficients（給出標準化的典型判別函數(shù)系數(shù)）標準化的典型判別函數(shù)是由標準化的自變量通過Fisher判別法得到的，所以要得到標準化的典型判別得分，代入該函數(shù)的自變量必須是經(jīng)過標準化的。

2.CanonicalDiscriminantFunctionCoefficients（給出未標準化的典型判別函數(shù)系數(shù)）未標準化的典型判別函數(shù)系數(shù)由于可以將實測的樣品觀測值直接代入求出判別得分，所以該系數(shù)使用起來比標準化的系數(shù)要方便一些。見表4.2（a）。當前59頁，總共67頁。由此表可知，兩個Fisher判別函數(shù)分別為：實際上兩個函數(shù)式計算的是各觀測值在各個維度上的坐標，這樣就可以通過這兩個函數(shù)式計算出各樣品觀測值的具體空間位置。當前60頁，總共67頁。表4.2（a）未標準化的典型判別函數(shù)系數(shù)當前61頁，總共67頁。

3.FunctionsatGroupCentroids（給出組重心處的Fisher判別函數(shù)值）如表4.2(b)所示，實際上為各類別重心在空間中的坐標位置。這樣，只要在前面計算出各觀測值的具體坐標位置后，再計算出它們分別離各重心的距離，就可以得知它們的分類了。表4.2（b）組重心處的Fisher判別函數(shù)值當前62頁，總共67頁。

4.ClassificationFunctionCoefficients（給出Bayes判別函數(shù)系數(shù)）