第13章判別分析本章教學目標通過本章內(nèi)容的學習理解判別分析用于實際問題的基本假定；描述判別分析的計算方法及其應用場合。1本章主要內(nèi)容§13.0判別分析的基本思想§13.1距離判別§13.2Bayes判別§13.3Fisher判別

§13.4逐步判別2多元回歸無疑是使用最廣泛的多元相關數(shù)據(jù)的分析方法?；貧w普及性的基礎在于它去預測和解釋度量變量。對于非度量變量，多元回歸不適合解決此類問題。本章介紹的判別分析用來解決解釋變量是非度量變量的情形。例如根據(jù)人的身長、坐長、鼻骨的高度等特征判別人的種族；氣象上根據(jù)前幾天的氣象要素預報第二天是晴、陰還是雨；根據(jù)各國的人均國民收入、人均工農(nóng)業(yè)產(chǎn)值和人均消費水平等多項指標來判別一個國家經(jīng)濟發(fā)展程度的所屬類型；在市場預測中，根據(jù)以往多項指標的資料，判斷下季度(或下個月)產(chǎn)品是暢銷、正常還是滯銷；在環(huán)境科學中，根據(jù)某地區(qū)的氣象條件和大氣污染元素濃度等來判別該地區(qū)是屬嚴重污染、一般污染還是無污染。

§13.0判別分析的基本思想3當被解釋變量是屬性變量而解釋變量是度量變量時，判別分析是合適的統(tǒng)計分析方法。在很多情況下，被解釋變量包含兩組或者兩類，比如雄性與雌性、高與低。另外，有多于兩組的情況，比如低、中、高的分類。當包含兩組時，稱做兩組判別分析；當包含三組或者三組以上時，稱做多組判別分析。4判別分析的假設條件：假設一：每一個判別變量不能是其他辦別變量的線性組合。假設二：各組變量的協(xié)方差矩陣相等。假設三：是各判別變量之間具有多元正態(tài)分布5一.兩總體情況

設有兩個p維正態(tài)總體，，它們分別服從具有相同協(xié)方差矩陣Σ的正態(tài)分布和，其中，為p維列向量，Σ為階的正定矩陣。現(xiàn)給定一個個體x=(x1,…xp)T，問它來自哪個總體。

由于從兩個總體中抽取的個體是相互獨立并分別服從正態(tài)分布，而兩個總體有相同的協(xié)方差矩陣，因此來自兩個總體的個體之差別只在于它們分布中的均值向量和之間的差異。

§13.1距離判別

6距離判別的定義：首先定義一種個體x與各總體的距離，然后根據(jù)這種定義把x判別它與之距離近的總體，即按距離最近的規(guī)則判定給定個體的類別，這種判別方法稱為距離判別。馬氏距離：設總體，其中Σ為p×p階的正定矩陣，x,y是取自總體G的任意兩個個體，定義x與y的馬氏距離為

定義個體x與總體G的馬氏距離為x與總體G的均值向量的馬氏距離，即7對兩個具有相同協(xié)方差矩陣Σ的總體情形，按以下準則判別：其中

取上述距離之差8其中令則判別準則可以寫成

這里y(x)是x的函數(shù)，稱為判別函數(shù)。當兩類均值向量和及其共同的協(xié)方差矩陣Σ已知時，令：則a為一個已知的p維向量，這時

顯然，y(x)是x的一個線性函數(shù)，稱為線性判別函數(shù)，而系數(shù)向量a中的各個元素則稱為判別系數(shù)。9二、多總體情況對于多總體的情況，可以兩兩總體進行組合分別建立判別函數(shù)，然后再按最短距離原則建立判別規(guī)則，所以多總體的距離判別是兩總體情況的自然推廣。

1.協(xié)方差陣相同設有k個總體，它們的均值向量分別是，協(xié)方差陣均為Σ。類似于兩總體的討論，判別函數(shù)為其判別規(guī)則為

102.協(xié)方差陣不同

這時判別函數(shù)為這時的判別規(guī)則為：

11一、貝葉斯判別準則貝葉斯(Bayes)判別是在各總體的分布密度和先驗概率已知的情形下常用的判別方法。設有k個總體分別具有p維密度函數(shù)，已知出現(xiàn)這k個總體的先驗分布為，我們將要建立判別函數(shù)和判別規(guī)則。設已給定的一個劃分，即互不相交，且。如果這個劃分取得適當，正好對應k個總體，這時判別規(guī)則可以采用如下方法：

§13.2Bayes判別

12用L(j|i)表示樣本來自Gi

而誤判為Gj

的損失，這一誤判的概率為定義的劃分的錯判平均損失(expectedcostofmisclassification)為我們總是規(guī)定L(i/i)＝0。13若記

為某個樣品被錯判為總體的損失，則上式可寫為：顯然，要使平均損失最小，必須使每個最小，而要使最小，則的選擇就應該是在所有的劃分中取最小的劃分。因此，可得出貝葉斯判別的解為

14在實踐中，由于L(j/i)不易精確計算，故往往假設

由此，就可簡寫成為

式中C(x)是各個總體的先驗概率與其分布密度乘積之和，與樣品的分類無關。因此，要選擇使最小的劃分，也就是等價于選擇使最大的劃分。這時，貝葉斯判別的解又可寫成為：15這種判別方法實際上就是根據(jù)后驗概率最大的貝葉斯準則進行的判別，第l類出現(xiàn)的后驗概率可記為這時，判別規(guī)則即貝葉斯判別的解為貝葉斯判別需要首先知道各類即各個總體的分布密度，但各個總體的分布密度往往都是未知的，所以實踐中一般假設總體的分布密度為正態(tài)密度。16二、正態(tài)總體的貝葉斯判別

假設總體均服從正態(tài)分布，且具有相等的協(xié)差陣Σ，則各個總體的分布密度函數(shù)為：為了進行判別，需要在所有的中找出最大的，為了使判別函數(shù)具有簡單的形式，取對數(shù)得略去等式右邊與l無關的項，并記應用該判別函數(shù)得貝葉斯解為

17特別地，當k=2時，可以給出更簡單的判別函數(shù)，則貝葉斯解為：

經(jīng)過運算，該規(guī)則可以寫為：18三、

Fisher判別

費歇(Fisher)判別是借助于方差分析的思想，來導出判別函數(shù)和建立判別規(guī)則。由于線性函數(shù)計算簡便，使用起來也方便，所以費歇判別中通常也都使用線性判別函數(shù)。設從k個總體分別取得k組p維觀察值如下：令a為中的任一向量，這時，上述數(shù)據(jù)以a為法線的投影為19它正好組成一元方差分析的數(shù)據(jù)，其組間平方和為組內(nèi)平方和為20如果k組均值有顯著差異，則

應充分地大，或者

應充分地大。由矩陣知識，我們知道的極大值為，它是的最大特征根，為相應的特征向量，當時，可使達到最大。判別函數(shù)為

21對于給定的一個樣品，該樣品的判別函數(shù)離哪一個總體的距離近，就將該樣品判歸那一類。如此，就有下列判別規(guī)則22目前使用最多的逐步判別法篩選變量的過程類似于逐步回歸法，變量的選取是步進式的，每步選一個變量。第一步是在全體可供篩選得變量中選出具有最大判別能力得一個，第二步是在剩下來的變量中選出與前步已選變量配合后具有最大判別能力的一個，……，第s步是在剩余的變量中選出與前s-1步已選變量配合后具有最大判別能力的一個。

§13.4逐步判別

23在逐步判別中，還應對每步將要選入的具有最大判別能力的變量進行必要