多元統(tǒng)計分析——判別分析統(tǒng)計研一蘇旸2007100196判別分析案例判別分析——把對象歸到已知類中人們常說：——“像諸葛亮那么神機妙算”——“像泰山那么穩(wěn)固”——“像鉆石那么堅硬”一些判別標(biāo)準(zhǔn)都是有原型的，雖然這些判別的標(biāo)準(zhǔn)并不那么精確或嚴(yán)格，但大都是根據(jù)一些現(xiàn)有的模型得到的。判別分析案例判別分析的方法距離判別法Fisher判別法Bayes判別法逐步判別法判別分析案例距離判別法假設(shè)有兩個總體G1和G2,如果能夠定義點x到它們的距離D(x,G1)和D(x,G2),則如果D(x,G1)<D(x,G2)，則x∈G1如果D(x,G2)<D(x,G1)，則x∈G2如果D(x,G1)=D(x,G2)，則待判。距離判別法的不足之處：判別方法與總體各自出現(xiàn)的的概率大小無關(guān)；判別方法與錯判之后所造成的損失無關(guān)。判別分析案例Fisher判別法所謂Fisher判別法，就是一種先投影的方法，把高維空間中的點向低維空間進行投影。主要思想是通過將多維數(shù)據(jù)投影到某個合適的方向上。而投影的原則是將總體與總體之間盡可能的分開，然后選擇合適的判別規(guī)則，進行分類判別。判別分析案例Bayes判別法當(dāng)每個分類的觀察值不同時，最好用Bayes判別。因為每個分類的觀察值不同時，每類出現(xiàn)的機會是不同的，而Fisher判別法忽視了這個問題。具體方法是：對每一個樣品先計算出判別分數(shù)D，然后根據(jù)先驗概率和D的條件概率，計算出該樣品被判為每一類的后驗概率，哪

類的后驗概率最大，則判為哪一類。判別分析案例逐步判別法逐步判別法就是在前面的方法中加入變量選擇功能。有時，一些變量對于判別沒有什么作用，為了得到對判別最合適的變量，可以使用逐步判別。逐步判別的思想是先用少數(shù)變量進行判別，然后一邊判別，一邊引進判別能力最強的變量，同時淘汰判別能力不強的的變量。主要利用一些檢驗來判斷變量的判別能力。判別分析案例

大綱數(shù)據(jù)介紹SPSS實現(xiàn)結(jié)果分析R語言實現(xiàn)disc.sav,disc.txt判別分析案例數(shù)據(jù)介紹——disc.sav數(shù)據(jù)來源：吳喜之——《統(tǒng)計學(xué)：從數(shù)據(jù)到結(jié)論》。數(shù)據(jù)介紹：某專家編出一套打分體系來描繪企業(yè)的狀況。該體系對每個企業(yè)的一些指標(biāo)（變量）進行評分。共有8個指標(biāo)，如下頁表格所示。有一些企業(yè)已經(jīng)被某雜志劃分為上升企業(yè)、穩(wěn)定企業(yè)和下降企業(yè)。我們希望根據(jù)這些企業(yè)的上述變量的打分和它們已知的類別，找出分類標(biāo)準(zhǔn)，并對沒分類的企業(yè)進行分類。判別分析案例變量描述變量名稱涵義描述group表示類別。group-1代表上升，group-2代表穩(wěn)定，group-3代表下降。is表示企業(yè)規(guī)模。se表示服務(wù)。sa表示雇員工資比例。prr表示利潤增長。ms表示市場份額。msr表示市場份額增長。cp表示流動資金比例。cs表示資金周轉(zhuǎn)速度。判別分析案例數(shù)據(jù)展示該數(shù)據(jù)disc.sav共有90個樣本，其中30個屬于上升型，30個屬于穩(wěn)定性，30屬于下降型。這個已知類別的數(shù)據(jù)稱為一個“訓(xùn)練樣本”。group表示類別8個用來建立判別標(biāo)準(zhǔn)的變量判別分析案例SPSS實現(xiàn)——數(shù)據(jù)讀入File

→

Open→

Data

→

“Disc.sav”判別分析案例SPSS實現(xiàn)——數(shù)據(jù)編輯VariableView→“Group”變量Decimals：“2”→“0”；

Label：添加變量名稱，便于識別；“Group”變量Value：添加組別。判別分析案例SPSS實現(xiàn)——數(shù)據(jù)分析Analyze

→

Classify→

Discriminant判別分析案例SPSS實現(xiàn)——模塊介紹Grouping

Variable：選入分類變量“Group”，Define

Range被激活。點擊彈出Range對話框，分別輸入分類變量最小值和最大值，本例為“1”和“3”。Independents：選入自變量。本例選入變量“is—cs”。Enter

independents

together：所有自變量同時進入方程。Use

stepwise

method：逐步判別法。按自變量貢獻大小，逐個引入和剔出變量，直到?jīng)]有新的有顯著作用的自變量可以引入，也沒有無顯著作用的自變量可以從方程內(nèi)刪除為止。選此項后，激活Method按鈕。SelectVariable：挑選觀察單位。框內(nèi)選入變量后（不能選入分類變量和自變量中已選入的變量），Value按鈕被激活，填入數(shù)值。自己符合該數(shù)值的的觀察單位才參與判別分析；若不選此項，則所有觀察單位都參與判別分析。判別分析案例SPSS實現(xiàn)——選擇變量的方法兩種變量選擇方法自變量同時進入方程逐步判別法判別分析案例SPSS實現(xiàn)——變量選擇group選入分組變量is-cs選入自變量選擇自變量同時進入方程的方法判別分析案例SPSS實現(xiàn)——Statistics模塊Descriptives：描述性統(tǒng)計量。Means：均數(shù)估計。Univariate

ANOVAs：單變量方差分析。Box’s

M：組間協(xié)方差齊性檢驗。Matrices：矩陣Within-groups

correlation：合并組內(nèi)相關(guān)陣。Within-groups

covariance：合并組內(nèi)協(xié)方差陣。Separate-groups

covariance：各組協(xié)方差陣。Totalcovariance：總協(xié)方差陣。Function

Coefficients：函數(shù)系數(shù)。Fisher’s：Fisher函數(shù)系數(shù)——Bayes判別函數(shù)系數(shù)。Unstandardized：非標(biāo)準(zhǔn)化函數(shù)系數(shù)——Fisher判別函數(shù)系數(shù)。判別分析案例SPSS實現(xiàn)——Statistics模塊選擇Means進行均數(shù)估計選擇Box’s

M進行各組協(xié)方差陣相等檢驗生成Bayes判別方程系數(shù)和Fisher判別方程系數(shù)。選擇ANOVAs進行各組均值相等檢驗判別分析案例SPSS實現(xiàn)——Classify模塊Prior

Probabilities：設(shè)定先驗概率。All

groups

equal：各組等概率。Compute

from

group

sizes：各組樣本量的百分比為先驗概率。Display：輸出。Casewise

result：每個觀察單位判別分析后所屬類別。Limit

cases

to

first

[]：前若干觀察單位判別分析后所屬類別。Summary

table：判別符合率表。Leave-one-out

classification：以剔出某觀察單位所建立的判別函數(shù)判別該觀察單位所屬類別。Use

Covariance

Matrix：使用協(xié)方差陣。Within-groups：組內(nèi)協(xié)方差陣。Separate-groups：各組協(xié)方差陣。判別分析案例SPSS實現(xiàn)——Classify模塊Plots：判別圖。Combined-groups：各類共同輸出在一幅散點圖中。Separate-groups：每類單獨輸出一幅散點圖。Territorial

map：分類區(qū)域圖。Replace

missing

values

with

mean：用均數(shù)替代缺失值。選擇以樣本量百分比為先驗概率顯示每個單位判別分析后所屬類別顯示判別符合率表類別顯示在同一散點圖中以剔出某觀察單位所建立的判別函數(shù)判別該觀察單位所屬類別判別分析案例SPSS實現(xiàn)——Save模塊Save：存為新變量。Predicted

group

membership：預(yù)測觀察單位所屬類別。Discriminant

scores：判別分。Probabilities

of

group

membership：觀察單位屬于某一類的概率。在數(shù)據(jù)中保存判別后數(shù)據(jù)所屬類別在數(shù)據(jù)中保存數(shù)據(jù)的判別分判別分析案例結(jié)果分析在判別分析主對話框中點擊“OK”，生成輸出output文件。90個變量100%讀入，沒有缺失值判別分析案例結(jié)果分析各自變量的方差分析及λ統(tǒng)計量說明在3類企業(yè)間，各變量均有顯著差異λ統(tǒng)計量在0-1之間。越接近0組間差異越顯著；越接近1組間差異越不顯著。判別分析案例結(jié)果分析各組協(xié)方差陣相等的檢驗說明拒絕協(xié)方差矩陣相等的假設(shè)，即不能認為各組間協(xié)方差矩陣相等。從一些統(tǒng)計實踐的結(jié)果來看，很少有碰到檢驗不顯著的情況。而在一些實踐中，比如線性判別分析，即使方差－協(xié)方差結(jié)構(gòu)不相等，對于結(jié)果的影響也不會有非常大的影響。判別分析案例結(jié)果分析——Fisher判別法標(biāo)準(zhǔn)化典型判別函數(shù)系數(shù)得到2個標(biāo)準(zhǔn)化典型判別方程：需要注意的是：這是標(biāo)準(zhǔn)化后的判別函數(shù)，若要將變量帶入計算判別分，必須將變量進行標(biāo)準(zhǔn)化處理（即減均值除以標(biāo)準(zhǔn)差）。判別分析案例結(jié)果分析——Fisher判別法結(jié)構(gòu)系數(shù)矩陣——用來說明判別變量對標(biāo)準(zhǔn)化典型判別方程的相關(guān)程度結(jié)果說明，前6個變量(*)對方程1貢獻比較大，后兩個變量對方程2貢獻較大。判別分析案例結(jié)果分析——Fisher判別法未標(biāo)準(zhǔn)化典型判別函數(shù)系數(shù)—Fisher判別法得到2個未標(biāo)準(zhǔn)化典型判別方程：可以將原變量值直接代入計算判別分進行分類。判別分析案例結(jié)果分析——Fisher判別法生成3個新的變量dis_1表示判別后所屬組別的值dis1_1表示樣本代入第1個判別函數(shù)所得的判別分dis2_1表示樣本代入第2個判別函數(shù)所得的判別分判別分析案例結(jié)果分析——Fisher判別法Fisher判別法得到的分組圖各組重心——描述在判別空間每一組的中心位置判別分析案例結(jié)果分析——Fisher判別法判別力指數(shù)——兩個判別函數(shù)的作用并不是平等的，判別力指數(shù)給出了判別函數(shù)的重要程度。說明第一個判別函數(shù)的貢獻率高達98.8%，第二個判別函數(shù)的貢獻率僅為1.1%。判別分析案例結(jié)果分析——Fisher判別法殘余判別力指數(shù)——殘余判別力的含義是：在以前計算的函數(shù)已經(jīng)提取過原始信息之后，殘余的變量信息對于判別分組的能力。λ值越小表示越高的判別力。說明方程1提取了很大的信息量，而殘余變量信息對于判別分組的能力很小了。判別分析案例結(jié)果分析——Fisher判別法分類結(jié)果從表上看，我們的分類函數(shù)能夠100%的把訓(xùn)練數(shù)據(jù)的每一個觀測值分到其本來的類。該表分成兩部分：上面一半是用從全部數(shù)據(jù)得到的判別函數(shù)來判斷每一個點的結(jié)果；下面一半是對每一個觀測值，都用僅缺少該觀測值的全部數(shù)據(jù)得到的判別函數(shù)來進行判斷的結(jié)果。判別分析案例結(jié)果分析——Bayes判別法各分類的先驗概率先驗概率是根據(jù)樣本出現(xiàn)概率確定的，本例3類企業(yè)各有30個，因此先驗概率相等都為33.3%。判別分析案例結(jié)果分析——Bayes判別法Bayes判別法得到的判別函數(shù)系數(shù)得到3個判別方程：將觀察單位的各個變量分別代入3個判別函數(shù)中，可求出3個判別函數(shù)值，哪一個最大就屬于哪一類。判別分析案例結(jié)果分析——Bayes判別法上述結(jié)果會生成一個CasewiseStatistics的表格。顯示實際分類和預(yù)測分類，系統(tǒng)會將分錯的樣本單位用*標(biāo)注出來。本例用Bayes判別法判別的正確率為100%。需要指出的是，根據(jù)推導(dǎo)出來的分類函數(shù)來分類，即使是對訓(xùn)練樣本的這些觀測值，也不一定總能保證全都被正確劃分。本例如果只用少數(shù)幾個變量進行判別，結(jié)果就不一樣了。判別分析案例結(jié)果分析使用企業(yè)規(guī)模(ie)、服務(wù)(se)和雇員工資比例(sa)三個變量進行判別，得到的分類圖。與8個變量進行判別相對比，明顯的三類點分的就不那么開了。判別分析案例結(jié)果分析基于3個變量的分類結(jié)果表結(jié)果顯示，對于全部數(shù)據(jù)的判別，有85個點（94.4%）得到正確劃分，5個點錯判；其中第二類有3個被誤判到第一類；有2個被誤判到第三類。對于交叉驗證的判別，有83個點（92.2%）得到正確劃分，有7個點被錯判；其中第二類有3個被誤判為第一類，4個被誤判為第三類。判別分析案例SPSS實現(xiàn)選擇逐步判別法Method模塊被激活判別分析案例SPSS實現(xiàn)——Method模塊Method：逐步判別分析方法Wilks’lambda：Wilks

λ統(tǒng)計量（組內(nèi)離差平方和/總離差平方和）最小化法。Unexplained

variance：組間不可解釋方差和最小化。Mahalanobis

distance：鄰近組間馬氏距離最大化法。Smallest

F

ratio：任兩組間最小F值最大化法。Rao’s

V：Rao

V統(tǒng)計量最大化法。

V-to-enter：V值最小增量值。Criteria：剔選標(biāo)準(zhǔn)Use

F

value：以F值為剔選變量準(zhǔn)則。Use

probability

of

F：以F值對應(yīng)的P值為剔選變量準(zhǔn)則。判別分析案例SPSS實現(xiàn)——Method模塊Display：輸出Summary

of

steps：輸出每一步的統(tǒng)計量。F

for

pairwise

distance：輸出兩組間判別檢驗的F值及P值。選擇Wilks

λ統(tǒng)計量最小化法選擇輸出每一步統(tǒng)計量當(dāng)F≧3.84時選入；當(dāng)F≦2.71時剔出。判別分析案例結(jié)果分析經(jīng)過分析，淘汰了不顯著的資金流動比例(cp)變量，當(dāng)然判別系數(shù)也發(fā)生相應(yīng)變化。判別分析案例結(jié)果分析雖然判別系數(shù)改變，但結(jié)果并未改變。判別分析案例R語言實現(xiàn)>w=read.table("disc.txt");attach(w);wV1代表Group。>V1=factor(V1)

#把分組變量變成定性變量。判別分析案例R語言實現(xiàn)>train=sample(1:90,45)

#隨即抽取一般樣本作訓(xùn)練樣本。>table(V1[train])

#顯示訓(xùn)練樣本中各類的比例。>librar