1、判別分析 距離判別法,目錄 / CONTENTS,01/引 言,02/距離判別法,04/距離判別法應(yīng)用,03/距離判別法例題,1彭力.冶金工業(yè)出版社,2劉慶軍，陳坤，劉曉光.煤與瓦斯突出預(yù)測(cè)PCA 距離判別法研究.煤礦安全，2016，42(10)：97-101 3姜喜春.數(shù)據(jù)挖掘中的距離判別分析法.科技資訊，2015，(27):155-157 4羅磊，曹平.深部巷道巖爆破加權(quán)距離判別法模型的分析和應(yīng)用.中南大學(xué)學(xué)報(bào)，2012，43(10)：71-75 5王吉亮，陳建平，楊靜.距離判別法在公路隧道巖分類中的應(yīng)用.吉林大學(xué)學(xué)報(bào).2008，38(6)：999-1004,引 言,信息融合中的分析方法有

2、三種，分別是：判別分析、聚類分析、主成成分分析。,判別分析產(chǎn)生于20世紀(jì)30年代。近年來(lái)，在自然科學(xué)、社會(huì)學(xué)及經(jīng)濟(jì)管理學(xué)科中都有廣泛的應(yīng)用。 判別分析的特點(diǎn)是根據(jù)已掌握的、歷史上每個(gè)類別的若干樣本的數(shù)據(jù)信息，總結(jié)出客觀事物分類的規(guī)律性，建立判別公式和判別準(zhǔn)則。然后，當(dāng)遇到新的樣品時(shí)，只要根據(jù)總結(jié)出來(lái)的判別公式和判別準(zhǔn)則，就能判別該樣品所屬的類別。,例如，某醫(yī)院有部分患有肺炎、肝炎、冠心病、糖尿病等病人的資料，記錄了每個(gè)患者若干項(xiàng)癥狀指標(biāo)數(shù)據(jù)?，F(xiàn)在想利用現(xiàn)有的這些資料找出一種方法，使得對(duì)于一個(gè)新的病人，當(dāng)測(cè)得這些癥狀指標(biāo)數(shù)據(jù)時(shí)，能夠判定其患有哪種病。這個(gè)問(wèn)題可以應(yīng)用判別分析方法予以解決。,已知n

3、個(gè)總體，其分布函數(shù)分別為： F1(x)，F(xiàn)2(x)， ，F(xiàn)k(x)， 每一個(gè)總體都是一個(gè)p維函數(shù)，對(duì)于給定的樣品x，我們應(yīng)該通過(guò)判別函數(shù)（判別準(zhǔn)則），來(lái)決定該樣品應(yīng)屬于這n個(gè)總體中的哪一個(gè)總體。,判別分析是在已知研究對(duì)象分成了若干類型（組別），并已取得各種類型的一批樣品觀測(cè)數(shù)據(jù)，在此基礎(chǔ)上根據(jù)某些規(guī)則建立判別式（判別量），然后對(duì)未知類型的樣品進(jìn)行判別分類。,決定某一樣品所屬的類別，其實(shí)質(zhì)是決定判別函數(shù)。根據(jù)樣品給定的多變量數(shù)據(jù)，由判別函數(shù)來(lái)決定該樣品所屬的類別。,判別函數(shù),判別分析內(nèi)容很豐富，方法很多。,按判別的組數(shù)來(lái)區(qū)分，有 兩組判別分析 和 多組判別分析；,按區(qū)分不同總體所用的數(shù)學(xué)模型來(lái)分

4、，有 線性判別 和 非線性判別；,按判別時(shí)所處理的變量方法不同，有 逐步判別 和 序貫判別。,判別分析可以從不同角度提出問(wèn)題，因此有不同的判別準(zhǔn)則，如馬氏距離最小準(zhǔn)則、Fisher準(zhǔn)則、平均損失最小準(zhǔn)則、最小平方準(zhǔn)則、最大似然準(zhǔn)則、最大概率準(zhǔn)則等等，按判別準(zhǔn)則的不同又提出多種判別方法。判別分析中主要有四種常用的判別方法，即距離判別法、Fisher（費(fèi)希爾）判別法、貝葉斯判別法和逐步判別法。,距離判別法,馬 氏 距 離,設(shè)總體 為m維總體（考察m個(gè)指標(biāo)），樣本 。令=E( )(i=1,2,，m)，則總體均值向量為 ?？傮wG的協(xié)方差矩陣為：,設(shè)X，Y是從總體G中抽取的兩個(gè)樣本，則X與Y之間的平方馬

5、 氏距離為： 樣本X與總體G的馬氏距離的平方定義為：,1.兩個(gè)總體的距離判別法：,這個(gè)判別規(guī)則的等價(jià)描述為：求新樣品X到G1的距離與到G2的距離之差，如果其值為正，X屬于G2；否則X屬于G1。,假設(shè)均值1，2以及協(xié)方差矩陣已知，相等，我們計(jì)算：,兩個(gè)總體的距離判別法,其中=(1+2)/2是兩個(gè)總體均值的平均值，=-1(1-2)，記 W(X)=(X-) (1.2) 則判別規(guī)則(1.1)式可表示為 XG1，當(dāng) W(X)0 (1.3) XG2，當(dāng) W(X)0 這里稱W(X)為兩總體距離判別的判別函數(shù)，由于它是X的線性函數(shù)，故又稱為線性判別函數(shù)，稱為判別系數(shù)。,在實(shí)際應(yīng)用中，總體的均值和協(xié)方差矩陣一般

6、是未知的，可由樣本均值和樣本協(xié)方差矩陣分別進(jìn)行估計(jì)。設(shè)X1(i),X2(i),Xn1(i)來(lái)自總體的樣本，i=1,2。則1和2的無(wú)偏估計(jì)為：,兩個(gè)總體的距離判別法,1.4,兩個(gè)總體的距離判別法,這里我們應(yīng)該注意到：,兩個(gè)總體的距離判別法,（1.1）,兩個(gè)總體的距離判別法,2.多個(gè)總體的距離判別法：,多個(gè)總體的距離判別法,設(shè)有g(shù)個(gè)m維總體 ， ， ，均值向量分別為 ， ， 協(xié)方差矩陣分別為 ， ， ，則樣本X到各組的平方馬氏距離是： ， =1，2，g 判別規(guī)則為： ，若,距離判別法例題,MATLAB函數(shù),例 人文發(fā)展指數(shù)是聯(lián)合國(guó)開(kāi)發(fā)計(jì)劃署于1990年5月發(fā)表的第一份人類發(fā)展報(bào)告中公布的。該報(bào)告建

7、議，目前對(duì)人文發(fā)展的衡量應(yīng)當(dāng)以人生的三大要素為重點(diǎn)，衡量人生三大要素的指示分別要用出生時(shí)的預(yù)期壽命、成人識(shí)字率和實(shí)際人均GDP，將以上三個(gè)指示的數(shù)值合成為一個(gè)復(fù)合指數(shù)，即為人文發(fā)展指數(shù)(資料來(lái)源：UNDP人類發(fā)展報(bào)告1995年)。 今從1995年世界各國(guó)人文發(fā)展指數(shù)(表43)的排序中，選取高發(fā)展水平、中等發(fā)展水平的國(guó)家各五個(gè)作為兩組樣品，另選四個(gè)國(guó)家作為待判樣品作距離判別分析。,本例中變量個(gè)數(shù)p=3，；兩類總體各有五個(gè)樣品，即n1=n2=5，有四個(gè)待判樣品，假定兩總體協(xié)差矩陣相等。 （1）兩組線性判別的計(jì)算過(guò)程如下： 75.88 70.44 (1)= 94.08 (2)= 91.74 5354

8、.4 3430.4,（2）計(jì)算樣本協(xié)差陣，從而求出,36.228 56.022 448.74 86.812 117.682 -4895.74 S1= 56.022 344.228 -252.24 S2= 117.682 188.672 -11316.54 448.74 -252.24 12987.2 -4895.74 -11316.54 208384.8 經(jīng)計(jì)算 123.04 173.704 -4447 S=S1+S2= 173.704 532.9 -11568.78 -4447 -11568.78 2100372,（3）求線性判斷函數(shù)W(X),(4)對(duì)已知類別的樣品分類 對(duì)已知類別的樣品用線

9、性判別函數(shù)進(jìn)行判別分類，結(jié)果如表4-4所示，全部判對(duì)。,(5)對(duì)判別效果進(jìn)行檢驗(yàn) 判別分析是假設(shè)兩組樣品取自不同總體，如果兩個(gè)總體的均值向量在統(tǒng)計(jì)上差異不顯著，則做判別的意義不大。所謂判別效果的檢驗(yàn)，就是檢驗(yàn)兩個(gè)正態(tài)總體的均值向量是否相等。根據(jù)公式：,將上邊的計(jì)算結(jié)果代入統(tǒng)計(jì)量后可得： F=12.6746F0.05（3.6）=4.76 故在=0.05檢驗(yàn)水平下，兩總體間差異顯著，即判別函數(shù)有效。,（6）對(duì)待樣品判別歸類結(jié)果如表4-5所示：,總結(jié)：回代率為百分之百，這與統(tǒng)計(jì)資料的結(jié)果相符，而待判的四個(gè)樣品的判別結(jié)果表明：中國(guó)、羅馬尼亞為中等發(fā)展水平國(guó)家，即第二類；希臘、哥倫比亞為高發(fā)展水平國(guó)家，

10、即為第一類。這是符合當(dāng)時(shí)實(shí)際的，即與當(dāng)時(shí)世界各國(guó)人文發(fā)展指數(shù)的水平相吻合。,class,err=classify(sample,training,group,mahalanobis) classify函數(shù)將Sample的每一行進(jìn)行判別，分到training指定的類中。 training：是用于構(gòu)造判別函數(shù)的訓(xùn)練樣本數(shù)據(jù)矩陣，他們的每一行對(duì)應(yīng)一個(gè)觀測(cè)，每一列對(duì)應(yīng)一個(gè)變量。 sample：待判別的樣本數(shù)據(jù)矩陣 group：已知的分類矩陣 err:基于training數(shù)據(jù)的誤判概率的估計(jì)值,距離判別法應(yīng)用,在深部巷道巖爆破中的應(yīng)用,背景,在我國(guó)，當(dāng)開(kāi)采深度超過(guò)600m一般就認(rèn)為其為深部開(kāi)采，近年來(lái)，我國(guó)很多礦開(kāi)采深度都達(dá)1km以上。深度巷道一般處于高應(yīng)力狀態(tài)，當(dāng)?shù)貞?yīng)力超過(guò)巖體極限強(qiáng)度時(shí)，巖體失去了平衡而受到破壞，圍巖中的應(yīng)力集中使巖體特別是硬質(zhì)巖體產(chǎn)生脆性破壞，并伴隨大量能量釋放，產(chǎn)生巖爆現(xiàn)象。巖爆現(xiàn)象輕則給礦山帶來(lái)經(jīng)濟(jì)損失，重則會(huì)帶來(lái)災(zāi)難性后果。,方法,借鑒判別法的思想引進(jìn)加權(quán)馬氏距離判別法對(duì)巖爆的發(fā)生以及烈度進(jìn)