中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 1 頁(yè) 共 35 頁(yè) 1 引言 隨著社會(huì)的不斷進(jìn)步以及各方面對(duì)于快速有效的自動(dòng)身份驗(yàn)證的迫切要求，生物特征識(shí)別技術(shù)在近幾十年中得到了飛速的發(fā)展。作為人的一種內(nèi)在屬性，并且具有很強(qiáng)的自身穩(wěn)定性及個(gè)體差異性，生物特征成為了自動(dòng)身份驗(yàn)證的最理想依據(jù)。當(dāng)前的生物特征識(shí)別技術(shù)主要包括有：指紋識(shí)別，視網(wǎng)膜識(shí)別，虹膜識(shí)別，步態(tài)識(shí)別，靜脈識(shí)別，人臉識(shí)別等。與其他識(shí)別方法相比，人臉識(shí)別由于具有直接，友好，方便的特點(diǎn)，使用者易于為用戶所接受，從而得到了廣泛的研究與應(yīng)用。除此之外，我們還能夠?qū)θ四樧R(shí)別的結(jié)果作進(jìn)一步的分析，得到有關(guān)人的性別，表情，年齡 等諸多額外的豐富信息，擴(kuò)展了人臉識(shí)別的應(yīng)用前景。 雖然人類可以毫不困難地根據(jù)人臉來(lái)辨別一個(gè)人 ，但利用計(jì)算機(jī)進(jìn)行完全自動(dòng)的人臉識(shí)別仍存在許多困難， 這主要表現(xiàn)在：人臉存在表情變化，人臉隨歲月增長(zhǎng)而變化，發(fā)型 、眼鏡等裝飾對(duì)人臉造成遮擋，人臉?biāo)蓤D像受光照 、成像角度 、成像距離等影響 ，此外人臉識(shí)別技術(shù)研究與相關(guān)學(xué)科的發(fā)展及人腦的認(rèn)識(shí)程度緊密相關(guān)， 當(dāng)這些因素疊加到一起的時(shí)候，情況就變得更加復(fù)雜，也 使人臉識(shí)別研究成為一項(xiàng)極富挑戰(zhàn)性的課題。 臉識(shí)別的目的和意義 傳統(tǒng)的人身辨別方法主要是通過人身標(biāo)識(shí)物品和人 身標(biāo)識(shí)知識(shí)兩種方式來(lái)實(shí)現(xiàn)的。常見的人身標(biāo)示物品有鑰匙、證件等各種標(biāo)識(shí)，人身標(biāo)示知識(shí)有用戶名、密碼等。眾周知，像鑰匙、證件標(biāo)識(shí)等人身標(biāo)識(shí)物品很容易丟失或被偽造，而標(biāo)識(shí)知識(shí)容易遺忘或記錯(cuò)，更為嚴(yán)重的是傳統(tǒng)身份識(shí)別系統(tǒng)往往無(wú)法區(qū)分標(biāo)識(shí)物品真正的擁有者和取得標(biāo)識(shí)物品的冒充者，一旦他人獲得標(biāo)識(shí)物品，也可以擁有相同的權(quán)力。即便是將兩種方式結(jié)合起來(lái)使用，此類問題仍然會(huì)出現(xiàn)，比如自動(dòng)取款機(jī)雖然用到銀行卡和用戶密碼，但還是有卡里的錢被盜的現(xiàn)象，所以傳統(tǒng)的人身辨別方法已不能滿足社會(huì)的需要。而生物特征識(shí)別技術(shù)為人身辨別提供了一個(gè) 很重要的保障。它包括身體特征和行為特征兩個(gè)部分。其中身體特征包括面部特征、指紋、手形、基因，身體氣味等，而人臉就是主要的面部特征，與用其他身體特征鑒別身份相比，人臉不容易被遺忘、丟失和盜取，而且人臉圖像采集具有非接觸性、非侵犯性、非強(qiáng)制性特點(diǎn)，容易被人們中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 2 頁(yè) 共 35 頁(yè) 所接受。 人臉識(shí)別系統(tǒng)具有廣泛的應(yīng)用 ,可以歸納為以下四個(gè)方面： 安全領(lǐng)域： 公安刑偵破案 ， 門禁系統(tǒng) ， 攝像監(jiān)視系統(tǒng) 是其典型應(yīng)用。 經(jīng)濟(jì)領(lǐng)域： 輔助信用卡網(wǎng)絡(luò)支付，以防止非信用卡的擁有者使用信用卡。 證件驗(yàn)證：由機(jī)器完成驗(yàn)證識(shí)別工作，從而實(shí)現(xiàn)自動(dòng)化智能化管理。 娛樂領(lǐng)域：能夠識(shí)別主人身份的智能玩具、機(jī)器人，虛擬游戲玩家等。 內(nèi)外研究現(xiàn)狀 人類最早的研究工作至少可追朔到二十世紀(jì)五十年代在心理學(xué)方面的研究和六十年代在工程學(xué)方面的研究。其中有從感知和心理學(xué)角度探索人類識(shí)別人臉機(jī)理的，也有從視覺機(jī)理角度進(jìn)行研究的。到二十世紀(jì)七十年代開始機(jī)器識(shí)別的研究，這一階段工作的特點(diǎn)是識(shí)別過程全部依賴于操作人員，不是一種可以完成自動(dòng)識(shí)別的系統(tǒng)。到了近代由于計(jì)算機(jī)技術(shù)、矩陣?yán)碚?、多元分析的發(fā)展，主成分分析的人臉識(shí)別開始登上歷史舞臺(tái)。 國(guó)內(nèi)關(guān)于人臉自動(dòng)識(shí)別的研究始于二十世 紀(jì) 80 年代，主要的研究單位有清華大學(xué)，哈爾濱工業(yè)大學(xué)，中科院，復(fù)旦大學(xué)，北京科技大學(xué)等，并都取得了一定的成果。國(guó)內(nèi)的研究工作主要是集中在三大類方法的研究：基于幾何特征的、基于代數(shù)特征 1的和基于連接機(jī)制的人臉正面自動(dòng)識(shí)別方法。周激流實(shí)現(xiàn)了具有反饋機(jī)制的人臉正面識(shí)別系統(tǒng)，運(yùn)用積分投影法提取面部特征的關(guān)鍵點(diǎn)并用于識(shí)別，獲得了比較滿意的效果。他同時(shí)也嘗試了“穩(wěn)定視點(diǎn)”特征提取方法，即為使實(shí)現(xiàn)了正、側(cè)面互相參照的識(shí)別系統(tǒng)。彭輝、張長(zhǎng)水等對(duì)“特征臉”的方法 2做了進(jìn)一步的發(fā)展，提出采用類間散布矩陣作為產(chǎn)生矩陣，進(jìn) 一步降低了產(chǎn)生矩陣的維數(shù)，在保持識(shí)別率的情況下，大大降低了運(yùn)算量。程永清，莊永明等對(duì)同類圖像的平均灰度圖進(jìn)行 解得到特征臉空間，每一幅圖像在特征臉空間上的投影作為其代數(shù)特征，然后利用層次判別進(jìn)行分類。張輝，周洪祥，何振亞采用對(duì)稱主元分析神經(jīng)網(wǎng)絡(luò)，用去冗余和權(quán)值正交相結(jié)合的方法對(duì)人臉進(jìn)行特征提取和識(shí)別。該方法所用特征數(shù)據(jù)量小，特征提取運(yùn)算量也較小，比較好地實(shí)現(xiàn)了大量人臉樣本的存儲(chǔ)和人臉的快速識(shí)別。 于主成分分析人臉識(shí)別算法的研究難點(diǎn) 1. 人臉的豐富表情，人臉隨著年齡的變化而變化。 2. 人臉?biāo)?成圖像受光照的影響比較大，成像角度和成像距離對(duì)人臉識(shí)別的影響也比較大。 中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 3 頁(yè) 共 35 頁(yè) 針對(duì)以上三點(diǎn)，在進(jìn)行人臉識(shí)別時(shí)首先要對(duì)得到的人臉圖像進(jìn)行圖像預(yù)處理，減少光線的影響。至于認(rèn)得年齡和表情的變化問題，我們就要采集足夠的圖像樣本進(jìn)行訓(xùn)練，這樣可以提高正確的識(shí)別率。在閾值確定中，本設(shè)計(jì)采用了三階臨近法，這樣識(shí)別的效率和質(zhì)量也都有保證了。 文結(jié)構(gòu)安排 第一章提出問題，介紹研究的現(xiàn)狀。第二章簡(jiǎn)單介紹幾種人臉識(shí)別的方法。第三章和第四章是重點(diǎn)，分別介紹了主成分分析的數(shù)學(xué)基礎(chǔ)和 其在人臉識(shí)別方面的應(yīng)用。第五章是真的實(shí)驗(yàn)結(jié)果及結(jié)果分析。 中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 4 頁(yè) 共 35 頁(yè) 2 人臉識(shí)別經(jīng)典方法簡(jiǎn)介 于幾何特征的人臉識(shí)別方法 基于幾何特征的方法是早期的人臉識(shí)別方法之一。常采用的幾何特征有人臉的五官如眼睛、鼻子、嘴巴等的局部形狀特征。臉型特征以及五官在臉上分布的幾何特征。提取特征時(shí)往往要用到人臉結(jié)構(gòu)的一些先驗(yàn)知識(shí)。識(shí)別所采用的幾何特征是以人臉器官的形狀和幾何關(guān)系為基礎(chǔ)的特征矢量，本質(zhì)上是特征矢量之間的匹配，其分量通常包括人臉指定兩點(diǎn)間的歐式距離、曲率、角度等 。 基于幾何特征的識(shí)別方法比較簡(jiǎn)單、容易理解，但沒有形成統(tǒng)一的特征提取標(biāo)準(zhǔn)；從圖像中抽取穩(wěn)定的特征較困難，特別是特征受到遮擋時(shí)； 對(duì)較大的表情變化或姿態(tài)變化的魯棒性較差。 于相關(guān)匹配的方法 基于相關(guān)匹配的方法包括模板匹配法和等強(qiáng)度線方法。 模板匹配法： 3,6，并得出結(jié)論：基于幾何特征的人臉識(shí)別方法具有識(shí)別速度快和內(nèi)存要求小的優(yōu)點(diǎn)，但在識(shí)別率上模板匹配要優(yōu)于基于幾何特征的識(shí)別方法。 等強(qiáng)度線法 ：等強(qiáng)度線利用灰度圖像的多級(jí)灰度值的等強(qiáng)度線作為特征進(jìn)行兩幅人臉圖像的匹配識(shí)別。等強(qiáng)度曲線反映了人臉的凸凹信息。這些等強(qiáng)度線法必須在背景與頭發(fā)均為黑色，表面光照均勻的前提下才能求出符合人臉真實(shí)形狀的等強(qiáng)度線。 于子空間方法 常用的線性子空間方法有：本征子空間、區(qū)別子空間、獨(dú)立分量子空間等。此外，還有局部特征分析法、因子分析法等。這些方法也分別被擴(kuò)展到混合線性子空間和非線性子空間。 法實(shí)現(xiàn)人臉識(shí)別。由于每個(gè)本征矢量的圖像形式類似于人臉，所以稱本征臉。 對(duì)原始圖像和重構(gòu)圖像的差分圖像再次進(jìn)行 到二階本征空間，又稱二階本征臉。 和嘴等特征分別建立一個(gè)本征子空間，并聯(lián)合本征臉子空間的方法獲得了好的識(shí)別結(jié)果。 法，識(shí)別率有所提高。 的識(shí)別效果好于本征臉方法。當(dāng)每個(gè)人有多個(gè)樣本圖像時(shí)，本征空間法沒有考慮樣本類別間的 信息，因此，基于線性區(qū)別分析 (， 得了較好的識(shí)別結(jié)果。 北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 5 頁(yè) 共 35 頁(yè) 的方法識(shí)別人臉，獲得了比 于統(tǒng)計(jì)的識(shí)別方法 該類方法包括有： 法、奇異值分解 (隱馬爾可夫 (。 換：將人臉圖像按行 (列 )展開所形成的一個(gè)高維向量看作是一種隨機(jī) 向量，因此采用 換獲得其正交 底，對(duì)應(yīng)其中較大特征值基底具有與人臉相似的形狀。國(guó)外，在用靜態(tài)圖像或視頻圖像做人臉識(shí)別的領(lǐng)域中，比較有影響的有 驗(yàn)室的 組，他們主要是用基于 換的本征空間的特征提取法，名為 “本征臉( 隱馬爾可夫模型：劍橋大學(xué)的 多個(gè)樣本圖像的空間序列訓(xùn)練出一個(gè) 型，它的參數(shù)就是特征值；基于人臉從上到下、從左到右的結(jié)構(gòu)特征； 2于人臉識(shí)別。 采用低頻 數(shù)作為觀察矢量獲得了好的識(shí)別效果。 采用 2別 縮的 采用嵌入式 別人臉。后來(lái)集成 基于 人臉識(shí)別方法具有以下優(yōu)點(diǎn)：第一，能夠允許人臉有表情變化，較大的頭部轉(zhuǎn)動(dòng)；第二，擴(kuò)容性好 三，較高的識(shí)別率。 于神經(jīng)網(wǎng)絡(luò)的方法 提出了混合神經(jīng)網(wǎng)絡(luò)、 通過一個(gè)多級(jí)的 現(xiàn)樣本的聚類，將卷積神經(jīng)網(wǎng)絡(luò) 于人臉識(shí)別、 采用基于概率決策的神經(jīng)網(wǎng)絡(luò)方法、 提出采用主元神經(jīng)網(wǎng)絡(luò)方法提取人臉圖像特征，用自相關(guān)神經(jīng)網(wǎng)絡(luò)進(jìn)一步壓縮特征，最后采用一個(gè) 實(shí)現(xiàn)人臉識(shí)別。 采用 行維數(shù)壓縮，再用 取特征，然后基于 行人臉識(shí)別。 基于 征，并采用混合學(xué)習(xí)算法的 經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別。神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)是通過學(xué)習(xí)的過程獲得對(duì)這些規(guī)律和規(guī)則的隱性表達(dá)，它的適應(yīng)性較強(qiáng) 。 性圖匹配方法 提出采用動(dòng)態(tài)鏈接結(jié)構(gòu) (方法識(shí)別人臉。它將人臉用格狀的稀疏圖。 人使用彈性圖匹配方法，準(zhǔn)確率達(dá)到 成彈性圖。采用每個(gè)基準(zhǔn)點(diǎn)存儲(chǔ)一串具有代表性的特征矢量，減少了系統(tǒng)的存儲(chǔ)量。 只使用人臉 的特征，進(jìn)一步消除了結(jié)中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 6 頁(yè) 共 35 頁(yè) 構(gòu)中的冗余信息和背景信息，并使用一個(gè)多層的分級(jí)結(jié)構(gòu)。 也采用分級(jí)結(jié)構(gòu)的彈性圖，通過去除了一些冗余節(jié) 點(diǎn)，形成稀疏的人臉描述結(jié)構(gòu)。另一種方法是， 提出將人臉圖像表示為可變形的 3D 網(wǎng)格表將人臉匹配問題轉(zhuǎn)換為曲面匹配問題，利用有限分析的方法進(jìn)行曲面變形，根據(jù)兩幅圖像之間變形匹配的程度識(shí)別人臉。 種混合方法 (1)影和奇異值分解 (融合的分類判別方法。 換的核心過程是計(jì)算特征值和特征向量。而圖像的奇異值具有良好的穩(wěn)定性，當(dāng)圖像有小的擾動(dòng)時(shí)，奇異值的變化不大。奇異值表示了圖像的代數(shù)特征，在某種程度上， 征同時(shí)擁有代數(shù)與幾何兩方面的不變性。利用 影后的主分量特征向 量與 征向量對(duì)人臉進(jìn)行識(shí)別，提高識(shí)別的準(zhǔn)確性。 (2)奇異值分解相融合的分類判別方法。 采用奇異值分解方法進(jìn)行特征提取，一般是把一幅圖像 (長(zhǎng)為 H)看成一個(gè) NM 的矩陣，求取其奇異值作為人臉識(shí)別的特征。在這里我們采用采樣窗對(duì)同一幅圖片進(jìn)行重疊采樣，對(duì)采樣所得到的矩陣分別求其對(duì)應(yīng)的前k 個(gè)最大的奇異值，分別對(duì)每一組奇異值進(jìn)行矢量標(biāo)準(zhǔn)化和矢量重新排序，把這些處理后的奇異值按采樣順序組成一組向量，這組向量是惟一的。 于三維模型的方法 該類方法一般先在圖像上檢測(cè)出與通用模型頂點(diǎn)對(duì)應(yīng)的特征點(diǎn)，然后根 據(jù)特征點(diǎn)調(diào)節(jié)通用模型，最后通過紋理映射得到特定人臉的 3D 模型 7,9。 于結(jié)構(gòu)光源和立體視覺理論，通過攝像機(jī)獲取立體圖像，根據(jù)圖像特征點(diǎn)之間匹配構(gòu)造人臉的三維表面， 出了一個(gè)新的 論來(lái)處理像人臉這類對(duì)稱對(duì)象的識(shí)別問題，基于 論和一個(gè)一般的三維人臉模型來(lái)解決光照變化問題，通過基于視圖合成技術(shù)解決人臉姿態(tài)問題，針對(duì)不同姿態(tài)和光照條件合成的三維人臉模型。 三維圖像有三種建模方法：基于圖像特征的方法、基于 幾何、基于模型可變參數(shù)的方法。其中，基于模型可變參數(shù)的方法與基于圖像特征的方法的最大區(qū)別在于：后者在人臉姿態(tài)每變化一次后，需要重新搜索特征點(diǎn)的坐標(biāo)，而前者只需調(diào)整 3D 變形模型的參數(shù)。隨著采用三維圖像識(shí)別人臉技術(shù)的發(fā)展，利用直線的三維圖像信息進(jìn)行人臉識(shí)別已經(jīng)成為人們研究的重心。 中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 7 頁(yè) 共 35 頁(yè) 3 主成分分析理論基礎(chǔ) 成分分析的概念及基本思想 主成分分析 10,17(最為常用的特征提取方法，被廣泛應(yīng)用到各領(lǐng)域，如圖像處理、綜合評(píng)價(jià)、語(yǔ)音識(shí) 別、故障診斷等。它通過對(duì)原始數(shù)據(jù)的加工處理，簡(jiǎn)化問題處理的難度并提高數(shù)據(jù)信息的信噪比，以改善抗干擾能力。主成分概念首先由 1901 年引進(jìn)，不過當(dāng)時(shí)只是對(duì)非隨機(jī)變量進(jìn)行討論，1933 年 這個(gè)概念推廣到隨機(jī)向量。 在實(shí)際問題中，研究多指標(biāo) (變量 )問題是經(jīng)常遇到的，然而在多數(shù)情況下，不同指標(biāo)之間是有一定相關(guān)性。由于指標(biāo)較多并且指標(biāo)之間有一定的相關(guān)性，勢(shì)必增加了分析問題的復(fù)雜性。 主成分分析就是設(shè)法將原來(lái)眾多具有一定相關(guān)性的指標(biāo) (比如 P 個(gè)指標(biāo) )， 重新組合成一組新的相互無(wú)關(guān)的綜合指標(biāo)來(lái)代替原來(lái)指標(biāo) 。 通常數(shù)學(xué)上的處理就是將原來(lái) P 個(gè)指標(biāo)作線性組合，作為新的綜合指標(biāo)，但是這種線性組合，如果不加限制，則可以有很多，我們應(yīng)該如何去選取呢？如果將選取的第一個(gè)線性組合即第一個(gè)綜合指標(biāo)記為1F，自然希望118,20，這里的“信息”用什么來(lái)表達(dá)？最經(jīng)典的方法就是用1 )( 1大，表示1此在所有的線性組合中所選取的1稱1果第一主成分不足以代表原來(lái) P 個(gè)指標(biāo)的信息，再考慮選取2了有效地反映原來(lái)信息，1出現(xiàn)在2數(shù)學(xué)語(yǔ)言表達(dá)就是要求 0),( 21 稱2 此類推可以構(gòu)造出第三，四， ，第 P 個(gè)主成分。不難想象這些主成分之間不僅不相關(guān)，而且它們的方差依次遞減。因此在實(shí)際工作中，就挑選前幾個(gè)最大主成分，雖然這樣做會(huì)損失一部分信息，但是由于它使我們抓住了主要矛盾，并從原始數(shù)據(jù)中進(jìn)一步提取了某些新的信息。因而在某些實(shí)際問題的研究中得益比 損失大，這種既減少了變量的數(shù)目又抓住了主要矛盾的做法有利于問題的分析和處理。 成分分析的數(shù)學(xué)模型及幾何意義 學(xué)模型 中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 8 頁(yè) 共 35 頁(yè) 設(shè)有 n 個(gè)樣品，每個(gè)樣品觀測(cè) P 項(xiàng)指標(biāo) (變量 )： ,., 21 到原始 數(shù)據(jù)資料陣： 1 1 1 2 12 1 2 2 21212( , , , )n n px x xx x X Xx x x（ 其中 12= = 1 , 2 , ,i （ 用數(shù)據(jù)矩陣 X 的 P 個(gè)向量 (即 P 個(gè)指標(biāo)向量 ) ,., 21 p 作線性組合 (即 綜合指標(biāo)向量 )為： 1 1 1 1 2 1 2 12 1 2 1 2 2 2 21 1 2 2p p p p pF a X a X a XF a X a X a XF a X a X a X （ 簡(jiǎn)寫成 1 2 2 1 , 2 , ,i i i i p i pF a X a X a X i p （ 其中，n 維向量，所以n 維向量。上述方程組要求： 2 2 212 1 1, 2 , ,i i p ia a a i p （ 且系數(shù) (1) ,.( 不相關(guān)； (2) 1,., 21 一切線性組合 (系數(shù)滿足上述方程組 )中方差最大的，2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 9 頁(yè) 共 35 頁(yè) 不相關(guān)的 ,., 21 切線性組合中方差最大的， ., ., 21 一切線性組合中方差最大的。如何求滿足上述要求的方程組的系數(shù) 一節(jié)將會(huì)看到每個(gè)方程式中的系數(shù)向量 .),.,( 21 不是別的而恰好是 X 的協(xié)差陣的特征值所對(duì)應(yīng)的特征向量，也就是說(shuō)，數(shù)學(xué)上可以證明使 )( 1到最大，這個(gè)最大值是在協(xié)方差陣 的第一個(gè)特征值所對(duì)應(yīng)特征向量處達(dá)到。依此類推使 )( 到最大值是在協(xié)方差陣 的第 P 個(gè)特征值所對(duì)應(yīng)特征向量處達(dá)到。 成分的幾何意義 從代數(shù)學(xué)觀點(diǎn)看主成分就是 P 個(gè)變量 ,., 21 一些特殊的線性組合，而在幾何上這些線性組合正是把 ,., 21 成的坐標(biāo)系旋轉(zhuǎn)產(chǎn)生的新坐標(biāo)系，新坐標(biāo)軸使之通過樣品變差最大的方向 (或說(shuō)具有最大 的樣品方差 )。下面以最簡(jiǎn)單的二元正態(tài)變量來(lái)說(shuō)明主成分的幾何意義。 設(shè)有 n 個(gè)樣品，每個(gè)樣品有 P 個(gè)變量記為 ,., 21 們的綜合變量記為., 21。當(dāng) 2P 時(shí)，原變量是 21,們有下圖的相關(guān)關(guān)系： 圖 主成分的意義 對(duì)于二元正態(tài)分布變量， n 個(gè)分散的點(diǎn)大致形成為一個(gè)橢圓，若在橢圓長(zhǎng)軸方向取坐標(biāo)軸1F，在短軸方向聚2F，這相當(dāng)于在平面上作一個(gè)坐標(biāo)變換，即按逆時(shí)針方向旋轉(zhuǎn) 角度，根據(jù)旋轉(zhuǎn)軸變換公式新老坐標(biāo)之間有關(guān)系： 1 1 22 1 2c o s s i ns i n c o X （ 矩陣表示為： 中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 10 頁(yè) 共 35 頁(yè) 1122c o s s i ns i n c o X （ 顯然 1 且是正交矩陣，即 。 從上圖還容易看出二維平面上的 n 個(gè)點(diǎn)的波動(dòng) (可用方差表示 )大部分可以歸結(jié)為在1在2果上圖的橢圓是相當(dāng)扁平的，那么我們可以只考慮1的波動(dòng)，忽略2樣一來(lái)，二維可以降為一維了，只取第一個(gè)綜合變量11般情況 ， P 個(gè)變量組成 P 維空間，n 個(gè)樣品就是 P 維空間的 n 個(gè)點(diǎn)，對(duì) P 元正態(tài)分布變量來(lái)說(shuō)，找主成分的問題就是找 成分分析的推導(dǎo) 在下面推導(dǎo)過程中，要用到線性代數(shù)中的兩個(gè)定理： 定理一 若 A 是 階實(shí)對(duì)稱陣，則一定可以找到正交陣 U 使 121 00 00 0 U A U ， 其中P ,., 21是 A 的特征根。 定理二 若上述矩陣 A 的特征根所對(duì)應(yīng)的單位特征向量為., 21令 1 1 1 2 1 2 2 2 p 2 p u( , , , )u u u （ 則實(shí)對(duì)稱 A 屬于不同特征根所對(duì)應(yīng)的特征向量是正交的，即 0 u U U U U I （ 設(shè)1 1 2 2 a X a X a X a X ，其中 ,.,( 21 ， ),.,( 21 主成分就是尋找 X 的線性函數(shù) 相應(yīng)得方差盡可能地大，即使 ( ) ( )a r F V a r a X a a （ 中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 11 頁(yè) 共 35 頁(yè) 達(dá)到最大值，且 1 設(shè) 協(xié)方差矩陣 的特征根為P ,., 21，不妨假設(shè) 0. P ，相應(yīng)的單位特征向量為., 21。令 1 1 1 2 1 2 2 2 2 2 2 u( , , , )u u u （ 由前面線性代數(shù)定理可知： T ，且 121 00 00 0 u u （ 因此 21 1 1( ) ( ) ( )p p T T T T Ti i i i i i i ii i ia a a u u a a u a u a u （ 所以 21 1 1 1 11( ) ( ) ( ) T T T T T a a u a U a U a U U a a a （ 而且，當(dāng) 1時(shí)有 21 1 1 1 1 1 1 1 1 111( ) ( ) T T T Ti i i i u u u u u u u u u u u （ 因此， 1使 a r )( 達(dá)到最大值，且 1 1 1 1()a r u X u u （ 同理 ()a r u X （ 而且 中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 12 頁(yè) 共 35 頁(yè) 11c o v ( , ) ( ) ( ) ( ) 0 , T T T T Ti j i j i a a a j a i a a u u u u u u u u u u u i j （ 上述推導(dǎo)表明： ,., 21 主成分就是以 E 的特征向量為系數(shù)的線性組合，它們互不相關(guān)，其方差為的特征根。 由于的特征根 0. P ，所以有 0. PV V V 。了解這一點(diǎn)也就可以明白為什么主成分的名次是按特征根取值大小的順序排列的。 在解決實(shí)際問題時(shí)，一般不是取 p 個(gè)主成分，而是根據(jù)累計(jì)貢獻(xiàn)率的大小取前 k 個(gè)。稱 第 一 主 成 分 的 貢 獻(xiàn) 率 為1/ ，由于有11() ，所以111/ ( ) / ( )i a r F V a r F。因此第一主成分的貢獻(xiàn)率就是第一主成分的方差在全部方差1中的比值。這個(gè)值越大，表明第一主成分綜 合 ,., 21 息的力越強(qiáng)。 前兩個(gè)主成分的累計(jì)貢獻(xiàn)率定義為12 1( ) / ， 前 k 個(gè)主成分的累計(jì)貢獻(xiàn)率定義為11/ pk 。如果前 k 個(gè)主成分的貢獻(xiàn)率達(dá)到 85%，表明取前 k 個(gè)主成分包含了全部測(cè)量指標(biāo)所具有的信息，這樣既減少了變量的個(gè)數(shù)又便于對(duì)實(shí)際問題進(jìn)行分析和研究。 成分分析的計(jì)算步驟 設(shè) ,.,( 21 為 n 維隨機(jī)矢量 ,則 體計(jì)算步驟如下： (1) 將原始觀察數(shù)據(jù)組成樣本矩陣 X ,每一列為一個(gè)觀察樣本 x ,每一行代表一維數(shù)據(jù)。 (2) 計(jì)算樣本的協(xié)方差矩陣： （ (3) 計(jì)算協(xié)方差矩陣相應(yīng)特征向量中 .,2,1 。 (4) 將特征值按由大到小順序排列 ,并按照下式計(jì)算前 m 個(gè)主元的累積貢獻(xiàn)率： 中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 13 頁(yè) 共 35 頁(yè) 11( ) / （ 累積貢獻(xiàn)率用于衡量新生成分量對(duì)原始數(shù)據(jù)的信息保存程度 ,通常要求其大于 85%即可。 (5) 取前 m 個(gè)較大特征值 對(duì)應(yīng)的特征向量構(gòu)成變換矩陣 ( , m 0) ,i) = i)() * * ,i); %由前幾個(gè)主要特征值對(duì)應(yīng)的特征向量所組成的線性變換矩陣 i = i + 1; 顯示特征臉 i=1:) aa=,i),112,92); aa=55); ); 特征臉 ); 將訓(xùn)練樣本對(duì)坐標(biāo)系上進(jìn)行投影 ,得到一個(gè) M*p 階矩陣 %每幅訓(xùn)練樣本圖像向量進(jìn)行線性變換后得到的前p 個(gè)主成分 0; % 測(cè)試過程 i=1:j=():10 %讀入測(cè)試圖像 a=D:,i),j),); 中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 32 頁(yè) 共 35 頁(yè) b=a(1:10304); b=b); b * %計(jì)算每幅測(cè)試圖像的主成分 ,即計(jì)算它們?cè)谧儞Q后坐標(biāo)系上的投影，是 1p 階矩陣 k=1:(k)=k,:);%測(cè)試圖像的主成分和每幅訓(xùn)練圖像的主成分求距離 %近鄰法則進(jìn)行分類 %求出最近距離的圖像 ()1; )1; )1; if & if i ; %輸出識(shí)別率 中北大學(xué) 2009 屆畢業(yè)設(shè)計(jì)說(shuō)明書 第 33 頁(yè) 共 35 頁(yè) 10) 參考文獻(xiàn) 1）編著 洪毅 ,馬東魁 ,郭國(guó)雄 ,劉永平譯 M2張媛，張燕平 法及其應(yīng)用 J2005 年第二期 3， 1998. 4趙靜，夏良正，舒志強(qiáng)不同光照條件下特征臉方法的改進(jìn)研究 J計(jì)算機(jī)應(yīng)用研究 2 5向東進(jìn) M國(guó)地質(zhì)大學(xué)出版社 316 999 7 王耀南 ,李樹濤 M高等教育出版社， 2001 8 馬燕 ,李順寶 M上海百家出版社 ,2007 9 夏良正 M東南大學(xué)