基于LDA的人臉識別系統(tǒng)研究摘要人臉識別是生物特性鑒別技術(shù)的一個主要方向，它涉及圖像處理，模式識別，計算機視覺等多個研究領(lǐng)域，其研究的主要內(nèi)容是如何使得計算機具有身份識別的能力，在法律、商業(yè)等諸多領(lǐng)域具有很廣泛的應(yīng)用背景。如何在一張圖片中檢測到人臉區(qū)域并提取出使其區(qū)別于其他人的特征，是人臉識別算法研究的兩個關(guān)鍵技術(shù)。截至目前，由于人臉識別問題自身的復(fù)雜性，使雖然有眾多的科研人員潛心研究了多年，也取得了一些的成果，但距離徹底解決并且達到實用，仍然有一些關(guān)鍵性問題需要解決。本論文圍繞人臉識別原理、識別算法及其優(yōu)化等研究內(nèi)容開展工作。本文的主要工作包括一下幾個方面的內(nèi)容介紹人臉識別的研究背景、研究范圍、國內(nèi)外研究機構(gòu)，歸納了當(dāng)前人臉識別領(lǐng)域流行的幾種主要理論方法在人臉識別算法方面，主要研究了LDA人臉識別的方法。在大量實驗基礎(chǔ)上對LDA在各種情況下的性能作了詳細的分析，研究了各種參數(shù)設(shè)置對識別率的影響,并介紹了幾種改進的算法。關(guān)鍵詞人臉識別；LDA；人臉檢測；特征提取FACERECOGNITIONSYSTEMRESEARCHBASEDONLDAABSTRACTFACERECOGNITIONISONEOFTHEMAINDIRECTIONSOFTHEBIOLOGICALCHARACTERISTICSOFTHEIDENTIFICATIONTECHNIQUES,WHICHINVOLVESANUMBEROFRESEARCHAREASOFIMAGEPROCESSING,PATTERNRECOGNITION,COMPUTERVISION,THEMAINCONTENTOFTHEIRRESEARCHISHOWTOMAKETHECOMPUTERCAPABLEOFIDENTIFICATION,LEGAL,BUSINESSANDOTHERFIELDSHASABROADAPPLICATIONBACKGROUNDACENTRALISSUEFORFACERECOGNITIONISHOWTOFINDAFACEINAPICTUREANDTOEXTRACTDISCRIMINANTFEATUREFROMTHEFACIALIMAGESTHISRESULTSMAKEUSKNOWANDUNDERSTANDMOREABOUTFACERECOGNITIONTECHNOLOGYANDBROADENOURABILITYTOSOLVEPROBLEMWORKINTHISTHESISINCLUDESTHISPAPERFOCUSONFACERECOGNITIONDETECTIONPRINCIPLE,THEIDENTIFICATIONALGORITHMANDITSOPTIMIZATIONRESEARCHWORKTHEMAINWORKINCLUDESSEVERALASPECTSONFACERECOGNITIONRESEARCHBACKGROUND,RESEARCHAREAS,RESEARCHINSTITUTIONSATHOMEANDABROAD,SUMMEDUPTHECURRENTFACERECOGNITIONPOPULARINTHEFIELDOFSEVERALMAJORTHEORETICALAPPROACHESINFACERECOGNITIONALGORITHM,LDAFACERECOGNITIONMETHODTHELARGENUMBEROFEXPERIMENTSONTHEBASISOFTHEPERFORMANCEOFTHELDAINALLCASESADETAILEDANALYSISOFVARIOUSPARAMETERSETTINGSAFFECTTHERECOGNITIONRATE,ANDSEVERALIMPROVEDALGORITHMSKEYWORDSFACERECOGNITIONLDAHUMANFACEEXAMINATIONFEATUREEXTRACTION目錄1引言111概述112人臉識別的研究背景313人臉識別的發(fā)展過程414國內(nèi)外的人臉識別理論發(fā)展機構(gòu)515本課題研究內(nèi)容516論文組織62人臉識別的相關(guān)理論721基于幾何特征的人臉識別722基于人工神經(jīng)網(wǎng)絡(luò)的人臉識別723基于小波特征的人臉識別824基于子空間的人臉識別93基于LDA的人臉識別1131概述1132LDA方法原理1233訓(xùn)練過程和識別過程1434實驗1634小結(jié)164SSDA改進的LDA的識別算法1741引言1742譜回歸LDA1742半?yún)?shù)回歸19421基本含義19421優(yōu)點1943半?yún)?shù)半監(jiān)督判別分析2044實驗2045小結(jié)225幾何平均數(shù)法改進的LDA的識別算法2351概述2352三條準(zhǔn)則23521準(zhǔn)則1最大化散度的幾何均值23522準(zhǔn)則2最大化所有歸一化散度的幾何均值24523準(zhǔn)則3最大化所有散度的幾何均值MGMD2453實驗2454小結(jié)25結(jié)論26參考文獻27致謝281引言11概述生物特征是人的內(nèi)在屬性，具有很強的自身穩(wěn)定性，因此越來越多的研究將它作為身份驗證的依據(jù)，現(xiàn)在，基于生物特征的識別技術(shù)（也稱生物特征識別技術(shù)）已經(jīng)逐漸成為國際上的研究熱點。生物特征識別技術(shù)就是指通過計算機利用人體所固有的生理特征和行為特征來進行身份識別和（或）個體驗證的一門技術(shù)。與傳統(tǒng)的身份驗證手段相比，基于生物特征識別的身份驗證方法具有很多優(yōu)勢，例如1該特征不存在被遺忘和丟失的問題；2該特征一般不易被偽造；3該特征隨時可以被使用等。正是由于生物特征本身所具有的這些優(yōu)勢，使基于生物特征的識別技術(shù)獲得了長足的發(fā)展，其在國家安全、司法、海關(guān)、邊境及保險等領(lǐng)域也必將具有極廣闊的應(yīng)用前景。把人臉作為認(rèn)證的目標(biāo)已經(jīng)發(fā)展了幾十年，并非只能在電影中才能看到，現(xiàn)代社會已經(jīng)可以實現(xiàn)這樣的功能，當(dāng)然還有明顯的不足，運用人臉圖像來身份識別，主要是因為人的面貌屬于人本身固有的生物特征，這種特征具有不可復(fù)制，難于偽造的特點，具有唯一性和穩(wěn)定性，可以作為身份識別的依據(jù)。人臉識別的研究可以追溯到上個世紀(jì)六、七十年代，經(jīng)過幾十年的曲折發(fā)展已日趨成熟，人臉識別是模式識別和計算機視覺的交叉領(lǐng)域。人臉識別將計算機視覺和模式識別結(jié)合在一起，廣泛地運用在機器人等學(xué)科中。作為人類幾個外在鑒別特征之一，人臉識別的自動鑒別和人類自動分辨有著非常重要的意義。人臉識別，特別指利用了分析比較人臉視覺圖像特征信息來進行身份鑒別的計算機技術(shù)。廣義的人臉識別概念實際包括構(gòu)建人臉識別系統(tǒng)的一系列相關(guān)技術(shù)，包括人臉檢測、人臉定位、人臉識別預(yù)處理、身份確認(rèn)以及身份查找等；而狹義的人臉識別特別指通過人臉進行身份的確認(rèn)或身份查找的技術(shù)或系統(tǒng)。圖11人臉識別在模式識別領(lǐng)域,人臉識別的發(fā)展和應(yīng)用方面都有著重要的意義第一能推進對人類視覺系統(tǒng)自身的認(rèn)識；第二能實現(xiàn)人工智能應(yīng)用的功能。通過人臉識別技術(shù)，建立自動人臉識別系統(tǒng)，采用電腦實現(xiàn)對人臉圖像的自動識別有著極其誘人的應(yīng)用前景和非常廣闊的應(yīng)用領(lǐng)域。圖12人臉檢測目前人臉識別的算法可以分類為基于人臉特征點的識別算法（FEATUREBASEDRECOGNITIONALGORITHMS）。基于整幅人臉圖像的識別算法（APPEARANCEBASEDRECOGNITIONALGORITHMS）。基于模板的識別算法（TEMPLATEBASEDRECOGNITIONALGORITHMS）。利用神經(jīng)網(wǎng)絡(luò)進行識別的算法（RECOGNITIONALGORITHMSUSINGNEURALNETWORK）。目前人臉識別的到了廣泛的應(yīng)用，主要有門禁系統(tǒng)受到安全保護的地區(qū)可以憑借人臉識別辨別嘗試進入者的身份。圖13門禁系統(tǒng)攝像監(jiān)視系統(tǒng)在例如機場、銀行、商場、體育場、超級市場等一些公共場所對人群監(jiān)視，達到識別身份的目的。例如在機場里裝置監(jiān)視系統(tǒng)以防止恐怖分子登機。網(wǎng)絡(luò)應(yīng)用利用人臉識別輔助信用卡進行網(wǎng)絡(luò)支付，來防止非信用卡的持有者使用信用卡等。圖14信用卡支付學(xué)生考勤系統(tǒng)港奧地區(qū)的中小學(xué)已經(jīng)開始將智能卡配合人臉識別來查詢學(xué)生每天的出席記錄。相機新型的數(shù)碼相機已經(jīng)內(nèi)建了人臉識別功能來輔助拍攝人物時進行對焦。12人臉識別的研究背景隨著社會經(jīng)濟的迅速發(fā)展以及信息化的不斷深入，安全問題越來越為人們所關(guān)注，因此，社會各個方面對快速有效的自動身份驗證的需求也與日俱增。經(jīng)過人們不斷的研究探索，目前已經(jīng)可以將很多的信息作為身份驗證的依據(jù)，如密碼、磁卡、人體生物特征等等，而且其方法也各具特點。其中，基于人體生物特征的識別技術(shù)（生物特征識別技術(shù)）是近些年來發(fā)展最快、應(yīng)用最多一種識別技術(shù)，它提供了一種基于唯一、高可靠性和穩(wěn)定性的人體生物特征的身份驗證途徑。生物特征，如人臉、指紋、虹膜、DNA等，都是人體的內(nèi)在屬性，因而具1有較強的自身穩(wěn)定性和個體差異性，從而成為進行身份驗證的理想依據(jù)。另外，與傳統(tǒng)的身份驗證方法相比，基于生物特征識別的身份驗證方法具有多方面的優(yōu)點首先，與傳統(tǒng)的身份驗證方法相比，基于生物特征的識別方法更為方便。傳統(tǒng)的身份驗證方法中，有的需要用戶要費心去記住密碼、口令；有的需要用戶隨身攜帶鑰匙、智能卡之類的東西。而基于生物特征的識別方法完全不需要用戶去做這些工作，這也大大減少了由于遺忘密碼、忘帶鑰匙而帶來的麻煩，極大的方便了用戶的使用。其次，與傳統(tǒng)的身份驗證方法相比，基于生物特征的識別方法更為安全。傳統(tǒng)的身份驗證方法中往往會出現(xiàn)口令、IC卡、條紋碼、磁卡或鑰匙的丟失、被盜用等諸多問題，使安全性受到威脅；而基于生物特征的識別方法認(rèn)定的是人本身，每個人的生物特征具有與其他人不同的唯一性和在一定時期內(nèi)不變的穩(wěn)定性，不易偽造和假冒，所以基于生物特征的識別方法會更可靠、更準(zhǔn)確。此外，基于生物特征的識別方法均是借助現(xiàn)代計算機技術(shù)來實現(xiàn)的，很容易與計算機以及一些監(jiān)控、管理系統(tǒng)相結(jié)合，實現(xiàn)遠程的自動化管理。正是由于基于生物特征的識別方法所具有的這些優(yōu)勢，使得其獲得了長足的發(fā)展，在國家安全、公安、司法、金融、民航、邊境、口岸、保險等領(lǐng)域具有極廣闊的應(yīng)用前景。例如，該技術(shù)可用于公安布控監(jiān)控、監(jiān)獄監(jiān)控、司機駕照驗證、司法認(rèn)證、邊境身份驗證、各類銀行卡、信用卡、儲蓄卡的持卡人的身份驗證、民航安檢、社會保險身份驗證等多個方面，而且，它還可以應(yīng)用于醫(yī)療和視頻會議等方面。在諸多基于生物特征的識別方法中，利用人臉特征進行身份驗證的自動人臉識別方法又是最自然、直接的方式。自動人臉識別技術(shù)是利用計算機分析人臉圖像，并從人臉圖像中提取有效的識別信息，用來“辨認(rèn)”身份的一門技術(shù)1。與指紋、虹膜、DNA等其它人體生物特征識別方法相比，自動人臉識別方法具有直接、友好和方便等特點，比如說，自動人臉識別不需要對被測試的人進行強迫約束，因此，相比于虹膜和DNA等測試方法更加友好和方便，也對被測試人沒有任何侵害性，因而它成為最容易被接受的生物特征識別方法，受到人們越來越多的重視。另外，系統(tǒng)還可以通過分析用戶面部表情，獲得一些如心理反應(yīng)等其它識別系統(tǒng)難以獲得的信息。也正是因為存在這些優(yōu)勢，自動人臉識別技術(shù)未來可以廣泛的應(yīng)用于公安系統(tǒng)的罪犯身份識別、駕駛執(zhí)照及護照等與持證人身份核實，銀行及海關(guān)的監(jiān)控系統(tǒng)及保密部門的自動門衛(wèi)系統(tǒng)等領(lǐng)域，幫助相關(guān)人員更輕松的完成工作。上面，我們談到的都是自動人臉識別技術(shù)的優(yōu)勢，但是，凡事都有兩面性，自動人臉識別技術(shù)也有一些不足，這些問題也是影響它得到更大發(fā)展的限制因素。例如，自動人臉識別技術(shù)研究的對象是人臉，而人臉圖像的獲取過程會受到很多方面如拍攝角度、光照條件、發(fā)型等諸多因素的影響，另外，隨著人的年齡以及心情的變化，同一個人的“人臉”可能會呈現(xiàn)出不同的樣子，在這個問題上，自動人臉識別方法相比于其他方法（如DNA識別）要做更多的工作，這些工作往往又非常困難，因此人臉自動識別也是一項極具挑戰(zhàn)性的工作。13人臉識別的發(fā)展過程人們對人臉識別方法的研究己經(jīng)有很長的歷史了，最早可以追溯到19世紀(jì)，法國人GALTON曾經(jīng)用一組數(shù)字代表不同的人臉側(cè)面特征。人臉識別的輸入圖像大致可以分為三種正面圖像、傾斜圖像、側(cè)面圖像。其中，正面的人臉圖像由于信息量大、對稱等特點，更多的被人們當(dāng)作輸入數(shù)據(jù)進行研究，人們對正面圖像的研究大致可以分為三個階段第一階段是研究人臉識別所需要的面部特征，以BERTILLON,ALLEN和PARKE為代表。BERTILLON通過編寫一個簡單程序與數(shù)據(jù)庫中的人臉的關(guān)聯(lián)，同時，他還結(jié)合指紋分析方法，研發(fā)了一個較強的識別系統(tǒng)；ALLEN為待識別人臉設(shè)計了一個有效、逼真的描述方法，該方法使得對臉部的識別率大為提高；PARKE用計算機實現(xiàn)ALLEN的方法，生成了具有較高質(zhì)量的人臉灰度圖模型；當(dāng)然，還有其他一些人也做出了很大的貢獻。但是，這一階段的工作主要是依賴于手工操作，還不能完成自動的人臉識別工作。第二階段是人機交互識別階段，以GOLDSTION,HARMON和LESK為代表。他們探索出使用幾何特征參數(shù)來表示正面人臉圖像的方法，即采用二十一高維特征矢量表示人臉面部特征的方法；另外，KARA和KOBAYASHI1探索出了基于統(tǒng)計的識別方法，用歐氏距離對人臉特征進行表征；還有TKANADE的方法，先使用積分投影方法計算出一簇人臉特征參數(shù)，再利用模式分類技術(shù)與標(biāo)準(zhǔn)人臉匹配等等。但這此方法需要利用操作員的某些先驗知識，仍然擺脫不了人的干預(yù)。第三階段是機器自動人臉識別階段。近年來隨著高性能、高速度計算機的問世，自動人臉模式識別方法也取得了較大的進展。目前人臉自動識別技術(shù)主要分為三大類幾何特征法、統(tǒng)計特征法和連接機制法?；趲缀翁卣鞣ㄈ缒０迤ヅ浞?、彈性圖匹配法等，基于統(tǒng)計特征法如主分量分析、獨立分量分析和線性判別式法分析等，基于連接機制法如神經(jīng)網(wǎng)絡(luò)方法、HMM方法、SVM方法等。這些方法各有優(yōu)點，也各有不足。為了使用于不同條件下的人臉識別，目前更多的人臉識別系統(tǒng)是將各種方法有機地融合在一起，發(fā)揮優(yōu)長，克服缺點，以適應(yīng)不同條件下的人臉識別需求，達到降低運算量，提高識別率的目的。14國內(nèi)外的人臉識別理論發(fā)展機構(gòu)目前，國內(nèi)外的許多科學(xué)研究機構(gòu)都成立了專門的研究組從事人臉檢測和人臉識別的理論研究。國外的著名人臉檢測和人臉識別科研機構(gòu)有美國卡奈基梅隆大學(xué)CMU機器人研究所、法國的INRIA研究所、芬蘭的赫爾辛基大學(xué)CIS研究所、麻省理工學(xué)院MIT媒體實驗室和人工智能實驗室、英國SUREY大學(xué)視覺語音和信號處理研究中心等。國內(nèi)關(guān)于人臉識別的研究開始于20世紀(jì)80年代，目前主要有北京大學(xué)、清華大學(xué)、中國科技大學(xué)、中科院自動化研究所和計算機研究所、北京交通大學(xué)、北京工業(yè)大學(xué)、浙江大學(xué)、西北大學(xué)、西安交通大學(xué)、大連理工大學(xué)、南京理工大學(xué)和哈爾濱工程大學(xué)等，其中中科院自動化研究所和計算機研究所的研究工作處于國內(nèi)領(lǐng)先水平。15本課題研究內(nèi)容在這里，我們先對人臉識別的基本工作過程進行一些說明。廣義的人臉識別研究內(nèi)容一般包括人臉檢測、人臉表征、人臉鑒別、表情識別、物理分類五個方面，如圖11所示圖15廣義的人臉識別過程狹義的人臉識別研究方法，不涉及表情識別和物理分類兩個方面。一個狹義的人臉識別系統(tǒng)應(yīng)該包括三個主要的技術(shù)環(huán)節(jié)人臉檢測、人臉表征和人臉識別（也稱匹配識別），如圖12所示圖16狹義的人臉識別過程首先是人臉檢測，即檢測圖像中有沒有人臉，并確定人臉在圖像中的位置。此步驟容易受以下的因素影響即人臉在圖像中的尺度、位置、旋轉(zhuǎn)角度，發(fā)型以及在拍攝過程中出現(xiàn)的噪聲等。其次是人臉表征，即特征提取及表示。最后是人臉識別，人臉識別就是將待識別的人臉圖像或相關(guān)的特征值和數(shù)據(jù)庫里預(yù)先存放的人臉圖像或有關(guān)的特征值進行比較。這里提到的人臉識別只是整個人臉識別工作中的一個子過程，是一個相對狹義的概念。本部分一般又可分為兩大類2一類是確認(rèn)（一對一的匹配），另一類是查詢（一對多的匹配）。人臉識別算法是本課題的主要研究方向，識別之前一般需要做一些預(yù)處理工作，本實驗是在一個已經(jīng)成型的人臉檢測系統(tǒng)的基礎(chǔ)上做來的。然后，本實驗采用LDA方法和改進的LDA算法對人臉識別，相關(guān)內(nèi)容將在后續(xù)章節(jié)中介紹。16論文組織本部分初步介紹了本次論文所涉及的基本的概念，對人臉識別這個前沿課題進行了大體的分析。首先通過引言來引出了人臉識別的重要性，然后分析了國內(nèi)外的研究現(xiàn)狀，提出了人臉識別的三個發(fā)展階段，然后又分析了人臉識別所要研究的內(nèi)容，主要分為人臉檢測，特征提取和人臉識別三大步驟。最后，本章提出了與人臉識別相關(guān)的課題以及現(xiàn)狀人臉識別技術(shù)存在的問題。第二部分的主題介紹人臉識別算法的相關(guān)理論，本部分粗略的介紹了時下幾種應(yīng)用較為廣泛的識別算法。第三部分的主題是利用LDA進行人臉識別，本部分中我們對LDA方法的原理以及用LDA方法訓(xùn)練識別人臉的步驟進行了詳細的介紹。第四部分的主題是介紹了一種改進的LDA算法，本部分中我們對SSDA方法的原理以及實驗數(shù)據(jù)分析進行了詳細的介紹。第五部分的主題是介紹了另一種改進的LDA算法，本部分中我們對幾何平均數(shù)方法的原理以及實驗數(shù)據(jù)分析進行了詳細的介紹。第六部分我們總結(jié)了全篇文章的內(nèi)容，并就此工作進行了展望。2人臉識別的相關(guān)理論21基于幾何特征的人臉識別人臉圖像在其原始樣本空間中的分布往往并不集中，這就不利于對其進行有效的歸類識別。為了能區(qū)分不同的人臉圖像，可以把原始的人臉圖像通過一些變換（包括線性或者非線性變換）方法轉(zhuǎn)換到另外一個空間中，使得同類（同一個人）的人臉圖像在此空間中分布更加緊湊，從而便于歸類和識別。所謂特征提取，就是通過映射或者變換的方法將高維的原始特征轉(zhuǎn)換到低維的特征空間中，得到人臉特征的低維表示。人臉識別中人臉的特征主要有以下幾類1幾何特征；2灰度的統(tǒng)計特征；3變換系數(shù)特征；4代數(shù)特征等；人臉的灰度的統(tǒng)計特征，就是人臉圖像中的所有像素灰度值的一些統(tǒng)計特性，如直方圖特征。提取人臉灰度的統(tǒng)計特征的工作就是將人臉圖像看作是一個二維的隨機過程，然后計算出的各階矩的值的過程。人臉的變換系數(shù)特征，就是對人臉的圖像進行一些數(shù)學(xué)變換如FOURIER變換，HOUGH變換和小波變換等之后得到的一系列變換系數(shù)，而這也是提取人臉的變換系數(shù)特征的方法。人臉由眼睛、鼻子、嘴巴、下巴及耳朵等部分構(gòu)成，也正因為這些部分的形狀、大小以及結(jié)構(gòu)上的差異才構(gòu)造出世界上千差萬別的人臉，所以，我們使用一些幾何方法對這些部分的形狀以及結(jié)構(gòu)關(guān)系進行描述，然后將描述結(jié)果作為依據(jù)進行人臉識別。人臉的幾何特征通常是以人臉器官形狀和幾何關(guān)系為基礎(chǔ)的特征矢量，其分量一般包括人臉指定兩點間的歐式距離，曲率，角度等。典型的人臉幾何特征分量包括1眉毛的弧度；2眉毛的厚度及其對應(yīng)眼睛中心處的垂直距離；3眼睛中心處到耳朵的水平距離；22基于人工神經(jīng)網(wǎng)絡(luò)的人臉識別人工神經(jīng)網(wǎng)絡(luò)ARTIFICIALNEURALNETWORKS，簡稱為ANN是近幾年來發(fā)展起來的模擬人腦生物過程的人工智能技術(shù)。它是由大量簡單神經(jīng)元的廣泛互連而形成的復(fù)雜非線性系統(tǒng)，它不需要任何的先驗公式，就可以從已有的數(shù)據(jù)中自動歸納規(guī)則，獲得這些數(shù)據(jù)的內(nèi)在規(guī)律，從而具有非常強的非線性映射能力，特別的適合于因果關(guān)系復(fù)雜的非線性推理、識別、判斷和分類等問題?；谡`差反向傳播BACKPROPAGATION算法的多層前饋網(wǎng)絡(luò)MULTIPLELAYERFEEDFORWARDNETWORK，簡稱BP網(wǎng)絡(luò)，是目前應(yīng)用最成功也是最多的網(wǎng)絡(luò)之一，構(gòu)建一個BP網(wǎng)絡(luò)需要確認(rèn)其處理單元神經(jīng)元的特性和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。圖21神經(jīng)元模型神經(jīng)元為神經(jīng)網(wǎng)絡(luò)的最基本組成部分。如圖21所示，一般有一個R個輸入的神經(jīng)元模型其中P是輸入向量，W是權(quán)向量，B是閾值，F(xiàn)是傳遞函數(shù)，A是神經(jīng)元輸出。所有輸入P通過一個權(quán)重W進行加權(quán)求和后加上閾值B再經(jīng)傳遞函數(shù)F的作用后即為該神經(jīng)元的輸出A。傳遞函數(shù)可以是任意可微的函數(shù)，經(jīng)常用到的有SIGMOID型和線性型。總體來講，在特征提取的方面，人工神經(jīng)網(wǎng)絡(luò)方法并沒有特殊的優(yōu)越性，而且當(dāng)類別數(shù)量變大時，人工神經(jīng)網(wǎng)絡(luò)會遇到過學(xué)習(xí)OVERTRAINING和過擬合OVERFITTING等問題。因為針對人臉識別的規(guī)則和規(guī)律的顯性描述是困難的，而人工神經(jīng)網(wǎng)絡(luò)的自動學(xué)習(xí)能力很強大，它能根據(jù)反復(fù)學(xué)習(xí)的過程來獲得對這些規(guī)則或規(guī)律隱性的表達，因而在提取特征后進行分類識別時人工神經(jīng)網(wǎng)絡(luò)具有無與倫比的優(yōu)勢。23基于小波特征的人臉識別小波分析是現(xiàn)在數(shù)學(xué)上發(fā)展迅猛的一個新的領(lǐng)域。由于其優(yōu)良的時頻局部性能，近幾年來小波變換成為研究者們普遍接受的信號分析處理工具。在圖像編解碼和圖像處理領(lǐng)域，小波變換均表現(xiàn)出了良好的性斛。小波變化的本質(zhì)是對信號用一組尺度不同的帶通濾波器進行濾波，然后將其信號分解到不同頻帶上進行分析和處理，這和人類視覺系統(tǒng)的多通道濾波模型是一致的。所以可以考慮采用小波變換提取人臉圖像的小波特征WAVELETFEATURE來進行人臉識別。CAMPBEN和ROBSON提出并在心理學(xué)實驗中證實，人類的視覺具有多分辨率和多通道的特征，因此，近年來基于多分辨率、多通道分析的算法得到廣泛重視。在諸如信號檢測、圖象壓縮、圖象分割、紋理分析和識別等領(lǐng)域，GABOR小波方法有很廣泛的應(yīng)用。大量基于簡單細胞接受場的實驗表明，圖像在視覺皮層的表示存在空域和空頻域分量，并且可以將一幅圖像分解為反對稱和局部對稱的基函數(shù)表示，GABOR函數(shù)正是這種基信號的良好近似。LEETS用ZDGABOR小波來表征圖像，將DAUBEEHIES的一維框架理論拓展到二維，并證明在一定條件下，ZDGABOR小波是緊框架，原圖像能從小波系數(shù)重建，因此用小波變換的系數(shù)幅值作為特征來匹配有著良好的視覺特性和生物學(xué)背景，GABOR小波的這些特性使得其對于亮度和人臉表情的變化不敏感，在人臉識別和圖像處理中有著廣泛的應(yīng)用。LADES等首先提出用基于GABOR變換的彈性圖匹配算法進行人臉識別。節(jié)點上的GABOR濾波響應(yīng)作為人臉特征，通過特征匹配和節(jié)點幾何位置的匹配實現(xiàn)人臉識別。圖22基于小波特征的人臉識別24基于子空間的人臉識別子空間模式識別是近年來模式識別中得到快速發(fā)展的一類方法，也在人臉及相關(guān)識別中得到廣泛應(yīng)用。最初的子空間一組正交歸一的基本向量，所以統(tǒng)計正交展開（一個向量對正交歸一非隨機向最集的展開）的方法較早得到了應(yīng)用。20世紀(jì)80年代末研究人員將KL變換的思想引入圖像表達領(lǐng)域，開發(fā)出一種最小均方誤差意義下描述人臉圖像的最優(yōu)技術(shù)。受此啟發(fā)，研究人員利用重構(gòu)權(quán)向量作為識別用的特征，提出了“特征臉EIGENFACES”（所提取出的每個本征向量的圖像形式都類似于人臉而得名）識別技術(shù)，推動了基于表征APPEARANCEBASED的子空間分析方法的發(fā)展，并逐步擴展到本征分析EIGENANALYSIS。在本征分析中，整體特征和局部特征被統(tǒng)一地結(jié)合在各種本征特征中（如本征眼、本征嘴等）。子空問方法有一些獨特的地方，它在人臉識別方面的有效性有一定的保證。先前的研究工作已表明，在不同光照條件下獲得的人臉圖像的變化，甚至有多光源和多陰影的情況都可以利用低維線性空問來有效地建模。許多模式識別技術(shù)包括特征選擇提取和模式分類兩部分，子空間方法將它們進行了有機的結(jié)合。在子空間法中，模式的類別不再是預(yù)先在特征空間里劃分出來的有限區(qū)域，而是用分別與各個類別對應(yīng)的子空問來限定的。在于空間法中，要把每個類別中最顯著的特征個別地抽取出來，組成與該類別對應(yīng)的特征集。在決策中利用待分類模式的特征向量與各個類別對應(yīng)的子空間之間的距離作為分類的判別函數(shù)。子空間法能緊湊地表達高維的模式向量，或者說子空間的維數(shù)往往比模式空間的維數(shù)要少得多，因而向量內(nèi)積的計算量減少，可以加快分類速度。例如，在存人臉識別中，可以對面部器官如眼、鼻和嘴等特征分別建立單獨的本征子空間，以有效地表達這哆器官的特征。又如，人臉圖像在不同光照條件下的變化，包括多光源和陰影的情況，可以用低維線性子空間來建模。在這個空間中的基圖像可用3種方法得到一種利用大量的具有處于不同光照條件下日標(biāo)的圖像，借助主分量分析的方法來估計一個子空問；另一種根據(jù)點源照射下的3D模型（可以從圖像中構(gòu)建出來）來合成圖像，再借助主分量分析的方法來估計一個子空間；還有一種利用在擴散DIFFUSE光下基于球諧函數(shù)得到的3D模型直接作為基網(wǎng)像。圖23人臉子空間示意圖子空間法建立在線性正交展開的基礎(chǔ)上，所以首先得到應(yīng)用的是線性子空間方法，如統(tǒng)計子空間、本征子奪問、鑒別子空間、獨立分量子空問等。借助局部特征分析法、因子分析法等，混合線性子空間和非線性子空間方法也得到了發(fā)展。這許多子空間及方法還可以結(jié)合起來。例如有的人臉識別方法同時在主元子空間和零空間巾進行判別分析，并在特征層融合這兩個子空問的判別特征。通過提取每個子空間時最具有判別能力的特征，借助它們的的互補特性達到利用盡可能多的判別信息的目的。3基于LDA的人臉識別31概述模式識別中把每個對象都量化為一組特征來描述，構(gòu)建特征空間是所有模式識別問題的第一步通過直接測量得到的特征稱為原始特征，比如人體的各種生理指標(biāo)（描述健康狀況）、數(shù)字圖像中的每點灰度值（描述圖像內(nèi)容）。為了取得好的分類效果，搜集大量的特征，特征越多（DIMENSIONCURSE，OVERLEARNING），原始特征數(shù)量可能會很大，不利于學(xué)習(xí)。如100幅1024768的灰度圖像，256的灰度級直接表示每幅圖786,432BYTES，進行訓(xùn)練，空間，時間，計算量都無法承受少量樣本分布在高維空間中稀疏矩陣，過學(xué)習(xí)如AMN，M7105特征空間有很大冗余，完全可用很小的空間近似表示樣本集。壓縮特征空間的方法1特征變換（提?。┯糜成洌ㄗ儞Q）的方法將原始特征變換為較少的新特征2特征選擇從原始特征挑選出一些最具代表性（分類性能最好）的特征線性判別式分析LINEARDISCRIMINANTANALYSIS,LDA，也叫做FISHER線性判別FISHERLINEARDISCRIMINANT,FLD，是模式識別的經(jīng)典算法，它是在1996年由BELHUMEUR引入模式識別和人工智能領(lǐng)域的。線性鑒別分析的基本思想是將高維的模式樣本投影到最佳鑒別矢量空間，以達到抽取分類信息和壓縮特征空間維數(shù)的效果，投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內(nèi)距離，即模式在該空間中有最佳的可分離性。因此，它是一種有效的特征抽取方法。使用這種方法能夠使投影后模式樣本的類間散布矩陣最大，并且同時類內(nèi)散布矩陣最小。就是說，它能夠保證投影后模式樣本在新的空間中有最小的類內(nèi)距離和最大的類間距離，即模式在該空間中有最佳的可分離性。例如，將3維空間上的球體樣本點投影到二維上，W1相比W2能夠獲得更好的分離效果圖31例132LDA方法原理假設(shè)用來區(qū)分二分類的直線（投影函數(shù)為31LDA分類的一個目標(biāo)是使得不同類別之間的距離越遠越好，同一類別之中的距離越近越好，所以我們需要定義幾個關(guān)鍵的值。類別I的原始中心點為（DI表示屬于類別I的點衡量類別I投影后，類別點之間分散程度方差為32最終我們可以得到一個下面的公式，表示LDA投影到W后的損失函數(shù)（W隱函數(shù)）33分類的目標(biāo)是JW。分母表示每一個類別內(nèi)的方差之和，方差越大表示一個類別內(nèi)的點越分散，分子為兩個類別各自的中心點的距離的平方，最大化JW就可以求出最優(yōu)的W了。想要求出最優(yōu)的W，可以使用LAGRANGIANMULTIPLIERMETHOD，但是現(xiàn)在我們得到的JW里面，W是不能被單獨提出來的，我們就得想辦法將W單獨提出來。我們定義一個投影前的各類別分散程度的矩陣，這個矩陣看起來有一點麻煩，其實意思是，如果某一個分類的輸入點集DI里面的點距離這個分類的中心點MI越近，則SI里面元素的值就越小，如果分類的點都緊緊地圍繞著MI，則SI里面的元素值越更接近034帶入SI，將JW分母化為3536同樣的將JW分子化為37稱為BETWEENCLASSSCATTER，是兩個向量的外積，雖然是個矩陣，但秩為1。REVIEWSXX1,X2,XK,YY1,Y2,YKTRXYMAXTRX,TRY這樣損失函數(shù)可以化成38拉格朗日乘子法，但是還有一個問題，如果分子、分母是都可以取任意值的，那就會使得有無窮解，我們將分母限制為長度為139對于NN2分類的問題，直接寫出下面的結(jié)論了310同樣是一個求特征值的問題，我們求出的第I大特征值對應(yīng)的特征向量，就是對應(yīng)的WI了。設(shè)矩陣特征值為選取前M個特征值對應(yīng)的特征向量作為W這種方法的限制1對于K類問題；TRK1，選出的特征最多只有K1個，與原始特征維數(shù)N無關(guān)，對應(yīng)非零特征根的特征向量最多為K1，0特征根對應(yīng)的特征向量對JW沒有影響。2LDA可能過度擬合數(shù)據(jù)，對訓(xùn)練樣本過擬合。TRAINTEST圖32訓(xùn)練和測試33訓(xùn)練過程和識別過程1設(shè)定一個彩色人臉圖片訓(xùn)練集，I1,2,N，采用OHTA最優(yōu)基來模擬KL變換，從而將彩色的人臉圖片訓(xùn)練集中每一張彩色的人臉圖片變換成第一主分量對應(yīng)的人臉灰度圖片1,2,N。由這些灰度人臉圖片構(gòu)成相應(yīng)的灰度人臉圖片訓(xùn)練集。2根據(jù)奇異值分解定理來計算相應(yīng)灰度人臉圖片訓(xùn)練集，I1,2,N對應(yīng)的奇異值特征向量,即,其中I1,2,N。11,0,03對奇異值特征向量空間進行坐標(biāo)軸平移，即以訓(xùn)練集奇異值特征向量,1的均值向量作為新坐標(biāo)原點，坐標(biāo)軸平移后訓(xùn)練集的奇異值特征向量11為，I1,2,N4計算由訓(xùn)練集奇異值特征向量構(gòu)成的協(xié)方差矩陣K個最大特征值對應(yīng)的特征向量。這K個特征向量構(gòu)成PCA投影矩陣。5利用PCA投影矩陣，將奇異值特征向量空間轉(zhuǎn)換為降維的K維MEF空間，并獲得最佳描述特征MEFS，即，其中I1,2,N。6計算由訓(xùn)練集最佳描述特征構(gòu)成的類內(nèi)散布矩陣和類間散布矩陣和，然后計算對應(yīng)的L個最大特征值對應(yīng)的特征向量。由這L個最大特征值對應(yīng)的特征向量構(gòu)成FLD投影矩陣。7利用FLD投影矩陣，將MEF空間轉(zhuǎn)換為降維的L維MDF空間，獲得對應(yīng)的最佳分類特征MDFS即，其中I1,2,N。8根據(jù)這些對應(yīng)人臉圖像訓(xùn)練集的最佳分類特征向量,組成C類人臉識別數(shù)據(jù)庫，需存儲的人臉訓(xùn)練樣本的特征向量書目需根據(jù)具體的分類方法來確定。若采用最近臨近法，則需存儲所有訓(xùn)練樣本的特征向量。為表達方便期間，在此我們不妨假設(shè)由這N個最佳分類特征向量組成的C類人臉識別數(shù)據(jù)庫中的標(biāo)準(zhǔn)樣本向量為。9計算兩個人臉之間允許的最大距離。10計算人臉類的允許最大距離11將某個待識別彩色人臉圖像采用模擬KL變換而轉(zhuǎn)換成灰度圖像I。12根據(jù)奇異值分解定理計算相應(yīng)灰度人臉圖像I對應(yīng)的奇異值特征向量。13對奇異值特征值向量空間進行坐標(biāo)軸平移，坐標(biāo)軸平移后，待識別人臉圖像的奇異值特征向量為。14對奇異值特征向量X進行DKL投影變換，得到新的L維MDF空間中的最佳分類特征。15找到和待識別圖像最接近的訓(xùn)練集數(shù)據(jù)庫的人臉類，式中表示在特征空間中的歐幾里德距離。16計算待識別圖像對應(yīng)的奇異值特征向量和重建奇異值特征向量之間的距離這就是說，計算投影距離以便能夠評價測試圖像中含有人臉的可能性，其中X為待測試的人臉圖像奇異值特征向量，17判別分類A如果，則表明該測試圖像為非人圖像；B如果，則表明測試圖像在由訓(xùn)練集人臉得到的奇異值特征向量空間中的投影點和人臉的奇異值特征向量投影點非常接近，因此判斷該測試圖像為人臉圖像，進一步地1如果且，則將測試圖像歸類為訓(xùn)練集中類的人臉；2如果且，則將測試圖像歸類為非訓(xùn)練集中的人臉。34實驗根據(jù)以上算法，編程實現(xiàn)并抽取STIRLINGFACES人臉庫和ORL人臉庫部分圖片做實驗。STIRLINGFACES人臉庫包含17個男人臉灰度圖片和18個女人臉灰度圖片，每個人包括3幅圖片。表情、姿態(tài)各有差別。圖片的分辨率都是280365ORL人臉庫包含40個人的圖片，每個人有10幅相異的圖片，每張圖片有各異的姿態(tài)和表情，尺寸均是92112。設(shè)置數(shù)據(jù)庫時，在STIRLINGFACES人臉庫中隨意抽選30張圖片，在ORL人臉庫中隨機抽選7個人的圖片，一共37個人的圖片。每個人選擇兩幅圖片來進行訓(xùn)練，另外一幅圖像做測試，結(jié)果如表31所示。表31實驗結(jié)果34小結(jié)在傳統(tǒng)特征臉方法的基礎(chǔ)上，研究者注意到特征值打的特征向量（即特征臉）并一定是分類性能最好的方向，而且對KL變換而言，外在因素帶來的圖像的差異和人臉本身帶來的差異是無法區(qū)分的，特征連在很大程度上反映了光照等的差異。研究表明，特征臉，特征臉方法隨著光線，角度和人臉尺寸等因素的引入，識別率急劇下降，因此特征臉方法用于人臉識別還存在理論的缺陷。線性判別式分析提取的特征向量集，強調(diào)的是不同人臉的差異而不是人臉表情、照明條件等條件的變化，從而有助于提高識別效果。4SSDA改進的LDA的識別算法41引言線性判別分析（LDA）是一種流行的特征提取方法，在計算機視覺和模式識別領(lǐng)域中激發(fā)了相當(dāng)多研究者的興趣。LDA的投影向量通常是通過最大化數(shù)據(jù)集的類間散度同時最小化類內(nèi)散度來獲得的。然而，在實際中，通常缺乏足夠多的有標(biāo)注數(shù)據(jù)，這就使得對我們所估計的投影方向不準(zhǔn)確。為了解決上面的限制，有學(xué)者提出一種新的半監(jiān)督判別分析方法。與傳統(tǒng)的基于圖的方法不同，這個所提出的方法將有標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)之間的幾何分布信息通過半?yún)?shù)化的形式加入進來。具體的，最終所獲得的判別投影包含兩部分判別的部分（在有標(biāo)注數(shù)據(jù)上利用傳統(tǒng)LDA或是KDA）；保持幾何結(jié)構(gòu)的部分（在所有樣本點上通過KPCA學(xué)習(xí)得到）。因此，我們命名我們的算法版參數(shù)化的半監(jiān)督判別分析（SSDA）。在人臉識別和圖像任務(wù)上的實驗結(jié)果表明了這種方法的有效性。下面我將對這種算法作簡要介紹。42譜回歸LDA1傳統(tǒng)LDA訓(xùn)練樣本集合N個樣本,C個類別,M維特征有標(biāo)注數(shù)據(jù)未標(biāo)注數(shù)據(jù)LDA目標(biāo)函數(shù)（41）ARGMXTBOPTWWTTS或有監(jiān)督學(xué)習(xí)類內(nèi)與類間散度只能利用有標(biāo)注數(shù)據(jù)計算基于正則化的LDA半監(jiān)督擴展（42）ARGMXTBOPTWSJ1,LIYN（43）11KICTBKKWIKIKXLTTIIBWSNMXSS2LDA解法LDA標(biāo)準(zhǔn)解法（44）TTXGWX當(dāng)維數(shù)高于樣本總數(shù)時不存在1LDA的SVD解法（45）TXUVBW（46）ARGMXTOPTTWXGBUSVDLGE線性圖嵌入時間復(fù)雜度很高SVDLGE239NM譜回歸降低復(fù)雜度3譜回歸LDA基本步驟（47）ARGMXTOPTWXG（48）211ARGMINLTIWYYXW令、求解，得到正則化的目的避免當(dāng)樣本數(shù)目小于特征維數(shù)時,未知數(shù)的個數(shù)大于方程的個數(shù),無窮多個解。正規(guī)化最小二乘（49）圖41FIGUREQ2和LASSOREGULARIZERQ1時的最優(yōu)解W示意圖42半?yún)?shù)回歸421基本含義半?yún)?shù)回歸指的是回歸模型中的PREDICTOR既包含參數(shù)化又包含非參數(shù)化的成分。為一族參數(shù)化函數(shù)PFXFHXHSAN參數(shù)化模型是指HX可以表示成X的顯示函數(shù)，例如線性回歸非參數(shù)模型是指FX不能通過顯示的參數(shù)函數(shù)估計，只能通過數(shù)據(jù)來進行直接估計，例如KNNPARZEN窗方法。421優(yōu)點1非參數(shù)化部分直接通過數(shù)據(jù)進行估計，因此準(zhǔn)確度較高。2參數(shù)化部分根據(jù)數(shù)據(jù)特性，將一些額外的知識加入到已有模型中，容易理解，PTW同時可以修正預(yù)測值使其朝著某些趨勢變化。（CORRECTTHEDATAFROMSOMEEGLINEARTREND）。43半?yún)?shù)半監(jiān)督判別分析1非參數(shù)化部分FA利用有標(biāo)注數(shù)據(jù)進行KERNELDABF是特征空間2參數(shù)化部分A基本思想利用有標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)所包含的幾何信息。B采用方法通過KERNELPCA找到特征空間中包含最大方差的主軸方向，并根據(jù)該方向建立參數(shù)化函數(shù)加入到已有的模型中，修正最終的預(yù)測函數(shù)。3KPCA44實驗實驗一數(shù)據(jù)庫40個人，每人10張圖片，7張訓(xùn)練集，其中1張有標(biāo)注圖像維數(shù)3232，共50次隨機實驗表42在ORL人臉庫上做的識別結(jié)果分析1MCFXA1212111,LDLCCIILCIILCLIIKXFXXKXU令為F空間的標(biāo)準(zhǔn)正交基（投影軸）為第C維的投影方向）（410）112,MCNFHXXA是在特征空間的數(shù)據(jù)集1NTIIIXCV1NCI1,CTNCCXIIKHKXV（411）實驗二數(shù)據(jù)庫20個人，每人28張圖片，20張訓(xùn)練集，其中1張有標(biāo)注圖像維數(shù)3232，共50次隨機實驗表43在UMIST人臉庫上的識別結(jié)果分析實驗三數(shù)據(jù)庫68個人，每人43張圖片，30張訓(xùn)練集，其中1張有標(biāo)注圖像維數(shù)3232，共50次隨機實驗表44在PIE人臉庫上的識別結(jié)果分析45小結(jié)這篇文章提出了一種新的半監(jiān)督判別分析方法，這種方法是通過半?yún)?shù)回歸實現(xiàn)的，而不是傳統(tǒng)基于圖的正則化的框架。該方法能處理OUTOFSAMPLE問題，其核心思想可以推廣到其他的回歸問題。實驗驗證了該方法的有效性。5幾何平均數(shù)法改進的LDA的識別算法51概述子空間選擇方法是模式分類和數(shù)據(jù)可視化的有力工具一種最重要的子空間方法是FISHER線性判別分析FLDA中的線性降維它已經(jīng)被成功應(yīng)用到許多領(lǐng)域中,如生物學(xué),生物信息學(xué)和多媒體信息管理然而,FLDA中的線性降維存在一個嚴(yán)重的缺點對于C類的分類任務(wù),如果投影子空間的維數(shù)嚴(yán)格地低于C1,那么,投影將易于合并那些在原始空間中距離比較近的類別如果各類樣本采樣自具有同方差的高斯分布,FLDA中的線性降維將最大化不同類別之間KL散度的平均值基于這一點,本章研究了基于幾何均值的子空間選擇本章分析了三條準(zhǔn)則1最大化KL散度的平均值2最大化歸一化KL散度的平均值31和2的組合基于合成數(shù)據(jù)UCI機器學(xué)習(xí)庫和手寫字體的初步實驗結(jié)果表明,第3條準(zhǔn)則是一種潛在的判別子空間選擇方法同F(xiàn)LDA以及它的幾種典型性的擴展相比,它能夠較大程度上解決類可分問題52三條準(zhǔn)則521準(zhǔn)則1最大化散度的幾何均值對數(shù)函數(shù)增強小散度的影響并降低大散度的影響。（51）LOGX（52）11,1ARMGAXARQIJMNCQIJIJWIJWIJCQIJIJCWIJWIJCDPP522準(zhǔn)則2最大化所有歸一化散度的幾何均值（53）11ARGMXCWIJWIJCIJIJEP（54）1IJWIJWIJMNNCQDPEP準(zhǔn)則