一種基于深度殘差網(wǎng)絡的人臉識別算法設計摘要人臉識別是圖像處理領域的經典問題，它是一種基于人臉面部特征信息來進行身份識別的技術。相比于傳統(tǒng)的識別技術，人臉識別更加方便友好，具有極大的優(yōu)勢。人臉識別技術發(fā)展至今，已有了較高的識別準確度，并逐漸開始落實到商用。但是在實際的人臉識別問題中，識別的準確度受到角度，光照，姿態(tài)等外部條件的影響，攝像頭所采集到的人臉圖像質量不能保證，是人臉識別問題的重點和難點。因此繼續(xù)研究人臉識別技術，提高人臉識別在復雜環(huán)境下的精度，是一個值得深入研究的問題。為解決目前人臉識別中存在的識別精度不高、受外界條件影響大等問題，本文采用了一種基于深度殘差網(wǎng)絡（Deepresidualnetwork,ResNet）模型來進行人臉識別的方法。將原始的人臉數(shù)據(jù)集按7:3劃分為訓練數(shù)據(jù)集與測試數(shù)據(jù)集，加載預訓練好的Resnet50網(wǎng)絡模型，對網(wǎng)絡最后的全連接層進行修改使之符合需要，然后將人臉數(shù)據(jù)集輸入到網(wǎng)絡中進行訓練。通過對圖像在水平方向翻轉，平移和縮放來進行數(shù)據(jù)增強，減少在訓練過程中出現(xiàn)過擬合的情況。在訓練過程中根據(jù)訓練效果調整參數(shù)，以期達到一個較好的學習效果。最后在測試集上驗證圖像及預測的標簽的識別準確率。實驗通過將前期獲取的人臉數(shù)據(jù)集輸入到網(wǎng)絡模型中進行訓練，實現(xiàn)了簡單的人臉識別，驗證了實驗的有效性。通過對實驗結果進行分析比對，模型在自采集的人臉數(shù)據(jù)庫上有較為良好的人臉識別表現(xiàn)，其準確率達到了99.37%，在其他幾個人臉數(shù)據(jù)集上，如ORL人臉數(shù)據(jù)集和CASIA-Webface人臉數(shù)據(jù)集等進行訓練，也分別取得了95.00%和86.44%識別準確率。關鍵詞：人臉識別；深度學習；殘差網(wǎng)絡目錄摘要 緒論1.1課題研究背景及意義當今時代，隨著社會的高速發(fā)展，科學技術的不斷進步，人們早已步入了一個“智能時代”中。人工智能，物聯(lián)網(wǎng)等技術的不斷創(chuàng)新，計算機系統(tǒng)對數(shù)據(jù)的處理能力的提高，在各個領域都推動了技術的發(fā)展。在深度學習這個浪潮的推動和影響下，圖像處理領域也有了長足的進步。人臉識別技術，作為圖像處理應用領域最富代表性的一員，更是在各個領域和行業(yè)中有著廣泛的應用需求。人臉識別技術在公安、醫(yī)療、金融、網(wǎng)絡安全、門禁考勤等行業(yè)已經有了較為廣泛的應用。在公安系統(tǒng)中，可以通過監(jiān)控攝像頭捕獲到的人臉與數(shù)據(jù)庫中的人臉進行比對，判斷二者是否是同一個人?；蛘呓Y合天網(wǎng)系統(tǒng)，在監(jiān)控網(wǎng)絡覆蓋的范圍跟蹤某個特定的嫌疑人的位置，實現(xiàn)精確定位。這些應用聽起來可能離普通人的生活很遠，但其實人臉識別技術就藏在普通百姓的生活當中。近年來，各個火車站逐漸的改為了“刷臉”的電子檢票，散落在各個學校、公司和小區(qū)內的自動販賣機，也已經開始支持“刷臉”支付。2020年是不平凡的一年，在這一年里，更是可以感受到了人臉識別技術的應用無處不在。由于年初新冠肺炎疫情的影響，在各個公共場所使用的身份和體溫識別的門禁系統(tǒng)中，就用到了面部識別技術。生活中人臉識別技術的應用已相當成熟，商業(yè)化應用也很廣泛。人的面部作為一個人獨有的生物特征，具有唯一性和穩(wěn)定性，因而可作為一個理想的身份識別特征，而且面部識別方式相對于傳統(tǒng)的指紋識別，虹膜識別等，更加方便友好，因此也更容易被人們所接受。隨著深度學習的流行，卷積神經網(wǎng)絡（ConvolutionalNeuralNetworks,CNN）開始應用于圖像處理領域中，以卷積神經網(wǎng)絡為基礎進行圖像特征提取是人臉識別技術的主要方法?；谏疃葘W習方法的人臉識別準確率相比于傳統(tǒng)方法大大提高，在一些公開數(shù)據(jù)集上進行驗證，人臉識別率已經接近百分之百。譬如Facenet[1]預訓練模型在LFW(LabledFacesintheWild)人臉數(shù)據(jù)集上進行驗證，其識別率準確率已達到99.65%，而且識別速度比較快。雖然人臉識別技術已經趨于成熟完善，但在某些方面上，還是有著一些較為棘手的問題，比如在不同光照條件下，被識別者處于不同姿態(tài)下，攝像頭的角度等，對人臉識別的精度仍存在著一定的干擾。因此，進一步研究人臉識別算法，并且在識別過程中側重于解決光照、姿態(tài)等因素問題，具有一定的意義。研究人臉識別算法，就是為了能更高效更準確的進行人臉面部識別，發(fā)揮其優(yōu)勢，補足其短板，讓人臉識別技術更好的服務于社會。因此，本課題的研究具有廣泛的應用前景和重要的實用意義。1.2問題描述與重難點分析 人臉識別，是通過對人臉的面部特征進行識別，進而得到被識別者身份信息的一種身份識別技術。通過攝像頭采集人臉圖像，對圖像進行一系列處理后，獲得計算機能識別的特征向量信息，進而可得到被識別者的身份信息，實現(xiàn)人臉識別。 人臉識別問題通常分為分為1:1的識別問題和1:N的識別問題。在1:1的識別問題中，通過給出兩張人臉圖像進行識別，系統(tǒng)最終判斷出兩張圖像中的人臉是否是同一個人。而在1:N的識別問題中，給出一張已知的人臉圖像進行識別，同時有一個已知的人臉數(shù)據(jù)庫，待檢測的人臉的身份信息已提前錄入該人臉數(shù)據(jù)庫中，通過人臉識別算法，可以從數(shù)據(jù)庫中找到與所給圖像最為匹配的人臉，并返回其身份信息。一個能實現(xiàn)人臉識別的完整系統(tǒng)主要由四個部分構成，分別是人臉檢測、人臉關鍵點對齊、特征提取以及最后通過計算向量距離實現(xiàn)人臉匹配。人臉識別問題被認為是圖像識別領域最為困難的研究問題之一，主要還是人的面部作為一個人的生物特征具有的特點帶來的，比如不同表情不同裝扮所帶來的易變性。到目前為止，對這些人臉識別問題中的存在的各種難點，已經提出了相當多的人臉識別算法，但在實際應用當中，還是存在著以下幾個問題：（1）設備及環(huán)境問題。也就是外部條件產生的問題。人臉識別技術廣泛商用后，由于不能保證每個攝像頭所拍攝的照片大致處于相同的環(huán)境中，因此在實際的人臉識別環(huán)境中，識別的準確率受外部環(huán)境影響較大。考慮經費的問題，攝像頭本身分辨率也會限制所采集圖像的清晰度，導使人臉識別在實際應用中識別率不高。（2）數(shù)據(jù)的區(qū)分程度問題。在日常生活中我們也能感受到，同一個人的兩張照片差異也有可能很大。當一個人的兩張照片差異過大，我們很難區(qū)分出是否是同一個人，而兩個不同的人也有可能很相似，比如同卵的雙胞胎。計算機在學習人臉特征時也會有類似的問題，即兩個不同人臉的特征向量距離可能會小于同一個人，進而導致識別準確率降低。這就是數(shù)據(jù)區(qū)分程度不高帶來的問題。（3）網(wǎng)絡模型的問題。當神經網(wǎng)絡比較深比較復雜，信息會發(fā)生冗余，進而出現(xiàn)過擬合，模型無法有效的學習到更多的特征，只是在訓練集上具有一個良好的表現(xiàn)，但在測試集上識別準確率卻大大下降。1.3國內外研究現(xiàn)狀早在20世紀60年代，就已經有研究人員開始研究人臉識別方面的技術，經過幾十年的不斷發(fā)展，其技術成熟度已經達到了一個較高的水平。在早期的研究中，人臉識別的主要特征是通過手工設計的，但其受到很多因素的影響，識別的精度不是很理想。在深度學習的浪潮發(fā)展下，漸漸開始使用卷積神經網(wǎng)絡進行人臉的特征提取?？傮w上人臉識別方法可以分為以下三種：基于特征子空間的人臉識別方法；基于模板匹配的人臉識別方法；基于深度學習模型的人臉識別方法，當前人臉識別技術最常用的是基于卷積神經網(wǎng)絡的深度學習方法[2]。1.3.1基于特征子空間的人臉識別方法特征子空間分析方法分為基于線性變換的子空間分析方法和基于非線性變換的子空間分析方法。基于線性變換的子空間分析方法的人臉識別算法有特征臉法（EigenFace）[3]，判別臉法（FisherFace）[4]，獨立成分分析（IndependentComponentAnalysis,ICA）[5]和奇異值分解(SingularValueDecomposition,SVD)[6]等。EigenFace算法是一種基于主成分分析法（PrincipalComponentAnalysis,PCA）[7]的人臉特征提取算法，輸入算法的是整個人臉圖像，通過計算降維矩陣和正交基，來獲得圖像的特征向量表達。FisherFace算法是在1997年提出的基于線性判別分析（LinearDiscriminativeAnalysis,LDA）[8]方法上進行改進的，在學習中引入了監(jiān)督信號，其映射方向使得類間的距離增大，而類內的距離更小，使產生的人臉特征具有較大的區(qū)別程度。在增大類間差距的同時減少類內差距，這種想法也是目前人臉識別算法設計所注重的問題。線性變換和非線性變換實際上都是將人臉圖像從原始的空間映射到一個新的空間中，在此基礎上來實現(xiàn)人臉圖像的識別。1.3.2基于局部特征的人臉識別方法在1.3.1中基于特征子空間的識別方法中，輸入到算法中的是一副完整的人臉圖像，而基于局部特征的人臉識別，則只需要從整幅圖像中提取一些局部特征點，即可形成有效的特征表達。這樣避免了將整幅人臉圖像輸入算法，減少了大量的數(shù)據(jù)處理量，有效提升了人臉識別算法的準確度和效率?；诰植刻卣鞯娜四樧R別算法包括Gabor特征[9]、HOG特征[10]和LBP[11]特征等。Gabor特征通過描述人臉圖像的紋理信息，放大其局部細節(jié)，同時結合線性判別模型，來實現(xiàn)人臉識別；HOG特征主要是對面部圖像中的局部區(qū)域計算梯度方向方向信息，來得到人臉面部的特征表達；LBP特征則利用局部二值模式，將人臉的局部信息有效地提取了出來[2]。如今基于傳統(tǒng)方法的人臉識別算法正在漸漸退出歷史舞臺，隨著深度學習浪潮的興起，基于深度學習的人臉識別方法開始流行起來。1.3.3基于深度學習模型的人臉識別方法 深度學習技術是在機器學習領域中的一類方法。當今深度學習技術研究發(fā)展主要包括基于卷積運算的卷積神經網(wǎng)絡（CNN）；以多層自編碼神經網(wǎng)絡的方式來進行預訓練，在結合其它特征信息的基礎上，進一步優(yōu)化神經網(wǎng)絡權值的深度置信網(wǎng)絡（DBN）；以及基于多層神經元的自編碼神經網(wǎng)絡。相對于傳統(tǒng)的使用手工設計的特征算子，深度學習的方法網(wǎng)絡模型更簡單，能完成更復雜的識別與分。類似于人的學習，深度學習中計算機通過對大量數(shù)據(jù)的不斷學習，得到圖像的特征表達。因此也可以把深度學習理解為是一種特征學習，或者說是表征學習。目前已有相當多的人臉識別算法提出。Facebook的DeepFace[12]模型是最早提出的基于卷積神經網(wǎng)絡的人臉識別方法之一，其在LFW[13]人臉數(shù)據(jù)集上的準確度一度達到了97.35%。香港中文大學的湯曉鷗教授提出了DeepID[14]系列算法，其算法中引入了額外的監(jiān)督信號，采用分類損失函數(shù)和二元損失函數(shù)來進行約束，在LFW人臉數(shù)據(jù)集上達到了99.53%的準確度。Google提出了FaceNet模型，模型在Inception網(wǎng)絡模型的基礎上，提出了三元組損失函數(shù)（TripletLoss），在LFW人臉數(shù)據(jù)集上取得了99.63%的準確度。這些模型都在已有算法上提出了新的見解，在LFW等公開人臉數(shù)據(jù)集上不斷將人臉識別的性能推向了新的高度。最開始的人臉識別問題中使用的網(wǎng)絡大都是用于圖像分類問題的通用網(wǎng)絡，如AlexNet[15]，VGGNet[16]，ResNet[17]等。在人臉識別算法不斷追求更高的識別準確率后，算法開始著重于對網(wǎng)絡模型的結構進行修改，同時神經網(wǎng)絡模型的深度也越來越深。例如ArcFace，在ResNet-50和ResNet-100的網(wǎng)絡結構上修改殘差模塊，網(wǎng)絡訓練后在識別準確度上有了一定的提升。在特征提取上，輸入網(wǎng)絡的是一張完整的人臉圖像，網(wǎng)絡通過計算最終直接輸出人臉特征?；诰矸e神經網(wǎng)絡的人臉識別方法的準確度主要受到三個因素的影響：訓練數(shù)據(jù)集的大小、神經網(wǎng)絡模型的結構和損失函數(shù)的設置。在圖像分類的問題中，通常都會使用的很大的訓練集，來防止發(fā)生過擬合的現(xiàn)象。而對于人臉識別問題，網(wǎng)絡除了需要學習大量的類內差異，還需要學習類間差異，來判別屬于不同主體的人臉樣本。因此，用于人臉識別問題中的人臉數(shù)據(jù)集，需要包含大量的主體，而且每個主體要有一定數(shù)量的人臉樣本。網(wǎng)絡的識別準確度會隨著每類人臉樣本數(shù)量的增長而提高，數(shù)據(jù)集越大，其類內的差異和類間的差異也就越多，網(wǎng)絡也就能夠學習到更魯棒的特征。1.4主要工作與行文結構本文的主要工作是對人臉識別技術進行研究，通過對國內外研究現(xiàn)狀分析，對目前人臉識別所存在的的問題進行探討，引入了基于深度殘差網(wǎng)絡的人臉識別算法，并在MATLAB環(huán)境下進行試驗，驗證了其有效性，通過比較算法在不同人臉數(shù)據(jù)集上的識別率，進行分析并得出結論。本篇論文的主要章節(jié)如下：第一章本章簡單介紹了人臉識別問題的研究背景及其意義，分析了人臉識別問題中存在的一些重點難點，同時闡述了在人臉識別領域的國內外研究現(xiàn)狀,對各種傳統(tǒng)的人臉識別算法和基于深度學習的人臉識別算法進行了介紹，最后一小節(jié)是本文的主要工作和行文結構安排。第二章本章介紹了一些人臉識別的基礎知識、主要流程及各部分功能，之后介紹了卷積神經網(wǎng)絡的基本概念，反向傳播算法，損失函數(shù)和人臉識別算法性能的評價指標。第三章本章介紹了實驗中所使用的深度殘差網(wǎng)絡Resnet50，對整個殘差網(wǎng)絡的結構做了分析和理解，介紹了殘差結構在網(wǎng)絡中起到的作用，介紹了mini-batch梯度下降法。第四章本章主要介紹了實驗所實現(xiàn)的人臉識別，簡要說明實驗的環(huán)境和內容，對實驗的結果進行分析，對實驗在不同數(shù)據(jù)集上取得的效果做出比較，分析對比在各個數(shù)據(jù)集上的識別準確率，進一步得出結論。第五章本章主要是對本文所做工作的總結和展望，同時提出了本文存在的一些不足和改進空間。

2基礎理論與相關知識2.1人臉識別基礎知識2.1.1人臉識別流程概述人臉識別技術是以人的面部特征來進行身份驗證與識別。完整的人臉識別系統(tǒng)可以分為五個部分。首先需要獲得一個含有人臉的圖像，通過攝像頭采集到需要進行人臉識別的圖像。獲得人臉圖像后對圖像進行人臉檢測，獲得圖像中面部的精確位置以及圖像中人臉關鍵點的坐標。第三個部分是人臉圖像預處理，根據(jù)人臉檢測返回的人臉關鍵點坐標，通過相似變換，最終得到一個人臉位置標準化的人臉區(qū)域。第四個部分是特征提取，將人臉圖像輸入到網(wǎng)絡模型中，轉換計算機能識別的特征向量表示。最后是人臉的匹配和識別，通過計算兩個特征向量間的歐式距離或者余弦距離來判斷其是否是同一個主體。在1:1的人臉識別問題中，當兩個特征向量間的距離小于所設定的閾值時，就可以認為兩個特征向量是屬于同一個主體的。在1：N的人臉識別問題中，計算出輸入圖像的特征向量與人臉數(shù)據(jù)庫中所有特征向量之間的距離，找到所有距離中最近的一個，即為所識別到的主體，并返回其相對應的身份信息。2.1.2人臉檢測在獲取到人臉圖像后，需要對該圖像進行人臉檢測，來得到圖像中人臉的精確位置，檢測后人的面部在圖像中占了比較大的比例，在一定程度上減輕了圖像中其他干擾信息對識別結果的影響，也減少了數(shù)據(jù)量的計算。隨著深度學習的快速發(fā)展，使用卷積神經網(wǎng)絡來進行目標檢測的準確度相比傳統(tǒng)方法大大提高。本小節(jié)主要介紹一個常用的人臉檢測算法，多任務卷積神經網(wǎng)絡（Multi-taskconvolutionalneuralnetwork，MTCNN）[18]。MTCNN是一個多任務級聯(lián)卷積神經網(wǎng)絡人臉識別模型，如圖2-1所示，由三個較小的卷積神經網(wǎng)絡級聯(lián)構成。圖2-1MTCNN人臉識別模型P-Net（ProposalNetwork）通過一個全卷積神經網(wǎng)絡對輸入的圖像進行處理，來得到圖像中的人臉面部窗口和相應的回歸向量，并對得到的面部窗口進行合并，以減少重復的面部區(qū)域，這里采用了非極大值抑制（Non-MaximumSuppression，NMS）方法進行處理[19]。P-Net的網(wǎng)絡結構如圖2-2。圖2-2MTCNN中P-Net的網(wǎng)絡結構R-Net（RefineNetwork）相對于第一層的P-Net增加了一個全連接層，在最后一個卷積層之后使用了一個128維度的全連接層，保留了圖像更多的特征。R-Net層將對P-Net中得到的面部候選框進行細化選擇，通過網(wǎng)絡訓練來進一步矯正面部候選框的回歸向量，從而舍去一部分的錯誤輸入，輸出較為可信的人臉區(qū)域。R-Net的網(wǎng)絡結構如圖2-3所示。圖2-3MTCNN中R-Net的網(wǎng)絡結構O-Net（OutputNetwork）層相對于R-Net增加了一個卷積層。這一層主要是對提取出來的面部候選框進行回歸學習，以生成最終的人臉關鍵點位置和人臉回歸框。網(wǎng)絡結構的最后是一個256維度的全連接層，這一層的輸出也就是是整個網(wǎng)絡模型的最終輸出。O-Net的網(wǎng)絡結構如圖2-4所示。圖2-4MTCNN中O-Net的網(wǎng)絡結構2.1.3人臉圖像預處理作為被識別的圖像，由于在采集時所處的環(huán)境不同，其光照，姿態(tài)等都有一定的差異。為了保證圖像中人臉大小，位置的一致性，需要對人臉圖像進行預處理操作，來得到一個標準的面部圖像。通過上一步的人臉檢測，我們得到了各個關鍵點在人臉圖像中的位置，常用的人臉特征點是5個關鍵點，即兩個眼睛、鼻尖和兩個嘴角[20]。在得到人臉關鍵點后，需要對人臉位置進行矯正，通過對人臉圖像進行一系列預處理，最終得到一個標準的人臉。常用的圖像預處理的方法有直方圖均衡化，中值濾波，人臉圖像歸一化等2.1.4人臉特征提取特征提取是將機器學習算法不能識別出來的原始數(shù)據(jù)轉變?yōu)榭梢宰R別的數(shù)據(jù)特征，即用一個特征向量來表示整幅人臉圖像。特征提取算法的一個重點難點就是如何從人臉圖像中提取到更多更有效的信息。從圖像中提取到的有效信息越多，人臉的識別準確率越高，因此對人臉特征進行提取時，需要選擇一個合適的算法來提取到更多有效信息。為了能夠提取到具有高區(qū)分度的人臉特征，人臉識別算法在不斷進行改進。DeepID[14]、FaceNet[1]、CentreFace[21]、SphereFace[22]以及ArcFace[23]是近年來提出的人臉識別方法，在人臉識別問題中都達到了一個較好的識別性能。例如FaceNet[1]提出了通過神經網(wǎng)絡直接學習人臉特征，其基于DeepID2做了部分改動，拋棄了DeepID2中的分類層，再將ContrastiveLoss改進為三元組損失函數(shù)，以使得類內特征較為緊湊而類間特征更具差異性。2016年提出的中心損失函數(shù)CentreFace[21]，通過所有的訓練樣本，為每一個類別都學習了一個中心，并在訓練過程中不斷減小樣本特征向量與其類別中心之間的歐氏距離，從而使得該類別中的特征向量向類別中心靠攏，獲得了較為緊湊的類內特征，類間的差異性則由Softmax損失函數(shù)的聯(lián)合訓練來保證。2.1.5人臉匹配與識別人臉匹配與識別問題分為1:1和1：N兩類場景。1:1的人臉校驗問題是根據(jù)兩個圖像的特征向量間的距離，來判斷這兩張人臉圖像是否屬于同一個主體；1：N的人臉識別問題則是輸入待識別的人臉圖片，系統(tǒng)從已知的人臉數(shù)據(jù)庫中進行搜索，返回與其特征向量距離最近的一個人臉特征向量以及對應的主體。通過計算兩個特征間的歐式距離或者余弦距離，并與閾值進行比較，從而判斷是否比對成功。2.2卷積神經網(wǎng)絡卷積神經網(wǎng)絡在基于深度學習的圖像處理問題中得到了廣泛的應用。1998年，YannLeCun教授等人提出的手寫數(shù)字識別網(wǎng)絡LeNet[24]可以看做現(xiàn)代卷積神經網(wǎng)絡的基石，此后，Zeiler等研究員通過可視化的方法進一步揭示了卷積神經網(wǎng)絡的原理。卷積神經網(wǎng)絡實際上就是一種輸入輸出之間的映射關系，網(wǎng)絡只需要學習這種對應關系，因此完全可以把卷積神經網(wǎng)絡當做是一個黑箱模型。人臉識別算法通過卷積神經網(wǎng)絡提取出大量的人臉特征向量，分析數(shù)據(jù)并進行訓練，學習到圖像和對象的特征，然后與已知的人臉數(shù)據(jù)庫中的數(shù)據(jù)進行比對，從而實現(xiàn)人臉識別。一個完整的卷積神經網(wǎng)絡主要由輸入層，卷積層（ConvolutionLayer），池化層（PoolingLayer），全連接層（FullyConnectedLayer）等結構組成，具體結構如圖2-5所示。圖2-5一個完整的卷積神經網(wǎng)絡卷積層所實現(xiàn)的功能是卷積運算，這里實現(xiàn)的操作與傳統(tǒng)圖像處理中的卷積操作相似。用一個卷積核在輸入圖像每次按一個固定步長進行窗口滑動，將卷積核與其重合的區(qū)域上的像素值分別相乘再相加，就得到了一個新的特征圖（featuremap），在池化后可作為下一個卷積層的輸入，如圖2-6所示。圖2-6卷積層池化層，也稱為下采樣層。它的主要作用是對特征圖做一個降維處理，在保證圖像的主要信息不丟失的基礎上壓縮數(shù)據(jù)，從而減少了網(wǎng)絡模型的數(shù)據(jù)運算量，提高了網(wǎng)絡的效率。池化層通常出現(xiàn)在卷積層后，并與卷積層成組出現(xiàn)。一般有最大池化（MaxPooling）和平均池化（AveragePooling）兩種池化方式，如圖2-7所示，即在規(guī)定的局部區(qū)域中取最大值或者平均值來作為池化層的輸出。圖2-7池化層全連接層。全連接層是一個線性映射層，本質就是把圖像由一個特征空間通過線性變換到另一個特征空間中，在神經網(wǎng)絡中起到了一個分類器的作用。全連接層如圖2-8所示。圖2-8全連接層激活函數(shù)層是在卷積神經網(wǎng)絡中的非線性變換層。通過非線性變換，提高了網(wǎng)絡模型的復雜度，使網(wǎng)絡能計算更復雜的數(shù)據(jù)。Sigmoid激活函數(shù)和Tanh激活函數(shù)有著梯度彌散的弊端，輸入值較大時，導數(shù)接近于零，導致梯度消失，無法正常完成網(wǎng)絡訓練。目前在各個網(wǎng)絡模型中使用較多的激活函數(shù)是ReLU函數(shù)。圖2-9為ReLU激活函數(shù)。圖2-9ReLU激活函數(shù)Dropout層。在深度學習中，訓練樣本數(shù)量不足時，網(wǎng)絡模型往往會發(fā)生過擬合。過擬合是指網(wǎng)絡模型在訓練集上準確度很高，且損失函數(shù)較??；但在測試集上，預測準確度不高，且損失函數(shù)也比較大。這說明網(wǎng)絡模型沒有很好的學習到魯棒的特征。通過dropout操作，可以有效減少過擬合的發(fā)生，達到正則化的效果。Dropout就是在前向傳播中隨機忽略一部分的節(jié)點，將這些節(jié)點的激活值設置為零，來減少節(jié)點間的相互作用，進而減少過擬合的發(fā)生。使用dropout使兩個節(jié)點不是每次都出現(xiàn)在同一個網(wǎng)絡中，權值的更新也不再依賴于有固定關系節(jié)點的共同作用，這樣就阻止了某些特征僅在其它特定特征存在的情況下下才有效果，迫使網(wǎng)絡去學習更加魯棒的特征。2.3反向傳播算法反向傳播算法，簡稱BP算法，是一種多層神經網(wǎng)絡的梯度更新算法。它是建立在梯度下降法的基礎上的。當我們向神經網(wǎng)絡中輸入向量x，網(wǎng)絡會產生一個輸出y，輸入向量通過網(wǎng)絡的每一隱含層，直到輸出層，也就是正向傳播。但神經網(wǎng)絡往往不能通過一次運算得到準確的結果，通過計算實際值與得到的值的誤差，將這個誤差沿網(wǎng)絡反方向進行傳播，經過各隱藏層直到輸入層，就完成了一次反向傳播。要使網(wǎng)絡的計算結果達到收斂，需要通過多次迭代，根據(jù)每次反向傳播的誤差調整各個參數(shù)的值，最終得到準確結果。2.4損失函數(shù)在深度學習中，損失函數(shù)代表了預測值與真實值的差。通常把損失函數(shù)當做優(yōu)化問題的一個評判標準，即評估模型時要考慮損失函數(shù)盡可能的小。交叉熵損失函數(shù)，在二分類問題中，其公式可表示為式（1）：?其中p表示實際值的分布，q為訓練后模型的預測值分布。Softmax損失函數(shù)在人臉識別中通常表示為式（2）：L在公式（2）中，m表示批量的大小，n表示類別的數(shù)量，xi是人臉特征向量，yi是類別標簽，wxiT和byi表示權重和偏差。使用 中心損失函數(shù)（CenterLoss），用來減少類內（同一人臉）的差異，而不能有效增大類間（不同人臉）的差異性。2.5人臉識別性能評價指標評估指標主要是用來評估模型的好壞，即評估一個訓練好的模型在測試集上的準確率，通常的評估指標有召回率、誤識率、準確率、精準率以及ROC曲線，在二分類的預測問題中，數(shù)據(jù)集所有的樣本可以被分為兩類，即正類（positive）和負類（negative）[25]。當樣本輸入分類器后，會有四種情況，如下表2-1中所示。表2-1二分類的預測問題評價指標預測預測正負實際正TPFN實際負FPTN人臉識別一般考慮以下兩個指標：誤識率(FalseAcceptRate,，F(xiàn)AR)，即將其他人誤作指定人員的概率，拒識率(FalseRejectRate，F(xiàn)RR)，即將指定人員誤作其它人員的概率。FAR=FP/(TN+FP).FRR=FN/(TP+FN).理想狀況下，F(xiàn)AR和FRR都越低越好，但這兩個指標是負相關的，一個指標的降低通常意味著另一個指標會升高，所以需要實現(xiàn)兩者間的平衡。一般認為在FAR達到市場正常水準時，F(xiàn)RR的值作為參考，F(xiàn)RR的值越小，該人臉識別算法性能就越好。2.5本章小結在本章中，我們對深度學習領域和人臉識別方向中的一些基礎理論知識進行了簡要介紹。主要包括人臉識別完整流程及各部分實現(xiàn)的功能，卷積神經網(wǎng)絡的基本概念，反向傳播算法，損失函數(shù)和評價一個人臉識別算法性能好壞的判別標準，這些基礎知識的介紹有助于理解本文后續(xù)章節(jié)中基于深度學習的人臉識別算法。

3基于深度殘差網(wǎng)絡的人臉識別3.1問題描述與分析目前基于深度學習的人臉識別算法研究中，使用的卷積神經網(wǎng)絡絕大多數(shù)都是應用于圖像分類問題的通用網(wǎng)絡。比如牛津大學視覺幾何小組提出的VGGFace[26]，就是在VGGNet網(wǎng)絡模型的基礎上進行了改進。深度殘差網(wǎng)絡（Deepresidualnetwork,ResNet）[27]的提出是CNN圖像史上的一個里程碑式的事件，刷新了CNN在ImageNet上的歷史，ResNet的作者何凱明也因此摘得了CVPR2016最佳論文獎。ResNet網(wǎng)絡是在VGG19的基礎上進行修改，通過引入殘差單元來解決了網(wǎng)絡退化的問題。對比傳統(tǒng)的VGG網(wǎng)絡，Resnet網(wǎng)絡模型的復雜度得到了降低，所需要的參數(shù)量也得到減少，在網(wǎng)絡加深的情況下避免了梯度消失現(xiàn)象的出現(xiàn)。由于使用了更深的網(wǎng)絡，從而使圖像分類的準確度得到了較大提高。在本章中主要介紹了基于深度殘差網(wǎng)絡Resnet50的人臉識別算法及其相關知識。3.2基于深度殘差網(wǎng)絡的人臉識別算法3.2.1Resnet50網(wǎng)絡結構圖3-1深度殘差網(wǎng)絡Resnet50的網(wǎng)絡結構 Resnet50的網(wǎng)絡結構如圖3-1所示。整個網(wǎng)絡首先對輸入做了一個卷積操作，在這里由一個7*7的卷積核來負責進行特征的提取，卷積核的步長為2，使得圖像的長寬降低為原先的1/2。隨后，再經過一個最大池化層，進一步降低了圖像的分辨率。之后包含4個殘差塊（ResidualBlock),最后進行全連接操作以便于進行分類任務。在使用重復的殘差塊提取特征時，每個輸入的特征圖的長和寬都變?yōu)橐话耄ǖ罃?shù)變?yōu)閮杀?。每個殘差塊包括一個下采樣塊和兩個殘差結構，下采樣的步長設為2。而在殘差塊中，通過對卷積相關參數(shù)的設置，可以控制使得殘差塊的輸入和輸出的特征圖尺寸一致，從而進行相加處理，避免了深層網(wǎng)絡的梯度消失和退化問題。 圖3-2為一個簡要的resnet50模型。圖3-2Resnet50模型3.2.2殘差結構 殘差結構，是將前面某一層數(shù)據(jù)的輸出直接跳過多層，引入到后面數(shù)據(jù)層的輸入部分，這意味著后面的特征層的內容會有一部分由其前面的某一層線性貢獻，即做了一次恒等映射，實際上類似于電路問題中的短路，其結構如下圖3-3所示。圖3-3一個簡單的殘差模塊對于殘差模塊，當輸入和輸出的維度相同時，可以直接將其加到輸出上構成一個恒等映射，如圖3-4所示。但會有輸入輸出維度不等的情況，此時需要通過卷積操作來讓二者維度變得相同，如圖3-5所示。圖3-4輸入輸出維度一致的殘差單元圖3-5輸入輸出維度不一致的殘差單元通常情況下采用1x1的卷積來調整通道數(shù)，但也會因此增加網(wǎng)絡參數(shù)的數(shù)量從而增加計算量，或者填充padding增加維度，將剩余部分補為0。有了這條短路的跳躍連接線時，就可以無損的傳播梯度，當網(wǎng)絡層次很深，導致梯度消失時，f(x)=0，那么y=g(x)=relu(x)=x。可以看到我們在網(wǎng)絡上堆疊這樣的殘差結構，就算發(fā)生梯度消失，至少也做了一個恒等映射，相當于在淺層網(wǎng)絡上去堆疊“復制層”，這樣至少不會產生更差的結果。傳統(tǒng)的神經網(wǎng)絡某一層的輸出只能作為下一層輸入，而使用這種“短路”結構的殘差網(wǎng)絡，使得當前層的輸出可以直接作為后面某一層或某幾層的輸入，因此網(wǎng)絡變得更加復雜，模型也能夠學習到更多的特征。3.2.3mini-batch梯度下降法梯度下降解決的是無約束條件下的最優(yōu)化問題，與之相對應的是有約束條件下的最優(yōu)化問題。無約束最優(yōu)化問題的一般形式為：min（f(x)）。其中f:Rn→R1。這一問題是指在Rn中尋找一點x?，使得對于?x∈Rn，都與f(x?)≤f(x)。此點x?就是全局最優(yōu)解。梯度下降法是多元函數(shù)求極值最早的方法。梯度下降法簡單直觀，但采用的是全部樣本的梯度平均值來更新梯度，所以收斂速度比較緩慢。之所以收斂速度慢是由于梯度下降會出現(xiàn)鋸齒現(xiàn)象，同時梯度下降法會陷入鞍點，從而只得到一個局部最優(yōu)解。隨機梯度下降法（stochasticgradientdescent，SGD），是指對梯度進行更新時，每次只在數(shù)據(jù)分布中隨機抽取1個樣本。雖然每次迭代后得到的損失函數(shù)并不全是向著全局最優(yōu)方向的，但整體方向上是一致的，最終得到的結果也在全局最優(yōu)解的附近，使用這樣的方法可以使網(wǎng)絡更快的收斂。隨機梯度下降法有非常多的優(yōu)良性質．它能夠自動逃離鞍點，自動逃離比較差的局部最優(yōu)點，而且最后找到的點具有很強的一般性。一個折中的方法是在每次更新時用m個樣本,通過計算他們梯度的平均值來更新梯度，即通過每次取一個batch_size大小的樣本來更新梯度，也就是mini-batch梯度下降法。3.3本章小結 本章主要介紹了實驗中所使用的深度殘差網(wǎng)絡Resnet50，對網(wǎng)絡的結構進行了分析，介紹了殘差結構在網(wǎng)絡中起到的作用，同時簡要介紹了所使用的mini-batch梯度下降法。

4實驗與結果分析4.1實驗設計4.1.1實驗環(huán)境 實驗內容在MATLAB環(huán)境下完成，主要軟硬件環(huán)境如下表4-1所示。表4-1實驗的軟硬件環(huán)境配置名稱配置說明CPUInter(R)Core(TM)i7-7500CPU@2.70Hz2.90HzGPUNVIDIAGeForce940MX操作系統(tǒng)Windows1064位實驗環(huán)境MATLABR2019b4.1.2實驗內容在本章的實驗中，我們使用了MATLAB自帶的深度學習工具箱，將預訓練好的Resnet50網(wǎng)絡模型加載進來。將原始的人臉數(shù)據(jù)集按7:3劃分為訓練數(shù)據(jù)集與測試數(shù)據(jù)集，加載預訓練好的Resnet50網(wǎng)絡模型，通過將網(wǎng)絡前十層的學習率設置為0以達到凍結網(wǎng)絡的初始權重的目的，對網(wǎng)絡最后的全連接層進行修改使之符合需要，重新連接網(wǎng)絡并進行網(wǎng)絡訓練。通過對數(shù)據(jù)集中圖像在水平方向翻轉，平移和縮放等處理來進行數(shù)據(jù)增強，減少在訓練過程中出現(xiàn)過擬合的概率。在訓練過程中根據(jù)訓練效果調整參數(shù)，以期達到一個較好的學習效果。最后在測試集驗證圖像及預測的標簽的識別準確率。實驗通過將前期獲取的人臉數(shù)據(jù)集輸入到網(wǎng)絡模型中進行訓練，實現(xiàn)了簡單的人臉識別，驗證了實驗的有效性。通過對實驗結果進行分析比對，模型在自采集的人臉數(shù)據(jù)庫上有較為良好的人臉識別表現(xiàn)，其準確率達到了99.37%，在其他幾個人臉數(shù)據(jù)集上，如ORL人臉數(shù)據(jù)集和CASIA-Webface人臉數(shù)據(jù)集等進行訓練，也分別取得了95.00%和86.44%識別準確率。4.2實驗結果 首先在自己創(chuàng)建的自采集人臉數(shù)據(jù)集上進行測試，其中包含5個人臉，500張左右的人臉圖像樣本，構建了一個小的數(shù)據(jù)集。獲取訓練數(shù)據(jù)后，調用網(wǎng)絡進行訓練，輸入為500張帶標簽的圖片集，按7：3隨機劃分為訓練集以及測試集，指定訓練輪數(shù)和小批量大小，每輪計算一次驗證其準確度，最終結果可以達到一個較高的識別準確率，達到了99.37%，如圖4-1和圖4-2所示。圖4-1在自采集人臉數(shù)據(jù)集上的識別準確度曲線圖4-2在自采集人臉數(shù)據(jù)集上的損失函數(shù)曲線 考慮到用攝像頭自采集的人臉數(shù)據(jù)集存在著諸多不足之處，不能完全反應出網(wǎng)絡模型識別準確率的普遍性，實驗后續(xù)采用了幾個公開人臉數(shù)據(jù)集進行測試。LFW人臉數(shù)據(jù)集是人臉識別領域中較為常用的一個數(shù)據(jù)集，它是由美國馬薩諸塞州立大學阿默斯特分校計算機視覺實驗室整理完成的一個人臉數(shù)據(jù)庫，主要用于研究非受限情況下的人臉識別問題。由于其中的人臉圖片均來源于生活當中的自然場景，由于光照、表情、多姿態(tài)等因素影響，識別難度會增大[28]。LFW數(shù)據(jù)集共有13233張人臉圖像，每張圖像均給出對應的人名，一共5749人，絕大部分人只有一張圖片。將數(shù)據(jù)集替換為LFW人臉數(shù)據(jù)集，重新對網(wǎng)絡進行訓練。在訓練完成后，得到的效果并不是很理想，只有46.59%的準確率，如圖4-3和圖4-4所示。分析原因是因為LFW人臉數(shù)據(jù)集中大部分人臉只有一個樣本，因而識別的準確率不高。為提高識別準確率，需要對該數(shù)據(jù)集進行處理，剔除樣本過少的人臉圖像，保留具有較多樣本的人臉圖像，才能作為數(shù)據(jù)集使用，為此我們選擇使用人臉圖像樣本分布更均勻的數(shù)據(jù)集。圖4-3在LFW數(shù)據(jù)集上的識別準確度曲線圖4-4在LFW數(shù)據(jù)集上的損失函數(shù)曲線ORL人臉數(shù)據(jù)集中有40個不同主體的共計400張人臉圖像，其中每個人臉主體有十個人臉樣本，樣本分布較為均勻，是比較理想的數(shù)據(jù)集。將數(shù)據(jù)集替換為ORL人臉數(shù)據(jù)集，然后重新訓練網(wǎng)絡。訓練完成后，識別準確率達到了95.00%，如圖4-5和圖4-6所示。圖4-5在ORL人臉數(shù)據(jù)集上的識別準確度曲線圖4-6在ORL人臉數(shù)據(jù)集上的損失函數(shù)曲線CASIA-WebFace數(shù)據(jù)集包含了共計10575個人的494414張圖像，是國內人臉識別屆頗具盛名的人臉訓練集之一。實驗中從CASIA-WebFace人臉數(shù)據(jù)集中選取15個人的人臉圖像組成了一個小數(shù)據(jù)集進行測試。將數(shù)據(jù)集進行替換，然后重新訓練網(wǎng)絡。訓練完成后，識別準確率為87.10%，分析原因是因為數(shù)據(jù)集中的人臉樣本多為姿態(tài)不好的人臉圖像，因而識別準確率有所下降，如圖4-7和圖4-8所示。圖4-7在CASIA-WebFace人臉數(shù)據(jù)集上的識別準確度曲線圖4-8在CASIA-WebFace人臉數(shù)據(jù)集上的損失函數(shù)曲線4.3分析與結論由本章實驗結果可知，實驗中網(wǎng)絡在小數(shù)據(jù)集上表現(xiàn)較為良好，但在較大的數(shù)據(jù)集上表現(xiàn)一般，且要求數(shù)據(jù)集中各人臉樣本分布較為均勻。通過對在不同數(shù)據(jù)集上的表現(xiàn)進行對比，結果如表4-2所示，可知所采用的神經網(wǎng)絡結構仍有優(yōu)化的余地。且在訓練過程中由于訓練輪數(shù)，學習率的設定等，出現(xiàn)了過擬合現(xiàn)象，后通過調整參數(shù)使問題得到了解決。在不同數(shù)據(jù)集上的表現(xiàn)與數(shù)據(jù)集本身數(shù)據(jù)分布有較大關系，學習效果受人臉圖像光照、姿態(tài)等因素影響較大。表4-2在不同數(shù)據(jù)集上的識別準確率對比數(shù)據(jù)集識別準確率自采集數(shù)據(jù)集99.37%LFW46.59%ORL95.00%Webface86.44%4.4本章小結本章主要是介紹了所實現(xiàn)的人臉識別實驗，并對實驗的結果進行分析，對實驗所使用的網(wǎng)絡在自采集人臉數(shù)據(jù)集，LFW人臉數(shù)據(jù)集、ORL人臉數(shù)據(jù)集以及CASIA-Webface數(shù)據(jù)集這幾個不同的數(shù)據(jù)集上取得的效果進行比較，通過分析在各個數(shù)據(jù)集上的識別準確率及原因，對參數(shù)進行調整，最終對所選用的網(wǎng)絡結構得出進一步結論。5總結5.1本文工作總結 隨著圖像處理領域的發(fā)展，人臉識別技術已從簡單場景下的人臉識別發(fā)展到復雜環(huán)境下的人臉識別，即在光照、姿態(tài)、遮擋、表情、化妝、年齡等存在差異時進行識別。盡管目前的人臉識別系統(tǒng)在特定的約束環(huán)境下識別效果較為理想，但在實際的使用環(huán)境中，人臉識別還是受到外部環(huán)境影響較大，攝像頭捕獲到的圖像中人臉不夠標準等，導致識別準確率的下降。因此，對人臉識別算法進行探究，提高人臉識別的準確率仍具有重要的研究和應用價值。本文主要工作是對深度殘差網(wǎng)絡Resnet50進行了解和應用。在實驗中將預訓練好的Resnet50網(wǎng)絡模型加載后，將人臉數(shù)據(jù)輸入模型進行訓練。在訓練過程中不斷調整參數(shù)，最終達到了一個較好的學習效果，實現(xiàn)了簡單的人臉識別。最后在測試集上驗證圖像及預測的標簽的識別準確率。對識別結果分析發(fā)現(xiàn)網(wǎng)絡對小數(shù)據(jù)集識別效果更好，對人臉樣本分布均勻的人臉數(shù)據(jù)集識別準確率更高，在自采集的人臉數(shù)據(jù)集中識別準確率達到了99.37%。在各個公開數(shù)據(jù)集上進行測試，其中ORL人臉數(shù)據(jù)集上的識別準確率為95.00%，LFW人臉數(shù)據(jù)集和CASIA-Webface人臉數(shù)據(jù)集上，由于數(shù)據(jù)集中人臉圖像樣本分布不均，受人臉的姿態(tài)、光照等因素影響較大，人臉識別的準確率不高，分別為46.59%和86.44%。5.1不足與改進空間 本文雖然在人臉識別方面取得一定的效果，在幾個測試數(shù)據(jù)集上表現(xiàn)也不錯，但仍然有大量的工作需要繼續(xù)研究，存在著許多局限和不足之處。如何在數(shù)據(jù)集中人臉樣本較少且分布不均的情況下仍能取得較好的學習效果是一個重要的問題。目前的人臉識別算法在LFW數(shù)據(jù)集上能夠取得接近100%的識別準確率，相比較而言本文中的工作還有大量的改進空間。實驗中嘗試通過調用計算機自帶的攝像頭進行實時人臉識別，由于計算機自帶的攝像頭分辨率較低，畫質模糊，且在識別時所處環(huán)境差異過大，光照條件影響等，無法準確的識別出被識別者，誤識別率較大。后續(xù)可以在這方面加以改進。

參考文獻[1]SchroffF,KalenichenkoD,PhilbinJ.Facenet:Aunifiedembeddingforfacerecognitionandclustering[C].ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2015:815-823..[2]鄔繼陽.基于深度學習的人臉識別技術研究[D].華中科技大學，2019.[3]M.A.TurkandA.P.Pentland,Facerecognitionusingeigenfaces[C].Proceedingsof1991IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,1991,pp.586-591,doi:10.1109/CVPR.1991.139758.[4]BelhumeurPN,HespanhaJP.Eigenfacesvs.Fisherfaces:recognitionusingclassspecificlinearprojection[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,1997,19(7):P.711-720.[5]HendrikseAJ.FRICA,facerecognitionwithindependentcomponentanalysis[J].2006.[6]洪子泉,楊靜宇.基于奇異值特征和統(tǒng)計模型的人像識別算法[J].計算機研究與發(fā)展,1994(03):60-65..[7]AbdiH,WilliamsLJ.WileyInterdisciplinaryReviews:ComputationalStatistics[M].2010.[8]HighleymanWH.LinearDecisionFunctions,withApplicationtoPatternRecognition[J].ProceedingsoftheIRE,1962,50(6):1501-1514.[9]LiuC,WechslerH.Wechsler,H.:GaborfeaturebasedclassificationusingtheenhancedFisherlineardiscriminantmodelforfacerecognition.IEEETransactionsonImageProcessing11(4),467-476[J].IEEETransactionsonImageProcessing,2002,11(4):467-476.[10]NDalal,BTriggs.HistogramsofOrientedGradientsforHumanDetection[J].IEEEComputerSocietyConferenceonComputerVision&PatternRecognition,2005,1(12):886-893.[11]AhonenT,HadidA,PietikainenM.FaceDescriptionwithLocalBinaryPatterns:ApplicationtoFaceRecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2006,28(12):2037-2041.[12]TaigmanY,YangM,RanzatoMA,etal.Deepface:Closingthegaptohuman-levelperformanceinfaceverification[C].P