[4]。3.2.3激勵函數(shù)常見的激勵函數(shù)有三種。他們的公式如下所示。 f(x)=1 f(x)=tanh?(x f(x)=max(a)(b)(c)圖3-SEQ圖3-\*ARABIC1sigmoid函數(shù)、tanh(x)函數(shù)、ReLU函數(shù)（1）sigmoid函數(shù)我們觀察sigmoid的圖像如圖3-1(a)可以看出，該函數(shù)的函數(shù)范圍在0到1之間。也就是說，當(dāng)輸入從負(fù)無窮到正無窮變化時，輸出從一個無限接近0的數(shù)逐漸增加到一個無限接近1的數(shù)，并且趨勢從平緩到陡峭到平緩。在負(fù)無窮時最接近0，在正無窮時最接近1，單調(diào)增長。Sigmoid函數(shù)是早期神經(jīng)網(wǎng)絡(luò)訓(xùn)練的激勵函數(shù)，人們認(rèn)為，sigmoid可以很好的反應(yīng)神經(jīng)元在被刺激后是否被激活，如果未被激活，就是0；如果完全被激活就是1。但近幾年人們不再采用這種激活函數(shù)是因?yàn)樗泻芏啾锥恕１热纾篠igmoid函數(shù)在梯度下降時，非常容易飽和并且停止傳遞。計算梯度是反向傳播算法的一個重點(diǎn)過程。當(dāng)輸入的函數(shù)是一元函數(shù)時，有性質(zhì)表明，此時函數(shù)的梯度斜率是一致的。讀取圖像信息可以看出，當(dāng)輸入一個非常大的信號值（不論正負(fù)），輸出值應(yīng)該趨近于0或1，而此時圖像是平行于坐標(biāo)軸的那么可以退出斜率是0，梯度也同樣是0。這種局部梯度值為0的情況會直接導(dǎo)致最終梯度值也變成0,到了殘差回傳的時候，網(wǎng)絡(luò)就因?yàn)閟igmoid函數(shù)飽和失效。極端情況下，初始權(quán)重設(shè)置的不合適，在神經(jīng)網(wǎng)絡(luò)全部選擇sigmoid函數(shù)作為激勵函數(shù)的情況下，神經(jīng)元可能全部飽和那么網(wǎng)絡(luò)就會直接停止訓(xùn)練。Sigmoid函數(shù)還有一個問題是沒有0中心化。假設(shè)輸出的值非0并且保持一直是正數(shù)或負(fù)數(shù)，那么經(jīng)過反向傳播算法后，回傳到權(quán)重的梯度值的符號是不會變的，非正即負(fù)。這會影響梯度下降的訓(xùn)練，會導(dǎo)致訓(xùn)練的權(quán)值呈現(xiàn)齒狀變化，不能進(jìn)行平穩(wěn)的迭代運(yùn)算這是我們不希望看到的。（2）tanh(x)函數(shù)如圖3-1(b)所示為tanh(x)函數(shù)。這種與sigmoid相似的數(shù)值分布的結(jié)果是，在輸入很大或者很小的值時，tanh(x)同樣容易飽和，但是tanh(x)優(yōu)于sigmoid函數(shù)的地方在于它具備0中心化的特點(diǎn)，這也是tanh(x)應(yīng)用更為廣泛的原因。（3）ReLU函數(shù)修正線性單元(TheRectifiedLinearUnit)簡稱ReLU，ReLU的圖像如圖3-1(c)所示。相比前兩種函數(shù)，它的應(yīng)用更廣泛一般取得的效果更好。因?yàn)樗幸韵聝牲c(diǎn)優(yōu)勢：收斂速度快。梯度計算簡單?；赗eLU函數(shù)是線性函數(shù)，在梯度計算過程中會更簡單。ReLU也不是沒有缺點(diǎn)，如果我們將學(xué)習(xí)率設(shè)置的太高，那么在訓(xùn)練過程中，會有相當(dāng)一部分比例的ReLU單元失效。所以使用ReLU函數(shù)主要要求我們初始化一定要做的合理，否則效果可能也不會很好。3.3優(yōu)化框架Adam優(yōu)化算法，是一個尋找全局最優(yōu)點(diǎn)的優(yōu)化算法，引入了二次方梯度校正。Adam是自適應(yīng)估計的簡稱（AdaptiveMomentEstimation），是梯度下降算法的一種變形，Adam會將每次迭代的參數(shù)限制在一個范圍內(nèi)，不允許參數(shù)自己更新，這就可以保證不會因?yàn)樘荻群艽蠖鴮?dǎo)致步長也變得很大，反過來影響參數(shù)的大小。Inception-v3默認(rèn)使用RMSprop作為優(yōu)化算法，而Adam優(yōu)化性能是優(yōu)于原來的優(yōu)化函數(shù)，這在于前文提到的不僅基于一階矩均值計算適應(yīng)性參數(shù)率還同時充分利用了梯度的二階矩陣均值（即有偏方差）。Adam在深度學(xué)習(xí)領(lǐng)域被大量運(yùn)用，主要是因?yàn)樗芸炀湍軐?shí)現(xiàn)優(yōu)良的結(jié)果，具有高效性。Adam在參考文獻(xiàn)中的建議參數(shù)設(shè)定為：alpha=0.001、beta1=0.9、beta2=0.999和epsilon=10E?8。其中，alpha為學(xué)習(xí)率或步長因子，它控制權(quán)重的更新比率，這個值大了會有更快的初始學(xué)習(xí)，小了會令訓(xùn)練收斂到較好的性能，所以可以根據(jù)需求調(diào)整這個參數(shù)；epsilon是為了防止在實(shí)現(xiàn)中除以0一般數(shù)值非常小。Adam的默認(rèn)數(shù)值就能取得良好的效果，可以處理大多數(shù)分類問題。3.4基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)人臉識別算法3.4.1算法思想YannLeCun教授于1988年提出了第一個在數(shù)字識別問題上實(shí)現(xiàn)成功應(yīng)用的網(wǎng)絡(luò)模型LeNet-5模型。這個模型有兩個卷積層，兩個池化層和三個全連接層。2014年被首次提出的Inception-v3模型，也是我們這篇論文想采用的模型有46層，由11個Inception模塊構(gòu)成，共有96個卷積層。對比這兩種模型，我們可以清楚的感受到卷積網(wǎng)絡(luò)不斷發(fā)展，不論是層數(shù)還是復(fù)雜度都發(fā)生了巨大的變化。模型越來越復(fù)雜，層數(shù)越來越多要訓(xùn)練好一個有實(shí)用價值的網(wǎng)絡(luò)就需要大量的有標(biāo)簽的數(shù)據(jù)。但這項(xiàng)任務(wù)耗時費(fèi)力成本很高。為了解決有標(biāo)簽的數(shù)據(jù)和訓(xùn)練時間的問題，我們提出了在卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)人臉識別的基礎(chǔ)上融合遷移學(xué)習(xí)的思想。如圖3-2就是思想示意圖，我們下載已經(jīng)預(yù)訓(xùn)練完畢的Inception模型，我們就獲得了訓(xùn)練好的所有層參數(shù)，然后將最后一層的全連接層進(jìn)行替換。我們知道Inception本來是1000分類網(wǎng)絡(luò)，經(jīng)過替換后我們希望實(shí)現(xiàn)對我們自定義的數(shù)據(jù)集進(jìn)行12分類。通常在訓(xùn)練樣本數(shù)據(jù)足夠多的情況下，通過遷移學(xué)習(xí)訓(xùn)練的模型的分類結(jié)果可能不如對數(shù)據(jù)進(jìn)行重新訓(xùn)練。但是如果在模型性能相差較少的情況下，遷移學(xué)習(xí)所需要的訓(xùn)練時間短和訓(xùn)練樣本數(shù)據(jù)量小的優(yōu)勢就體現(xiàn)出來了，大大降低了我們訓(xùn)練網(wǎng)絡(luò)需要的成本。圖3-SEQ圖3-\*ARABIC2思想示意圖3.4.2算法流程本部分內(nèi)容是對本文提出的遷移學(xué)習(xí)在人臉識別中的應(yīng)用研究的算法的流程解釋。如圖3-3是本算法的流程圖。步驟一，下載預(yù)訓(xùn)練好的inception-v3模型，保存各層的權(quán)重和么一個節(jié)點(diǎn)取值的計算方法。步驟二，將保存的inception-v3模型的前幾層保留，用已經(jīng)保存的參數(shù)去對帶有標(biāo)簽的目標(biāo)數(shù)據(jù)訓(xùn)練，從而獲得目標(biāo)數(shù)據(jù)的特征向量。步驟三，利用步驟二訓(xùn)練好的特征向量重新構(gòu)建全連接層，全連接層滿足12分類的目的，并且利用softmax對結(jié)果進(jìn)行更好地分類。圖3-SEQ圖3-\*ARABIC3算法流程圖4．結(jié)果分析4.1實(shí)驗(yàn)環(huán)境本論文主要是遷移學(xué)習(xí)在人臉識別的應(yīng)用研究的算法，為了構(gòu)建算法，采用了python語言，python語言有豐富的服務(wù)于機(jī)器學(xué)習(xí)的庫，它們都具備非常豐富的處理能力。本算法的應(yīng)用環(huán)境是tensorflow，還有PIL、numpy、matplotlib.pyplot、random、sklearn等。實(shí)驗(yàn)環(huán)境配置如下表。表4-1實(shí)驗(yàn)配置環(huán)境配置項(xiàng)配置參數(shù)操作系統(tǒng)Windows10x64ITSB內(nèi)存16GBCPUIntel(R)Core(TM、i5—7300HQCPU主頻2.5GHZ實(shí)現(xiàn)語言Python3.6.5主要環(huán)境Tensorflow2.5.04.2實(shí)驗(yàn)結(jié)果經(jīng)過遷移學(xué)習(xí)后，因?yàn)橛幸呀?jīng)預(yù)訓(xùn)練過的模型，我們的訓(xùn)練時間很短5000步訓(xùn)練用時大概10分鐘，如果我們重頭開始訓(xùn)練一個新的Inception-v3網(wǎng)絡(luò)需要這個時間的20倍不止，而經(jīng)過5000步訓(xùn)練，最終acc值為0.852349，最終loss值為0.0004840932。而將測試圖片輸入測試程序后，顯示它的圖像標(biāo)簽并且輸出預(yù)測的準(zhǔn)確率，準(zhǔn)確率大概在0.75。這個準(zhǔn)確率并不十分理想，我認(rèn)為與訓(xùn)練次數(shù)還不夠多有關(guān)系，網(wǎng)絡(luò)還未飽和還有上升空間，還有就是帶標(biāo)簽的目標(biāo)樣本數(shù)據(jù)較少，所以造成準(zhǔn)確率不夠高的結(jié)果。實(shí)驗(yàn)成果如下圖

5．結(jié)論目前，卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺方面已經(jīng)得到了廣泛的應(yīng)用，并且也相應(yīng)的取得了輝煌的成果。卷積神經(jīng)網(wǎng)絡(luò)發(fā)展至今出現(xiàn)了更深更復(fù)雜更精巧的結(jié)構(gòu)，同時在條件允許的情況下，識別的準(zhǔn)確率越來越高。但同時，訓(xùn)練一個可信度高的模型要求也越來越高，這需要大量的帶標(biāo)簽的數(shù)據(jù)，對計算機(jī)的硬件要求也極高，也需要大量的時間，這對我們的實(shí)際應(yīng)用來說都是不小的挑戰(zhàn)。而遷移學(xué)習(xí)是解決這一問題的良方，本文的研究圍繞遷移學(xué)習(xí)在人臉識別中的應(yīng)用研究展開。成果如下：（1）敘述了人臉識別和遷移學(xué)習(xí)的研究背景，分別介紹了它們的研究意義和國內(nèi)外研究現(xiàn)狀。（2）介紹了卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的相關(guān)理論和研究方法。從基礎(chǔ)結(jié)構(gòu)開始介紹卷積神經(jīng)網(wǎng)絡(luò)敘述神經(jīng)網(wǎng)絡(luò)各層的作用。同時簡介了GoogLeNet為后文引入Inception-v3打下了基礎(chǔ)。敘述了遷移學(xué)習(xí)的基本概念和類別，引入了本文要采用的方法fine-tune。（3）詳細(xì)介紹了本文采用的方法和實(shí)現(xiàn)本文算法需要的各項(xiàng)參數(shù)。首先介紹了我們要遷移的模型Inception-v3的結(jié)構(gòu)和特點(diǎn)。然后詳細(xì)敘述了參數(shù)的初始設(shè)置這也是訓(xùn)練網(wǎng)絡(luò)的重要步驟，再介紹為了取得更好地分類效果采用的優(yōu)化框架。最后展示了本文的算法思想和流程。（4）給出了依據(jù)前文思路得到的實(shí)驗(yàn)成果，輸入測試圖像進(jìn)行分類并得到預(yù)測的準(zhǔn)確率為0.75，得出的結(jié)果低于模型訓(xùn)練的acc。但還是體現(xiàn)了深度遷移學(xué)習(xí)這一思想的可行性。文章還是有很多不足的地方，首先是最后的結(jié)果不盡如人意，效果并不是非常好。本文的算法只是對遷移學(xué)習(xí)在人臉識別的應(yīng)用研究的一次簡單嘗試，應(yīng)該尋找更有效遷移學(xué)習(xí)算法應(yīng)用到人臉識別中；其次，對網(wǎng)絡(luò)參數(shù)的設(shè)置基本都是默認(rèn)值并未調(diào)整對比觀察對實(shí)驗(yàn)結(jié)果的影響應(yīng)該調(diào)試參數(shù)取得更好的效果；最后，并未在主流的人臉識別庫上測試本模型的效果，得出的結(jié)果并不十分可靠。在未來的學(xué)習(xí)工作中希望有機(jī)會改正。

參考文獻(xiàn)鮑睿棟,趙敏.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識別研究綜述[J].軟件導(dǎo)刊,2018,17(04):6-8.arlWeiss,TaghiM.Khoshgoftaar,DingDingWang.Asurveyoftransferlearning[J].JournalofBigData,2016,3(1).張琦.基于遷移學(xué)習(xí)的單樣本人臉識別[D].哈爾濱工程大學(xué),2016.張秋穎.基于遷移學(xué)習(xí)的人臉識別方法研究[D].哈爾濱工程大學(xué),2018.黃振文，謝凱，文暢，等.遷移學(xué)習(xí)模型下的小樣本人臉識別算法[J]

.長江大學(xué)學(xué)報(自然科學(xué)版)，2019，16(7):88~94.付雙晨.基于遷移學(xué)習(xí)的小數(shù)據(jù)集人臉識別[D].四川:西南財經(jīng)大學(xué),2017.陳超,齊峰.卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計算機(jī)視覺領(lǐng)域中的應(yīng)用綜述[J].計算機(jī)科學(xué),2019,46(3):63-73.DOI:10.11896/j.issn.1002-137X.2019.03.008.王科俊,段勝利,馮偉興.單訓(xùn)練樣本人臉識別技術(shù)綜述[J].模式識別與人工智能,2008,21(05):635-642.AlimuinRyann,DadiosElmer,DayaoJonathan,ArenasShearyl.Deephypersphereembeddingforreal-timefacerecognition[J].TELKOMNIKA(TelecommunicationComputingElectronicsandControl),2020,18(3).徐鎮(zhèn).基于LBP和CNN的人臉識別算法研究[D].重慶大學(xué),2019.周飛燕,金林鵬,董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機(jī)學(xué)報,2017,40(06):1229-1251.WangMeiandDengWeihong.Deepfacerecognition:Asurvey[J].Neurocomputing,2021,429:215-244劉鑫鵬,欒悉道,謝毓湘,等.遷移學(xué)習(xí)研究和算法綜述[J].長沙大學(xué)學(xué)報,2018,32(05):33-36+41.HeK,ZhangX,RenS,etal.DeepResidualLearningforImageRecognition[J].IEEE,2016.SzegedyC,LiuW,JiaY,etal.Goingdeeperwithconvolutions[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2015:1-9.KingmaDP,BaJ.Adam:Amethodforstochasticoptimization[J].arXivpreprintarXiv:1412.6980,2014.莊福振,中國科學(xué)院智能信息處理重點(diǎn)實(shí)驗(yàn)室,莊福振,等.遷移學(xué)習(xí)研究進(jìn)展[J].軟件學(xué)報,2015,26(1):26-39.李新葉,龍慎鵬,朱婧.基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)綜述[J].計算機(jī)應(yīng)用研究,2020(8).盧宏濤,張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理,2016(1):1-17.劉建偉,劉媛,羅雄麟.Researchanddevelopmentondeeplearning[J].計算機(jī)應(yīng)用研究.薛晨興,張軍,邢家源.基于GoogLeNetInceptionV3的遷移學(xué)習(xí)研究[J].無線電工程,2020,050(002):118-122.DeviMS,SagarA,ThapaK,etal.ActivationLayersImplicationofCNNSequentialModelsforFacialExpressionRecognition[J].IOPConferenceSeriesMaterialsScienceandEngineering,2021,1074(1):012030.Yanhua,Guo,Lei,etal.AlgorithmResearchonImprovingActivationFunctionofConvolutionalNeuralNetworks[C]//第31屆中國控制與決策會議.0.楊觀賜,楊靜,李少波,等.基于Dopout與ADAM優(yōu)化器的改進(jìn)CNN算法[J].華中科技大學(xué)學(xué)報:自然科學(xué)版,2018,v.46；No.427(07):122-127.張慧.深度學(xué)習(xí)中優(yōu)化算法的研究與改進(jìn).北京郵電大學(xué),2018.張翠平,蘇光大.人臉識別技術(shù)綜述[J].中國圖象圖形學(xué)報,2015(11):7-16.Hyeon-Joo