[24]對網(wǎng)絡參數(shù)進行優(yōu)化。Adam算法確保了梯度的對角縮放不變性，并自適應地調(diào)整每個參數(shù)的學習率，不受梯度大小的影響。這使得它能夠有效地學習參數(shù)之間的復雜關(guān)系，因此非常適合處理具有大量參數(shù)的問題。參數(shù)更新公式為：θt+1其中θ為待更新的參數(shù)，η為學習率，mt為梯度在第一時刻的均值，υ模型優(yōu)化時，使用交叉熵損失（Cross-Entropy）函數(shù)作為損失函數(shù)，以測量預測概率分布與實際標簽之間的偏差程度。目標是通過調(diào)整模型參數(shù)來最小化交叉熵損失函數(shù)，使模型預測結(jié)果更好地與實際標簽匹配。其公式如下：（6）最終得到的訓練曲線如圖4-2所示：圖4-2訓練曲線Figure4-2TrainEpoch4.4性能評估本設(shè)計的實驗調(diào)用了服務器的兩個核，分別存在于CPU和GPU，GPU的版本是英偉達1050。實驗環(huán)境為conda管理的python3.7，其中使用到的包主要有keras，PyQt5，pyqt5-tools，pandas，scikit-learn，tensorflow，imutils，openCV，matplotlib。4.4.1準確度模型可以實現(xiàn)圖像中的人臉表情識別，調(diào)用攝像頭進行實時表情識別，視頻序列中的實時人臉表情識別。這里主要展示圖像識別結(jié)果和視頻序列的識別過程與結(jié)果。

圖片的表情識別能力非常準確且快速。如圖4-3：圖4-3圖像表情識別Figure4-3ExpressionRecognitionofImage該圖展示了對于一張圖片中的多個人臉表情的識別結(jié)果。對含有四張人臉的圖片識別出來的結(jié)果依次是悲傷、正常、高興，準確度較好。用時為0.198s，速率也非?？臁?/p>

而視頻的表情識別則由于視頻中人物的表情變化，姿勢和頭部角度的變化會在不同時刻發(fā)生改變，準確度比起圖片有所下降，但是大多數(shù)也基本準確，表情的更新稍有延遲，下面的一系列圖像表示視頻序列中的表情變化：如圖4-4，開始的時候，因為人臉中都有嘴角上揚，面部肌肉鼓起，眼角向上這些特征所以全部被識別為開心。圖4-4視頻表情識別1Figure4-4ExpressionRecognitionofVideo1圖4-5中左邊的人臉因為嘴角沒有上揚，且臉頰沒有肌肉的鼓起，所以識別為了正常表情。圖4-5視頻表情識別2Figure4-5ExpressionRecognitionofVideo2在圖4-6中，因為右邊的人眉眼的睜大所以會變化為恐懼：圖4-6視頻表情識別3Figure4-6ExpressionRecognitionofVideo3圖4-7中因為中間的人角度變化，而且因為視頻的拍攝角度他下一幀的臉看不到了，所以這個片段里面未識別到，而左邊人臉由于嘴巴張開，眼睛睜大，被識別為了驚訝表情。圖4-7視頻表情識別4Figure4-7ExpressionRecognitionofVideo4綜上，視頻識別的每一幀識別結(jié)果都屬于合理結(jié)果，且延遲時間與準確度都比較好。4.4.2準確度本實驗采用混淆矩陣（ConfusionMatrix）用于評估表情分類模型的準確性，將模型預測的類別與真實類別進行對比，并展示模型在各個類別上的分類結(jié)果。可以看到訓練的模型在FER2013數(shù)據(jù)集上的綜合分類準確度達70%，還可以看出模型對人臉高興與驚訝表情的敏感度是最高的，準確率分別是91%和81%，主要原因一是因為產(chǎn)生這兩種表情的時候面部動作單元運動比較明顯容易被識別，二是因為表情數(shù)據(jù)庫本就存在樣本分布不均的問題，驚訝和開心的表情相比于其他的情緒更有可能被誘發(fā)，所以這兩類表情的訓練樣本也有很多，這就導致學習的分類模型中存在著無法回避的誤差，之后可以采用的優(yōu)化方法是提出更好的損失函數(shù)來解決這個問題。雖然自然表情的訓練樣本總體占比非常高，但是與前兩類表情相比識別準確率較低，只有72%，這是因為該表情的面部動作單元的肌肉變化幅度極小所以識別難度較大；而恐懼表情的準確度是最低的，只有55%，并且同悲傷，驚訝，生氣的表情區(qū)分度較低，將恐懼判斷為悲傷的概率高達10%。如圖4-8所示。圖4-8混淆矩陣Figure4-8ConfusionMatrix4.4.3識別速率不論是一般的表情識別模型，還是創(chuàng)建線程池作并行處理的表情識別模型，低分辨率人臉圖像的識別速率都略高于高分辨率人臉圖像。原因在于：對于僅僅是按照分辨率劃分，但是沒有做不同的處理的模型而言，低分辨率人臉圖像包含的像素數(shù)量較少，因此在進行特征提取、計算和推理時，需要處理的數(shù)據(jù)量也較小，從而加快了識別速率。且通常情況下，用于處理低分辨率圖像的模型相對于處理高分辨率圖像的模型來說復雜度較低。雖然低復雜度的模型在進行特征提取和推理時，計算量相對較小，因此識別速率更高。同時低分辨率圖像可能會丟失一些細節(jié)信息，不過對于人臉識別任務而言，一些關(guān)鍵特征如面部輪廓、眼睛、嘴巴等仍然能夠被有效地提取和識別，這也有助于提高識別速率。但低分辨率圖像處理速度更快并不意味著它在識別精度上就優(yōu)于高分辨率圖像。高分辨率圖像包含更豐富的細節(jié)信息，對于某些任務更具有表征性，因此在實際應用中需要綜合考慮識別速率和識別精度的平衡。模型不僅做了超分辨率模塊恢復表情的處理提高識別準確度，更兼顧到了實現(xiàn)速率的提升。并行處理的低分辨率識別速率提高則是因為CPU和GPU計算能力的差異。實驗通過在NVIDIA1050GPU上進行低分辨率人臉處理任務，在CPU上處理高分辨率人臉處理任務測試多人臉的視頻序列，比起傳統(tǒng)的單一處理表情識別模式，低分辨率人臉圖像的識別速率會比傳統(tǒng)模型提高約1.2到1.5倍，而對于高分辨率人臉圖像的識別速率提升幅度可能較小，在1.1倍左右。這是因為低分辨率圖像在GPU上的并發(fā)處理能力較強，而高分辨率圖像則更依賴于CPU的處理速度。

5、總結(jié)與展望本文設(shè)計了并行處理模型實現(xiàn)表情識別，通過使用兩個線程池，對于低分辨率的人臉圖像，調(diào)用了GPU完成恢復分辨率和表情識別任務，而對于高分辨率的人臉圖像，則直接在CPU上進行表情識別。從識別速率，準確度和負載均衡這幾個維度上闡述本文的主要貢獻：識別速率提升：這種并行處理方式可以有效地提高識別速率，尤其是對于低分辨率的人臉圖像，因為GPU的處理能力可以加速圖像處理和表情識別過程。準確度：雖然并行處理可以提高識別速率，但對于表情識別任務，準確度同樣重要。對于高分辨率人臉表情識別任務，論文使用到了基于深度學習的表情識別模型，這種模型通常具有較高的準確度。因此，通過并行處理結(jié)合深度學習模型，可以在不影響準確度的情況下提高識別速率。而對于低分辨率人臉表情，將恢復分辨率和識別任務分配給GPU,NVIDIA1050GPU相對于CPU來說具有更強大的并行計算能力，尤其適合處理圖像和視頻數(shù)據(jù)。因此，將低分辨率人臉的處理任務提升識別速率幅度可達2倍，之后還需要優(yōu)化任務的并行度。并且，因為對低分辨率人臉做了恢復分辨率的處理，識別的準確度也整體提升。負載均衡：通過將不同分辨率的任務分配給不同的處理單元（CPU和GPU），可以實現(xiàn)系統(tǒng)負載的均衡，提高系統(tǒng)整體的效率和響應速度。這樣可以充分利用硬件資源，避免資源浪費和性能瓶頸。綜上所述，采用并行處理，并將低分辨率人臉的處理任務委托給NVIDIA1050GPU，將會顯著提升識別速率，并保持準確度穩(wěn)定。這種配置在處理大量圖像或視頻數(shù)據(jù)時尤其有效，可以加速任務完成并提高系統(tǒng)性能。而對于模型的實際應用，在視頻的識別里面，由于每一幀的細微變化人臉表情會有所不同，但是其實視頻里面很多時候都是同一類表情，所以可以設(shè)置一定的識別的頻率做到有效識別反饋的同時也能夠節(jié)約系統(tǒng)資源；同時，在實際的課堂環(huán)境應用中還可以采用距離較近的人臉表情推測的策略，即這個學生的表情很有可能跟他周圍的人是一樣的，兩個上課講話的學生的表情很有可能是一致的。這一點在實際應用中會起到很大作用，實現(xiàn)價值很高，希望之后可以進一步完善這步工作。參考文獻EkmanP,FriesenWV.Constantsacrossculturesinthefaceandemotion[J].JournalofPersonalityandSocialPsychology,1971,17(2):124-129.CHENTYH,BALAKRISHNANH,RAVINDRANATHL,etal.GLIMPSE[J/OL].GetMobile:MobileComputingandCommunications,2016:26-29./10.1145/2972413.2972423.DOI:10.1145/2972413.2972423.DONGC,LOYCC,HEK,etal.LearningaDeepConvolutionalNetworkforImageSuper-Resolution[M/OL]//ComputerVision–ECCV2014,LectureNotesinComputerScience.2014:184-199./10.1007/978-3-319-10593-2_13.DOI:10.1007/978-3-319-10593-2_13.姜月武,路東生,黨良慧,etal.人臉表情識別研究進展[J].智能計算機與應用,2021,11(06):43-50.OjalaT,Pietik?inenM,HarwoodD.Acomparativestudyoftexturemeasureswithclassificationbasedonfeatureddistributions[J].PatternRecognition,1996,29(1):51-59.AlbiolA,MonzoD,MartinA,etal.FacerecognitionusingHOG–EBGM[J].PatternRecognitionLetters,2008,29(10):1537-1543.ViolaP,JonesMJ.RobustReal-TimeFaceDetection[J].InternationalJournalofComputerVision,2004,57(2):137-154.GHARSALLIS,EMILEB,LAURENTH,etal.FeatureSelectionforEmotionRecognitionbasedonRandomForest[C/OL]//Proceedingsofthe11thJointConferenceonComputerVision,ImagingandComputerGraphicsTheoryandApplications,Rome,Italy.2016./10.5220/0005725206100617.DOI:10.5220/0005725206100617.賴振意,陳人和,錢育蓉.結(jié)合空洞卷積的CNN實時微表情識別算法[J].計算機應用研究,2019,37(12):3777-3780+3835.SUW,WANGY,SUF,etal.Micro-ExpressionRecognitionBasedontheSpatio-TemporalFeature[C/OL]//2018IEEEInternationalConferenceonMultimedia&ExpoWorkshops(ICMEW),SanDiego,CA.2018./10.1109/icmew.2018.8551494.DOI:10.1109/icmew.2018.8551494.XUF,ZHANGJ,WANGJZ.MicroexpressionIdentificationandCategorizationUsingaFacialDynamicsMap[J/OL].IEEETransactionsonAffectiveComputing,2017:254-267./10.1109/taffc.2016.2518162.DOI:10.1109/taffc.2016.2518162.LIONGST,SEEJ,WONGK,etal.Lessismore:Micro-expressionrecognitionfromvideousingapexframe[J/OL].SignalProcessing:ImageCommunication,2018:82-92./10.1016/j.image.2017.11.006.DOI:10.1016/j.image.2017.11.006.LECUNY,JACKELLD,BOTTOUL,etal.Learningalgorithmsforclassification:Acomparisononhandwrittendigitrecognition[J].1995.KRIZHEVSKYA,SUTSKEVERI,HINTONGE.ImageNetClassificationwithDeepConvolutionalNeuralNetworks[J/OL].CommunicationsoftheACM,2017:84-90./10.1145/3065386.DOI:10.1145/3065386.ZEILERMD,FERGUSR.VisualizingandUnderstandingConvolutionalNetworks[M/OL]//ComputerVision–ECCV2014,LectureNotesinComputerScience.2014:818-833./10.1007/978-3-319-10590-1_53.DOI:10.1007/978-3-319-10590-1_53.SzegedyC,LiuW,JiaYQ,etal.Goingdeeperwithconvolutions[C]//2015IEEEConferenceonComputerVisionandPatternRecognition(CVPR),June7-12,2015.Boston,MA,USA.IEEE,2015:1-9.CholletF.Xception:deeplearningwithdepthwiseseparableconvolutions[C]//2017IEEEConferenceonComputerVisionandPatternRecognition(CVPR),July21-26,2017.Honolulu,HI.IEEE,2017:1800-1807.WangM,LiuB,ForooshH.DesignofEfficientConvolutionalLayersusingSingleIntra-channelConvolution,TopologicalSubdivisioningandSpatial“Bottleneck”Structure[EB/OL].[2020-03-15]./abs/1608.04337.IoffeS,SzegedyC.Batchnormalization:Acceleratingdeepnetworktrainingbyreducinginternalcovariateshift[C].32ndInternationalConferenceonMachineLearning,ICML,2015,2015(1):448-456.ARRIAGAO,VALDENEGRO-TOROM,PL?GERPaulG.Real-timeConvolutionalNeuralNetworksforEmotionandGenderClassification[J].arXiv:ComputerVisionandPatternRecognition,arXiv:ComputerVisionandPatternRecognition,2017.CAOQ,SHENL,XIEW,etal.VGGFace2:ADatasetforRecognisingFacesacrossPoseandAge[C/OL]//201813thIEEEInternationalConferenceonAutomaticFace&GestureRecognition(FG2018),Xi’an.2018./10.1109/fg.2018.00020.DOI:10.1109/fg.2018.00020.AHNN,KANGB,SO