第1章引言基于生理和非生理信號(hào)的情緒識(shí)別研究國(guó)內(nèi)外文獻(xiàn)綜述情感識(shí)別的方法也不盡相同，大致可分為兩類：基于非生理信號(hào)的情感識(shí)別和基于生理信號(hào)的情感識(shí)別?；诜巧硇盘?hào)進(jìn)行情感識(shí)別主要分析的是被測(cè)者的面部表情和說話語(yǔ)調(diào)。該方法的理論依據(jù)是面部表情為情感最直接、有效的顯示器[4]。在不同的情感狀態(tài)下面部表情和說話腔調(diào)也有不同的特點(diǎn)，例如高興上揚(yáng)的嘴角和生氣時(shí)緊皺的眉頭，同時(shí)人們的語(yǔ)音和語(yǔ)調(diào)也會(huì)產(chǎn)生明顯的波動(dòng)，例如高興時(shí)語(yǔ)調(diào)的上揚(yáng)和低落時(shí)語(yǔ)氣的沉悶。Dhwani等通過分析面部表情實(shí)現(xiàn)高興、驚訝、中性、悲傷、憤怒五種情感的分類識(shí)別，并對(duì)情感的強(qiáng)度進(jìn)行分析[5]。Go等利用語(yǔ)音和表情研究了快樂、悲傷、憤怒、驚訝、恐懼和厭惡六種情感的識(shí)別[6]。這種基于非生理信號(hào)進(jìn)行情感識(shí)別的優(yōu)點(diǎn)是操作簡(jiǎn)單，采集設(shè)備和被測(cè)試者沒有直接的接觸，體驗(yàn)感比較好；缺點(diǎn)是人們可以自主的控制自己的面部肌肉狀態(tài)和語(yǔ)音語(yǔ)調(diào)，這樣就可以掩飾自己真實(shí)的情感狀況，從而導(dǎo)致采集的信息不準(zhǔn)確，利用算法分析后得到的結(jié)果可靠性難以確定。還有對(duì)于某些殘疾人來說，比如語(yǔ)言障礙者，基于非生理信號(hào)的情感識(shí)別難以實(shí)現(xiàn)?；谏硇盘?hào)的情感識(shí)別又可以細(xì)分為基于自主神經(jīng)系統(tǒng)(autonomicnervoussystem)的情感識(shí)別和基于中樞神經(jīng)系統(tǒng)(centralnervoussystem)的情感識(shí)別。基于自主神經(jīng)系統(tǒng)的情感識(shí)別指的是依據(jù)心電、肌電、呼吸、皮膚電反應(yīng)等信號(hào)進(jìn)行情感識(shí)別。該方法的理論依據(jù)是當(dāng)人們的情感產(chǎn)生波動(dòng)時(shí)，人體內(nèi)的心臟、皮膚、血流都會(huì)產(chǎn)生相應(yīng)的生理變化。從而可以分析這些信號(hào)的變化，反映此刻的情感狀態(tài)[7]。AlZoubi等利用外圍生理信號(hào)識(shí)別平靜、困惑、好奇、高興、流動(dòng)、積極、驚訝、中性8種情感狀態(tài)[8]。該種方法的優(yōu)點(diǎn)是當(dāng)人們的情感發(fā)生時(shí)，這些外圍生理信號(hào)的變化不受人的主觀控制，不容易被掩藏。但是缺點(diǎn)也同樣明顯，由于該情感識(shí)別是基于外圍生理信號(hào)，而外圍生理信號(hào)的種類繁多，需要采集的信號(hào)數(shù)據(jù)龐大，并且采集不同生理信號(hào)的所依據(jù)的采集原理不同，所以對(duì)于采集系統(tǒng)的要求較高，實(shí)驗(yàn)的復(fù)雜度也比較高?；谥袠猩窠?jīng)系統(tǒng)的情感識(shí)別是指利用現(xiàn)代神經(jīng)影像學(xué)方法對(duì)情感產(chǎn)生的腦機(jī)制進(jìn)行研究。現(xiàn)代精神影響學(xué)法包括：功能性磁共振成像(functionalmagneticresonanceimaging，fMRI)、腦磁圖(Magnetoencephalogram,MEG)、腦電圖(Electroencephalograph，EEG)及功能性近紅外光譜儀(functionalNearInfraredSpectrumInstrument，fNIRS)等。功能性磁共振成像技術(shù)是測(cè)量神經(jīng)元活動(dòng)所導(dǎo)致的血液動(dòng)力變化情況。fMRI關(guān)注的對(duì)象是血紅蛋白的磁場(chǎng)特性，測(cè)量的是氧合血紅蛋白和脫氧血紅蛋白之間的比率。氧合血紅蛋白是脫氧血紅蛋白的源頭，氧合血紅蛋白的氧被吸收后比之前具有更強(qiáng)的順磁性，即脫氧血紅蛋白順磁性更強(qiáng)。功能磁共振成像設(shè)備和成像圖如圖1-1所示。fMRI技術(shù)有較高的局部空間分辨率，可準(zhǔn)確定位情緒產(chǎn)生波動(dòng)的地方。但是，測(cè)量設(shè)備體積大，成本高，對(duì)測(cè)量環(huán)境要求嚴(yán)苛，因此該方法不適用于本次實(shí)驗(yàn)。圖1-1功能磁共振成像設(shè)備當(dāng)情感狀態(tài)發(fā)生改變時(shí)，腦內(nèi)神經(jīng)電流發(fā)出的極其微弱的生物磁場(chǎng)信號(hào)也會(huì)發(fā)生改變，腦磁圖MEG檢測(cè)就是此信號(hào)。圖1-2是腦磁圖儀。腦磁圖反映的是腦磁場(chǎng)的變化，定位更加準(zhǔn)確，具有良好的時(shí)間分辨率和空間分辨率，且不受腦顱骨的影響，圖像清晰易辨。由于腦磁場(chǎng)與自然界的其他磁場(chǎng)相比強(qiáng)度很微弱，所以在MEG測(cè)量過程中需要嚴(yán)格避免其他磁場(chǎng)的干擾，所以在應(yīng)用此項(xiàng)技術(shù)之前需要建立一個(gè)嚴(yán)密的屏蔽室，且測(cè)量設(shè)備價(jià)格較高，所以不適用于情感識(shí)別系統(tǒng)中。圖1-2腦圖儀腦電圖EEG檢測(cè)的是腦部神經(jīng)元活動(dòng)引起的放電變化。該方法是研究大腦潛在機(jī)制的最常用技術(shù)之一，廣泛用于神經(jīng)科學(xué)和心理學(xué)領(lǐng)域。腦電圖時(shí)間分辨率高，測(cè)量過程中對(duì)于環(huán)境并未有嚴(yán)苛的要求。并且儀器設(shè)備攜帶方便。a.Quik-Cap電極帽b.Neuroscan腦電64導(dǎo)腦電采集系統(tǒng)圖1-3腦電采集設(shè)備 腦電信號(hào)進(jìn)行情感識(shí)別的步驟一般為：采集信號(hào)、信號(hào)預(yù)處理、提取信號(hào)特征、進(jìn)行情感分類。由于利用腦電信號(hào)進(jìn)行情感識(shí)別的研究開展的比較早，在各位研究人員的努力下，對(duì)腦電信號(hào)處理的方法也在逐漸豐富。腦電信號(hào)的特征可以從時(shí)域、頻域、時(shí)頻域中提取。在時(shí)域中，最先采集腦電信號(hào)的統(tǒng)計(jì)特征，比如計(jì)算腦電信號(hào)的平均值、標(biāo)準(zhǔn)差、一階差分、二階差分等。2009年Yuen等利用腦電信號(hào)的統(tǒng)計(jì)特征將憤怒、悲傷、驚訝、快樂和中性五種情感進(jìn)行分類[9]。其次腦電信號(hào)的Hjorth指數(shù)也被證明可作為情感分類的特征[10]。在頻域特征，腦電信號(hào)可以劃分為Delta(1-4Hz)、Theta(4-8Hz)、Alpha(8-13Hz)、Beta(13-30Hz)、Gamma(30Hz以上)五個(gè)頻段，分別計(jì)算五個(gè)頻段的功率譜密度(powerspectraldensity，PSD)和微分熵(differentialentropy,DE)，這也被證明是情感分類時(shí)一種有效的特征提取方法[11，12]。時(shí)頻域特征中，既可以分析信號(hào)的頻域信息又可以分析信號(hào)本身的時(shí)域信息，時(shí)頻域分析方法有小波變換(WaveletTransform,WT)、經(jīng)驗(yàn)?zāi)B(tài)分解(EmpiricalModeDecomposition，EMD)、短時(shí)傅里葉變換(Short-timeFourierTransform,STFT)等。2010年Murugappan等人實(shí)現(xiàn)對(duì)高興、厭惡、恐懼三種情感分類，使用的方法正是小波變換[13]?？臻g域特征是通過比較前后或左右對(duì)稱電極的信號(hào)特征差異獲得的組合特征。2012年Duan等在進(jìn)行腦電信號(hào)的特征提取時(shí)，加入不對(duì)稱差和不對(duì)稱商空間域特征，進(jìn)行情感的分類識(shí)別時(shí)發(fā)現(xiàn)準(zhǔn)確率大大提升[14]。腦電信號(hào)提取特征之后，就是根據(jù)提取的特征進(jìn)行信號(hào)的分類識(shí)別。分類識(shí)別的方法也是多種多樣，常用的有支持向量機(jī)、二次判別分析式、K臨近算法等。2010年Li對(duì)喜悅、生氣、悲傷、平靜4種進(jìn)行情感狀態(tài)分類，利用的是支持向量機(jī)模型，準(zhǔn)確率達(dá)82.29%[15]。同年P(guān)etrantonakis等利用不同的分類方法，包括二次判別分析、K鄰近、馬氏距離和支持向量機(jī)，比較對(duì)高興、驚訝、生氣、害怕、討厭、悲傷六種情感進(jìn)行分類準(zhǔn)確率的高低[16]。2012年Hadjidimitriou等也是利用上述方法，不過是從情感的興奮度和愉悅度的角度進(jìn)行分類，結(jié)果發(fā)現(xiàn)使用K鄰近和Hilbert-Huang譜HHS結(jié)合的分類模型效果最優(yōu)[17]。研究發(fā)現(xiàn)600nm-900nm近紅外光散射和吸收的特點(diǎn)，功能性近紅外光譜技術(shù)利用上述特點(diǎn)測(cè)量氧合血紅蛋白和脫氧血紅蛋白的濃度變化。目前該技術(shù)主要優(yōu)點(diǎn)：首先該技術(shù)準(zhǔn)確度高，功能性近紅外光譜技術(shù)可長(zhǎng)時(shí)間連續(xù)檢測(cè)且具有良好的時(shí)間分辨率(毫秒級(jí))；其次可以實(shí)現(xiàn)多手段聯(lián)合應(yīng)用，功能性近紅外光譜技術(shù)可以與其他的腦部檢查方法同步進(jìn)行，數(shù)據(jù)可同時(shí)被記錄，本次就采用功能性近紅外光譜信號(hào)可以同時(shí)與腦電信號(hào)同時(shí)測(cè)量，在數(shù)據(jù)上相互補(bǔ)充和相互印證；最后該技術(shù)具有無創(chuàng)性的特點(diǎn)，由于功能性近紅外光譜技術(shù)不會(huì)對(duì)人體產(chǎn)生任何破壞性，所以可以多次測(cè)量。圖1-4就是本次所使用的近紅外設(shè)備。圖1-4功能近紅外設(shè)備目前，國(guó)內(nèi)外大量研究人員也利用功能近紅外技術(shù)研究人腦的認(rèn)知功能和感知功能，檢測(cè)情感的變化和對(duì)情感進(jìn)行分類。2011年Liu等首次將功能近紅外技術(shù)應(yīng)用于情感識(shí)別，并和腦電技術(shù)相結(jié)合構(gòu)建了識(shí)別情感的混合模型[18]。2015年Michela等利用功能近紅外技術(shù)分析出在產(chǎn)生正性情感和負(fù)性情感時(shí)，大腦不同位置的活躍情況，研究發(fā)現(xiàn)前額葉腦活動(dòng)狀態(tài)在不同情感下的活躍區(qū)域不同，右側(cè)前額葉更活躍代表此刻的情感是負(fù)性的，左側(cè)前額葉更活躍代表此刻情感是正性的[19]。盡管對(duì)于情感的產(chǎn)生機(jī)制有了大量的研究，但是情感的產(chǎn)生及變化過程依然不甚明了。功能近紅外技術(shù)可以同時(shí)測(cè)量人體的中樞神經(jīng)系統(tǒng)活動(dòng)和外周神經(jīng)系統(tǒng)活動(dòng)，這一獨(dú)特優(yōu)勢(shì)使其有可能更加清晰地闡明情感活動(dòng)的機(jī)制[20]。腦電和功能近紅外技術(shù)雖然都有自身的缺點(diǎn)和問題，但兩者結(jié)合可以將腦電和功能近紅外的優(yōu)勢(shì)互補(bǔ)，而且功能近紅外測(cè)量的是光信號(hào)，而腦電是生理電信號(hào)，兩者之間并不會(huì)互相干擾。不論是腦電信號(hào)還是功能近紅外信號(hào)，都可以在一定程度上反映當(dāng)前的情感狀況，可以提取功能近紅外和腦電信號(hào)的時(shí)域統(tǒng)計(jì)和非線性特征、頻域功率譜和熵特征等，并采用主成分分析PCA對(duì)功能近紅外和腦電信號(hào)情感特征進(jìn)行降維，最后送入SVM后進(jìn)行情感識(shí)別。相較于利用單一的腦電信號(hào)或者功能近紅外信號(hào)進(jìn)行情感識(shí)別，兩者結(jié)合可以提高情感識(shí)別的準(zhǔn)確率。雖然利用單項(xiàng)過腦電或功能近紅外技術(shù)進(jìn)行情感識(shí)別的研究有了一定的進(jìn)展，但是將兩者結(jié)合進(jìn)行情感識(shí)別的研究卻還是少之又少，有廣泛的領(lǐng)域值得我們探索。參考文獻(xiàn)[1]KIMMK,KIMM,OHE,etal.AReviewontheComputationalMethodsforEmotionalStateEstimationfromtheHumanEEG[J].ComputationalandMathematicalMethodsinMedicine,2013,2013:1-13.[2]CALVORA,MELLOSD.AffectDetection:AnInterdisciplinaryReviewofModels,Methods,andTheirApplications[J].IEEETransactionsonAffectiveComputing,2010,1(1):18-37.[3]WorldHealthOrganization.DepressionandOtherCommonMentalDisorders:GlobalHealthEstimates[R].Geneva:WHO,2017.[4]王煥煥.基于面部表情的情緒識(shí)別研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2017.[5]MEHTAD,SIDDIQUIMFH,JAVAIDAY.RecognitionofEmotionIntensitiesUsingMachineLearningAlgorithms:AComparativeStudy[J].Sensors(14248220),2019,19(8):1897-1897.[6]GOHJ,KWAKKC,LEEDJ,etal.Emotionrecognitionfromthefacialimageandspeechsignal[C]//SiceConference.IEEE,2003.[7]SHUL,XIEJY,YANGMY,etal.AReviewofEmotionRecognitionUsingPhysiologicalSignals[J].Sensors,2018,18(7):41.[8]ALZOUBIO,MELLOSKD,CALVORA.DetectingNaturalisticExpressionsofNonbasicAffectUsingPhysiologicalSignals[J].IEEETransactionsonAffectiveComputing,2012,3(3):298-310.[9]YUENCT,SANWS,RIZONM,etal.ClassificationofHumanEmotionsfromEEGusingStatisticalFeaturesandNeuralNetwork[J].InternationalJournalofIntegratedEngineering,2009,1(03):12.[10]HORLINGSR,DATCUD,ROTHKRANTZLJM.Emotionrecognitionusingbrainactivity[C]//InternationalConferenceonComputerSystems&Technologies&WorkshopforPhdStudentsinComputing.ACM,2008.[11]BARRYRJ,CLARKEAR,JOHNSTONESJ,etal.EEGdifferencesbetweeneyes-closedandeyes-openrestingconditions[J].ClinicalNeurophysiology,2008,118(12):2765-2773.[12]JULIEO.High-frequencybroadbandmodulationofelectroencephalographicspectra[J].FrontiersinHumanNeuroscience,2009,3(05):10.[13]MURUGAPPANM,RAMACHANDRANN,SAZALIY.ClassificationofhumanemotionfromEEGusingdiscretewavelettransform[J].Engineering,2010,03(04):390-396.[14]DUANRN,WANGXW,LUBL.EEG-basedemotionrecognitioninlisteningmusicbyusingsupportvectormachineandlineardynamicsystem.[M].NeuralInformationProcessin