1、基于無閾值遞歸圖和深度殘差網(wǎng)絡(luò)的腦電信號情感識(shí)別摘要 提出基于無閾值遞歸圖和深度殘差網(wǎng)絡(luò)相結(jié)合的腦電信號情感識(shí)別方法?；诜蔷€性動(dòng)力學(xué)理論, 將腦電信號轉(zhuǎn)化為無閾值遞歸圖，克服了傳統(tǒng)遞歸圖分析中閾值選取的問題，同時(shí)腦電信號非線性特征被映射到 二維平面。通過深度殘差網(wǎng)絡(luò)實(shí)現(xiàn)特征圖非線性特征的自動(dòng)提取，建立情感腦電分類模型，實(shí)現(xiàn)了單導(dǎo)聯(lián)腦電信 號情感識(shí)別。為進(jìn)一步提高識(shí)別精度，聯(lián)合四個(gè)單導(dǎo)聯(lián)識(shí)別結(jié)果，采用投票法”完成多導(dǎo)聯(lián)腦電信號情感狀 態(tài)的聯(lián)合識(shí)別。仿真結(jié)果表明，對Fpl、Fp2、F3、F4單導(dǎo)聯(lián)腦電信號情感識(shí)別，平均準(zhǔn)確率分別為93. 82%、 93.62% $94.54% $92.92%:多

2、導(dǎo)聯(lián)平均準(zhǔn)確率為94.95%，提高了識(shí)別的準(zhǔn)確率，具有很大的實(shí)用價(jià)值。關(guān)鍵詞 腦電信號情感識(shí)別無閾值遞歸圖深度殘差網(wǎng)絡(luò)EEG EMOTIONAL RECOGNITION BASED ON THRESHOLDLESS RECURRENCE PLOTAND DEEP RESIDUAL NETWORKAbstract This paper proposes an EEG emotion recognition method based on the combination of thresholdless recurrence plot and deep residual network. Base

3、d on the theory of nonlinear dynamics, the EEG signal was transformed into a thresholdless recurrence plot, which overcame the problem of threshold selection in traditional recurrence plot analysis. The nonlinear features of EEG signals were mapped to the two-dimensional plane. By using the deep res

4、idual network, automatic extraction of nonlinear features of feature maps was realized, emotional EEG classification model was established, and single-lead EEG emotion recognition was realized. To further improve recognition accuracy, combining with four single-lead recognition results, #voting meth

5、od & was used to complete multi-lead joint recognition of the emotional state of the EEG signal. The simulation results show that the average accuracy of Fpl, Fp2, F3 and F4 singlelead EEG emotion recognition is 93. 82% , 93.62% , 94. 54% , 92. 92% , respectively; the average accuracy of multilead i

6、s 94. 95% , which is improved. The accuracy of recognition has great practical value.Keywords EEG Emotion recognition Thresholdless recurrence plot Deep residual network0引言人類的情感既包含人類對外部世界或自身刺激產(chǎn) 生的心理反應(yīng),同時(shí)也包含這些心理反應(yīng)帶來的生理 反應(yīng)#它是一種綜合了人的思維、感覺、行為的狀 態(tài)。對情感進(jìn)行識(shí)別有助于探尋精神疾病、心理障 礙產(chǎn)生機(jī)理與發(fā)作規(guī)律,幫助醫(yī)生做出最有針對性的 治療方案。在人機(jī)父互系統(tǒng)

7、中,如果能夠準(zhǔn)確并且快 速地識(shí)別體驗(yàn)者的情感變化,智能設(shè)備可以以此為依 據(jù)進(jìn)行調(diào)整，使交互過程更加智能和友好。因此，對 情感進(jìn)行分析和評估已經(jīng)成為心理學(xué)、神經(jīng)科學(xué)、計(jì)算 機(jī)科學(xué)、認(rèn)知科學(xué)和人工智能等領(lǐng)域的一項(xiàng)重要的交 叉學(xué)科研究課題。腦電信號(Electroencephalogram , EEG)因具有不 可偽裝性、實(shí)時(shí)差異性和容易采集等優(yōu)點(diǎn)逐步成為研究情感識(shí)別的生理依據(jù)。EEG信號是一種復(fù)雜的、時(shí) 變的非線性信號,在利用傳統(tǒng)的一維線性分析方法分 析腦電信號過程中會(huì)不可避免地丟失非線性隱匿特 證。當(dāng)前,腦電信號的非線性分析方式主要有Lyapunov 指數(shù)、近似嫡、遞歸圖&句(Recurrenc

8、e Plot, RP)和在遞歸圖理論基礎(chǔ)上的遞歸定量分析刃(Recurrence Quantification Analysis, RQA)等。Ouyang 等利用RQA分析大鼠癲癇發(fā)作各個(gè)階段EEG信號 的確定性特性。Yang囪對心電信號進(jìn)行小波分解，并 對產(chǎn)生的各層分量進(jìn)行遞歸量化分析實(shí)現(xiàn)對心肌梗塞 疾病的分類識(shí)別，平均敏感性為96. 5%，平均特異性 為75%。李世丹等9采用排序遞歸圖和遞歸量化分 析方法，對不同刺激下各導(dǎo)聯(lián)的腦電數(shù)據(jù)進(jìn)行特征提 取，可以有效地分析不同狀態(tài)下視覺、聽覺的整合效 應(yīng),得到較高的準(zhǔn)確率。Goshvarpour等利用遞歸定 量分析的方法評估情感視覺刺激期間大腦的

9、狀態(tài),通 過分析EEG信號在遞歸圖中的遞歸率、確定性、對角 線結(jié)構(gòu)長度等特征來捕捉不同情感狀態(tài)間的差異。 Heunis等10選取17個(gè)導(dǎo)聯(lián)的腦電數(shù)據(jù)，經(jīng)過相空間 重構(gòu)，對生成的RP進(jìn)行遞歸定量分析選取10個(gè)特征 參數(shù)結(jié)合支持向量機(jī)識(shí)別有患自閉癥風(fēng)險(xiǎn)的兒童，準(zhǔn) 確率達(dá)到92. 86%，靈敏度為100%，特異性為 85.71%。遞歸圖幾乎不會(huì)受到信號長度的影響，并且 對信號的穩(wěn)定性要求也比較低。將非線性動(dòng)力系統(tǒng)的 行為直觀可視化，是分析時(shí)間序列非平穩(wěn)性、混沌性的 一種重要手段。傳統(tǒng)的遞歸圖分析方法都是引入遞歸 定量分析方法進(jìn)行定量分析(即選擇遞歸率、確定率、 遞歸嫡、分層度等)，使得特征選擇比較繁

10、瑣，這也是 當(dāng)前遞歸圖應(yīng)用所面臨的挑戰(zhàn)。當(dāng)前腦電信號情感識(shí)別研究中存在如下問題:傳統(tǒng) 機(jī)器學(xué)習(xí)方法大都需要對不同的數(shù)據(jù)進(jìn)行相應(yīng)的特征 提取和后續(xù)的結(jié)合數(shù)據(jù)特點(diǎn)進(jìn)行特征選擇,這往往會(huì)因 手動(dòng)設(shè)計(jì)特征不當(dāng)而無法捕捉到輸入信息中能夠反映 情緒變化的特征，進(jìn)而導(dǎo)致情感分類準(zhǔn)確率下降;利用 淺層神經(jīng)網(wǎng)絡(luò)分類器對大數(shù)據(jù)進(jìn)行訓(xùn)練,效率不高，非 線性擬合能力較低。深度學(xué)習(xí)可以消除當(dāng)前在情感識(shí) 別建模過程中特征提取和特征選擇的局限性，特別是近 年來，得益于卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network, CNN)的蓬勃發(fā)展,深度學(xué)習(xí)在圖像處理皿、音頻處 理皿、文本識(shí)別回領(lǐng)域應(yīng)用十分廣泛。卷積

11、神經(jīng)網(wǎng)絡(luò) 通過從圖像的像素特征中逐漸組合線條、邊、角、簡單形 狀、復(fù)雜形狀等更有效的復(fù)雜特征，以發(fā)現(xiàn)數(shù)據(jù)的分布 式特征表示，實(shí)現(xiàn)特征的自動(dòng)提取。相比于傳統(tǒng)人工提 取的特征，這些自動(dòng)提取的特征在眾多研究中被證實(shí)更 具有表征力,可以獲得更優(yōu)異的分類識(shí)別效果。本文提出基于無閾值遞歸圖( Thresholdless Recurrence Plot, TRP)和深度殘差網(wǎng)絡(luò)(Deep Residual Network, ResNet)相結(jié)合的腦電信號情感識(shí)別方法。 該方法在相空間重構(gòu)與遞歸圖理論相結(jié)合的基礎(chǔ)上將 情感腦電信號轉(zhuǎn)換為相應(yīng)的無閾值遞歸圖，從而將情 感腦電信號非線性特征映射到二維平面，作為深度

12、殘 差網(wǎng)絡(luò)的輸入，進(jìn)行腦電信號特征自動(dòng)提取、學(xué)習(xí)、分 類，以提高EEG信號情感識(shí)別的準(zhǔn)確率。1相關(guān)概念L1相空間重構(gòu)相空間重構(gòu)是遞歸圖方法的必要步驟，此步驟的 好壞直接影響到遞歸圖的質(zhì)量。相空間重構(gòu)的關(guān)鍵是 構(gòu)造一個(gè)非線性時(shí)間序列的嵌入，選擇合適的延遲時(shí) 間和嵌入維數(shù)隊(duì)。給定某非線性時(shí)間序列為E( %), % = 1,2相空間重構(gòu)后得到i維的相空間向量： !( %) = ( E( %) ,E( % + )，,E( % + ( I - 1) ) ) ( 1) 式中：% = 1,2， - (i - 1) ； i為嵌入維數(shù);為 延遲時(shí)間#結(jié)合目前現(xiàn)有的研究，確定嵌入維數(shù)i常用的方 法有假近鄰算法(F

13、alse Nearest Neighbor, FNN) 6、Cao 分析法C-C算法以；確定時(shí)間延遲常用的方法有自 相關(guān)分析法、平均位移分析法、互信息分析法閥。以 上方法各有優(yōu)缺點(diǎn)，需要根據(jù)實(shí)際情況選擇。1.2遞歸圖遞歸圖的核心思想就是將高維運(yùn)動(dòng)狀態(tài)的軌跡映 射到二維平面上，來實(shí)現(xiàn)可以直接表征其動(dòng)力學(xué)行為的 目的,將系統(tǒng)動(dòng)力學(xué)特征可視化。RP算法如下所示。時(shí)間序列經(jīng)過相空間重構(gòu)后得到向量集合 ( !( %) ,兩個(gè)時(shí)刻！( #)與X( j)之間的距離為七，則 遞歸圖定義如下：.=9( $ -京 = 1,2，,-(i-1) ( 2) 式中：勺=|X(#) - X( j) | ; $為距離閾值;9

14、( )為 Heavside函數(shù)即：9( E)= f1 E + 0( 3)0 Ed 0遞歸圖可以表示為：0(4)如圖1所示，根據(jù)兩個(gè)時(shí)刻的遞歸狀態(tài)，分別由#、 j表示橫、縱坐標(biāo)，可以得到一個(gè)由0和1組成的二值遞 歸矩陣9初。將遞歸矩陣中的0用白點(diǎn)表示,代表#和j時(shí) 刻的狀態(tài)明顯不同,1用黑點(diǎn)表示，代表#和j時(shí)刻的狀 態(tài)相似，從而將遞歸矩陣轉(zhuǎn)換成一個(gè)黑白遞歸圖，即為 非線性時(shí)間序列E( (4)1.3深度殘差網(wǎng)絡(luò)CNN是一種非常高效的深層前饋神經(jīng)網(wǎng)絡(luò)，誕生 的主要目標(biāo)是識(shí)別二維圖像，其網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例 縮放、傾斜或其他形式的變形具有高度不變性。典型 的CNN結(jié)構(gòu)由輸入層、卷積層、池化層、全連接層

15、，以 及輸出層組成。對于深度神經(jīng)網(wǎng)絡(luò),普遍認(rèn)為加深網(wǎng)絡(luò)層次是增 強(qiáng)非線性擬合能力、提高模型識(shí)別準(zhǔn)確率的有效手段。 因?yàn)榫W(wǎng)絡(luò)層數(shù)與神經(jīng)元數(shù)量越多，就意味著可以挖掘 到不同層的特征越豐富，提取到的特征就越抽象，越具 有語義信息。但是這也同時(shí)出現(xiàn)了一個(gè)嚴(yán)峻的問題, 隨著網(wǎng)絡(luò)層次的增加，會(huì)時(shí)常伴隨著梯度消失和梯度 爆炸的現(xiàn)象。為了解決深度卷積神經(jīng)網(wǎng)絡(luò)因網(wǎng)絡(luò)層數(shù) 加深而引發(fā)的退化現(xiàn)象,He等19提出了深度殘差網(wǎng) 絡(luò)的模型結(jié)構(gòu)。ResNet與以往的網(wǎng)絡(luò)模型最大的不 同就是引入了殘差塊20，其核心思想是通過多層網(wǎng)絡(luò) 來達(dá)到擬合一個(gè)殘差映射的目的，而不是簡單地利用 網(wǎng)絡(luò)層來擬合所期望的恒等映射。如圖2所示，8

16、( e) 是期望得到的隱匿映射關(guān)系,e用來表示前一網(wǎng)絡(luò)的 輸出。通過多個(gè)連續(xù)堆疊的非線性計(jì)算層來擬合輸入 數(shù)據(jù)與映射后的輸出數(shù)據(jù)之間的殘差/( e) =8( e)- e，殘差越是逼近于零，表示網(wǎng)絡(luò)挖掘的特征與原始輸 入越相近。將殘差模塊按照一定的規(guī)則進(jìn)行堆疊構(gòu)成的深度 殘差網(wǎng)絡(luò)解決了深層網(wǎng)絡(luò)面臨的收斂難、調(diào)優(yōu)難等問 題,克服了傳統(tǒng)卷積網(wǎng)絡(luò)隨著網(wǎng)絡(luò)層數(shù)增加而導(dǎo)致的 退化問題。2方法設(shè)計(jì)本文提出的腦電信號情感識(shí)別方法原理框圖如圖 3所示，對EEG預(yù)處理后進(jìn)行相空間重構(gòu),轉(zhuǎn)換為無閾 值遞歸圖,然后將生成的二維無閾值遞歸圖作為深度 殘差網(wǎng)絡(luò)的輸入進(jìn)行自動(dòng)特征提取、學(xué)習(xí)，建立EEG 情感分類模型。為了提

17、高情感識(shí)別的性能,本文在單導(dǎo)聯(lián)識(shí)別的基礎(chǔ)上,進(jìn)行多導(dǎo)聯(lián)聯(lián)合識(shí)別E EG預(yù)處理非線性動(dòng)力學(xué)濾波截取EEG信號遞歸圖歸-化處理單導(dǎo)聯(lián)情感識(shí)別積極投票法消極平靜導(dǎo)聯(lián)識(shí)別的基礎(chǔ)上,進(jìn)行多導(dǎo)聯(lián)聯(lián)合識(shí)別E EG預(yù)處理非線性動(dòng)力學(xué)濾波截取EEG信號遞歸圖歸-化處理單導(dǎo)聯(lián)情感識(shí)別積極投票法消極平靜相空間重構(gòu)信息分析法假近鄰算法晶感腦電數(shù)境多導(dǎo)聯(lián)聯(lián)合深度殘差網(wǎng)絡(luò)(ResNet 18)EEG非線性特 征映射到二維平而.圖3本文方法原理框圖2. 1腦電信號的無閾值遞歸圖首先對EEG分別利用互信息分析法與假近鄰算 法確定對應(yīng)的延遲時(shí)間與嵌入維數(shù)，參數(shù)如表1所示, 進(jìn)行相空間重構(gòu)。為了盡可能保留腦電信號中的非線 性特征

18、，也考慮到卷積神經(jīng)網(wǎng)絡(luò)可以模擬人類神經(jīng)元 結(jié)構(gòu)逐層實(shí)現(xiàn)信息傳遞,具有強(qiáng)大的特征自動(dòng)提取能 力,增強(qiáng)模型的自適應(yīng)性，將EEG信號轉(zhuǎn)換為相應(yīng)的 無閾值遞歸圖，以此作為網(wǎng)絡(luò)的輸入。表1各個(gè)導(dǎo)聯(lián)時(shí)間延遲與嵌入維數(shù)導(dǎo)聯(lián)延遲時(shí)間嵌入維數(shù)IFP1116FP2135F3114F4124圖4是三類EEG信號波形和所對應(yīng)的遞歸圖、無 閾值遞歸圖，觀察RP可以發(fā)現(xiàn)：三種情感狀態(tài)下的 EEG遞歸狀態(tài)的點(diǎn)主要集中在少數(shù)區(qū)域，使得RP中 某些區(qū)域出現(xiàn)了空白區(qū)域,此現(xiàn)象與正弦信號的RP 相類似。b消極腦電cb消極腦電c平靜腦電圖4三種情感腦電所對應(yīng)的遞歸圖、無閾值遞歸圖對比遞歸圖與無閾值遞歸圖可以發(fā)現(xiàn)，雖然遞歸 圖可以直觀

19、地表達(dá)EEG信號遞歸特性，但相較于無閾 值遞歸圖丟失了較多的肉眼無法識(shí)別的隱匿信息；無 閾值遞歸圖包含了更多豐富的非線性動(dòng)力學(xué)特征，保 留了較多抽象的高層表示屬性特征，這種特性正好與 CNN的優(yōu)越特性形成完美的契合。仔細(xì)觀察可以發(fā) 現(xiàn)，無閾值遞歸圖關(guān)于45。對角線對稱,沒有明顯的周 期現(xiàn)象，與腦電波形相符合，可以充分反映出EEG信 號各個(gè)時(shí)刻波峰與波谷之間的起伏走勢#2深度殘差網(wǎng)絡(luò)設(shè)計(jì)腦電信號經(jīng)過相空間重構(gòu)、無閾值遞歸圖表示后 轉(zhuǎn)化為1 500 x1 500 xl大小的矩陣、通過偽彩色處理 變成224 x224 x3的特征圖，以此作為深度殘差網(wǎng)絡(luò) 的輸入。表2為設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，圖5為結(jié)構(gòu)圖

20、， 原始的ResNet18是為了 1 000個(gè)分類類別設(shè)計(jì)的，本 文只針對EEG情感狀態(tài)的三分類，所以網(wǎng)絡(luò)最后通過 Softmax函數(shù)得到三種情感識(shí)別結(jié)果。表2 ResNetl8超參數(shù)網(wǎng)絡(luò)層參數(shù)輸出convl7 x7,64，步長 2112x112conv2、conv33 x3,最大池 化,步長:23 x 3，643x3,64妃56x56conv4$conv5-3x3,128 11 x23 x 3，12828 x 28conv6$conv73 x 3，25611 x23 x 3，25614x14conv8$conv93 x 3，51211 x23 x 3，5127 x7pool7 x7,平均池化

21、1 x1圖T 本文設(shè)計(jì)的曰/酒/七問結(jié)構(gòu)圖圖K中的三種情感狀態(tài)所對應(yīng)的無閾值遞歸圖經(jīng) 過各個(gè)網(wǎng)絡(luò)層自動(dòng)提取后得到的部分特征圖如圖U所 示。不同卷積核提取不同的特征，（a）、（ 0）、（:）是無 閾值遞歸圖經(jīng)過：onv1處理后，提取的主要初級紋理 特征，有效保留了圖像整體輪廓，（d）、（e）、（。是特征 圖經(jīng)過conv7處理后輸出的特征圖。通過對比可以清 楚地發(fā)現(xiàn)：onv7輸出特征圖比:onv1輸出特征圖可以 反映出更多的紋理細(xì)節(jié)信息，是對原始圖像細(xì)節(jié)特征 與更高級特征的提取，幾乎無法用肉眼清晰識(shí)別，充分 挖掘了無閾值遞歸圖的隱匿特征，使不同情感狀態(tài)下 腦電無閾值遞歸圖有了更好的可分性。所以，可

22、以通 過合理的卷積層的設(shè)置與堆疊獲得不同層級紋理信 息。另外卷積核處理得越多，挖掘的無閾值遞歸圖的 紋理信息就愈發(fā)全面，更好地表現(xiàn)出情感腦電信號的 非線性動(dòng)力學(xué)特征。（d）積極腦電conv7輸出（e）消極腦電conv7輸出（f）消極腦電conv7輸出 圖6三種無閾值遞歸圖經(jīng)不同卷積的特征提取結(jié)果3實(shí)驗(yàn)3. l 實(shí)驗(yàn)環(huán)境實(shí)驗(yàn)采用的硬件設(shè)備為Intel Core 4.20 GHz i7 - 7700 K CPU 和 NVIDA Gefor:e GTX 1080 Ti GPU。軟 件環(huán)境采用MATLAB 2014a和PyCharm 2019，同時(shí)借 助Keras框架實(shí)現(xiàn)改進(jìn)的ResNet18網(wǎng)絡(luò)，采

23、用自適應(yīng) 動(dòng)量估計(jì)（Adaptive Moment Estimation，Adam）優(yōu)化算 法，分別設(shè)置參數(shù)為:循環(huán)迭代次數(shù)100次，初始化學(xué) 習(xí)率為0.001#3.2數(shù)據(jù)來源EEG信號采集流程如圖7所示，本文采用國際公 認(rèn)的人類腦電情感數(shù)據(jù)集SEED作為實(shí)驗(yàn)數(shù)據(jù)。該 數(shù)據(jù)集使用電影片段作為情感誘發(fā)素材，情感狀態(tài)分 為三類:積極，消極，平靜。1調(diào)整準(zhǔn)備1=可視聽片段|=可自我評價(jià)|=休息5 s4 min45 s1調(diào)整準(zhǔn)備1=可視聽片段|=可自我評價(jià)|=休息5 s4 min45 s15 s（積極）（平靜）（消極）（消極）圖7視聽情感腦電信號采集實(shí)驗(yàn)對EEG信號數(shù)據(jù)預(yù)處理，選擇與情感腦電有關(guān)的 前

24、額區(qū)（Fpl、Fp2） 額區(qū)（F3、F4）通道數(shù)據(jù)做相關(guān)分 析（實(shí)驗(yàn)中每部電影EEG采樣時(shí)長為4 min,截取信號 長度為1 500個(gè)點(diǎn)，步長為1 500，去除不符合實(shí)驗(yàn)要 求的樣本后，每個(gè)通道的樣本數(shù)據(jù)量為9 225條腦電 數(shù)據(jù)）。把數(shù)據(jù)歸一化到0,1 區(qū)間上。3仿真及實(shí)驗(yàn)結(jié)果分析本文采用下列四個(gè)定量模型評估指標(biāo)對模型的性 能進(jìn)行評估，即準(zhǔn)確率（A）、精確率（P）、召回率（R）與 調(diào)和均值（F1），定義如下： TOC o 1-5 h z : - TP + TN（ 5）TP + FP + TN + FN（ ）TPA = TP + FP（ 6） 數(shù)據(jù)五折實(shí)驗(yàn)的測試集平均準(zhǔn)確率、標(biāo)準(zhǔn)差（std）。

25、通道Fp1Fp2F3F4平均準(zhǔn)確率/%93.8293.6294.5492.92標(biāo)準(zhǔn)差0.5260.9780.4141.570表3四導(dǎo)聯(lián)腦電數(shù)據(jù)五折實(shí)驗(yàn)的平均準(zhǔn)確率、標(biāo)準(zhǔn)差仔細(xì)觀察可以清晰地發(fā)現(xiàn)：單導(dǎo)聯(lián)腦電（Fp1、 Fp2、F3、F4）數(shù)據(jù)在基于無閾值遞歸圖與深度殘差網(wǎng) 絡(luò)相結(jié)合的情感識(shí)別模型上都取得了比較理想的識(shí)別 效果。Fp1、Fp2、通道Fp1Fp2F3F4平均準(zhǔn)確率/%93.8293.6294.5492.92標(biāo)準(zhǔn)差0.5260.9780.4141.570表3四導(dǎo)聯(lián)腦電數(shù)據(jù)五折實(shí)驗(yàn)的平均準(zhǔn)確率、標(biāo)準(zhǔn)差TPTP + FN=2P fR=P +R對于N分類問題的調(diào)和均值為：NF1( #)Mac

26、ro-F1 =1 N = 3(TPTP + FN=2P fR=P +R對于N分類問題的調(diào)和均值為：NF1( #)Macro-F1 =1 N = 3(7)(8)(9)式中：TP為被模型分類正確的正樣本;FP為被模型分 類錯(cuò)誤的負(fù)樣本;TN為被模型分類正確的負(fù)樣本;FN 為被模型分類錯(cuò)誤的正樣本。3- 3.1單導(dǎo)聯(lián)腦電信號情感識(shí)別為了評估基于無閾值遞歸圖與深度殘差網(wǎng)絡(luò)相結(jié) 合的情感腦電信號識(shí)別效果，對與情感相關(guān)大的Fp1、 Fp2、F3、F4單通道腦電數(shù)據(jù)進(jìn)行了分析。為了使結(jié)果 更具有說服性與有效性，將樣本進(jìn)行隨機(jī)打亂操作，對 樣本集進(jìn)行五折交叉驗(yàn)證實(shí)驗(yàn)，每一折中訓(xùn)練集占 80%，測試集占 20%

27、，模型中 batch_size = 32，epoch = 100，模型優(yōu)化函數(shù)為Adam。表3給出了四導(dǎo)聯(lián)腦電折數(shù)評價(jià)指標(biāo)消極平靜積極Macro-F1第一折P0.930.940.950.940R0.950.930.93F10.940.940.94第二折P0.950.940.950.946R0.940.950.95F10.950.950.95第三折P0.950.900.970.936R0.940.950.93F10.950.930.95第四折P0.940.940.950.943R0.950.940.94F10.940.940.95第五折P0.940.970.940.950R0.950.950.9

28、6F10.940.960.95表4 A3導(dǎo)聯(lián)分類指標(biāo)3. 3.2多導(dǎo)聯(lián)腦電信號情感狀態(tài)的聯(lián)合識(shí)別不同導(dǎo)聯(lián)腦電信號之間具有很強(qiáng)的相關(guān)性，在上 述實(shí)驗(yàn)的基礎(chǔ)上，將不同導(dǎo)聯(lián)的腦電（Fpl$FP2$F3$ F4）信號情感結(jié)果做綜合考慮，同時(shí)將其對應(yīng)的輸出 結(jié)果按照“投票法”完成多導(dǎo)聯(lián)EEG信號情感狀態(tài)的 聯(lián)合識(shí)別,如果投票結(jié)果呈現(xiàn)出2: 23. 3.2多導(dǎo)聯(lián)腦電信號情感狀態(tài)的聯(lián)合識(shí)別不同導(dǎo)聯(lián)腦電信號之間具有很強(qiáng)的相關(guān)性，在上 述實(shí)驗(yàn)的基礎(chǔ)上，將不同導(dǎo)聯(lián)的腦電（Fpl$FP2$F3$ F4）信號情感結(jié)果做綜合考慮，同時(shí)將其對應(yīng)的輸出 結(jié)果按照“投票法”完成多導(dǎo)聯(lián)EEG信號情感狀態(tài)的 聯(lián)合識(shí)別,如果投票結(jié)

29、果呈現(xiàn)出2: 2的局面，以F3導(dǎo) 聯(lián)腦電情感識(shí)別分類作為最終決策結(jié)果（上述實(shí)驗(yàn)表 明F3導(dǎo)聯(lián)數(shù)據(jù)集上腦電情感識(shí)別準(zhǔn)確率最高）。為了對比多導(dǎo)聯(lián)聯(lián)合情感識(shí)別與單導(dǎo)聯(lián)情感識(shí)別 的效果，同樣采樣五折交叉驗(yàn)證實(shí)驗(yàn)取平均測試準(zhǔn)確 率，圖8分別給出了單導(dǎo)聯(lián)（Fpl、Fp2、F3、F4） EEG情 感識(shí)別與多導(dǎo)聯(lián)EEG情感狀態(tài)聯(lián)合識(shí)別的平均準(zhǔn)確 率，通過對比可以發(fā)現(xiàn)多導(dǎo)聯(lián)EEG信號情感狀態(tài)聯(lián)合 識(shí)別的平均準(zhǔn)確率高達(dá)94. 95%，比識(shí)別效果最好的 F3導(dǎo)聯(lián)的平均準(zhǔn)確率（94. 54%）還高出0.41% #分 析可以發(fā)現(xiàn)，即使單導(dǎo)聯(lián)腦電可以取得良好的識(shí)別效 果,但是多導(dǎo)聯(lián)聯(lián)合識(shí)別的總體性能都高于單導(dǎo)聯(lián)腦 電情感

30、識(shí)別效果。說明基于本文方法的多導(dǎo)聯(lián)EEG 信號情感狀態(tài)的聯(lián)合識(shí)別效果明顯比單導(dǎo)聯(lián)腦電情感 識(shí)別效果要好。折數(shù)評價(jià)指標(biāo)消極平靜積極Macro-Fl第四折P0.940.940.960.943R0.950.950.94F10.940.940.95第五折P0.940.970.950.953R0.940.960.96F10.940.960.96續(xù)表510098969492908886nFp1導(dǎo)聯(lián)Fp2#聯(lián) F3導(dǎo)聯(lián)F4導(dǎo)聯(lián)多導(dǎo)聯(lián)聯(lián)合3. 3. 3同類研究對比為了進(jìn)一步驗(yàn)證基于本文方法的腦電情感識(shí)別效 果的科學(xué)性與優(yōu)越性，將本文方法與采用相同數(shù)據(jù)集 的其他識(shí)別方法進(jìn)行比較,對比結(jié)果如表6所示。文 獻(xiàn)2H :將提取到的不同導(dǎo)聯(lián)腦電信號的微分熵映射 為二維形式，以此作為分層卷積神經(jīng)網(wǎng)絡(luò)的輸入,識(shí)別 準(zhǔn)確率為88.20%，同時(shí)發(fā)現(xiàn)Beta波和Gamma波對情 感識(shí)別起著關(guān)鍵作用。文獻(xiàn)2提取腦電信號的微分 嫡特征進(jìn)行特征平滑、降維，將得到的低維特征結(jié)合判 別圖正則極限學(xué)習(xí)機(jī)進(jìn)行情感識(shí)別，準(zhǔn)確率為 91.07%。文獻(xiàn)2