基于圖神經(jīng)網(wǎng)絡(luò)的多模態(tài)生理信號(hào)情緒識(shí)別方法探索與實(shí)踐一、引言1.1研究背景與意義情緒作為人類心理狀態(tài)的重要外在表現(xiàn)，在人際交往、心理健康以及工作生活等諸多方面都發(fā)揮著關(guān)鍵作用。在個(gè)人層面，準(zhǔn)確識(shí)別自身情緒有助于提升自我意識(shí)，實(shí)現(xiàn)更好的自我成長(zhǎng)與發(fā)展。例如，當(dāng)個(gè)體能夠清晰地意識(shí)到自己處于焦慮情緒時(shí)，便可以及時(shí)采取相應(yīng)的調(diào)節(jié)措施，避免情緒對(duì)自身造成負(fù)面影響。在人際關(guān)系中，識(shí)別他人情緒則是增進(jìn)相互理解、建立良好人際關(guān)系的基礎(chǔ)。在工作場(chǎng)景里，了解員工的情緒狀態(tài)，有助于管理者采取針對(duì)性的激勵(lì)措施，提高工作效率。隨著人工智能技術(shù)的迅猛發(fā)展，情緒識(shí)別作為情感計(jì)算領(lǐng)域的重要研究方向，受到了廣泛關(guān)注。傳統(tǒng)的情緒識(shí)別方法主要基于單一模態(tài)的數(shù)據(jù)，如面部表情、語音、文本等。然而，單一模態(tài)數(shù)據(jù)往往存在局限性，難以全面準(zhǔn)確地表達(dá)個(gè)體的情緒狀態(tài)。例如，面部表情可能受到個(gè)體刻意掩飾的影響，語音可能會(huì)受到環(huán)境噪音的干擾，文本則可能因?yàn)檎Z言表達(dá)的模糊性而導(dǎo)致情緒理解的偏差。為了克服單一模態(tài)數(shù)據(jù)的不足，多模態(tài)生理信號(hào)融合的情緒識(shí)別方法應(yīng)運(yùn)而生。多模態(tài)生理信號(hào)，如腦電（EEG）、心電（ECG）、皮膚電反應(yīng)（GSR）等，能夠從不同角度反映人體的生理和心理狀態(tài)，為情緒識(shí)別提供了更豐富、更準(zhǔn)確的信息。腦電信號(hào)直接反映大腦的活動(dòng)狀態(tài)，具有客觀性強(qiáng)、穿透性好等優(yōu)點(diǎn)，能夠探測(cè)大腦皮層下更深層次的神經(jīng)活動(dòng)信息，獲取隱藏狀態(tài)下的情緒信號(hào)；心電信號(hào)可以反映心臟的活動(dòng)情況，與情緒變化密切相關(guān)；皮膚電反應(yīng)則能敏感地反映人體的交感神經(jīng)系統(tǒng)活動(dòng)，對(duì)情緒的變化較為敏感。通過融合這些多模態(tài)生理信號(hào)，可以充分利用它們之間的互補(bǔ)性，有效提高情緒識(shí)別的準(zhǔn)確率和可靠性。盡管多模態(tài)生理信號(hào)融合在情緒識(shí)別中取得了一定進(jìn)展，但在挖掘多模態(tài)數(shù)據(jù)之間復(fù)雜關(guān)系方面仍面臨挑戰(zhàn)。不同模態(tài)的生理信號(hào)在特征表示、時(shí)間尺度和數(shù)據(jù)分布等方面存在差異，如何有效地整合這些信息，揭示它們之間的內(nèi)在聯(lián)系，是提升情緒識(shí)別性能的關(guān)鍵。而圖神經(jīng)網(wǎng)絡(luò)（GraphNeuralNetwork，GNN）作為一種專門用于處理圖結(jié)構(gòu)數(shù)據(jù)的深度學(xué)習(xí)模型，為解決這一問題提供了新的思路。圖神經(jīng)網(wǎng)絡(luò)能夠?qū)⒍嗄B(tài)生理信號(hào)構(gòu)建成圖結(jié)構(gòu)，其中節(jié)點(diǎn)表示信號(hào)的特征，邊表示特征之間的關(guān)系，通過學(xué)習(xí)圖中節(jié)點(diǎn)和邊的特征，挖掘多模態(tài)數(shù)據(jù)之間的復(fù)雜關(guān)聯(lián)，實(shí)現(xiàn)更有效的信息融合和特征提取。將圖神經(jīng)網(wǎng)絡(luò)與多模態(tài)生理信號(hào)相結(jié)合應(yīng)用于情緒識(shí)別，具有重要的研究意義和應(yīng)用價(jià)值。在研究意義方面，這種結(jié)合不僅能夠深入探索情緒的生理機(jī)制，揭示多模態(tài)生理信號(hào)之間的交互作用對(duì)情緒表達(dá)的影響，還能為情感計(jì)算領(lǐng)域提供新的理論和方法，推動(dòng)人工智能技術(shù)在情感分析方向的發(fā)展。在應(yīng)用價(jià)值上，該方法在多個(gè)領(lǐng)域都有著廣闊的應(yīng)用前景。在醫(yī)療健康領(lǐng)域，可輔助情緒障礙治療、抑郁癥和焦慮癥檢測(cè)等，為醫(yī)生提供客觀的情緒評(píng)估指標(biāo)，幫助制定更有效的治療方案；在教育領(lǐng)域，能夠?qū)崿F(xiàn)學(xué)生心理健康監(jiān)測(cè)和智能教學(xué)系統(tǒng)的優(yōu)化，教師可以根據(jù)學(xué)生的情緒狀態(tài)調(diào)整教學(xué)策略，提高教學(xué)效果；在娛樂領(lǐng)域，可應(yīng)用于虛擬現(xiàn)實(shí)、沉浸式游戲體驗(yàn)等，根據(jù)用戶的情緒實(shí)時(shí)調(diào)整內(nèi)容，增強(qiáng)用戶的沉浸感和參與度；在人機(jī)交互領(lǐng)域，使智能設(shè)備能夠更好地理解用戶的情感需求，提供更加個(gè)性化、人性化的服務(wù)，如智能客服根據(jù)用戶的情緒給予更貼心的回應(yīng)。1.2研究目標(biāo)與內(nèi)容本研究旨在探索圖神經(jīng)網(wǎng)絡(luò)在多模態(tài)生理信號(hào)情緒識(shí)別中的應(yīng)用，構(gòu)建高效的情緒識(shí)別模型，提高情緒識(shí)別的準(zhǔn)確率和可靠性，具體研究?jī)?nèi)容如下：多模態(tài)生理信號(hào)的采集與預(yù)處理：選取腦電、心電、皮膚電反應(yīng)等多種生理信號(hào)作為情緒識(shí)別的數(shù)據(jù)源，利用專業(yè)的生理信號(hào)采集設(shè)備，在嚴(yán)格控制的實(shí)驗(yàn)環(huán)境下，采集不同情緒狀態(tài)下的多模態(tài)生理信號(hào)數(shù)據(jù)。針對(duì)采集到的原始生理信號(hào)，進(jìn)行去噪、濾波、歸一化等預(yù)處理操作，去除信號(hào)中的噪聲和干擾，調(diào)整信號(hào)的幅值和頻率范圍，使其滿足后續(xù)分析和處理的要求。多模態(tài)生理信號(hào)的特征提取與融合：針對(duì)腦電信號(hào)，運(yùn)用快速傅里葉變換、小波變換等方法，提取其頻域特征和時(shí)頻域特征；對(duì)于心電信號(hào)，提取心率變異性、心電間期等時(shí)域特征；針對(duì)皮膚電反應(yīng)信號(hào)，提取其均值、標(biāo)準(zhǔn)差等統(tǒng)計(jì)特征。利用圖神經(jīng)網(wǎng)絡(luò)強(qiáng)大的關(guān)系建模能力，構(gòu)建多模態(tài)生理信號(hào)的圖結(jié)構(gòu)，將不同模態(tài)的生理信號(hào)特征作為圖中的節(jié)點(diǎn)，特征之間的關(guān)聯(lián)作為邊，通過圖神經(jīng)網(wǎng)絡(luò)的信息傳播和聚合機(jī)制，實(shí)現(xiàn)多模態(tài)生理信號(hào)特征的有效融合?；趫D神經(jīng)網(wǎng)絡(luò)的情緒識(shí)別模型構(gòu)建：選擇合適的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)，如GraphSAGE、GAT等，對(duì)多模態(tài)生理信號(hào)融合后的特征進(jìn)行學(xué)習(xí)和分類。在模型構(gòu)建過程中，考慮引入注意力機(jī)制，讓模型自動(dòng)學(xué)習(xí)不同模態(tài)特征和不同節(jié)點(diǎn)之間的重要性權(quán)重，增強(qiáng)模型對(duì)關(guān)鍵信息的捕捉能力。同時(shí)，結(jié)合深度學(xué)習(xí)中的其他技術(shù)，如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等，進(jìn)一步提升模型對(duì)生理信號(hào)時(shí)序特征和局部特征的提取能力，構(gòu)建出性能優(yōu)越的情緒識(shí)別模型。模型的訓(xùn)練與優(yōu)化：收集大規(guī)模、多樣化的多模態(tài)生理信號(hào)情緒數(shù)據(jù)集，對(duì)構(gòu)建的圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。在訓(xùn)練過程中，使用交叉熵?fù)p失函數(shù)等作為優(yōu)化目標(biāo)，采用隨機(jī)梯度下降（SGD）、Adagrad、Adadelta等優(yōu)化算法，調(diào)整模型的參數(shù)，使模型在訓(xùn)練集上的損失逐漸降低，準(zhǔn)確率不斷提高。通過交叉驗(yàn)證、早停法等技術(shù)，防止模型過擬合，提高模型的泛化能力。同時(shí)，對(duì)模型的超參數(shù)進(jìn)行調(diào)優(yōu)，如學(xué)習(xí)率、隱藏層節(jié)點(diǎn)數(shù)、圖神經(jīng)網(wǎng)絡(luò)的層數(shù)等，以獲得最佳的模型性能。情緒識(shí)別模型的性能評(píng)估與應(yīng)用驗(yàn)證：采用準(zhǔn)確率、召回率、F1值、受試者工作特征曲線（ROC）等多種評(píng)價(jià)指標(biāo)，對(duì)訓(xùn)練好的情緒識(shí)別模型在測(cè)試集上的性能進(jìn)行全面評(píng)估，分析模型在不同情緒類別上的識(shí)別效果，與傳統(tǒng)的情緒識(shí)別方法以及其他基于深度學(xué)習(xí)的方法進(jìn)行對(duì)比，驗(yàn)證本研究提出的基于圖神經(jīng)網(wǎng)絡(luò)的多模態(tài)生理信號(hào)情緒識(shí)別方法的優(yōu)越性。將訓(xùn)練好的情緒識(shí)別模型應(yīng)用于實(shí)際場(chǎng)景，如醫(yī)療健康領(lǐng)域的情緒障礙診斷、教育領(lǐng)域的學(xué)生學(xué)習(xí)狀態(tài)監(jiān)測(cè)、娛樂領(lǐng)域的用戶體驗(yàn)優(yōu)化等，通過實(shí)際應(yīng)用進(jìn)一步驗(yàn)證模型的有效性和實(shí)用性，收集實(shí)際應(yīng)用中的反饋數(shù)據(jù)，對(duì)模型進(jìn)行持續(xù)改進(jìn)和優(yōu)化。1.3研究方法與創(chuàng)新點(diǎn)為實(shí)現(xiàn)上述研究目標(biāo)，本研究綜合運(yùn)用多種研究方法，確保研究的科學(xué)性、嚴(yán)謹(jǐn)性和創(chuàng)新性。文獻(xiàn)研究法：全面搜集和整理國(guó)內(nèi)外關(guān)于多模態(tài)生理信號(hào)情緒識(shí)別、圖神經(jīng)網(wǎng)絡(luò)及其在相關(guān)領(lǐng)域應(yīng)用的文獻(xiàn)資料。通過對(duì)這些文獻(xiàn)的深入分析，了解該領(lǐng)域的研究現(xiàn)狀、發(fā)展趨勢(shì)以及存在的問題，為研究提供堅(jiān)實(shí)的理論基礎(chǔ)。例如，通過梳理多模態(tài)生理信號(hào)在情緒識(shí)別中的應(yīng)用進(jìn)展，明確不同模態(tài)信號(hào)的特點(diǎn)和優(yōu)勢(shì)，以及當(dāng)前多模態(tài)融合方法的不足之處；研究圖神經(jīng)網(wǎng)絡(luò)的各種算法和模型，掌握其在處理復(fù)雜關(guān)系數(shù)據(jù)方面的原理和機(jī)制，為后續(xù)的模型構(gòu)建提供理論依據(jù)。實(shí)驗(yàn)研究法：精心設(shè)計(jì)并開展多模態(tài)生理信號(hào)采集實(shí)驗(yàn)，選取腦電、心電、皮膚電反應(yīng)等多種生理信號(hào)作為研究對(duì)象。在嚴(yán)格控制的實(shí)驗(yàn)環(huán)境下，采集不同情緒狀態(tài)下的多模態(tài)生理信號(hào)數(shù)據(jù)。對(duì)采集到的原始生理信號(hào)進(jìn)行去噪、濾波、歸一化等預(yù)處理操作，以提高信號(hào)質(zhì)量。采用多種特征提取方法，提取各模態(tài)生理信號(hào)的有效特征，并利用圖神經(jīng)網(wǎng)絡(luò)構(gòu)建情緒識(shí)別模型。通過對(duì)模型的訓(xùn)練和優(yōu)化，不斷調(diào)整模型參數(shù)和結(jié)構(gòu)，以提高模型的性能。在實(shí)驗(yàn)過程中，嚴(yán)格遵循實(shí)驗(yàn)設(shè)計(jì)原則，確保實(shí)驗(yàn)數(shù)據(jù)的可靠性和有效性，為研究結(jié)果的準(zhǔn)確性提供保障。對(duì)比分析法：將基于圖神經(jīng)網(wǎng)絡(luò)的多模態(tài)生理信號(hào)情緒識(shí)別方法與傳統(tǒng)的情緒識(shí)別方法（如支持向量機(jī)、決策樹等）以及其他基于深度學(xué)習(xí)的方法（如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等）進(jìn)行對(duì)比分析。從準(zhǔn)確率、召回率、F1值、受試者工作特征曲線（ROC）等多個(gè)評(píng)價(jià)指標(biāo)入手，全面評(píng)估不同方法在情緒識(shí)別任務(wù)中的性能表現(xiàn)。通過對(duì)比分析，明確本研究方法的優(yōu)勢(shì)和不足，進(jìn)一步驗(yàn)證研究方法的有效性和創(chuàng)新性。本研究的創(chuàng)新點(diǎn)主要體現(xiàn)在以下幾個(gè)方面：獨(dú)特的圖神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)：針對(duì)多模態(tài)生理信號(hào)的特點(diǎn)，設(shè)計(jì)了一種新穎的圖神經(jīng)網(wǎng)絡(luò)模型。該模型能夠有效捕捉多模態(tài)生理信號(hào)之間的復(fù)雜關(guān)系，實(shí)現(xiàn)更高效的信息融合和特征提取。在模型中引入注意力機(jī)制，使模型能夠自動(dòng)學(xué)習(xí)不同模態(tài)特征和不同節(jié)點(diǎn)之間的重要性權(quán)重，增強(qiáng)對(duì)關(guān)鍵信息的捕捉能力。結(jié)合深度學(xué)習(xí)中的其他技術(shù)，如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等，進(jìn)一步提升模型對(duì)生理信號(hào)時(shí)序特征和局部特征的提取能力，從而構(gòu)建出性能優(yōu)越的情緒識(shí)別模型。多模態(tài)特征融合策略：提出了一種基于圖結(jié)構(gòu)的多模態(tài)特征融合策略。將不同模態(tài)的生理信號(hào)特征作為圖中的節(jié)點(diǎn)，特征之間的關(guān)聯(lián)作為邊，通過圖神經(jīng)網(wǎng)絡(luò)的信息傳播和聚合機(jī)制，實(shí)現(xiàn)多模態(tài)生理信號(hào)特征的深度融合。這種融合策略充分考慮了多模態(tài)數(shù)據(jù)之間的內(nèi)在聯(lián)系，能夠更好地挖掘多模態(tài)數(shù)據(jù)的互補(bǔ)信息，提高情緒識(shí)別的準(zhǔn)確率和可靠性。與傳統(tǒng)的多模態(tài)特征融合方法相比，本策略能夠更有效地處理多模態(tài)數(shù)據(jù)的異質(zhì)性和復(fù)雜性，為多模態(tài)生理信號(hào)情緒識(shí)別提供了新的思路和方法。應(yīng)用拓展：將基于圖神經(jīng)網(wǎng)絡(luò)的多模態(tài)生理信號(hào)情緒識(shí)別方法應(yīng)用于多個(gè)實(shí)際領(lǐng)域，如醫(yī)療健康、教育、娛樂、人機(jī)交互等。通過實(shí)際應(yīng)用，驗(yàn)證了該方法的有效性和實(shí)用性，為這些領(lǐng)域的發(fā)展提供了新的技術(shù)支持。在醫(yī)療健康領(lǐng)域，輔助情緒障礙治療、抑郁癥和焦慮癥檢測(cè)等，為醫(yī)生提供客觀的情緒評(píng)估指標(biāo)，幫助制定更有效的治療方案；在教育領(lǐng)域，實(shí)現(xiàn)學(xué)生心理健康監(jiān)測(cè)和智能教學(xué)系統(tǒng)的優(yōu)化，教師可以根據(jù)學(xué)生的情緒狀態(tài)調(diào)整教學(xué)策略，提高教學(xué)效果；在娛樂領(lǐng)域，應(yīng)用于虛擬現(xiàn)實(shí)、沉浸式游戲體驗(yàn)等，根據(jù)用戶的情緒實(shí)時(shí)調(diào)整內(nèi)容，增強(qiáng)用戶的沉浸感和參與度；在人機(jī)交互領(lǐng)域，使智能設(shè)備能夠更好地理解用戶的情感需求，提供更加個(gè)性化、人性化的服務(wù)，如智能客服根據(jù)用戶的情緒給予更貼心的回應(yīng)。通過這些應(yīng)用拓展，不僅推動(dòng)了情緒識(shí)別技術(shù)的實(shí)際應(yīng)用，也為相關(guān)領(lǐng)域的發(fā)展帶來了新的機(jī)遇和挑戰(zhàn)。二、相關(guān)理論基礎(chǔ)2.1多模態(tài)生理信號(hào)2.1.1常見生理信號(hào)類型及特點(diǎn)多模態(tài)生理信號(hào)是指來自人體不同生理系統(tǒng)的多種類型的信號(hào)，它們能夠從不同角度反映人體的生理和心理狀態(tài)，為情緒識(shí)別提供了豐富的信息來源。在情緒識(shí)別研究中，常用的生理信號(hào)主要包括腦電（EEG）、心電（ECG）和皮膚電反應(yīng)（GSR）等。腦電信號(hào)是大腦神經(jīng)元活動(dòng)時(shí)產(chǎn)生的生物電信號(hào)，能夠直接反映大腦的活動(dòng)狀態(tài)，具有較高的時(shí)間分辨率，可以精確到毫秒級(jí)別，能夠?qū)崟r(shí)捕捉大腦活動(dòng)的瞬間變化，這使得它在研究情緒的快速變化過程中具有獨(dú)特優(yōu)勢(shì)。腦電信號(hào)包含了豐富的頻率成分，不同頻率的腦電信號(hào)與不同的情緒狀態(tài)密切相關(guān)。δ波（0.5-4Hz）在嬰兒期或成年人極度疲勞、昏睡、麻醉狀態(tài)下較為明顯；θ波（4-8Hz）在成年人意愿受挫、抑郁或精神病患者中顯著，也是少年腦電圖的主要成分；α波（8-13Hz）是正常人腦電波的基本節(jié)律，人在清醒、安靜并閉眼時(shí)最為明顯，睜開眼睛或接受其他刺激時(shí)α波即刻消失；β波（13-30Hz）在精神緊張、情緒激動(dòng)或亢奮時(shí)出現(xiàn)。然而，腦電信號(hào)的幅值較低，通常在微伏級(jí)別，容易受到外界干擾，如環(huán)境中的電磁干擾、人體的肌肉運(yùn)動(dòng)等，這對(duì)信號(hào)的采集和處理提出了較高的要求。此外，腦電信號(hào)的個(gè)體差異較大，不同個(gè)體的腦電信號(hào)特征可能存在顯著差異，這也增加了基于腦電信號(hào)進(jìn)行情緒識(shí)別的難度。心電信號(hào)是心臟在每個(gè)心動(dòng)周期中，由起搏點(diǎn)、心房、心室相繼興奮，伴隨著生物電的變化，通過心電描記器從體表引出的電位變化圖形。它能夠反映心臟的活動(dòng)情況，與情緒變化密切相關(guān)。心率變異性（HRV）是心電信號(hào)中一個(gè)重要的特征指標(biāo)，它反映了連續(xù)心跳之間的時(shí)間間隔變化，是個(gè)體情緒和心理狀態(tài)的重要指標(biāo)，能夠很好地表征情感狀態(tài)的變化。當(dāng)個(gè)體處于緊張、焦慮等情緒狀態(tài)時(shí)，心率通常會(huì)加快，心率變異性也會(huì)發(fā)生相應(yīng)的改變。心電信號(hào)的采集相對(duì)較為方便，目前有多種便攜式的心電采集設(shè)備可供使用。但是，心電信號(hào)的頻率范圍較窄，主要集中在0.05-100Hz，90%的心電信號(hào)頻譜能量集中在0.25-35Hz，這限制了其對(duì)情緒變化細(xì)節(jié)的反映能力。而且，心電信號(hào)容易受到呼吸、身體運(yùn)動(dòng)等因素的影響，導(dǎo)致信號(hào)出現(xiàn)噪聲和干擾，需要在采集和處理過程中進(jìn)行有效的去除。皮膚電反應(yīng)信號(hào)是由皮膚表面的汗腺分泌活動(dòng)引起的，能夠敏感地反映人體的交感神經(jīng)系統(tǒng)活動(dòng)，對(duì)情緒的變化較為敏感。當(dāng)個(gè)體處于情緒激動(dòng)狀態(tài)時(shí)，交感神經(jīng)系統(tǒng)興奮，汗腺分泌增加，導(dǎo)致皮膚表面的電阻降低，從而引起皮膚電反應(yīng)信號(hào)的變化。皮膚電反應(yīng)信號(hào)的變化較為明顯，易于檢測(cè)，并且其響應(yīng)速度較快，能夠及時(shí)反映情緒的瞬間變化。不過，皮膚電反應(yīng)信號(hào)容易受到環(huán)境溫度、濕度等因素的影響，例如，在高溫環(huán)境下，皮膚的汗腺分泌會(huì)增加，即使個(gè)體沒有情緒變化，皮膚電反應(yīng)信號(hào)也可能會(huì)升高，這會(huì)對(duì)情緒識(shí)別結(jié)果產(chǎn)生干擾。此外，皮膚電反應(yīng)信號(hào)的個(gè)體差異也較大，不同個(gè)體對(duì)相同情緒刺激的皮膚電反應(yīng)程度可能不同，需要在分析和識(shí)別過程中加以考慮。2.1.2多模態(tài)生理信號(hào)用于情緒識(shí)別的原理不同的生理信號(hào)與情緒之間存在著緊密的關(guān)聯(lián)，其背后有著復(fù)雜的生理機(jī)制。腦電信號(hào)直接反映了大腦神經(jīng)元的活動(dòng)，當(dāng)個(gè)體處于不同的情緒狀態(tài)時(shí)，大腦的不同區(qū)域會(huì)被激活，從而產(chǎn)生不同特征的腦電信號(hào)。在積極情緒狀態(tài)下，大腦的左前額葉區(qū)域通常會(huì)表現(xiàn)出較高的激活水平，對(duì)應(yīng)的腦電信號(hào)中α波的功率會(huì)降低；而在消極情緒狀態(tài)下，右前額葉區(qū)域的激活水平可能會(huì)升高。心電信號(hào)與情緒的關(guān)聯(lián)主要通過自主神經(jīng)系統(tǒng)實(shí)現(xiàn)。當(dāng)個(gè)體情緒發(fā)生變化時(shí)，自主神經(jīng)系統(tǒng)會(huì)調(diào)節(jié)心臟的活動(dòng)，導(dǎo)致心率、心率變異性等心電指標(biāo)發(fā)生改變。焦慮情緒會(huì)使交感神經(jīng)興奮，導(dǎo)致心率加快，心率變異性減?。欢潘汕榫w則會(huì)使副交感神經(jīng)興奮，心率降低，心率變異性增大。皮膚電反應(yīng)信號(hào)與情緒的聯(lián)系則是由于情緒變化會(huì)引起交感神經(jīng)系統(tǒng)的興奮，進(jìn)而促使汗腺分泌活動(dòng)增強(qiáng)，導(dǎo)致皮膚電導(dǎo)率發(fā)生變化。憤怒、恐懼等強(qiáng)烈情緒會(huì)使皮膚電導(dǎo)率顯著升高。多模態(tài)生理信號(hào)融合能夠增強(qiáng)情緒識(shí)別準(zhǔn)確性的原理在于不同模態(tài)生理信號(hào)之間的互補(bǔ)性。腦電信號(hào)雖然能夠直接反映大腦的活動(dòng)，但易受干擾且個(gè)體差異大；心電信號(hào)能反映心臟活動(dòng)與情緒的關(guān)系，但頻率范圍窄；皮膚電反應(yīng)信號(hào)對(duì)情緒變化敏感，但受環(huán)境因素影響較大。將這些多模態(tài)生理信號(hào)進(jìn)行融合，可以充分利用它們各自的優(yōu)勢(shì)，彌補(bǔ)單一模態(tài)信號(hào)的不足。腦電信號(hào)的高時(shí)間分辨率可以捕捉情緒變化的瞬間，心電信號(hào)和皮膚電反應(yīng)信號(hào)則可以從不同方面提供情緒狀態(tài)的補(bǔ)充信息，三者結(jié)合能夠更全面、準(zhǔn)確地反映個(gè)體的情緒狀態(tài)。通過融合多模態(tài)生理信號(hào)，可以增加情緒識(shí)別模型的輸入信息維度，使模型能夠?qū)W習(xí)到更豐富的情緒特征，從而提高情緒識(shí)別的準(zhǔn)確率和可靠性。2.2圖神經(jīng)網(wǎng)絡(luò)2.2.1圖神經(jīng)網(wǎng)絡(luò)基本概念與架構(gòu)圖神經(jīng)網(wǎng)絡(luò)是一類專門處理圖結(jié)構(gòu)數(shù)據(jù)的深度學(xué)習(xí)模型，它能夠?qū)D中的節(jié)點(diǎn)、邊和整個(gè)圖進(jìn)行特征學(xué)習(xí)和表示，捕捉圖中元素之間的復(fù)雜關(guān)系。在圖神經(jīng)網(wǎng)絡(luò)中，圖通常由節(jié)點(diǎn)和邊組成，節(jié)點(diǎn)用于表示數(shù)據(jù)的基本單元，邊則用于描述節(jié)點(diǎn)之間的關(guān)系。例如，在社交網(wǎng)絡(luò)中，用戶可以看作是節(jié)點(diǎn)，用戶之間的關(guān)注、好友關(guān)系則可以看作是邊；在知識(shí)圖譜中，實(shí)體是節(jié)點(diǎn)，實(shí)體之間的語義關(guān)系是邊。這種圖結(jié)構(gòu)能夠自然地表示現(xiàn)實(shí)世界中各種復(fù)雜的數(shù)據(jù)關(guān)系，為解決復(fù)雜問題提供了有力的工具。常見的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)包括圖卷積網(wǎng)絡(luò)（GraphConvolutionalNetwork，GCN）、圖注意力網(wǎng)絡(luò)（GraphAttentionNetwork，GAT）等。圖卷積網(wǎng)絡(luò)（GCN）的核心思想是將卷積操作從歐式空間拓展到圖結(jié)構(gòu)數(shù)據(jù)上，通過聚合節(jié)點(diǎn)自身及其鄰居節(jié)點(diǎn)的特征來更新節(jié)點(diǎn)的表示。假設(shè)圖G=(V,E)，其中V是節(jié)點(diǎn)集合，E是邊集合，每個(gè)節(jié)點(diǎn)i都有對(duì)應(yīng)的特征向量x_i，所有節(jié)點(diǎn)的特征組成特征矩陣X，節(jié)點(diǎn)之間的連接關(guān)系用鄰接矩陣A表示。在GCN中，節(jié)點(diǎn)的特征更新公式為：H^{(l+1)}=\sigma(\widetilde{D}^{-\frac{1}{2}}\widetilde{A}\widetilde{D}^{-\frac{1}{2}}H^{(l)}W^{(l)})其中，H^{(l)}是第l層的節(jié)點(diǎn)特征矩陣，H^{(0)}=X；W^{(l)}是第l層的權(quán)重矩陣；\widetilde{A}=A+I，I是單位矩陣，添加單位矩陣是為了讓節(jié)點(diǎn)在更新特征時(shí)考慮自身的特征；\widetilde{D}是\widetilde{A}的度矩陣，其對(duì)角元素\widetilde{D}_{ii}=\sum_j\widetilde{A}_{ij}，\widetilde{D}^{-\frac{1}{2}}\widetilde{A}\widetilde{D}^{-\frac{1}{2}}用于對(duì)鄰接矩陣進(jìn)行歸一化，使得節(jié)點(diǎn)在聚合鄰居節(jié)點(diǎn)特征時(shí)，能夠平衡不同度數(shù)節(jié)點(diǎn)的貢獻(xiàn)。\sigma是激活函數(shù)，如ReLU函數(shù)，用于增加模型的非線性表達(dá)能力。通過多層的卷積操作，GCN能夠不斷聚合鄰居節(jié)點(diǎn)的信息，學(xué)習(xí)到節(jié)點(diǎn)在圖結(jié)構(gòu)中的高階特征表示。圖注意力網(wǎng)絡(luò)（GAT）則引入了注意力機(jī)制，使模型能夠自適應(yīng)地學(xué)習(xí)節(jié)點(diǎn)之間的重要性權(quán)重。在GAT中，節(jié)點(diǎn)i對(duì)鄰居節(jié)點(diǎn)j的注意力系數(shù)e_{ij}計(jì)算如下：e_{ij}=\text{LeakyReLU}(\mathbf{a}^T[\text{concat}(W\vec{h}_i,W\vec{h}_j)])其中，\vec{h}_i和\vec{h}_j分別是節(jié)點(diǎn)i和節(jié)點(diǎn)j的特征向量，W是共享的權(quán)重矩陣，用于對(duì)節(jié)點(diǎn)特征進(jìn)行線性變換；\mathbf{a}是注意力機(jī)制的參數(shù)向量，\text{concat}表示拼接操作，LeakyReLU是一種修正線性單元，用于增加模型的非線性。通過softmax函數(shù)對(duì)注意力系數(shù)進(jìn)行歸一化，得到節(jié)點(diǎn)i對(duì)鄰居節(jié)點(diǎn)j的注意力權(quán)重\alpha_{ij}：\alpha_{ij}=\frac{\exp(e_{ij})}{\sum_{k\inN_i}\exp(e_{kj})}其中，N_i是節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)集合。最終，節(jié)點(diǎn)i的更新特征\vec{h}_i'為：\vec{h}_i'=\sigma(\sum_{j\inN_i}\alpha_{ij}W\vec{h}_j)GAT通過注意力機(jī)制，能夠讓模型自動(dòng)關(guān)注對(duì)當(dāng)前節(jié)點(diǎn)更重要的鄰居節(jié)點(diǎn)，從而更好地捕捉圖中的局部和全局信息，尤其適用于處理節(jié)點(diǎn)之間關(guān)系復(fù)雜且重要性不同的圖數(shù)據(jù)。為了進(jìn)一步增強(qiáng)模型的表達(dá)能力，GAT還引入了多頭注意力機(jī)制，即同時(shí)使用多個(gè)注意力機(jī)制并行計(jì)算，然后將結(jié)果進(jìn)行拼接或平均，這樣可以提取到更豐富的信息，防止過擬合。2.2.2圖神經(jīng)網(wǎng)絡(luò)在情緒識(shí)別中的優(yōu)勢(shì)在情緒識(shí)別任務(wù)中，將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于多模態(tài)生理信號(hào)分析具有顯著優(yōu)勢(shì)。圖神經(jīng)網(wǎng)絡(luò)能夠有效處理多模態(tài)生理信號(hào)之間的復(fù)雜關(guān)系。多模態(tài)生理信號(hào)包含腦電、心電、皮膚電反應(yīng)等，這些信號(hào)來自不同的生理系統(tǒng)，它們之間存在著復(fù)雜的相互作用和關(guān)聯(lián)。傳統(tǒng)的方法在處理多模態(tài)數(shù)據(jù)時(shí)，往往難以充分挖掘這些復(fù)雜關(guān)系，而圖神經(jīng)網(wǎng)絡(luò)可以將不同模態(tài)的生理信號(hào)特征作為圖中的節(jié)點(diǎn)，將特征之間的關(guān)聯(lián)作為邊，通過圖的結(jié)構(gòu)來建模多模態(tài)生理信號(hào)之間的關(guān)系。在一個(gè)包含腦電、心電和皮膚電反應(yīng)信號(hào)的情緒識(shí)別任務(wù)中，圖神經(jīng)網(wǎng)絡(luò)可以將腦電信號(hào)的不同頻段特征、心電信號(hào)的心率變異性特征以及皮膚電反應(yīng)信號(hào)的均值等作為節(jié)點(diǎn)，通過邊來表示這些特征之間的相互影響關(guān)系，從而能夠更全面地捕捉多模態(tài)生理信號(hào)之間的內(nèi)在聯(lián)系，實(shí)現(xiàn)更有效的信息融合。圖神經(jīng)網(wǎng)絡(luò)有助于挖掘多模態(tài)生理信號(hào)中的潛在信息。在情緒識(shí)別過程中，多模態(tài)生理信號(hào)中可能存在一些隱藏的、不易被傳統(tǒng)方法發(fā)現(xiàn)的信息，這些信息對(duì)于準(zhǔn)確識(shí)別情緒至關(guān)重要。圖神經(jīng)網(wǎng)絡(luò)通過其強(qiáng)大的學(xué)習(xí)能力，能夠自動(dòng)學(xué)習(xí)圖中節(jié)點(diǎn)和邊的特征，從而挖掘出這些潛在信息。在分析腦電信號(hào)時(shí)，圖神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到不同腦區(qū)之間的功能連接模式，這些模式可能與特定的情緒狀態(tài)相關(guān)，而傳統(tǒng)的分析方法可能無法有效地捕捉到這些信息。通過挖掘這些潛在信息，圖神經(jīng)網(wǎng)絡(luò)能夠提高情緒識(shí)別的準(zhǔn)確率和可靠性。圖神經(jīng)網(wǎng)絡(luò)還可以提升情緒識(shí)別模型的性能。由于圖神經(jīng)網(wǎng)絡(luò)能夠更好地處理多模態(tài)生理信號(hào)之間的關(guān)系和挖掘潛在信息，因此基于圖神經(jīng)網(wǎng)絡(luò)構(gòu)建的情緒識(shí)別模型往往具有更好的性能表現(xiàn)。在模型訓(xùn)練過程中，圖神經(jīng)網(wǎng)絡(luò)可以通過學(xué)習(xí)圖結(jié)構(gòu)中的信息，自動(dòng)調(diào)整節(jié)點(diǎn)和邊的權(quán)重，使得模型能夠更加關(guān)注與情緒識(shí)別相關(guān)的關(guān)鍵信息，從而提高模型的分類準(zhǔn)確率。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法如支持向量機(jī)（SVM）相比，基于圖神經(jīng)網(wǎng)絡(luò)的情緒識(shí)別模型在面對(duì)復(fù)雜的多模態(tài)生理信號(hào)數(shù)據(jù)時(shí)，能夠更好地適應(yīng)數(shù)據(jù)的特點(diǎn)，取得更高的識(shí)別準(zhǔn)確率。在實(shí)際應(yīng)用中，圖神經(jīng)網(wǎng)絡(luò)還可以通過對(duì)大規(guī)模多模態(tài)生理信號(hào)數(shù)據(jù)的學(xué)習(xí)，不斷優(yōu)化模型的參數(shù)和結(jié)構(gòu)，進(jìn)一步提升模型的性能和泛化能力。三、多模態(tài)生理信號(hào)采集與預(yù)處理3.1信號(hào)采集3.1.1采集設(shè)備與方法為獲取高質(zhì)量的多模態(tài)生理信號(hào)，本研究選用了專業(yè)且性能可靠的傳感器設(shè)備。在腦電信號(hào)采集方面，采用了[具體品牌及型號(hào)]的腦電采集設(shè)備，該設(shè)備配備了[X]個(gè)電極，能夠依據(jù)國(guó)際10-20系統(tǒng)標(biāo)準(zhǔn)，精準(zhǔn)地放置在頭皮的特定位置，全面捕捉大腦不同區(qū)域的電活動(dòng)信號(hào)。其具有高采樣率，可達(dá)[具體采樣率數(shù)值]Hz，能夠精確記錄腦電信號(hào)的細(xì)微變化；同時(shí)，具備出色的抗干擾能力，可有效減少環(huán)境噪聲對(duì)腦電信號(hào)的影響，確保采集到的腦電信號(hào)準(zhǔn)確、穩(wěn)定。例如，在實(shí)際采集過程中，即使周圍存在一定程度的電磁干擾，該設(shè)備所采集的腦電信號(hào)依然能夠保持清晰，為后續(xù)的分析提供可靠的數(shù)據(jù)基礎(chǔ)。心電信號(hào)的采集則借助[具體品牌及型號(hào)]的心電采集設(shè)備，通過將電極貼附在人體胸部的特定位置，如RA（右臂）、LA（左臂）、LL（左腿）等，形成標(biāo)準(zhǔn)的肢體導(dǎo)聯(lián)，準(zhǔn)確獲取心臟的電活動(dòng)信息。該設(shè)備的采樣率為[具體采樣率數(shù)值]Hz，能夠清晰地記錄心電信號(hào)的波形變化，其對(duì)心電信號(hào)的幅值分辨率可達(dá)[具體分辨率數(shù)值]μV，能夠精確捕捉到心電信號(hào)的微弱波動(dòng)，為分析心率變異性等特征提供了有力支持。對(duì)于皮膚電反應(yīng)信號(hào)，使用[具體品牌及型號(hào)]的皮膚電采集設(shè)備，將電極固定在人體手掌或手指等部位，這些部位的汗腺分布較為密集，能夠更敏感地反映皮膚電導(dǎo)率的變化。該設(shè)備能夠?qū)崟r(shí)監(jiān)測(cè)皮膚電反應(yīng)信號(hào)，采樣率達(dá)到[具體采樣率數(shù)值]Hz，可以及時(shí)捕捉到情緒變化引起的皮膚電信號(hào)瞬間波動(dòng)，為情緒識(shí)別提供關(guān)鍵的數(shù)據(jù)依據(jù)。在實(shí)驗(yàn)室環(huán)境下進(jìn)行信號(hào)采集時(shí)，嚴(yán)格控制實(shí)驗(yàn)條件。保持實(shí)驗(yàn)室內(nèi)溫度在[具體溫度范圍]℃，相對(duì)濕度在[具體濕度范圍]%，以確保被試者處于舒適的生理狀態(tài)，減少環(huán)境因素對(duì)生理信號(hào)的干擾。要求被試者在采集前保持充足的睡眠，避免飲用咖啡、茶等刺激性飲品，在采集過程中保持安靜、放松的狀態(tài)，避免身體大幅度運(yùn)動(dòng)和情緒劇烈波動(dòng)。實(shí)驗(yàn)人員會(huì)提前向被試者詳細(xì)介紹實(shí)驗(yàn)流程和注意事項(xiàng)，確保被試者能夠積極配合實(shí)驗(yàn)，從而獲取高質(zhì)量的多模態(tài)生理信號(hào)數(shù)據(jù)。在實(shí)際場(chǎng)景中進(jìn)行信號(hào)采集時(shí)，考慮到環(huán)境的復(fù)雜性和不確定性，對(duì)采集設(shè)備進(jìn)行了相應(yīng)的優(yōu)化和調(diào)整。選用了便攜式、可穿戴的生理信號(hào)采集設(shè)備，這些設(shè)備體積小巧、重量輕，便于被試者在日常生活中佩戴，能夠?qū)崿F(xiàn)長(zhǎng)時(shí)間、不間斷的數(shù)據(jù)采集。為了降低運(yùn)動(dòng)偽影對(duì)信號(hào)的影響，在設(shè)備中集成了加速度傳感器等輔助傳感器，通過對(duì)運(yùn)動(dòng)狀態(tài)的監(jiān)測(cè)和分析，采用相應(yīng)的算法對(duì)采集到的生理信號(hào)進(jìn)行運(yùn)動(dòng)偽影去除處理。在數(shù)據(jù)傳輸方面，利用藍(lán)牙、Wi-Fi等無線通信技術(shù)，將采集到的生理信號(hào)實(shí)時(shí)傳輸?shù)揭苿?dòng)設(shè)備或云端服務(wù)器進(jìn)行存儲(chǔ)和初步處理，確保數(shù)據(jù)的安全性和完整性。同時(shí)，為了保護(hù)被試者的隱私，對(duì)傳輸?shù)臄?shù)據(jù)進(jìn)行加密處理，采用了先進(jìn)的加密算法，防止數(shù)據(jù)在傳輸過程中被竊取或篡改。3.1.2數(shù)據(jù)集構(gòu)建構(gòu)建一個(gè)高質(zhì)量、多樣化的數(shù)據(jù)集是進(jìn)行情緒識(shí)別研究的基礎(chǔ)。本研究通過多種途徑廣泛收集多模態(tài)生理信號(hào)數(shù)據(jù)。招募了不同年齡、性別、職業(yè)和文化背景的志愿者作為被試者，以確保數(shù)據(jù)的多樣性和代表性。在實(shí)驗(yàn)過程中，采用多種刺激方式誘發(fā)被試者的不同情緒狀態(tài)，包括觀看情緒誘導(dǎo)視頻、聆聽情感音樂、進(jìn)行心理測(cè)試等。觀看恐怖視頻時(shí)，被試者通常會(huì)產(chǎn)生恐懼情緒；聆聽歡快的音樂則可能引發(fā)愉悅情緒。在數(shù)據(jù)整理階段，對(duì)采集到的原始多模態(tài)生理信號(hào)數(shù)據(jù)進(jìn)行了嚴(yán)格的質(zhì)量檢查和篩選。去除因設(shè)備故障、被試者配合度不佳等原因?qū)е碌漠惓?shù)據(jù)，確保數(shù)據(jù)的可靠性。對(duì)不同設(shè)備采集到的數(shù)據(jù)進(jìn)行時(shí)間同步處理，使多模態(tài)生理信號(hào)在時(shí)間維度上保持一致，便于后續(xù)的融合分析。采用時(shí)間戳匹配的方法，根據(jù)信號(hào)采集的起始時(shí)間和采樣率，對(duì)腦電、心電和皮膚電反應(yīng)信號(hào)進(jìn)行精確的時(shí)間對(duì)齊，確保不同模態(tài)信號(hào)在同一時(shí)間點(diǎn)上能夠準(zhǔn)確對(duì)應(yīng)。數(shù)據(jù)標(biāo)注是構(gòu)建數(shù)據(jù)集的關(guān)鍵環(huán)節(jié)，直接影響到情緒識(shí)別模型的訓(xùn)練效果。本研究采用了主觀標(biāo)注和客觀標(biāo)注相結(jié)合的方式。主觀標(biāo)注方面，邀請(qǐng)被試者在經(jīng)歷情緒刺激后，根據(jù)自身的感受，使用自評(píng)量表對(duì)自己的情緒狀態(tài)進(jìn)行標(biāo)注，如采用國(guó)際通用的Arousal-Valence情感維度模型，讓被試者在愉悅-不愉悅（Valence）和喚醒-平靜（Arousal）兩個(gè)維度上對(duì)自己的情緒進(jìn)行打分，分值范圍通常為1-9分?？陀^標(biāo)注則由專業(yè)的心理學(xué)研究人員組成評(píng)估小組，通過觀察被試者的面部表情、行為動(dòng)作等外在表現(xiàn)，結(jié)合心理學(xué)知識(shí)和經(jīng)驗(yàn)，對(duì)被試者的情緒狀態(tài)進(jìn)行客觀評(píng)估和標(biāo)注。為了提高標(biāo)注的準(zhǔn)確性和一致性，在標(biāo)注前對(duì)評(píng)估小組成員進(jìn)行了統(tǒng)一的培訓(xùn)，使其熟悉標(biāo)注標(biāo)準(zhǔn)和流程，并在標(biāo)注過程中進(jìn)行多次討論和校準(zhǔn)，確保不同評(píng)估人員對(duì)同一情緒狀態(tài)的標(biāo)注結(jié)果具有較高的一致性。最終，將標(biāo)注好的多模態(tài)生理信號(hào)數(shù)據(jù)整理成規(guī)范的數(shù)據(jù)集格式，包括數(shù)據(jù)文件和對(duì)應(yīng)的標(biāo)注文件，為后續(xù)的情緒識(shí)別模型訓(xùn)練和驗(yàn)證提供豐富、準(zhǔn)確的數(shù)據(jù)支持。3.2信號(hào)預(yù)處理3.2.1降噪與濾波采集到的多模態(tài)生理信號(hào)往往會(huì)受到各種噪聲和干擾信號(hào)的影響，如工頻干擾、基線漂移、肌電干擾等，這些噪聲會(huì)降低信號(hào)的質(zhì)量，影響后續(xù)的特征提取和情緒識(shí)別效果。因此，需要采用有效的降噪與濾波方法對(duì)原始信號(hào)進(jìn)行預(yù)處理，去除噪聲和干擾，提高信號(hào)的信噪比。對(duì)于工頻干擾，這是一種常見的周期性干擾，其頻率通常為50Hz或60Hz，主要來源于電力系統(tǒng)。可以采用陷波濾波器來去除工頻干擾。陷波濾波器是一種特殊的帶阻濾波器，它能夠在特定的頻率點(diǎn)上產(chǎn)生一個(gè)很深的衰減，從而有效地抑制該頻率的信號(hào)。在實(shí)際應(yīng)用中，常用的陷波濾波器有IIR（InfiniteImpulseResponse）陷波濾波器和FIR（FiniteImpulseResponse）陷波濾波器。IIR陷波濾波器的設(shè)計(jì)相對(duì)簡(jiǎn)單，但其相位特性較差，可能會(huì)導(dǎo)致信號(hào)失真；FIR陷波濾波器則具有線性相位特性，不會(huì)引起信號(hào)的相位失真，但設(shè)計(jì)相對(duì)復(fù)雜，計(jì)算量較大。在處理心電信號(hào)時(shí)，使用50Hz的IIR陷波濾波器可以有效去除電力系統(tǒng)帶來的工頻干擾，使心電信號(hào)的波形更加清晰，便于后續(xù)分析心率變異性等特征?；€漂移是指信號(hào)的直流分量發(fā)生緩慢變化，導(dǎo)致信號(hào)的基線不穩(wěn)定。這可能是由于電極與皮膚接觸不良、人體的緩慢運(yùn)動(dòng)等原因引起的?？梢圆捎酶咄V波器來消除基線漂移。高通濾波器能夠允許高于某個(gè)截止頻率的信號(hào)通過，而抑制低于該截止頻率的信號(hào)。常用的高通濾波器有巴特沃斯高通濾波器、切比雪夫高通濾波器等。巴特沃斯高通濾波器具有平坦的通帶和單調(diào)下降的阻帶特性，在去除基線漂移的同時(shí)，能夠較好地保留信號(hào)的高頻成分；切比雪夫高通濾波器則在阻帶內(nèi)具有等波紋特性，能夠在相同的階數(shù)下實(shí)現(xiàn)更陡峭的截止特性，但可能會(huì)在通帶內(nèi)引入一定的波紋。在處理腦電信號(hào)時(shí)，使用截止頻率為0.1Hz的巴特沃斯高通濾波器，可以有效去除因電極接觸問題或人體緩慢移動(dòng)產(chǎn)生的基線漂移，使腦電信號(hào)的特征更加明顯。肌電干擾是由肌肉活動(dòng)產(chǎn)生的電信號(hào)干擾，其頻率范圍較寬，通常在幾赫茲到幾百赫茲之間。對(duì)于肌電干擾，可以采用低通濾波器進(jìn)行處理。低通濾波器允許低于某個(gè)截止頻率的信號(hào)通過，而衰減高于該截止頻率的信號(hào)。根據(jù)肌電干擾的頻率特性，選擇合適的截止頻率，如30Hz或50Hz，能夠有效濾除大部分肌電干擾。常用的低通濾波器同樣包括巴特沃斯低通濾波器和切比雪夫低通濾波器等。在處理皮膚電反應(yīng)信號(hào)時(shí)，使用截止頻率為30Hz的巴特沃斯低通濾波器，可以有效去除因手部肌肉活動(dòng)產(chǎn)生的肌電干擾，使皮膚電反應(yīng)信號(hào)更準(zhǔn)確地反映交感神經(jīng)系統(tǒng)的活動(dòng)。除了上述傳統(tǒng)的濾波方法，小波變換也是一種常用的信號(hào)降噪與特征提取方法。小波變換能夠?qū)⑿盘?hào)分解成不同頻率的子信號(hào)，通過對(duì)這些子信號(hào)的分析和處理，可以有效地去除噪聲，提取信號(hào)的特征。在處理腦電信號(hào)時(shí)，利用小波變換將腦電信號(hào)分解為多個(gè)尺度的小波系數(shù)，通過對(duì)高頻小波系數(shù)進(jìn)行閾值處理，可以去除噪聲干擾，保留腦電信號(hào)的有用信息。與傳統(tǒng)濾波方法相比，小波變換具有時(shí)頻局部化特性，能夠更好地捕捉信號(hào)的瞬態(tài)變化，在處理非平穩(wěn)信號(hào)時(shí)具有明顯優(yōu)勢(shì)。3.2.2特征提取與選擇特征提取是從原始多模態(tài)生理信號(hào)中提取能夠反映情緒狀態(tài)的特征參數(shù)的過程，這些特征是后續(xù)情緒識(shí)別模型的輸入，其質(zhì)量直接影響模型的性能。常見的特征提取方法有時(shí)域特征提取、頻域特征提取和時(shí)頻域特征提取。時(shí)域特征是指在時(shí)間域上直接對(duì)信號(hào)進(jìn)行分析得到的特征。對(duì)于心電信號(hào)，心率變異性（HRV）是一個(gè)重要的時(shí)域特征，它反映了連續(xù)心跳之間的時(shí)間間隔變化，包含了豐富的自主神經(jīng)系統(tǒng)活動(dòng)信息，與情緒狀態(tài)密切相關(guān)。HRV的常用指標(biāo)包括RR間期的標(biāo)準(zhǔn)差（SDNN）、相鄰RR間期差值的均方根（RMSSD）等。SDNN主要反映交感神經(jīng)和副交感神經(jīng)的總體張力，RMSSD則主要反映副交感神經(jīng)的活性。在興奮情緒下，交感神經(jīng)興奮，SDNN和RMSSD可能會(huì)發(fā)生相應(yīng)的變化。對(duì)于皮膚電反應(yīng)信號(hào)，可以提取其均值、標(biāo)準(zhǔn)差、峰值等時(shí)域特征。均值反映了皮膚電反應(yīng)信號(hào)的總體水平，標(biāo)準(zhǔn)差則體現(xiàn)了信號(hào)的波動(dòng)程度，峰值能夠反映情緒變化的強(qiáng)度。在恐懼情緒下，皮膚電反應(yīng)信號(hào)的均值和標(biāo)準(zhǔn)差通常會(huì)升高，峰值也會(huì)增大。頻域特征是將信號(hào)從時(shí)域轉(zhuǎn)換到頻域后提取的特征。快速傅里葉變換（FFT）是一種常用的將時(shí)域信號(hào)轉(zhuǎn)換為頻域信號(hào)的方法。對(duì)于腦電信號(hào)，通過FFT可以得到不同頻率成分的功率譜密度，不同頻率的腦電信號(hào)與不同的情緒狀態(tài)相關(guān)。δ波（0.5-4Hz）在嬰兒期或成年人極度疲勞、昏睡、麻醉狀態(tài)下較為明顯；θ波（4-8Hz）在成年人意愿受挫、抑郁或精神病患者中顯著，也是少年腦電圖的主要成分；α波（8-13Hz）是正常人腦電波的基本節(jié)律，人在清醒、安靜并閉眼時(shí)最為明顯，睜開眼睛或接受其他刺激時(shí)α波即刻消失；β波（13-30Hz）在精神緊張、情緒激動(dòng)或亢奮時(shí)出現(xiàn)。通過分析不同頻率腦電信號(hào)的功率譜密度變化，可以提取與情緒相關(guān)的頻域特征。此外，功率譜估計(jì)也是一種常用的頻域分析方法，如Welch法、最大熵法等，這些方法可以更準(zhǔn)確地估計(jì)信號(hào)的功率譜，從而提取更有效的頻域特征。時(shí)頻域特征則是結(jié)合了時(shí)域和頻域信息的特征，能夠更好地反映信號(hào)的時(shí)變特性。小波變換是一種常用的時(shí)頻域分析方法，它可以將信號(hào)分解成不同尺度和頻率的小波系數(shù)，通過對(duì)這些小波系數(shù)的分析，可以提取信號(hào)在不同時(shí)間和頻率上的特征。在處理腦電信號(hào)時(shí)，利用小波變換得到的小波系數(shù)能量分布可以作為時(shí)頻域特征，這些特征能夠捕捉到腦電信號(hào)在不同時(shí)間尺度上的頻率變化，對(duì)于情緒識(shí)別具有重要意義。短時(shí)傅里葉變換（STFT）也是一種時(shí)頻域分析方法，它通過在短時(shí)間窗口內(nèi)對(duì)信號(hào)進(jìn)行傅里葉變換，得到信號(hào)的時(shí)頻分布。但STFT的時(shí)間窗口長(zhǎng)度固定，對(duì)于時(shí)變特性較強(qiáng)的信號(hào)，可能無法準(zhǔn)確反映其頻率變化。為了克服這一缺點(diǎn)，還可以采用自適應(yīng)時(shí)頻分析方法，如經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）等，EMD能夠根據(jù)信號(hào)的自身特點(diǎn)將其分解為多個(gè)固有模態(tài)函數(shù)（IMF），每個(gè)IMF都具有不同的時(shí)間尺度和頻率特性，通過對(duì)這些IMF的分析，可以提取更準(zhǔn)確的時(shí)頻域特征。從原始生理信號(hào)中提取的特征數(shù)量往往較多，其中可能包含一些對(duì)情緒識(shí)別貢獻(xiàn)不大的冗余特征或噪聲特征，這些特征不僅會(huì)增加計(jì)算量，還可能降低模型的性能。因此，需要進(jìn)行特征選擇，挑選出對(duì)情緒識(shí)別最有效的特征。常見的特征選擇方法包括過濾法、包裝法和嵌入法。過濾法是基于特征的統(tǒng)計(jì)信息進(jìn)行選擇，不依賴于后續(xù)的分類模型。常用的過濾法指標(biāo)有信息增益、互信息、皮爾遜相關(guān)系數(shù)等。信息增益衡量了一個(gè)特征能夠?yàn)榉诸惾蝿?wù)帶來的信息量，信息增益越大，說明該特征對(duì)分類的貢獻(xiàn)越大。在多模態(tài)生理信號(hào)特征選擇中，計(jì)算每個(gè)特征與情緒標(biāo)簽之間的信息增益，選擇信息增益較大的特征作為有效特征?；バ畔t用于衡量?jī)蓚€(gè)變量之間的相關(guān)性，通過計(jì)算特征與情緒標(biāo)簽的互信息，可以選擇與情緒相關(guān)性強(qiáng)的特征。皮爾遜相關(guān)系數(shù)用于衡量?jī)蓚€(gè)變量之間的線性相關(guān)程度，通過計(jì)算特征與情緒標(biāo)簽的皮爾遜相關(guān)系數(shù)，去除與情緒相關(guān)性較弱的特征。包裝法是將特征選擇看作一個(gè)搜索問題，通過訓(xùn)練分類模型來評(píng)估不同特征子集的性能，選擇性能最優(yōu)的特征子集。常見的包裝法有遞歸特征消除（RFE）等。RFE通過不斷遞歸地刪除對(duì)模型性能貢獻(xiàn)最小的特征，直到達(dá)到預(yù)設(shè)的特征數(shù)量為止。在基于圖神經(jīng)網(wǎng)絡(luò)的情緒識(shí)別模型中，使用RFE方法，結(jié)合圖神經(jīng)網(wǎng)絡(luò)模型的分類準(zhǔn)確率作為評(píng)估指標(biāo)，逐步刪除對(duì)模型性能提升不明顯的特征，從而得到最優(yōu)的特征子集。嵌入法是在模型訓(xùn)練過程中自動(dòng)進(jìn)行特征選擇，將特征選擇與模型訓(xùn)練相結(jié)合。例如，Lasso回歸通過在損失函數(shù)中添加L1正則化項(xiàng)，使得一些不重要特征的系數(shù)變?yōu)?，從而實(shí)現(xiàn)特征選擇。在多模態(tài)生理信號(hào)情緒識(shí)別中，可以使用基于Lasso回歸的嵌入法，在訓(xùn)練情緒識(shí)別模型的同時(shí)，自動(dòng)選擇對(duì)模型性能有重要影響的特征。四、基于圖神經(jīng)網(wǎng)絡(luò)的情緒識(shí)別模型構(gòu)建4.1模型設(shè)計(jì)思路4.1.1結(jié)合多模態(tài)生理信號(hào)的圖結(jié)構(gòu)設(shè)計(jì)為充分利用圖神經(jīng)網(wǎng)絡(luò)處理多模態(tài)生理信號(hào)之間復(fù)雜關(guān)系的能力，需要將多模態(tài)生理信號(hào)構(gòu)建成合適的圖結(jié)構(gòu)。在這個(gè)圖結(jié)構(gòu)中，節(jié)點(diǎn)和邊的定義至關(guān)重要，它們直接影響模型對(duì)信號(hào)特征和關(guān)系的學(xué)習(xí)效果。對(duì)于節(jié)點(diǎn)的定義，考慮將不同模態(tài)生理信號(hào)的特征作為圖中的節(jié)點(diǎn)。腦電信號(hào)經(jīng)過特征提取后得到的不同頻段的功率譜特征、腦電信號(hào)的時(shí)頻域特征等都可以作為節(jié)點(diǎn)；心電信號(hào)的心率變異性特征、心電間期特征等也作為獨(dú)立的節(jié)點(diǎn)；皮膚電反應(yīng)信號(hào)的均值、標(biāo)準(zhǔn)差等特征同樣定義為節(jié)點(diǎn)。將腦電信號(hào)的α波功率特征作為一個(gè)節(jié)點(diǎn)，它能夠反映大腦在α波頻段的活動(dòng)強(qiáng)度，與情緒狀態(tài)密切相關(guān)；將心電信號(hào)的RR間期標(biāo)準(zhǔn)差（SDNN）作為一個(gè)節(jié)點(diǎn)，SDNN可以體現(xiàn)自主神經(jīng)系統(tǒng)對(duì)心臟活動(dòng)的調(diào)節(jié)情況，是情緒變化的重要指標(biāo)；把皮膚電反應(yīng)信號(hào)的均值作為一個(gè)節(jié)點(diǎn)，它能反映皮膚電活動(dòng)的總體水平，對(duì)情緒識(shí)別具有重要意義。通過將這些多模態(tài)生理信號(hào)的特征定義為節(jié)點(diǎn)，圖神經(jīng)網(wǎng)絡(luò)可以對(duì)它們進(jìn)行單獨(dú)的學(xué)習(xí)和處理，捕捉每個(gè)特征的獨(dú)特信息。邊的定義則用于描述節(jié)點(diǎn)之間的關(guān)系，這種關(guān)系可以基于多種因素來確定。一種常見的方式是基于生理信號(hào)之間的生理關(guān)聯(lián)性來定義邊。腦電信號(hào)與心電信號(hào)之間存在著生理聯(lián)系，大腦的活動(dòng)會(huì)影響心臟的功能，心臟的活動(dòng)也會(huì)反饋到大腦。在圖結(jié)構(gòu)中，可以在腦電信號(hào)特征節(jié)點(diǎn)和心電信號(hào)特征節(jié)點(diǎn)之間添加邊，以表示它們之間的這種生理關(guān)聯(lián)。具體來說，如果發(fā)現(xiàn)腦電信號(hào)的某個(gè)頻段功率變化與心電信號(hào)的心率變異性變化存在顯著的相關(guān)性，那么就在對(duì)應(yīng)的腦電特征節(jié)點(diǎn)和心電特征節(jié)點(diǎn)之間建立邊連接。邊的權(quán)重可以根據(jù)這種相關(guān)性的強(qiáng)度來設(shè)置，相關(guān)性越強(qiáng)，邊的權(quán)重越大，這樣圖神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中就能更加關(guān)注這些強(qiáng)相關(guān)的節(jié)點(diǎn)之間的信息傳遞。還可以基于統(tǒng)計(jì)相關(guān)性來定義邊。通過計(jì)算不同模態(tài)生理信號(hào)特征之間的皮爾遜相關(guān)系數(shù)、互信息等統(tǒng)計(jì)量，來確定節(jié)點(diǎn)之間是否存在邊以及邊的權(quán)重。如果兩個(gè)特征之間的皮爾遜相關(guān)系數(shù)較高，說明它們?cè)诮y(tǒng)計(jì)上具有較強(qiáng)的線性相關(guān)性，那么就在對(duì)應(yīng)的節(jié)點(diǎn)之間建立邊連接，并根據(jù)相關(guān)系數(shù)的大小設(shè)置邊的權(quán)重。在處理腦電信號(hào)的β波功率和皮膚電反應(yīng)信號(hào)的標(biāo)準(zhǔn)差時(shí)，計(jì)算得到它們的皮爾遜相關(guān)系數(shù)為0.6，表明兩者存在一定的正相關(guān)關(guān)系，此時(shí)就在這兩個(gè)特征對(duì)應(yīng)的節(jié)點(diǎn)之間建立邊，并且將邊的權(quán)重設(shè)置為0.6，以反映它們之間的相關(guān)性程度。這種基于統(tǒng)計(jì)相關(guān)性定義邊的方式，能夠從數(shù)據(jù)驅(qū)動(dòng)的角度揭示多模態(tài)生理信號(hào)特征之間的潛在關(guān)系，為圖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)提供更豐富的信息。此外，還可以考慮引入領(lǐng)域知識(shí)來定義邊。在情緒識(shí)別領(lǐng)域，已經(jīng)有一些研究表明某些生理信號(hào)特征與特定情緒狀態(tài)之間存在特定的聯(lián)系。在構(gòu)建圖結(jié)構(gòu)時(shí)，可以根據(jù)這些領(lǐng)域知識(shí)，在相關(guān)的節(jié)點(diǎn)之間建立邊。根據(jù)已有的研究，當(dāng)個(gè)體處于恐懼情緒時(shí)，腦電信號(hào)的θ波功率會(huì)增加，同時(shí)皮膚電反應(yīng)信號(hào)的幅值也會(huì)升高。在構(gòu)建圖結(jié)構(gòu)時(shí)，就可以在腦電信號(hào)的θ波功率特征節(jié)點(diǎn)和皮膚電反應(yīng)信號(hào)的幅值特征節(jié)點(diǎn)之間建立邊，并且根據(jù)領(lǐng)域知識(shí)對(duì)邊的權(quán)重進(jìn)行合理的初始化，以引導(dǎo)圖神經(jīng)網(wǎng)絡(luò)更好地學(xué)習(xí)這些與情緒相關(guān)的特征關(guān)系。4.1.2圖神經(jīng)網(wǎng)絡(luò)層的選擇與組合在構(gòu)建基于圖神經(jīng)網(wǎng)絡(luò)的情緒識(shí)別模型時(shí)，選擇合適的圖神經(jīng)網(wǎng)絡(luò)層并進(jìn)行合理的組合是至關(guān)重要的，這直接影響模型的性能和對(duì)多模態(tài)生理信號(hào)的處理能力。常見的圖神經(jīng)網(wǎng)絡(luò)層如GCN、GAT等各有其特點(diǎn)和優(yōu)勢(shì)，需要根據(jù)具體的研究需求和數(shù)據(jù)特點(diǎn)進(jìn)行選擇。圖卷積網(wǎng)絡(luò)（GCN）在處理圖結(jié)構(gòu)數(shù)據(jù)時(shí)具有獨(dú)特的優(yōu)勢(shì)。GCN通過對(duì)鄰接矩陣進(jìn)行歸一化處理，能夠有效地聚合節(jié)點(diǎn)自身及其鄰居節(jié)點(diǎn)的特征，從而學(xué)習(xí)到圖中節(jié)點(diǎn)的局部和全局特征表示。在多模態(tài)生理信號(hào)情緒識(shí)別中，GCN可以很好地捕捉不同模態(tài)生理信號(hào)特征之間的空間關(guān)系。在處理腦電信號(hào)時(shí)，GCN可以將不同電極位置對(duì)應(yīng)的腦電特征節(jié)點(diǎn)看作圖中的節(jié)點(diǎn)，通過邊連接這些節(jié)點(diǎn)來表示電極之間的空間位置關(guān)系。GCN能夠通過卷積操作，聚合相鄰電極節(jié)點(diǎn)的特征，從而學(xué)習(xí)到大腦不同區(qū)域之間的功能連接模式，這些模式對(duì)于情緒識(shí)別具有重要意義。GCN還可以對(duì)心電信號(hào)和皮膚電反應(yīng)信號(hào)的特征節(jié)點(diǎn)進(jìn)行類似的處理，通過聚合鄰居節(jié)點(diǎn)的信息，挖掘不同生理信號(hào)特征之間的內(nèi)在聯(lián)系。圖注意力網(wǎng)絡(luò)（GAT）則引入了注意力機(jī)制，這使得模型能夠自適應(yīng)地學(xué)習(xí)節(jié)點(diǎn)之間的重要性權(quán)重。在多模態(tài)生理信號(hào)中，不同模態(tài)的特征以及同一模態(tài)內(nèi)不同特征對(duì)于情緒識(shí)別的重要性可能不同，GAT能夠很好地處理這種情況。在處理腦電、心電和皮膚電反應(yīng)信號(hào)時(shí)，GAT可以通過注意力機(jī)制，自動(dòng)學(xué)習(xí)每個(gè)模態(tài)特征節(jié)點(diǎn)以及每個(gè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)對(duì)于當(dāng)前節(jié)點(diǎn)的重要性權(quán)重。對(duì)于腦電信號(hào)中與情緒密切相關(guān)的頻段特征節(jié)點(diǎn)，GAT可能會(huì)分配較高的注意力權(quán)重，使其在信息聚合過程中能夠更充分地吸收這些關(guān)鍵節(jié)點(diǎn)的信息；而對(duì)于一些與情緒關(guān)系較弱的特征節(jié)點(diǎn)，則分配較低的注意力權(quán)重。通過這種方式，GAT能夠更好地聚焦于對(duì)情緒識(shí)別有重要貢獻(xiàn)的特征，提高模型的識(shí)別準(zhǔn)確率。在實(shí)際模型構(gòu)建中，通常會(huì)將GCN和GAT進(jìn)行組合使用，以充分發(fā)揮它們的優(yōu)勢(shì)。可以先使用GCN層對(duì)多模態(tài)生理信號(hào)的圖結(jié)構(gòu)進(jìn)行初步的特征提取和聚合，讓模型學(xué)習(xí)到圖中節(jié)點(diǎn)的基本特征表示和空間關(guān)系。然后，再引入GAT層，在GCN學(xué)習(xí)的基礎(chǔ)上，進(jìn)一步挖掘節(jié)點(diǎn)之間的重要性權(quán)重，增強(qiáng)模型對(duì)關(guān)鍵信息的捕捉能力。這種組合方式可以使模型在處理多模態(tài)生理信號(hào)時(shí)，既能有效地學(xué)習(xí)到信號(hào)特征之間的空間關(guān)系，又能自適應(yīng)地關(guān)注對(duì)情緒識(shí)別最重要的特征，從而提升模型的性能。除了GCN和GAT，還可以結(jié)合其他圖神經(jīng)網(wǎng)絡(luò)層或深度學(xué)習(xí)層來進(jìn)一步優(yōu)化模型?？梢砸隚raphSAGE層，GraphSAGE通過采樣鄰居節(jié)點(diǎn)的方式，能夠在大規(guī)模圖數(shù)據(jù)上進(jìn)行高效的特征學(xué)習(xí)，適用于處理包含大量節(jié)點(diǎn)的多模態(tài)生理信號(hào)圖結(jié)構(gòu)。結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）或長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）層，由于多模態(tài)生理信號(hào)具有時(shí)序特性，RNN和LSTM能夠很好地處理序列數(shù)據(jù)，學(xué)習(xí)到信號(hào)在時(shí)間維度上的變化規(guī)律，與圖神經(jīng)網(wǎng)絡(luò)層相結(jié)合，可以進(jìn)一步提升模型對(duì)多模態(tài)生理信號(hào)的時(shí)序特征提取能力，從而提高情緒識(shí)別的準(zhǔn)確率。四、基于圖神經(jīng)網(wǎng)絡(luò)的情緒識(shí)別模型構(gòu)建4.2模型實(shí)現(xiàn)4.2.1模型搭建與參數(shù)設(shè)置本研究基于Python編程語言，使用PyTorch深度學(xué)習(xí)框架進(jìn)行模型搭建。PyTorch具有動(dòng)態(tài)計(jì)算圖、易于調(diào)試和高效的GPU支持等優(yōu)勢(shì)，能夠方便地實(shí)現(xiàn)各種圖神經(jīng)網(wǎng)絡(luò)模型，并在訓(xùn)練過程中充分利用GPU的并行計(jì)算能力，加速模型的訓(xùn)練。在模型搭建過程中，首先根據(jù)前文設(shè)計(jì)的圖結(jié)構(gòu)，將多模態(tài)生理信號(hào)的特征數(shù)據(jù)轉(zhuǎn)換為圖數(shù)據(jù)結(jié)構(gòu)。利用PyTorch的torch_geometric庫來處理圖數(shù)據(jù)，該庫提供了豐富的圖操作函數(shù)和圖神經(jīng)網(wǎng)絡(luò)層，方便快捷。將腦電、心電、皮膚電反應(yīng)等信號(hào)的特征按照定義好的節(jié)點(diǎn)和邊關(guān)系，構(gòu)建成torch_geometric.data.Data對(duì)象，其中包含節(jié)點(diǎn)特征矩陣x、邊索引矩陣edge_index和其他相關(guān)屬性。假設(shè)腦電信號(hào)經(jīng)過特征提取后得到的特征矩陣維度為[num_nodes1,feature_dim1]，心電信號(hào)特征矩陣維度為[num_nodes2,feature_dim2]，皮膚電反應(yīng)信號(hào)特征矩陣維度為[num_nodes3,feature_dim3]，將它們合并成一個(gè)總的節(jié)點(diǎn)特征矩陣x，維度為[num_nodes1+num_nodes2+num_nodes3,feature_dim1+feature_dim2+feature_dim3]。邊索引矩陣edge_index則根據(jù)節(jié)點(diǎn)之間的連接關(guān)系進(jìn)行構(gòu)建，確保準(zhǔn)確反映多模態(tài)生理信號(hào)特征之間的關(guān)聯(lián)。接著，構(gòu)建圖神經(jīng)網(wǎng)絡(luò)層。以GCN層和GAT層為例，在PyTorch中，GCN層可以通過torch_geometric.nn.GCNConv類來實(shí)現(xiàn)。定義一個(gè)包含兩層GCN的模塊：importtorchimporttorch.nnasnnfromtorch_geometric.nnimportGCNConvclassGCNModel(nn.Module):def__init__(self,in_channels,hidden_channels,out_channels):super(GCNModel,self).__init__()self.conv1=GCNConv(in_channels,hidden_channels)self.conv2=GCNConv(hidden_channels,out_channels)defforward(self,data):x,edge_index=data.x,data.edge_indexx=self.conv1(x,edge_index)x=torch.relu(x)x=self.conv2(x,edge_index)returnx其中，in_channels為輸入特征的維度，即合并后的多模態(tài)生理信號(hào)特征維度；hidden_channels為隱藏層的維度，可根據(jù)實(shí)驗(yàn)結(jié)果進(jìn)行調(diào)整，一般設(shè)置為128或256等；out_channels為輸出特征的維度，通常根據(jù)情緒類別數(shù)來確定。GAT層則可以通過torch_geometric.nn.GATConv類來實(shí)現(xiàn)。定義一個(gè)包含兩層GAT的模塊：importtorchimporttorch.nnasnnfromtorch_geometric.nnimportGATConvclassGATModel(nn.Module):def__init__(self,in_channels,hidden_channels,out_channels,heads=8):super(GATModel,self).__init__()self.conv1=GATConv(in_channels,hidden_channels,heads=heads)self.conv2=GATConv(hidden_channels*heads,out_channels,heads=1)defforward(self,data):x,edge_index=data.x,data.edge_indexx=self.conv1(x,edge_index)x=torch.relu(x)x=self.conv2(x,edge_index)returnx其中，heads參數(shù)表示多頭注意力的頭數(shù)，一般設(shè)置為8或16等，多頭注意力可以使模型學(xué)習(xí)到更豐富的信息。在模型組合時(shí)，先使用GCN層對(duì)多模態(tài)生理信號(hào)圖數(shù)據(jù)進(jìn)行初步的特征提取和聚合，然后將GCN層的輸出作為GAT層的輸入，進(jìn)一步挖掘節(jié)點(diǎn)之間的重要性權(quán)重。可以將這兩個(gè)模塊組合成一個(gè)完整的圖神經(jīng)網(wǎng)絡(luò)模型：classGCN_GAT_Model(nn.Module):def__init__(self,in_channels,hidden_channels,out_channels,heads=8):super(GCN_GAT_Model,self).__init__()self.gcn=GCNModel(in_channels,hidden_channels,hidden_channels)self.gat=GATModel(hidden_channels,hidden_channels,out_channels,heads=heads)defforward(self,data):x=self.gcn(data)data.x=xx=self.gat(data)returnx對(duì)于模型的參數(shù)初始化，采用了常見的初始化方法。對(duì)于權(quán)重矩陣，使用nn.init.xavier_uniform_方法進(jìn)行初始化，該方法能夠使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練初期更快地收斂。對(duì)于偏置向量，使用nn.init.zeros_方法將其初始化為零向量。例如，在定義GCN層時(shí)，對(duì)權(quán)重矩陣weight和偏置向量bias進(jìn)行初始化：definit_weights(m):ifisinstance(m,nn.Linear):nn.init.xavier_uniform_(m.weight)ifm.biasisnotNone:nn.init.zeros_(m.bias)model=GCNModel(in_channels,hidden_channels,out_channels)model.apply(init_weights)在訓(xùn)練模型之前，還需要設(shè)置一些超參數(shù)，如學(xué)習(xí)率、批量大小、訓(xùn)練輪數(shù)等。學(xué)習(xí)率設(shè)置為0.001，它決定了模型在訓(xùn)練過程中參數(shù)更新的步長(zhǎng)，過大的學(xué)習(xí)率可能導(dǎo)致模型無法收斂，過小的學(xué)習(xí)率則會(huì)使訓(xùn)練過程變得緩慢；批量大小設(shè)置為64，即在每次訓(xùn)練時(shí)，從數(shù)據(jù)集中選取64個(gè)樣本進(jìn)行參數(shù)更新，合適的批量大小可以平衡訓(xùn)練效率和內(nèi)存消耗；訓(xùn)練輪數(shù)設(shè)置為100，通過多次迭代訓(xùn)練，使模型逐漸收斂到較好的性能。這些超參數(shù)的設(shè)置可以根據(jù)實(shí)驗(yàn)結(jié)果進(jìn)行調(diào)整，以獲得最佳的模型性能。4.2.2訓(xùn)練與優(yōu)化策略在完成模型搭建和參數(shù)設(shè)置后，便進(jìn)入模型的訓(xùn)練階段。訓(xùn)練過程中，選擇合適的損失函數(shù)、優(yōu)化器以及采取有效的防止過擬合方法至關(guān)重要，這些因素直接影響模型的性能和泛化能力。損失函數(shù)是衡量模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間差異的指標(biāo)，它在模型訓(xùn)練中起著關(guān)鍵的指導(dǎo)作用。在多模態(tài)生理信號(hào)情緒識(shí)別任務(wù)中，由于這是一個(gè)分類問題，通常選用交叉熵?fù)p失函數(shù)（Cross-EntropyLoss）。交叉熵?fù)p失函數(shù)能夠很好地衡量?jī)蓚€(gè)概率分布之間的差異，對(duì)于分類任務(wù)，它可以計(jì)算模型預(yù)測(cè)的概率分布與真實(shí)標(biāo)簽的概率分布之間的差異，從而指導(dǎo)模型的參數(shù)更新。其數(shù)學(xué)表達(dá)式為：L=-\sum_{i=1}^{N}\sum_{j=1}^{C}y_{ij}\log(p_{ij})其中，N是樣本數(shù)量，C是類別數(shù)量，y_{ij}是樣本i屬于類別j的真實(shí)標(biāo)簽（如果是，則y_{ij}=1，否則y_{ij}=0），p_{ij}是模型預(yù)測(cè)樣本i屬于類別j的概率。在PyTorch中，可以使用nn.CrossEntropyLoss類來實(shí)現(xiàn)交叉熵?fù)p失函數(shù)，例如：criterion=nn.CrossEntropyLoss()優(yōu)化器的作用是根據(jù)損失函數(shù)的反饋，調(diào)整模型的參數(shù)，使損失函數(shù)逐漸減小，從而使模型的預(yù)測(cè)結(jié)果更接近真實(shí)標(biāo)簽。本研究選用Adam優(yōu)化器，Adam優(yōu)化器是一種自適應(yīng)學(xué)習(xí)率的優(yōu)化算法，它結(jié)合了Adagrad和Adadelta的優(yōu)點(diǎn)，能夠根據(jù)參數(shù)的更新歷史自動(dòng)調(diào)整學(xué)習(xí)率，具有收斂速度快、計(jì)算效率高的特點(diǎn)。其更新參數(shù)的公式如下：m_t=\beta_1m_{t-1}+(1-\beta_1)g_tv_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2\hat{m}_t=\frac{m_t}{1-\beta_1^t}\hat{v}_t=\frac{v_t}{1-\beta_2^t}\theta_t=\theta_{t-1}-\frac{\alpha}{\sqrt{\hat{v}_t}+\epsilon}\hat{m}_t其中，m_t和v_t分別是梯度的一階矩估計(jì)和二階矩估計(jì)，\beta_1和\beta_2是矩估計(jì)的指數(shù)衰減率，通常分別設(shè)置為0.9和0.999，g_t是當(dāng)前時(shí)刻的梯度，\hat{m}_t和\hat{v}_t是經(jīng)過偏差修正的一階矩估計(jì)和二階矩估計(jì)，\alpha是學(xué)習(xí)率，\epsilon是一個(gè)小常數(shù)，用于防止分母為零，通常設(shè)置為10^{-8}。在PyTorch中，使用Adam優(yōu)化器的代碼如下：optimizer=torch.optim.Adam(model.parameters(),lr=0.001)在訓(xùn)練過程中，為了防止模型過擬合，采取了多種方法。一種常用的方法是使用正則化技術(shù)，如L2正則化（也稱為權(quán)重衰減）。L2正則化通過在損失函數(shù)中添加一個(gè)懲罰項(xiàng)，來限制模型參數(shù)的大小，防止模型過度擬合訓(xùn)練數(shù)據(jù)。其懲罰項(xiàng)為：\lambda\sum_{w\inW}w^2其中，\lambda是正則化系數(shù)，W是模型的參數(shù)集合。在PyTorch中，Adam優(yōu)化器已經(jīng)內(nèi)置了權(quán)重衰減參數(shù)weight_decay，可以直接設(shè)置該參數(shù)來實(shí)現(xiàn)L2正則化，例如：optimizer=torch.optim.Adam(model.parameters(),lr=0.001,weight_decay=0.0001)這里將weight_decay設(shè)置為0.0001，表示對(duì)模型參數(shù)施加一定程度的L2正則化。另一種防止過擬合的方法是采用早停法（EarlyStopping）。早停法的原理是在訓(xùn)練過程中，監(jiān)控模型在驗(yàn)證集上的性能指標(biāo)（如準(zhǔn)確率、損失值等），當(dāng)驗(yàn)證集上的性能指標(biāo)不再提升（如連續(xù)多個(gè)epoch驗(yàn)證集準(zhǔn)確率不再上升或驗(yàn)證集損失值不再下降）時(shí)，停止訓(xùn)練，避免模型在訓(xùn)練集上過擬合。在實(shí)際操作中，可以使用一個(gè)變量來記錄驗(yàn)證集上的最佳性能指標(biāo)，以及對(duì)應(yīng)的訓(xùn)練輪數(shù)。每訓(xùn)練一個(gè)epoch，就在驗(yàn)證集上評(píng)估模型性能，并更新最佳性能指標(biāo)和對(duì)應(yīng)的輪數(shù)。如果連續(xù)多個(gè)epoch（如10個(gè)epoch）驗(yàn)證集性能沒有提升，則停止訓(xùn)練。例如：patience=10no_improvement=0best_val_acc=0forepochinrange(num_epochs):model.train()#訓(xùn)練模型的代碼model.eval()#在驗(yàn)證集上評(píng)估模型的代碼val_acc=calculate_accuracy(model,val_data)ifval_acc>best_val_acc:best_val_acc=val_accno_improvement=0#保存模型參數(shù)torch.save(model.state_dict(),'best_model.pth')else:no_improvement+=1ifno_improvement>=patience:print(f'Earlystoppingatepoch{epoch}')break此外，還可以通過數(shù)據(jù)增強(qiáng)的方法來增加訓(xùn)練數(shù)據(jù)的多樣性，從而提高模型的泛化能力。對(duì)于多模態(tài)生理信號(hào)數(shù)據(jù)，可以采用一些簡(jiǎn)單的數(shù)據(jù)增強(qiáng)策略，如時(shí)間序列的隨機(jī)平移、縮放等。在腦電信號(hào)處理中，可以對(duì)腦電信號(hào)的時(shí)間序列進(jìn)行隨機(jī)的平移，模擬不同的起始時(shí)間點(diǎn)，從而增加數(shù)據(jù)的多樣性；在心電信號(hào)處理中，可以對(duì)心電信號(hào)的幅值進(jìn)行隨機(jī)縮放，模擬不同的生理狀態(tài)下心電信號(hào)的變化。這些數(shù)據(jù)增強(qiáng)方法可以在訓(xùn)練數(shù)據(jù)加載時(shí)進(jìn)行實(shí)現(xiàn)，通過對(duì)原始數(shù)據(jù)進(jìn)行隨機(jī)變換，生成更多的訓(xùn)練樣本，使模型能夠?qū)W習(xí)到更豐富的特征，提高模型的泛化能力。五、實(shí)驗(yàn)與結(jié)果分析5.1實(shí)驗(yàn)設(shè)置5.1.1實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集劃分本研究在配備了NVIDIAGeForceRTX3090GPU的工作站上進(jìn)行實(shí)驗(yàn)，該GPU擁有強(qiáng)大的計(jì)算能力，能夠加速模型的訓(xùn)練和測(cè)試過程，顯著縮短實(shí)驗(yàn)時(shí)間。同時(shí)，工作站配備了IntelCorei9-12900KCPU，其高性能的計(jì)算核心能夠快速處理大量的數(shù)據(jù)和復(fù)雜的運(yùn)算任務(wù)，為實(shí)驗(yàn)提供了穩(wěn)定的計(jì)算支持。內(nèi)存方面，采用了64GB的DDR4高速內(nèi)存，確保在實(shí)驗(yàn)過程中數(shù)據(jù)的快速讀取和存儲(chǔ)，避免因內(nèi)存不足導(dǎo)致的實(shí)驗(yàn)中斷或效率低下。操作系統(tǒng)選用了Windows10專業(yè)版，其穩(wěn)定的系統(tǒng)性能和廣泛的軟件兼容性，為實(shí)驗(yàn)所需的各種工具和軟件提供了良好的運(yùn)行環(huán)境。在軟件環(huán)境上，基于Python3.8編程語言進(jìn)行代碼實(shí)現(xiàn)，Python豐富的庫和工具包能夠滿足實(shí)驗(yàn)中數(shù)據(jù)處理、模型構(gòu)建和分析的各種需求。使用PyTorch1.10深度學(xué)習(xí)框架，該框架具有動(dòng)態(tài)計(jì)算圖、易于調(diào)試和高效的GPU支持等優(yōu)勢(shì)，能夠方便地實(shí)現(xiàn)各種圖神經(jīng)網(wǎng)絡(luò)模型，并在訓(xùn)練過程中充分利用GPU的并行計(jì)算能力。同時(shí)，還使用了NumPy、Pandas等數(shù)據(jù)處理庫，以及Matplotlib、Seaborn等數(shù)據(jù)可視化庫，用于數(shù)據(jù)的預(yù)處理、分析和結(jié)果展示。為了充分評(píng)估模型的性能，對(duì)構(gòu)建的多模態(tài)生理信號(hào)數(shù)據(jù)集進(jìn)行了合理的劃分。采用分層抽樣的方法，將數(shù)據(jù)集按照70%、15%、15%的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。這種劃分方式能夠保證各個(gè)子集在情緒類別分布上與原始數(shù)據(jù)集相似，避免因數(shù)據(jù)分布不均衡而導(dǎo)致的模型性能偏差。在訓(xùn)練集中，包含了豐富多樣的多模態(tài)生理信號(hào)樣本，用于模型的參數(shù)學(xué)習(xí)和優(yōu)化，使模型能夠充分學(xué)習(xí)到不同情緒狀態(tài)下多模態(tài)生理信號(hào)的特征和模式。驗(yàn)證集則用于在模型訓(xùn)練過程中，監(jiān)控模型的性能表現(xiàn)，調(diào)整模型的超參數(shù)，防止模型過擬合。通過在驗(yàn)證集上的評(píng)估，選擇性能最佳的模型參數(shù)進(jìn)行保存。測(cè)試集則在模型訓(xùn)練完成后，用于評(píng)估模型的泛化能力和準(zhǔn)確性，確保模型在未見過的數(shù)據(jù)上也能有良好的表現(xiàn)。在劃分過程中，還對(duì)數(shù)據(jù)進(jìn)行了隨機(jī)打亂，進(jìn)一步增強(qiáng)數(shù)據(jù)的隨機(jī)性和獨(dú)立性，提高模型訓(xùn)練和評(píng)估的可靠性。5.1.2評(píng)價(jià)指標(biāo)選擇為全面、準(zhǔn)確地評(píng)估基于圖神經(jīng)網(wǎng)絡(luò)的多模態(tài)生理信號(hào)情緒識(shí)別模型的性能，選用了準(zhǔn)確率（Accuracy）、召回率（Recall）、F1值（F1-score）等多種評(píng)價(jià)指標(biāo)。準(zhǔn)確率是指分類器正確預(yù)測(cè)的樣本數(shù)占全部樣本數(shù)的比例，它反映了模型在整體上的預(yù)測(cè)準(zhǔn)確性。其計(jì)算公式為：Accuracy=\frac{TP+TN}{TP+TN+FP+FN}其中，TP（TruePositive）表示真正例，即模型正確預(yù)測(cè)為正類的樣本數(shù)；TN（TrueNegative）表示真負(fù)例，即模型正確預(yù)測(cè)為負(fù)類的樣本數(shù)；FP（FalsePositive）表示假正例，即模型錯(cuò)誤預(yù)測(cè)為正類的樣本數(shù)；FN（FalseNegative）表示假負(fù)例，即模型錯(cuò)誤預(yù)測(cè)為負(fù)類的樣本數(shù)。準(zhǔn)確率能夠直觀地展示模型在所有樣本上的正確預(yù)測(cè)能力，是評(píng)估模型性能的重要指標(biāo)之一。在情緒識(shí)別任務(wù)中，準(zhǔn)確率高意味著模型能夠準(zhǔn)確地判斷出大多數(shù)樣本的情緒類別。召回率是指分類器預(yù)測(cè)為正例的樣本中，預(yù)測(cè)正確的樣本數(shù)占所有實(shí)際為正例的樣本數(shù)的比例，它衡量了模型對(duì)正例樣本的覆蓋程度，反映了模型找出所有正樣本的能力。其計(jì)算公式為：Recall=\frac{TP}{TP+FN}在情緒識(shí)別中，召回率高表示模型能夠盡可能多地識(shí)別出實(shí)際處于某種情緒狀態(tài)的樣本，對(duì)于那些需要準(zhǔn)確識(shí)別特定情緒類別的應(yīng)用場(chǎng)景，如抑郁癥的早期檢測(cè)（需要盡可能多地發(fā)現(xiàn)潛在的抑郁癥患者），召回率是一個(gè)非常關(guān)鍵的指標(biāo)。F1值是準(zhǔn)確率和召回率的調(diào)和平均數(shù)，它綜合考慮了準(zhǔn)確率和召回率，能夠更全面地評(píng)價(jià)模型的性能。當(dāng)準(zhǔn)確率和召回率都較高時(shí)，F(xiàn)1值也會(huì)較高，因此F1值可以避免只關(guān)注準(zhǔn)確率或召回率而導(dǎo)致對(duì)模型性能的片面評(píng)價(jià)。其計(jì)算公式為：F1-score=\frac{2\timesPrecision\timesRecall}{Precision+Recall}其中，Precision（精確率）與準(zhǔn)確率類似，但精確率是指預(yù)測(cè)為正例的樣本中真正為正例的樣本比例，即Precision=\frac{TP}{TP+FP}。F1值在評(píng)估模型性能時(shí)具有重要意義，特別是在數(shù)據(jù)集類別不平衡的情況下，它能夠更準(zhǔn)確地反映模型的實(shí)際表現(xiàn)。選擇這些評(píng)價(jià)指標(biāo)的原因在于它們能夠從不同角度全面評(píng)估模型的性能。準(zhǔn)確率反映了模型的整體預(yù)測(cè)準(zhǔn)確性，但在類別不平衡的數(shù)據(jù)集中，可能會(huì)掩蓋模型對(duì)少數(shù)類別的識(shí)別能力。召回率關(guān)注模型對(duì)正例樣本的覆蓋程度，能夠衡量模型在發(fā)現(xiàn)特定類別樣本方面的能力。F1值則綜合了準(zhǔn)確率和召回率，避免了單一指標(biāo)的局限性，更全面地評(píng)價(jià)了模型在不同方面的性能表現(xiàn)。在實(shí)際應(yīng)用中，根據(jù)具體的需求和場(chǎng)景，可以重點(diǎn)關(guān)注不同的評(píng)價(jià)指標(biāo)。在對(duì)情緒識(shí)別準(zhǔn)確性要求較高的場(chǎng)景中，如智能客服系統(tǒng)，需要模型能夠準(zhǔn)確地判斷用戶的情緒，此時(shí)準(zhǔn)確率和F1值更為重要；而在對(duì)某種特定情緒的檢測(cè)要求較高的場(chǎng)景中，如心理疾病篩查，召回率則是關(guān)鍵指標(biāo)。通過綜合分析這些評(píng)價(jià)指標(biāo)，可以更準(zhǔn)確地評(píng)估模型在多模態(tài)生理信號(hào)情緒識(shí)別任務(wù)中的性能，為模型的改進(jìn)和優(yōu)化提供有力的依據(jù)。5.2實(shí)驗(yàn)結(jié)果5.2.1模型訓(xùn)練結(jié)果展示在模型訓(xùn)練過程中，通過記錄每個(gè)訓(xùn)練周期（epoch）的損失值（Loss）和準(zhǔn)確率（Accuracy），繪制出損失值和準(zhǔn)確率隨訓(xùn)練輪數(shù)的變化曲線，以此來直觀地分析模型的收斂情況。圖1展示了模型訓(xùn)練過程中的損失值變化曲線。從圖中可以清晰地看到，在訓(xùn)練初期，損失值較高，隨著訓(xùn)練輪數(shù)的增加，損失值迅速下降，這表明模型在不斷學(xué)習(xí)多模態(tài)生理信號(hào)特征與情緒類別之間的關(guān)系，參數(shù)不斷調(diào)整優(yōu)化，模型的預(yù)測(cè)能力逐漸提升。在經(jīng)過大約[X]個(gè)epoch的訓(xùn)練后，損失值下降趨勢(shì)逐漸變緩，趨于穩(wěn)定，說明模型已經(jīng)基本收斂，能夠較好地?cái)M合訓(xùn)練數(shù)據(jù)。在訓(xùn)練后期，損失值雖有小幅度波動(dòng)，但整體保持在較低水平，如在第[X+10]個(gè)epoch時(shí)，損失值穩(wěn)定在[具體損失值]左右，這表明模型在訓(xùn)練集上已經(jīng)達(dá)到了較好的性能，能夠準(zhǔn)確地對(duì)多模態(tài)生理信號(hào)進(jìn)行分類，預(yù)測(cè)出對(duì)應(yīng)的情緒類別。[此處插入損失值變化曲線圖片，圖片標(biāo)題為“模型訓(xùn)練損失值變化曲線”]圖2展示了模型訓(xùn)練過程中的準(zhǔn)確率變化曲線。從圖中可以看出，隨著訓(xùn)練的進(jìn)行，模型的準(zhǔn)確率不斷上升。在訓(xùn)練初期，準(zhǔn)確率較低，隨著模型對(duì)多模態(tài)生理信號(hào)特征的學(xué)習(xí)和理解逐漸深入，準(zhǔn)確率快速提高。在大約[X]個(gè)epoch后，準(zhǔn)確率達(dá)到了[具體準(zhǔn)確率]，之后雖有小幅度波動(dòng)，但總體呈上升趨勢(shì)，在訓(xùn)練結(jié)束時(shí)，準(zhǔn)確率穩(wěn)定在[最終準(zhǔn)確率]左右。這表明模型在訓(xùn)練過程中逐漸學(xué)習(xí)到了有效的特征表示，能夠準(zhǔn)確地識(shí)別不同的情緒狀態(tài)，并且隨著訓(xùn)練的持續(xù)，模型的泛化能力也在不斷增強(qiáng)，能夠更好地適應(yīng)不同的測(cè)試數(shù)據(jù)。[此處插入準(zhǔn)確率變化曲線圖片，圖片標(biāo)題為“模型訓(xùn)練準(zhǔn)確率變化曲線”]通過對(duì)損失值和準(zhǔn)確率變化曲線的分析，可以得出結(jié)論：本研究構(gòu)建的基于圖神經(jīng)網(wǎng)絡(luò)的多模態(tài)生理信號(hào)情緒識(shí)別模型在訓(xùn)練過程中能夠有效地收斂，隨著訓(xùn)練輪數(shù)的增加，模型的性能不斷提升，最終在訓(xùn)練集上達(dá)到了較好的效果，為后續(xù)在測(cè)試集上的性能評(píng)估奠定了良好的基礎(chǔ)。5.2.2不同模型對(duì)比分析為了驗(yàn)證本研究提出的基于圖神經(jīng)網(wǎng)絡(luò)的多模態(tài)生理信號(hào)情緒識(shí)別模型的優(yōu)越性，將其與其他先進(jìn)模型進(jìn)行性能對(duì)比。選擇了傳統(tǒng)的機(jī)器學(xué)習(xí)模型支持向量機(jī)（SVM）、決策樹（DecisionTree），以及其他基于深度學(xué)習(xí)的模型，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）等。這些模型在多模態(tài)生理信號(hào)情緒識(shí)別領(lǐng)域都有一定的應(yīng)用，具有一定的代表性。表1展示了不同模型在測(cè)試集上的性能對(duì)比結(jié)果，包括準(zhǔn)確率、召回率和F1值。從表中數(shù)據(jù)可以看出，本研究提出的基于圖神經(jīng)網(wǎng)絡(luò)的模型在準(zhǔn)確率、召回率和F1值三個(gè)指標(biāo)上均表現(xiàn)出色。準(zhǔn)確率達(dá)到了[具體準(zhǔn)確率數(shù)值]，召回率為[具體召回率數(shù)值]，F(xiàn)1值為[具體F1值數(shù)值]，均顯著高于傳統(tǒng)機(jī)器學(xué)習(xí)模型SVM和決策樹。SVM的準(zhǔn)確率僅為[具體準(zhǔn)確率數(shù)值]，召回率為[具體召回率數(shù)值]，F(xiàn)1值為[具體F1值數(shù)值]；決策樹的準(zhǔn)確率為[具體準(zhǔn)確率數(shù)值]，召回率為[具體召回率數(shù)值]，F(xiàn)1值為[具體F1值數(shù)值]。這是因?yàn)閭鹘y(tǒng)機(jī)器學(xué)習(xí)模型在處理多模態(tài)生理信號(hào)這種復(fù)雜數(shù)據(jù)時(shí)，難以有效地挖掘數(shù)據(jù)之間的內(nèi)在聯(lián)系和復(fù)雜關(guān)系，導(dǎo)致模型的性能受限。與基于深度學(xué)習(xí)的模型相比，本研究模型也具有明顯優(yōu)勢(shì)。CNN模型雖然在圖像等數(shù)據(jù)處理方面表現(xiàn)出色，但在處理多模態(tài)生理信號(hào)時(shí)，由于其對(duì)數(shù)據(jù)的空間結(jié)構(gòu)有一定的假設(shè)，難以充分捕捉多模態(tài)生理信號(hào)的復(fù)雜特征和關(guān)系，其準(zhǔn)確率為[具體準(zhǔn)確率數(shù)值]，召回率為[具體召回率數(shù)值]，F(xiàn)1值為[具體F1值數(shù)值]。RNN和LSTM模型雖然能夠處理時(shí)間序列數(shù)據(jù)，但在捕捉多模態(tài)生理信號(hào)之間的空間關(guān)系方面存在不足，導(dǎo)致性能不如本研究模型。RNN的準(zhǔn)確率為[具體準(zhǔn)確率數(shù)值]，召回率為[具體召回率數(shù)值]，F(xiàn)1值為[具體F1值數(shù)值]；LSTM的準(zhǔn)確率為[具體準(zhǔn)確率數(shù)值]，召回率為[具體召回率數(shù)值]，F(xiàn)1值為[具體F1值數(shù)值]。本研究模型的優(yōu)勢(shì)在于其能夠通過圖結(jié)構(gòu)有效地建模多模態(tài)生理信號(hào)之間的復(fù)雜關(guān)系，利用圖神經(jīng)網(wǎng)絡(luò)的信息傳播和聚合機(jī)制，實(shí)現(xiàn)多模態(tài)生理信號(hào)特征的深度融合，從而提高情緒識(shí)別的準(zhǔn)確率和召回率。圖神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制能夠讓模型自動(dòng)學(xué)習(xí)不同模態(tài)特征和不同節(jié)點(diǎn)之間的重要性權(quán)重，增強(qiáng)對(duì)關(guān)鍵信息的捕捉能力，進(jìn)一步提升了模型的性能。[此處插入對(duì)比結(jié)果表格，表格標(biāo)題為“不同模型性能對(duì)比”，表格內(nèi)容包括模型名稱、準(zhǔn)確率、召回率、F1值]盡管本研究模型在性能上表現(xiàn)優(yōu)異，但也存在一些不足之處。模型的訓(xùn)練時(shí)間相對(duì)較長(zhǎng)，這是由于圖神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度較高，在處理大規(guī)模圖數(shù)據(jù)時(shí)需要消耗較多的計(jì)算資源和時(shí)間。在實(shí)際應(yīng)用中，對(duì)于一些對(duì)實(shí)時(shí)性要求較高的場(chǎng)景，可能需要進(jìn)一步優(yōu)化模型的結(jié)構(gòu)和算法，以提高模型的運(yùn)行效率。模型對(duì)數(shù)據(jù)的依賴性較強(qiáng)，需要大量高質(zhì)量的多模態(tài)生理信號(hào)數(shù)據(jù)進(jìn)行訓(xùn)練，才能達(dá)到較好的性能。如果數(shù)據(jù)的質(zhì)量不高或數(shù)量不足，可能會(huì)影響模型的性能。未來的研究可以考慮采用數(shù)據(jù)增強(qiáng)技術(shù)、遷移學(xué)習(xí)等方法，來減少模型對(duì)大規(guī)模數(shù)據(jù)的依賴，提高模型的泛化能力和穩(wěn)定性。5.3結(jié)果討論5.3.1影響模型性能的因素分析多模態(tài)生理信號(hào)融合方式對(duì)模型性能有著顯著影響。本研究嘗試了多種融合策略，包括早期融合、晚期融合和混合融合。早期融合是在特征提取階段就將多模態(tài)生理信號(hào)的特征進(jìn)行合并，然后一起輸入到圖神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練。這種融合方式能夠充分利用多模態(tài)信號(hào)之間的互補(bǔ)信息，使模型在學(xué)習(xí)過程中能夠同時(shí)考慮不同模態(tài)信號(hào)的特征。在處理腦電、心電和皮膚電反應(yīng)信號(hào)時(shí)，早期融合可以讓模型在一開始就學(xué)習(xí)到這些信號(hào)之間的復(fù)雜關(guān)系，從而提高特征提取的效果。然而，早期融合也存在一些問題，由于不同模態(tài)信號(hào)的特征維度和數(shù)據(jù)分布可能存在較大差異，直接合并可能