(19)國(guó)家知識(shí)產(chǎn)權(quán)局(10)申請(qǐng)公布號(hào)CN120197139A(71)申請(qǐng)人深圳市火火兔智慧科技有限公司道西麗社區(qū)打石一路深圳國(guó)際創(chuàng)新谷(萬(wàn)科云城一期七棟)1棟B座2103研發(fā)用房(74)專利代理機(jī)構(gòu)深圳市精英創(chuàng)新知識(shí)產(chǎn)權(quán)代理有限公司44740(54)發(fā)明名稱通過(guò)多模態(tài)感知模塊采集用戶的多模態(tài)感知信息通過(guò)多模態(tài)感知模塊采集用戶的多模態(tài)感知信息基于所述多模態(tài)感知信息，通過(guò)智能角色切換決策機(jī)制確定候選角色當(dāng)所述候選角色的數(shù)量為一個(gè)時(shí)，將所述候選角色設(shè)置為目標(biāo)角色當(dāng)所述候選角色的數(shù)量為多個(gè)時(shí)，通過(guò)多角色沖突消解機(jī)制從所述候選角色中選取一個(gè)作為目標(biāo)角色，或者將所述候選角色合成為目標(biāo)角色基于預(yù)設(shè)的角色模型庫(kù)將智能體的當(dāng)前角色切換為目標(biāo)角色本發(fā)明公開(kāi)了基于多模態(tài)感知的智能體角多模態(tài)感知模塊采集用戶的多模態(tài)感知信息；基于所述多模態(tài)感知信息，通過(guò)智能角色切換決策機(jī)制確定候選角色；當(dāng)所述候選角色的數(shù)量為一個(gè)時(shí)，將所述候選角色設(shè)置為目標(biāo)角色；當(dāng)所述候選角色的數(shù)量為多個(gè)時(shí)，通過(guò)多角色沖突消解機(jī)制從所述候選角色中選取一個(gè)作為目標(biāo)角色，或者將所述候選角色合成為目標(biāo)角色；基于預(yù)設(shè)的角色模型庫(kù)將智能體的當(dāng)前角色切換為目標(biāo)21.一種基于多模態(tài)感知的智能體角色切換方法，其特征在于，包括：通過(guò)多模態(tài)感知模塊采集用戶的多模態(tài)感知信息；基于所述多模態(tài)感知信息，通過(guò)智能角色切換決策機(jī)制確定候選角色；當(dāng)所述候選角色的數(shù)量為一個(gè)時(shí)，將所述候選角色設(shè)置為目標(biāo)角色；當(dāng)所述候選角色的數(shù)量為多個(gè)時(shí)，通過(guò)多角色沖突消解機(jī)制從所述候選角色中選取一個(gè)作為目標(biāo)角色，或者將所述候選角色合成為目標(biāo)角色；基于預(yù)設(shè)的角色模型庫(kù)將智能體的當(dāng)前角色切換為目標(biāo)角色。2.根據(jù)權(quán)利要求1所述的基于多模態(tài)感知的智能體角色切換方法，其特征在于，所述多模態(tài)感知信息包括語(yǔ)音信息、視覺(jué)信息和觸控信息；所述通過(guò)多模態(tài)感知模塊采集用戶的采用GFCC算法對(duì)所述語(yǔ)音信息提取特征，得到語(yǔ)音特征；基于時(shí)序注意力機(jī)制對(duì)所述視覺(jué)信息捕捉用戶的表情信息，得到視覺(jué)特征；通過(guò)自適應(yīng)干擾過(guò)濾算法對(duì)所述觸控信息進(jìn)行觸控意圖識(shí)別，得到觸控特征；對(duì)所述語(yǔ)音特征、視覺(jué)特征和觸控特征進(jìn)行多模態(tài)融合，得到所述多模態(tài)感知信息。3.根據(jù)權(quán)利要求1所述的基于多模態(tài)感知的智能體角色切換方法，其特征在于，所述對(duì)所述語(yǔ)音特征、視覺(jué)特征和觸控特征進(jìn)行多模態(tài)融合，得到所述多模態(tài)感知信息，包括：將所述語(yǔ)音特征、視覺(jué)特征和觸控特征分別進(jìn)行投影映射，得到對(duì)應(yīng)的語(yǔ)音特征向量、視覺(jué)特征向量和觸控特征向量；基于跨模態(tài)注意力機(jī)制對(duì)所述語(yǔ)音特征向量、視覺(jué)特征向量和觸控特征向量進(jìn)行融4.根據(jù)權(quán)利要求1所述的基于多模態(tài)感知的智能體角色切換方法，其特征在于，所述基于所述多模態(tài)感知信息，通過(guò)智能角色切換決策機(jī)制確定候選角色，包括：基于多頭自注意力機(jī)制對(duì)所述多模態(tài)感知信息進(jìn)行上下文理解，并結(jié)合對(duì)話狀態(tài)跟蹤器對(duì)所述多模態(tài)感知信息進(jìn)行意圖識(shí)別，得到意圖信息；其中，所述意圖信息包括明確請(qǐng)求、對(duì)話主題變化以及情感狀態(tài)轉(zhuǎn)變；采用多因素加權(quán)評(píng)分模型對(duì)所述意圖信息分配不同權(quán)重，并基于權(quán)重分配后的意圖信息確定相應(yīng)的候選角色。5.根據(jù)權(quán)利要求1所述的基于多模態(tài)感知的智能體角色切換方法，其特征在于，所述當(dāng)所述候選角色的數(shù)量為多個(gè)時(shí)，通過(guò)多角色沖突消解機(jī)制從所述候選角色中選取一個(gè)作為利用沖突檢測(cè)算法對(duì)多個(gè)候選角色進(jìn)行語(yǔ)義相似度分析和邏輯一致性分析，并根據(jù)語(yǔ)義相似度分析的結(jié)果和邏輯一致性分析的結(jié)果確定多個(gè)候選角色之間的冗余和矛盾，得到角色沖突檢測(cè)結(jié)果：按照預(yù)設(shè)的動(dòng)態(tài)權(quán)重分配策略對(duì)多個(gè)候選角色進(jìn)行權(quán)重分配，并以此構(gòu)建權(quán)重矩陣；其中，所述動(dòng)態(tài)權(quán)重分配策略包括：根據(jù)預(yù)設(shè)維度綜合計(jì)算各候選角色的響應(yīng)優(yōu)先級(jí)，并以此分配權(quán)重；按照下式，結(jié)合角色沖突檢測(cè)結(jié)果和權(quán)重矩陣確定目標(biāo)角色：3示單一角色選擇閾值，θs∈[0,1]表示合成角色選擇閾值，Synthesize表示角色合成函數(shù)，{R;|W(R)>θs}表示表示角色合成函數(shù)的輸入值。6.根據(jù)權(quán)利要求1所述的基于多模態(tài)感知的智能體角色切換方法，其特征在于，所述基于預(yù)設(shè)的角色模型庫(kù)將智能體的當(dāng)前角色切換為目標(biāo)角色，包括：按照下式，采用預(yù)告-過(guò)渡-確認(rèn)三階段馬爾可夫過(guò)程進(jìn)行角色切換：渡階段角色響應(yīng)向量，表示確認(rèn)階段角色響應(yīng)向量。7.根據(jù)權(quán)利要求1所述的基于多模態(tài)感知的智能體角色切換方法，其特征在于，還包獲取用戶特征向量，并根據(jù)所述用戶特征向量構(gòu)建用戶畫(huà)像；基于預(yù)設(shè)的角色風(fēng)格設(shè)置適應(yīng)函數(shù)，并通過(guò)所述適應(yīng)函數(shù)設(shè)置角色行為模式；結(jié)合所述用戶畫(huà)像和角色行為模式構(gòu)建角色模型，并利用人群畫(huà)像適應(yīng)機(jī)制對(duì)所述角色模型進(jìn)行自適應(yīng)調(diào)整，以此構(gòu)建包含多種角色模型的角色模型庫(kù)。8.一種基于多模態(tài)感知的智能體角色切換系統(tǒng)，其特征在于，包括：信息采集單元，用于通過(guò)多模態(tài)感知模塊采集用戶的多模態(tài)感知信息；角色確定單元，用于基于所述多模態(tài)感知信息，通過(guò)智能角色切換決策機(jī)制確定候選第一設(shè)置單元，用于當(dāng)所述候選角色的數(shù)量為一個(gè)時(shí)，將所第二設(shè)置單元，用于當(dāng)所述候選角色的數(shù)量為多個(gè)時(shí)，通過(guò)多角色沖突消解機(jī)制從所述候選角色中選取一個(gè)作為目標(biāo)角色，或者將所述候選角色合成為目標(biāo)角色；角色切換單元，用于基于預(yù)設(shè)的角色模型庫(kù)將智能體的當(dāng)前角色切換為目標(biāo)角色。9.一種智能終端，其特征在于，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的基于多模態(tài)感知的智能體角色切換方法。10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的基于多模態(tài)感知的智能體角色切換方法。4基于多模態(tài)感知的智能體角色切換方法、系統(tǒng)及相關(guān)組件技術(shù)領(lǐng)域[0001]本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別涉及基于多模態(tài)感知的智能體角色切換方背景技術(shù)[0002]隨著人工智能技術(shù)的發(fā)展，智能教育設(shè)備在兒童早期教育中的應(yīng)用日益廣泛。現(xiàn)有的兒童教育設(shè)備通常采用單一角色或多角色互動(dòng)模式，不過(guò)在實(shí)際應(yīng)用中，現(xiàn)有的兒童(1)角色切換操作繁瑣，現(xiàn)有設(shè)備通常需要用戶手動(dòng)切換角色，通常平均需要3-5步操作，這會(huì)嚴(yán)重影響兒童的學(xué)習(xí)體驗(yàn)和興趣維持。(2)缺乏上下文感知能力，現(xiàn)有設(shè)備無(wú)法根據(jù)對(duì)話上下文自動(dòng)切換合適的角色，導(dǎo)致交互體驗(yàn)割裂。(3)無(wú)法處理多角色并發(fā)場(chǎng)景，當(dāng)兒童希望與多個(gè)角色同時(shí)互動(dòng)時(shí)，現(xiàn)有設(shè)備無(wú)法有效處理角色響應(yīng)沖突，往往導(dǎo)致混亂的交互體驗(yàn)。(4)角色行為模式單一，現(xiàn)有設(shè)備中的角色通常采用預(yù)設(shè)的固定行為模式，缺乏個(gè)性化和適應(yīng)性，無(wú)法根據(jù)不同兒童的特點(diǎn)調(diào)整表現(xiàn)。[0003]因此，如何克服上述關(guān)于現(xiàn)有技術(shù)的缺陷，提高智能設(shè)備的角色互動(dòng)效果，是本領(lǐng)域技術(shù)人員需要解決的問(wèn)題。發(fā)明內(nèi)容[0004]本發(fā)明實(shí)施例提供了一種基于多模態(tài)感知的智能體角色切換方法、系統(tǒng)、智能終端及存儲(chǔ)介質(zhì)，旨在提高智能體的角色切換效果，增強(qiáng)智能體的使用體驗(yàn)。[0005]第一方面，本發(fā)明實(shí)施例提供了一種基于多模態(tài)感知的智能體角色切換方法，包通過(guò)多模態(tài)感知模塊采集用戶的多模態(tài)感知信息；基于所述多模態(tài)感知信息，通過(guò)智能角色切換決策機(jī)制確定候選角色；當(dāng)所述候選角色的數(shù)量為一個(gè)時(shí)，將所述候選角色設(shè)置為目標(biāo)角色；當(dāng)所述候選角色的數(shù)量為多個(gè)時(shí)，通過(guò)多角色沖突消解機(jī)制從所述候選角色中選取一個(gè)作為目標(biāo)角色，或者將所述候選角色合成為目標(biāo)角色；基于預(yù)設(shè)的角色模型庫(kù)將智能體的當(dāng)前角色切換為目標(biāo)角色。[0006]第二方面，本發(fā)明實(shí)施例提供了一種基于多模態(tài)感知的智能體角色切換系統(tǒng)，包信息采集單元，用于通過(guò)多模態(tài)感知模塊采集用戶的多模態(tài)感知信息；角色確定單元，用于基于所述多模態(tài)感知信息，通過(guò)智能角色切換決策機(jī)制確定候選角色；第一設(shè)置單元，用于當(dāng)所述候選角色的數(shù)量為一個(gè)時(shí)，將所述候選角色設(shè)置為目標(biāo)角色；第二設(shè)置單元，用于當(dāng)所述候選角色的數(shù)量為多個(gè)時(shí)，通過(guò)多角色沖突消解機(jī)制5從所述候選角色中選取一個(gè)作為目標(biāo)角色，或者將所述候選角色合成為目標(biāo)角色；角色切換單元，用于基于預(yù)設(shè)的角色模型庫(kù)將智能體的當(dāng)前角色切換為目標(biāo)角[0007]第三方面，本發(fā)明實(shí)施例提供了一種智能終端，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如第一方面所述的基于多模態(tài)感知的智能體角色切換方法。[0008]第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的基于多模態(tài)感知的智能體角色切換方法。[0009]本發(fā)明實(shí)施例提供了一種基于多模態(tài)感知的智能體角色切換方法、系統(tǒng)、智能終端及存儲(chǔ)介質(zhì)，本發(fā)明實(shí)施例通過(guò)多模態(tài)感知模塊收集用戶的多模態(tài)感知信息，然后利用智能角色切換決策機(jī)制確定候選角色。如果只有一個(gè)候選角色，則將該候選角色被設(shè)置為目標(biāo)角色；如果有多個(gè)候選角色，則使用多角色沖突消解機(jī)制來(lái)選擇一個(gè)作為目標(biāo)角色，或者將多個(gè)候選角色合成一個(gè)目標(biāo)角色，最后，根據(jù)預(yù)設(shè)的角色模型庫(kù)將智能體的角色切換到目標(biāo)角色。如此，不僅能夠克服在角色切換過(guò)程中用戶操作繁瑣、角色切換缺乏上下文感知等問(wèn)題，還能夠處理多角色并發(fā)場(chǎng)景，從而提高智能體的角色切換效果，增強(qiáng)智能體的使用體驗(yàn)。附圖說(shuō)明[0010]為了更清楚地說(shuō)明本發(fā)明實(shí)施例技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0011]圖1為本發(fā)明實(shí)施例提供的一種基于多模態(tài)感知的智能體角色切換方法的流程示意圖；圖2為本發(fā)明實(shí)施例提供的一種基于多模態(tài)感知的智能體角色切換系統(tǒng)的示意性框圖。具體實(shí)施方式[0012]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施[0014]還應(yīng)當(dāng)理解，在此本發(fā)明說(shuō)明書(shū)中所使用的術(shù)語(yǔ)僅僅是出于描述特定實(shí)施例的目的而并不意在限制本發(fā)明。如在本發(fā)明說(shuō)明書(shū)和所附權(quán)利要求書(shū)中所使用的那樣，除非上[0015]還應(yīng)當(dāng)進(jìn)一步理解，在本發(fā)明說(shuō)明書(shū)和所附權(quán)利要求書(shū)中使用的術(shù)語(yǔ)“和/或”是6指相關(guān)聯(lián)列出的項(xiàng)中的一個(gè)或多個(gè)的任何組合以及所有可能組合，并且包括這些組合。[0016]下面請(qǐng)參見(jiàn)圖1,本發(fā)明實(shí)施例提供的一種基于多模態(tài)感知的智能體角色切換方[0017]步驟S101、通過(guò)多模態(tài)感知模塊采集用戶的多模態(tài)感知信息；步驟S102、基于所述多模態(tài)感知信息，通過(guò)智能角色切換決策機(jī)制確定候選角色；步驟S103、當(dāng)所述候選角色的數(shù)量為一個(gè)時(shí)，將所述候選角色設(shè)置為目標(biāo)角色；步驟S104、當(dāng)所述候選角色的數(shù)量為多個(gè)時(shí)，通過(guò)多角色沖突消解機(jī)制從所述候選角色中選取一個(gè)作為目標(biāo)角色，或者將所述候選角色合成為目標(biāo)角色；步驟S105、基于預(yù)設(shè)的角色模型庫(kù)將智能體的當(dāng)前角色切換為目標(biāo)角色。[0018]本實(shí)施例中，首先通過(guò)多模態(tài)感知模塊收集用戶的多模態(tài)感知信息，然后利用智能角色切換決策機(jī)制確定候選角色。如果只有一個(gè)候選角色，則將該候選角色被設(shè)置為目標(biāo)角色；如果有多個(gè)候選角色，則使用多角色沖突消解機(jī)制來(lái)選擇一個(gè)作為目標(biāo)角色，或者將多個(gè)候選角色合成一個(gè)目標(biāo)角色，最后，根據(jù)預(yù)設(shè)的角色模型庫(kù)將智能體的角色切換到目標(biāo)角色。如此，不僅能夠克服在角色切換過(guò)程中用戶操作繁瑣、角色切換缺乏上下文感知等問(wèn)題，還能夠處理多角色并發(fā)場(chǎng)景，從而提高智能體的角色切換效果，增強(qiáng)智能體的使用[0019]特別的，本實(shí)施例提供的基于多模態(tài)感知的智能體角色切換方法尤其適用于兒童教育，例如將所述基于多模態(tài)感知的智能體角色切換方法應(yīng)用于智能體設(shè)備上，通過(guò)該智能體設(shè)備與兒童或者家長(zhǎng)等用戶交互，以使兒童在不同時(shí)間段內(nèi)體驗(yàn)不同的智能體角色，(1)家庭教育輔助設(shè)備或應(yīng)用。作為家庭教育的智能輔助工具，能夠根據(jù)兒童的情緒狀態(tài)和學(xué)習(xí)進(jìn)度自動(dòng)切換教師、朋友、故事講述者等角色，提供個(gè)性化學(xué)習(xí)內(nèi)容和情感陪(2)學(xué)校教育補(bǔ)充。作為學(xué)校教育的智能補(bǔ)充，能夠識(shí)別兒童在不同學(xué)科上的困惑點(diǎn)，自動(dòng)切換專家角色進(jìn)行針對(duì)性講解，同時(shí)在兒童注意力分散時(shí)轉(zhuǎn)換為激勵(lì)者角色，提高學(xué)習(xí)效率；(3)特殊教育支持。為有特殊教育需求(如自閉癥、注意力缺陷等)的兒童提供定制化支持，能夠根據(jù)兒童的實(shí)時(shí)反應(yīng)調(diào)整交互方式，在需要時(shí)切換為心理輔導(dǎo)、語(yǔ)言治療或行為引導(dǎo)等專業(yè)角色；(4)兒童娛樂(lè)平臺(tái)。作為兒童娛樂(lè)平臺(tái)的智能伙伴，能夠在游戲過(guò)程中根據(jù)兒童興趣和情緒無(wú)縫切換游戲伙伴、知識(shí)向?qū)Ш蛣?chuàng)意激發(fā)者等角色，平衡娛樂(lè)性與教育價(jià)值；(5)兒童醫(yī)療環(huán)境。在兒童醫(yī)療環(huán)境中，能夠根據(jù)治療階段和兒童情緒狀態(tài)，自動(dòng)切換為解說(shuō)者(解釋醫(yī)療程序)、安撫者(緩解焦慮)或分散注意力的游戲伙伴，顯著改善兒童醫(yī)療體驗(yàn)；(6)博物館和科技館。作為博物館和科技館的智能講解系統(tǒng)，能夠根據(jù)兒童的年齡、興趣點(diǎn)和提問(wèn)內(nèi)容，在專業(yè)講解員、故事講述者和探險(xiǎn)向?qū)У冉巧g智能切換，提供沉浸式的知識(shí)探索體驗(yàn)；(7)多子女家庭輔助。在有多個(gè)不同年齡段兒童的家庭中，能夠同時(shí)應(yīng)對(duì)不同兒童的需求，通過(guò)多角色并發(fā)和沖突消解技術(shù)，為每個(gè)兒童提供個(gè)性化的互動(dòng)體驗(yàn)，減輕家長(zhǎng)的7教育負(fù)擔(dān)；(8)跨文化教育環(huán)境。在跨文化教育環(huán)境中，能夠根據(jù)兒童的文化背景和語(yǔ)言習(xí)慣，切換為文化向?qū)Щ蛘Z(yǔ)言教師角色，幫助兒童更好地適應(yīng)新環(huán)境，促進(jìn)多元文化理解。[0020]在一實(shí)施例中，所述多模態(tài)感知信息包括語(yǔ)音信息、視覺(jué)信息和觸控信息；所述通過(guò)多模態(tài)感知模塊采集用戶的多模態(tài)感知信息，包括：基于時(shí)序注意力機(jī)制對(duì)所述視覺(jué)信息捕捉用戶的表情信息，得到視覺(jué)特征；通過(guò)自適應(yīng)干擾過(guò)濾算法對(duì)所述觸控信息進(jìn)行觸控意圖識(shí)別，得到觸控特征；對(duì)所述語(yǔ)音特征、視覺(jué)特征和觸控特征進(jìn)行多模態(tài)融合，得到所述多模態(tài)感知信[0021]本實(shí)施例中，從用戶的語(yǔ)音、表情以及對(duì)智能體的觸控操作這三個(gè)維度進(jìn)行多模語(yǔ)音特征，對(duì)于視覺(jué)信息，可以基于時(shí)序注意力機(jī)制捕捉表情信息，得到視覺(jué)特征，對(duì)于觸控信息，可以通過(guò)自適應(yīng)干擾過(guò)濾算法提取特征，得到觸控特征。然后將得到的語(yǔ)音特征、視覺(jué)特征和觸控特征融合為多模態(tài)感知信息。[0022]在實(shí)際應(yīng)用場(chǎng)景中，可以針對(duì)兒童用戶對(duì)多模態(tài)感知過(guò)程進(jìn)行優(yōu)化，例如在通過(guò)GFCC算法進(jìn)行特征提取時(shí)，可以將高頻截止點(diǎn)設(shè)置為7000Hz(非成人語(yǔ)音常用的4000Hz),這樣更適合捕捉兒童聲音的高頻特性，從而提高兒童語(yǔ)音識(shí)別準(zhǔn)確率，采用時(shí)序注意力機(jī)制也能夠捕捉兒童表情的快速變化，使情緒識(shí)別靈敏度得到提升，觸控意圖分析則考慮了兒童觸控行為的不穩(wěn)定性，通過(guò)自適應(yīng)閾值調(diào)整，提升觸控意圖識(shí)別準(zhǔn)確率。(1)聲學(xué)特性差異：兒童聲道長(zhǎng)度短(學(xué)齡前兒童約9-12cm,成人則為14-18cm),導(dǎo)致基頻(兒童約250-400Hz,成人約85-250Hz)和共振峰頻率明顯高于成人，使得兒童語(yǔ)音的頻譜特性與成人存在顯著差異；(2)發(fā)音不穩(wěn)定性：發(fā)音不標(biāo)準(zhǔn)、語(yǔ)法不完整、停頓頻繁等；(3)背景噪聲干擾：兒童教育場(chǎng)景通常伴隨玩具聲音、多人交談等復(fù)雜噪聲；(4)情感表[0024]對(duì)此，本實(shí)施例設(shè)計(jì)專門的語(yǔ)音增強(qiáng)預(yù)處理流程，以提高識(shí)別準(zhǔn)確率。該流程包括噪聲抑制(如通過(guò)語(yǔ)音活動(dòng)檢測(cè)VAD算法等方式)、語(yǔ)音增強(qiáng)、語(yǔ)速歸一化和特征提取四個(gè)主procedureChildVAD(x[n],fs),其中，輸入x[n]表示音頻信號(hào)，fs表示采樣率(Hz);參數(shù)設(shè)置包括幀長(zhǎng)20ms,比成人短，幀移10ms,兒童語(yǔ)音能量閾值調(diào)整因子achia為零率Zm,并進(jìn)一步進(jìn)行閾值計(jì)算，當(dāng)TE←αchi?d·自適應(yīng)能量閾值時(shí)，降低能量閾值以捕捉弱音節(jié)，當(dāng)TZ←βchild·自適應(yīng)過(guò)零率閾值時(shí)，調(diào)整過(guò)零率閾值以適應(yīng)高頻特性。隨后進(jìn)行語(yǔ)音段檢測(cè)，包括使用雙閾值決策和狀態(tài)機(jī)進(jìn)行語(yǔ)音段標(biāo)記，應(yīng)用最小持續(xù)時(shí)間約束(50ms)防止誤檢，應(yīng)用最大靜音間隔約束(300ms)防止過(guò)度分割。最后輸出語(yǔ)音段標(biāo)記序列。[0025]兒童表情識(shí)別面臨以下獨(dú)特挑戰(zhàn)：(1)面部特征差異：兒童面部特征比例與成人不同(眼睛相對(duì)更大，面部輪廓更圓),導(dǎo)致成人表情識(shí)別模型在兒童上準(zhǔn)確率下降15-20%;(2)表情變化快速：兒童情緒切換8頻率是成人的2-3倍，表情持續(xù)時(shí)間短，傳統(tǒng)采樣率難以捕捉；(3)表情夸張化：兒童表情通常比成人更夸張，情感表達(dá)更為直接，需要更寬泛的識(shí)別范兒童的表情表達(dá)方式存在顯著差異，需要適應(yīng)性強(qiáng)的識(shí)別算法。[0026]針對(duì)兒童表情的特點(diǎn)，本實(shí)施例設(shè)計(jì)了表情識(shí)別預(yù)處理流程，以提高識(shí)別準(zhǔn)確率。該流程包括高幀率采集、面部特征增強(qiáng)、微表情捕捉和年齡自適應(yīng)處理四個(gè)主要步驟。具體的：針對(duì)兒童面部特征的特點(diǎn)，對(duì)傳統(tǒng)面部檢測(cè)算法進(jìn)行優(yōu)化，得到兒童面部檢測(cè)與特征增數(shù)achild—GetAgeAdaptiveParams(age_range);最小面部尺寸min_face_size←—0.1·frame_height;兒童面部寬高比范圍aspect_ratio_range—[0.8,1.2]。在面部檢測(cè)時(shí)，使用針對(duì)兒童優(yōu)化的MTCNN,即faces←MTCNN(I,αchild);接著[0027]為捕捉兒童快速變化的表情，本實(shí)施例設(shè)計(jì)相應(yīng)的微表情捕捉算法。其中，輸入包括連續(xù)面部圖像序列face_sequence;參數(shù)設(shè)置包括高幀率采樣，60fps,即sampling_rate←60,微表情檢測(cè)窗口(幀),即detection_window-5,變化檢測(cè)閾值threshold—0.15;隨后進(jìn)行關(guān)鍵點(diǎn)跟蹤和微表情檢測(cè)，如下所示：通過(guò)TrackFacialLandmarks函數(shù)對(duì)人臉序列進(jìn)行面部關(guān)鍵點(diǎn)跟蹤，得到關(guān)鍵點(diǎn)序(2)微表情檢測(cè)：初始化一個(gè)空的微表情集合；對(duì)關(guān)鍵點(diǎn)序列進(jìn)行遍歷：計(jì)算指定檢測(cè)窗口內(nèi)的運(yùn)動(dòng)幅度。如果運(yùn)動(dòng)幅度超過(guò)預(yù)設(shè)閾值，則從對(duì)應(yīng)的人臉序列中提取微表情，并將將提取的微表情添加到微表情集合中；(3)返回檢測(cè)到的所有微表情集合該算法主要通過(guò)分析面部關(guān)鍵點(diǎn)的運(yùn)動(dòng)變化來(lái)檢測(cè)微表情，當(dāng)檢測(cè)到超過(guò)閾值的運(yùn)動(dòng)時(shí)，認(rèn)為發(fā)生了微表情并進(jìn)行提取；為處理兒童表情的快速變化特性，本實(shí)施例設(shè)計(jì)了時(shí)序注意力機(jī)制，具體如下：(1)輸入表情特征序列[f1,f2,...,fT];(2)時(shí)序編碼。對(duì)表情特征序列應(yīng)用位置編碼，生成包含時(shí)序信息的編碼特征；(3)注意力計(jì)算。首先將編碼特征通過(guò)權(quán)重矩陣轉(zhuǎn)換為查詢(Q)、鍵(K)和值(V)矩后生成注意力特征：將注意力分?jǐn)?shù)與值矩陣相乘；(4)多尺度融合。對(duì)注意力特征進(jìn)行多尺度聚合處理；(5)情緒預(yù)測(cè)。使用情緒分類器對(duì)多尺度特征進(jìn)行處理，生成情緒概率分布；[0028]進(jìn)一步的，為提高模型對(duì)兒童表情的識(shí)別能力，本實(shí)施例采用了以下數(shù)據(jù)增強(qiáng)技強(qiáng)度變換：模擬兒童表情強(qiáng)度的變化范圍，生成不同強(qiáng)度的9插值生成中間過(guò)渡表情，增強(qiáng)對(duì)快速變化表情的識(shí)別能力；(4)多角度增強(qiáng)：考慮兒童活動(dòng)度高的特點(diǎn)，生成±30°范圍內(nèi)的多角度表情樣本。[0029]本實(shí)施例設(shè)計(jì)專門針對(duì)兒童表情特點(diǎn)的深度學(xué)習(xí)模型架構(gòu)，通過(guò)上述優(yōu)化，本實(shí)[0030]在實(shí)際應(yīng)用中，首先輸入層輸入數(shù)據(jù)，接著進(jìn)行兒童面部CNN,再依次經(jīng)過(guò)空間注意力模塊、雙向LSTM、時(shí)序注意力模塊、多特征融合層和情緒分類層得到兒童表情識(shí)別結(jié)[0031]兒童觸控行為分析面臨以下獨(dú)特挑戰(zhàn)：(1)操作不穩(wěn)定性：兒童手部精細(xì)動(dòng)作控制能力弱，觸控操作常表現(xiàn)為不穩(wěn)定、不精確；(2)意外觸控頻繁：兒童使用設(shè)備時(shí)意外觸控頻率是成人的3-5倍，需要更強(qiáng)的干擾過(guò)濾能力；(3)多點(diǎn)觸控混亂：兒童傾向于使用多個(gè)手指同時(shí)操作，造成觸控意圖識(shí)別困難；(4)觸控模式特殊：兒童特有的拍打、亂劃等非標(biāo)準(zhǔn)觸控模式需要專門識(shí)別。[0032]針對(duì)上述兒童觸控行為的特點(diǎn)，本實(shí)施例設(shè)計(jì)了專門的觸控分析處理流程，以提高觸控意圖識(shí)別準(zhǔn)確率。該流程包括觸控?cái)?shù)據(jù)預(yù)處理、意外觸控過(guò)濾、觸控模式識(shí)別和意圖針對(duì)兒童頻繁的意外觸控，本實(shí)施例設(shè)計(jì)了自適應(yīng)干擾過(guò)濾算法，實(shí)現(xiàn)程序包括：procedureAdaptiveNoiseFilter(touch_events,age_range)。輸入包括觸控事件序列touch_events和兒童年齡范圍age_range;參數(shù)設(shè)置包括最小有效觸控持續(xù)時(shí)間min_duration—GetAgeAdaptiveThreshold(age_range,“duration”)、最小有效移動(dòng)距離min_distance←—GetAgeAdaptiveThreshold(age_range,“distance”)和最大壓力變化max_pressure_var←—GetAgeAdaptiveThreshold(age_range,“pressure”)。在觸控事件分析時(shí)，通過(guò)觸控事件過(guò)濾算法篩選有效的觸控事件，具體包括：(1)初始化。首先創(chuàng)建一個(gè)空集合filtered_events用于存儲(chǔ)過(guò)濾后的觸控事件；(2)基礎(chǔ)過(guò)濾。遍歷所有觸控事件，獲取每個(gè)觸控事件的持續(xù)時(shí)間(duration)、每個(gè)觸控事件的觸控距離(distance)以及每個(gè)觸控事件的壓力變化(pressure_var),如果觸控持續(xù)時(shí)間小于最小閾值且觸控距離小于最小閾值，則跳過(guò)此事件(過(guò)濾掉短暫無(wú)意義的觸控);如果壓力變化大于最大閾值，則跳過(guò)此事件(過(guò)濾掉壓力不穩(wěn)定的觸控);如果通過(guò)了上述過(guò)濾條件，則將該事件添加到過(guò)濾后的事件集合中；(3)上下文相關(guān)過(guò)濾。對(duì)基礎(chǔ)過(guò)濾后的事件集合進(jìn)行上下文相關(guān)的過(guò)濾，調(diào)用(4)輸出結(jié)果。返回經(jīng)過(guò)上下文過(guò)濾后的觸控事件集合；觸控事件過(guò)濾算法的主要目的是通過(guò)多層過(guò)濾(基礎(chǔ)屬性過(guò)濾和上下文相關(guān)過(guò)濾)來(lái)提高觸控事件的質(zhì)量，去除無(wú)效或干擾性的觸控輸入。[0033]進(jìn)一步的，為識(shí)別兒童特有的觸控模式，本實(shí)施例設(shè)計(jì)了專門的模式識(shí)別算法，包括兒童觸控模式識(shí)別與意圖推斷算法，具體的：(1)輸入：touch_events-過(guò)濾后的觸控事件序列；(4)兒童特有模式識(shí)別：對(duì)每個(gè)模式進(jìn)行進(jìn)一步分析，如果是隨機(jī)亂劃，標(biāo)記為”(1)輸入：patterns-識(shí)別的觸控模式、ui_context-用戶界面上下文以及age_range-兒童年齡范圍；(2)意圖映射：根據(jù)兒童年齡范圍獲取適應(yīng)性意圖映射表；(3)意圖推斷：初始化空的意圖集合，再針對(duì)每個(gè)觸控模式，獲取該模式對(duì)應(yīng)的候選意圖，并對(duì)每個(gè)候選意圖計(jì)算意圖得分(基于模式、界面上下文),然后將得分存入意圖集(4)意圖融合：基于意圖集合和界面上下文融合最終意圖；(1)自適應(yīng)觸控區(qū)域：根據(jù)兒童年齡和操作精度動(dòng)態(tài)調(diào)整可點(diǎn)擊元素的有效區(qū)域，提供多通道的操作確認(rèn)，增強(qiáng)操作感知；(3)漸進(jìn)式引導(dǎo)：檢測(cè)到不視覺(jué)引導(dǎo)，幫助兒童完成精細(xì)操作；(4)意圖預(yù)測(cè)修正：基于上下文和能的觸控意圖，在低置信度情況下進(jìn)行智能。[0036]針對(duì)兒童精細(xì)動(dòng)作控制能力弱的特點(diǎn)，本實(shí)施例設(shè)計(jì)了兒童觸控交互適應(yīng)性算1、自適應(yīng)觸控區(qū)域算法可根據(jù)兒童年齡和觸控精度歷史，動(dòng)態(tài)調(diào)整UI元素的觸控(2)計(jì)算擴(kuò)展系數(shù)：基于年齡的基礎(chǔ)系數(shù)(年齡越小，系數(shù)越大)、基于觸控精度的調(diào)整系數(shù)(精度越低，系數(shù)越大)以及基于當(dāng)前活動(dòng)的上下文系數(shù)；(3)應(yīng)用擴(kuò)展：為每個(gè)UI元素應(yīng)用最終擴(kuò)展系數(shù)，并且還可以進(jìn)一步設(shè)置重要元素獲得額外20%的擴(kuò)展；(4)沖突解決：處理擴(kuò)展后可能產(chǎn)生的區(qū)域沖突；(3)多模式反饋：視覺(jué)反饋(低置信度時(shí)增強(qiáng)、聽(tīng)覺(jué)反饋(年齡自適應(yīng)音量)以及觸覺(jué)反饋(如果設(shè)備支持);[0038]3、漸進(jìn)式引導(dǎo)機(jī)制可幫助兒童完11(2困難度評(píng)估：評(píng)估操作難度和用戶技能，計(jì)算所需引導(dǎo)級(jí)別；(3)引導(dǎo)策略：最小引導(dǎo)-僅提供視覺(jué)提示、中等引導(dǎo)-提供動(dòng)畫(huà)示范和糾正反饋以及強(qiáng)化引導(dǎo)-提供分步驟引導(dǎo)；[0039]通過(guò)這些優(yōu)化，本實(shí)施例能夠準(zhǔn)確識(shí)別兒童的觸控意圖，即使在操作不穩(wěn)定、多點(diǎn)觸控混亂和意外觸控頻繁的情況下，也能提供流暢的交互體驗(yàn)，為角色切換決策提供可靠的觸控行為依據(jù)。[0040]在一實(shí)施例中，所述對(duì)所述語(yǔ)音特征、視覺(jué)特征和觸控特征進(jìn)行多模態(tài)融合，得到將所述語(yǔ)音特征、視覺(jué)特征和觸控特征分別進(jìn)行投影映射，得到對(duì)應(yīng)的語(yǔ)音特征基于跨模態(tài)注意力機(jī)制對(duì)所述語(yǔ)音特征向量、視覺(jué)特征向量和觸控特征向量進(jìn)行融合，得到所述多模態(tài)感知信息。[0041]本實(shí)施例中，采用基于注意力機(jī)制的多模態(tài)信號(hào)融合算法，實(shí)現(xiàn)了語(yǔ)音、視覺(jué)和觸控信號(hào)的有效整合，融合過(guò)程可表示為：針對(duì)兒童教育場(chǎng)景中語(yǔ)音、視覺(jué)和觸控三種模態(tài)信號(hào)的特點(diǎn)，本實(shí)施例設(shè)計(jì)了基于注意力機(jī)制的多模態(tài)信號(hào)融合算法，實(shí)現(xiàn)了不同模態(tài)信號(hào)的有效整合。該算法包括特征提取與預(yù)處理、模態(tài)特征投影、跨模態(tài)注意力計(jì)算和特征融合四個(gè)主要步驟。視覺(jué)特征V:包含面部表情特征、微表情序列和注意力狀態(tài)，表示為向量V∈Rdv;觸控特征T:包含觸控模式特征、意圖特征和穩(wěn)定性指標(biāo)，表示為向量T∈RdT;[0043]由于不同模態(tài)的特征具有不同的維度和分布特性，本實(shí)施例首先通過(guò)線性投影將它們映射到同一特征空間：其中，WA∈Rd×dA、Wv∈Rd×dv和Wr∈Rd×dr為統(tǒng)一特征空間的維度。[0044]跨模態(tài)注意力機(jī)制的核心是計(jì)算不同模態(tài)特征之間的相互關(guān)注權(quán)重。給定投影后輸入投影后的模態(tài)特征X、X和Xk,通過(guò)查詢矩陣、鍵值矩陣和值矩陣進(jìn)行查詢-鍵值計(jì)算，并加入模態(tài)可靠性偏置計(jì)算注意力分?jǐn)?shù)，隨后進(jìn)行注意力權(quán)重歸一化和加權(quán)特征[0045]需要說(shuō)明的是，模態(tài)可靠性偏置項(xiàng)是本算法的創(chuàng)新點(diǎn)之一，它根據(jù)各模態(tài)特征的質(zhì)量和可靠性動(dòng)態(tài)調(diào)整注意力分?jǐn)?shù)。偏置項(xiàng)計(jì)算如下：βv=Y·FaceVisibility(V)·βT=YT·TouchStabilitSNR(A)表示語(yǔ)音信噪比，范圍[0,1],EmotionConf(A)表示語(yǔ)音情感識(shí)別置信度，范圍[0,1],FaceVisibility(V)表示面部可見(jiàn)度，范圍[0,1],ExpressiF(A,V,T)=φ(MultiHeadCrossModalAttention(WAA,WVZ<MultiHeadCrossModalAttention(XAZ′←LayerNorm(Z+Concat(XA(1)針對(duì)兒童語(yǔ)音的特點(diǎn)，優(yōu)化了GFCC特征提取算法，提高了高頻段(4000-7000Hz)的捕捉能力，更好地適應(yīng)兒童聲音特征；(2)在表情識(shí)別方面，采用時(shí)序注意力機(jī)制和微表情捕捉技術(shù)，能夠準(zhǔn)確識(shí)別兒童快速變化的情緒表現(xiàn)；(3)針對(duì)兒童觸控行為不穩(wěn)定的特點(diǎn)，設(shè)計(jì)了自適應(yīng)閾值調(diào)整和意外觸控過(guò)濾算法，提高了觸控意圖識(shí)別的準(zhǔn)確率；(4)在多模態(tài)融合層面，提出了新型的跨模態(tài)注意力機(jī)制，通過(guò)特征投影、注意力計(jì)算和特征融合三個(gè)步驟，實(shí)現(xiàn)了不同模態(tài)信號(hào)的自適應(yīng)權(quán)重調(diào)整，有效解決了傳統(tǒng)融合方法中的信息不平衡問(wèn)題。[0050]在一實(shí)施例中，所述基于所述多模態(tài)感知信息，通過(guò)智能角色切換決策機(jī)制確定基于多頭自注意力機(jī)制對(duì)所述多模態(tài)感知信息進(jìn)行上下文理解，并結(jié)合對(duì)話狀態(tài)跟蹤器對(duì)所述多模態(tài)感知信息進(jìn)行意圖識(shí)別，得到意圖信息；其中，所述意圖信息包括明確采用多因素加權(quán)評(píng)分模型對(duì)所述意圖信息分配不同權(quán)重，并基于權(quán)重分配后的意圖信息確定相應(yīng)的候選角色。[0051]本實(shí)施例中，角色切換決策機(jī)制采用了基于注意力機(jī)制的上下文理解、對(duì)話狀態(tài)跟蹤器和平滑過(guò)渡策略，以實(shí)現(xiàn)智能、自然的角色切換。本實(shí)施例采用多因素融合決策機(jī)制，綜合考慮用戶明確請(qǐng)求、對(duì)話主題變化、情感狀態(tài)轉(zhuǎn)變和學(xué)習(xí)進(jìn)度變化等因素。在實(shí)際應(yīng)用中，用戶明確請(qǐng)求具有最高權(quán)重，對(duì)話主題變化次之，情感狀態(tài)轉(zhuǎn)變和學(xué)習(xí)進(jìn)度變化權(quán)[0052]具體來(lái)說(shuō)，針對(duì)兒童對(duì)話的特點(diǎn)，本實(shí)施例設(shè)計(jì)了基于多頭自注意力機(jī)制的上下文理解算法，能夠有效捕捉兒童對(duì)話中的長(zhǎng)距離依賴關(guān)系和主題跳躍特性。流程包括：輸入對(duì)話歷史序列至嵌入層，依次通過(guò)位置編碼、多頭自注意力、層歸一化、前饋網(wǎng)絡(luò)和上下文表示。在這里，本實(shí)施例采用多頭自注意力機(jī)制實(shí)現(xiàn)對(duì)對(duì)話歷史的深度理解。進(jìn)一步的，針對(duì)兒童對(duì)話的特點(diǎn)，本實(shí)施例對(duì)標(biāo)準(zhǔn)Transformer架構(gòu)進(jìn)行了以下優(yōu)化：(1)位置編碼增強(qiáng)：使用相對(duì)位置編碼代替絕對(duì)位置編碼，更好地處理兒童對(duì)話中的主題跳躍；(2)注意力窗口調(diào)整：設(shè)置較大的注意力窗口(最多考慮過(guò)去20輪對(duì)話),捕捉長(zhǎng)距離依賴；(3)情感標(biāo)記注入：在輸入嵌入中加入情感標(biāo)記，增強(qiáng)對(duì)兒童情緒變化的感[0053]通過(guò)這些優(yōu)化，本實(shí)施例能夠更準(zhǔn)確地理解兒童對(duì)話中的上下文信息，特別是在處理主題跳躍、不完整表達(dá)和情感變化方面表現(xiàn)出色，為角色切換決策提供了可靠的上下文依據(jù)。[0054]本實(shí)施例還實(shí)現(xiàn)了專門針對(duì)兒童對(duì)話特點(diǎn)的狀態(tài)跟蹤器。對(duì)話狀態(tài)跟蹤器通過(guò)持續(xù)監(jiān)控和更新對(duì)話狀態(tài)，為角色切換決策提供關(guān)鍵依據(jù)。該算法能夠捕捉兒童對(duì)話中的意圖變化、情感波動(dòng)和主題轉(zhuǎn)換，實(shí)現(xiàn)對(duì)對(duì)話流程的精確跟蹤。這種數(shù)學(xué)表達(dá)使系統(tǒng)能夠全面理解對(duì)話上下文，為智能角色切換提供可靠基礎(chǔ)。具體表示如下：(1)Intent∈{1,2,...,I},表示當(dāng)前識(shí)別的用戶意圖類別，包括：查詢意(5)ActiveRole∈{1,2,...,R,當(dāng)前用戶輸入u和前一時(shí)刻系統(tǒng)響應(yīng)rt-1,輸出為更新后的對(duì)話狀態(tài)SUpdate(S,u,r)={I(u),Slots(S,u),E(u),T(S,u),R(S,u其中P(i|u)表示給定用戶輸入u時(shí)意圖i的條件概率。[0057]Slots:Rd×Ru→Rs表示槽位填充函數(shù)，輸入為前一狀態(tài)S和當(dāng)前用戶Slots(S,u)=Update_Slo位。E(u)=EmotionClassifier(u.audio,u.v[0059]T:Rd×Ru其中TopicShift表示檢測(cè)主題變化，NewTopic表示創(chuàng)建新主題表示，UpdateTopic表示更新現(xiàn)有主題。前用戶輸入u和前一系統(tǒng)響應(yīng)r,輸出為更新后的活躍角色，實(shí)現(xiàn)方式為基于規(guī)則和概率的據(jù)語(yǔ)義相似度分析的結(jié)果和邏輯一致性分析的結(jié)果確定多個(gè)候選角色之間的冗余和矛盾，并以此分配權(quán)重；單一角色選擇閾值，θs∈[0,1]表示合成角色選擇閾值，Synthesize表示角色合成函數(shù)，{R;|W(R;)>θs}表示表示角色合成函數(shù)的輸入值。[0064]本實(shí)施例中，通過(guò)多角色沖突消解機(jī)制能夠解決多角色并發(fā)場(chǎng)景下的響應(yīng)沖突問(wèn)題。其中，采用沖突檢測(cè)算法能夠識(shí)別冗余和矛盾兩種主要沖突類型，采用動(dòng)態(tài)權(quán)重分配機(jī)制計(jì)算權(quán)重矩陣，并根據(jù)上下文相關(guān)性、情感適配度和教育價(jià)值綜合計(jì)算各角色響應(yīng)的優(yōu)先級(jí)，如此可以根據(jù)權(quán)重矩陣智能選擇最優(yōu)響應(yīng)或合成多角色響應(yīng)，保證了交互的連貫性和教育價(jià)值。[0065]具體來(lái)說(shuō)，本實(shí)施例所述的沖突檢測(cè)算法用于識(shí)別響應(yīng)間的冗余和矛盾，其輸入為兩個(gè)角色的響應(yīng)向量R:和R,輸出為沖突類型(冗余、矛盾或無(wú)沖突),邏輯關(guān)系是為后續(xù)的權(quán)重分配和響應(yīng)選擇提供基礎(chǔ)判斷。權(quán)重矩陣構(gòu)建是為每個(gè)角色響應(yīng)分配權(quán)重，其輸入為角色響應(yīng)向量R?,輸出為響應(yīng)權(quán)重W(R),邏輯關(guān)系是考慮五個(gè)關(guān)鍵因素(基礎(chǔ)權(quán)重、上下文相關(guān)性、角色間關(guān)系、歷史表現(xiàn)和教育價(jià)值)。響應(yīng)選擇與合成策略用于基于沖突類型和權(quán)重選擇或合成響應(yīng)，輸入為權(quán)重矩陣W(R)和沖突類型，輸出為最終選擇的響應(yīng)R*,邏輯關(guān)系是使用權(quán)重矩陣決定響應(yīng)選擇，并根據(jù)沖突類型采取不同策略。[0066]在實(shí)際應(yīng)用中，可以首先通過(guò)沖突檢測(cè)算法識(shí)別響應(yīng)間的沖突類型，然后通過(guò)權(quán)重矩陣構(gòu)建方法為每個(gè)響應(yīng)分配權(quán)重，最后基于沖突類型和權(quán)重選擇或合成最終響應(yīng)。舉講述者角色可能會(huì)講述一個(gè)關(guān)于天空顏色的神話故事。系統(tǒng)則會(huì)根據(jù)當(dāng)前的教育目標(biāo)、兒[0067]沖突檢測(cè)算法通過(guò)分析響應(yīng)間的語(yǔ)義相似度和邏輯一致性，實(shí)現(xiàn)對(duì)多角色響應(yīng)沖突的準(zhǔn)確識(shí)別。該算法能夠檢測(cè)冗余和矛盾兩種主要沖突類型，為后續(xù)的沖突消解提供基內(nèi)容的語(yǔ)義嵌入向量；(2)情感特征，即響應(yīng)的情感傾向和強(qiáng)度；(3)教育價(jià)值，即響應(yīng)的教育意義評(píng)分。[0068]Sim:Rd×R→[0,1],表示語(yǔ)義相似度函數(shù)，用于計(jì)算兩個(gè)響應(yīng)在語(yǔ)義空間的相似程度，并考慮詞匯重疊、語(yǔ)義關(guān)聯(lián)和表達(dá)方式，其值域?yàn)閇0,[0069]Logic:Rd×Rd→[0,1],表示邏輯一致性函數(shù)，用于評(píng)估兩個(gè)響應(yīng)在邏輯上的兼BaseWeight(R)=Wi·SceneCom在這里，@∈[0,1],表示角色i的預(yù)設(shè)權(quán)重，SceneCompat為場(chǎng)景適配度函數(shù)。[0073]Relevance:Rd×Relevance(Ri,C)=α1·SemanticSim(Ri,C)+(1-α1)·Topi他角色響應(yīng)向量R;,輸出為角色關(guān)系得分，值域?yàn)閇0,1],計(jì)算方式為基于角色協(xié)作度和互History(R)=δ·PastPerformance(R)+(1-δ)·UserFeeEducation(R)=Y?·Knowledge(R)+Y?·Inspiration(R)+Y?·Ag響應(yīng)，可以選擇具有最高權(quán)重值的單一角色響應(yīng)，且適用于權(quán)重差異顯著的情況。max;W(R?)表示最大權(quán)重值，即所有角色響應(yīng)中的最高權(quán)重值，用于評(píng)估響應(yīng)間的權(quán)重差成，典型值為0.3-0.4,可根據(jù)場(chǎng)景動(dòng)態(tài)調(diào)整，較高的θ值會(huì)減少參與合成的響應(yīng)數(shù)量。Synthesize:P(R)→R表示響應(yīng)合成函數(shù)，輸入為一組滿足權(quán)重閾值的響應(yīng)集合Synthesize(Rset)=TemplaRset,輸出為各響應(yīng)的核心內(nèi)容集合，實(shí)現(xiàn)方式為基于關(guān)鍵句提取和語(yǔ)義重要性評(píng)分：Extract(Rset)={C;|C;=CoreContent(R;),Ri∈Rset};[0081]Roles:P(R?)→P(R)表示角色信息獲取函數(shù)，輸入為響應(yīng)集合Re,輸出為對(duì)應(yīng)Roles(Rset)={(IDi,F;)|[0082]Template:P(RC)×P(RT)→Rd表示模板生成函數(shù)，輸入為核心內(nèi)容集合突型的模板函數(shù)。[0083]在一實(shí)施例中，所述基于預(yù)設(shè)的角色模型庫(kù)將智能體的當(dāng)前角色切換為目標(biāo)角按照下式，采用預(yù)告-過(guò)渡-確認(rèn)三階段馬爾可夫過(guò)程進(jìn)行角色切換：P(rtIrt-1,μ,S)=P(r.announcert-1,S)·P(r.transition|rannounce,μ)·P(rconfirm其中，rannounce∈Rda表示預(yù)告階段角色角色響應(yīng)向量，rconfirm∈Rde表示確認(rèn)階段角色響應(yīng)向量。[0084]本實(shí)施例中，采樣漸進(jìn)式角色過(guò)渡技術(shù)，通過(guò)預(yù)告-過(guò)渡-確認(rèn)三階段馬爾可夫過(guò)程，實(shí)現(xiàn)了角色切換的平滑過(guò)渡策略，避免了生硬的角色轉(zhuǎn)換，顯著提升了用戶體驗(yàn)。具體表示如下：P(rtIrt-1,μ,S)=P(r.announcert-1,S)·P(r.transition|rannounce,μ)·P(rconfirm當(dāng)前角色語(yǔ)氣特征以及引入目標(biāo)角色元素，rtransition∈Rd表示過(guò)渡階段角色響應(yīng)向量，用于融合當(dāng)前角色和目標(biāo)角色特征、實(shí)現(xiàn)漸進(jìn)式角色轉(zhuǎn)換和保持對(duì)話連貫性，rconfirm(Rdc表示確認(rèn)階段角色響應(yīng)向量，用于完全切換為目標(biāo)角色、確認(rèn)新角色身份和建立新的互動(dòng)基調(diào)。[0085]在一實(shí)施例中，所述基于多模態(tài)感知的智能體角色切換方法還包括：獲取用戶特征向量，并根據(jù)所述用戶特征向量構(gòu)建用戶畫(huà)像；基于預(yù)設(shè)的角色風(fēng)格設(shè)置適應(yīng)函數(shù)，并通過(guò)所述適應(yīng)函數(shù)設(shè)置角色行為模式；結(jié)合所述用戶畫(huà)像和角色行為模式構(gòu)建角色模型，并利用人群畫(huà)像適應(yīng)機(jī)制對(duì)所述角色模型進(jìn)行自適應(yīng)調(diào)整，以此構(gòu)建包含多種角色模型的角色模型庫(kù)。[0086]本實(shí)施例中的角色模型庫(kù)不僅存儲(chǔ)了預(yù)設(shè)角色的知識(shí)圖譜和行為模式，還實(shí)現(xiàn)了角色的自適應(yīng)調(diào)整。角色知識(shí)圖譜采用分層結(jié)構(gòu)，區(qū)分核心知識(shí)和擴(kuò)展知識(shí)；角色行為模式通過(guò)語(yǔ)言風(fēng)格、互動(dòng)風(fēng)格和教育風(fēng)格三組參數(shù)進(jìn)行精細(xì)定義；角色個(gè)性化參數(shù)支持動(dòng)態(tài)調(diào)整；人群畫(huà)像適應(yīng)機(jī)制則能根據(jù)不同兒童的年齡、認(rèn)知水平和學(xué)習(xí)風(fēng)格自動(dòng)調(diào)整角色表現(xiàn)，實(shí)現(xiàn)了真正的個(gè)性化教育體驗(yàn)。[0087]本實(shí)施例的角色模型庫(kù)采用分層結(jié)構(gòu)設(shè)計(jì)，實(shí)現(xiàn)了角色知識(shí)和行為的精細(xì)表達(dá)。例如針對(duì)兒童構(gòu)建角色模型庫(kù)時(shí)，首先通過(guò)兒童特征向量(年齡、認(rèn)知特征)構(gòu)建全面的用戶畫(huà)像；其次，設(shè)計(jì)語(yǔ)言風(fēng)格、互動(dòng)風(fēng)格和教育風(fēng)格三個(gè)維度的適應(yīng)函數(shù)，實(shí)現(xiàn)角色行為的精準(zhǔn)調(diào)整；最后，引入權(quán)重矩陣機(jī)制，根據(jù)不同場(chǎng)景動(dòng)態(tài)調(diào)整各適應(yīng)函數(shù)的影響程度。這種機(jī)制使得系統(tǒng)能夠根據(jù)兒童的特征向量自適應(yīng)地調(diào)整角色行為，提供個(gè)性化的教育體驗(yàn)。其中，E為實(shí)體集合(Entities),表示知識(shí)圖譜中的概念、對(duì)象等。R為關(guān)系集合(Relations),表示實(shí)體間的關(guān)聯(lián)。TCE×R×E,表示三元組集合，每個(gè)T表示頭實(shí)體h通過(guò)關(guān)系r連接到尾實(shí)體t。[0089]知識(shí)圖譜由核心層和擴(kuò)展層組成：[0090]擴(kuò)展層知識(shí)在時(shí)間t的狀態(tài)表示為Gextension,隨著時(shí)間推移，新的知識(shí)加入，而過(guò)時(shí)知識(shí)被移除：UNewKnowledge(t)\ObsoleteKnowledge(t(t)表示時(shí)間t需要移除的過(guò)時(shí)知識(shí)三元組集合。[0091]角色的行為模式由三組參數(shù)向量表示：其中，語(yǔ)言風(fēng)格參數(shù)向量L=(l1,L?,…,lm),1?為詞匯復(fù)雜度(VocabularyComplexity),1?為句式多樣性(SentenceVariety),1?為表達(dá)方式(ExpressionStyle)……1為其他相關(guān)語(yǔ)言特征。[0092]互動(dòng)風(fēng)格參數(shù)向量I=(i1,i2,…,in),i?為主動(dòng)性(Proactiveness),i?為回應(yīng)速度(ResponseSpeed),i?為情感表達(dá)(EmotionalExpression……i,為其他交互特征。[0093]教育風(fēng)格參數(shù)向量E=(e1,e2,..,ep),e?為引導(dǎo)方式(GuidanceStyle),e?為反饋類型(FeedbackType),e?為挑戰(zhàn)程度(ChallengeLevel)……·,為其他教育風(fēng)格特征。[0094]角色行為參數(shù)可根據(jù)用戶反饋進(jìn)行優(yōu)化調(diào)整，優(yōu)化過(guò)程可表示為：其中，B{oie為時(shí)間t時(shí)刻的角色行為參數(shù)，△B為根示在反饋基礎(chǔ)上計(jì)算得到的調(diào)整向量。[0095]角色的最終行為調(diào)整根據(jù)歷史數(shù)據(jù)的平滑因子α2進(jìn)行加權(quán)平均：Adapt(B,C)={fz(L,C),f?(I,C)fB(E,C)=E+WE·C;[0099]下面提供幾個(gè)實(shí)施例對(duì)基于多模態(tài)感知的智能體角色切換方法的應(yīng)用場(chǎng)景進(jìn)行7000Hz,梅爾濾波器組數(shù)量40,倒譜系數(shù)13階。視覺(jué)情緒識(shí)別單元采用改進(jìn)的VGG-Face網(wǎng)準(zhǔn)確率提升了15.3%。邊界策略，允許主題相似度低至0.4的跳轉(zhuǎn)，并同時(shí)跟蹤最多3個(gè)活躍主題，有效應(yīng)對(duì)兒童頻繁的話題轉(zhuǎn)換特點(diǎn)。[0103]角色切換模塊根據(jù)多模態(tài)感知結(jié)果和對(duì)話狀態(tài)，自動(dòng)在五個(gè)角色間切換。實(shí)現(xiàn)多因素加權(quán)評(píng)分模型，權(quán)重配置為：用戶明確請(qǐng)求(0.5)、對(duì)話主題變化(0.3)、情感狀態(tài)轉(zhuǎn)變(0.1)和學(xué)習(xí)進(jìn)度變化(0.1)。例如，當(dāng)檢測(cè)到兒童提出數(shù)學(xué)問(wèn)題(主題變化)時(shí)，會(huì)自動(dòng)切換到數(shù)學(xué)老師角色；當(dāng)兒童表現(xiàn)出疲倦或注意力不集中(情感狀態(tài)轉(zhuǎn)變)時(shí)，會(huì)切換到游戲伙伴角色進(jìn)行互動(dòng)游戲；當(dāng)檢測(cè)到兒童明確要求聽(tīng)故事時(shí)(用戶明確請(qǐng)求),會(huì)切換到故事講述者角色。[0104]在角色切換過(guò)程中，采用三階段馬爾可夫過(guò)渡策略。例如，從數(shù)學(xué)老師切換到游戲伙伴時(shí)，首先會(huì)以數(shù)學(xué)老師的身份說(shuō)：“我看你有點(diǎn)累了，要不要和游戲伙伴小明一起玩?zhèn)€游戲放松一下?”(預(yù)告階段，保持當(dāng)前角色語(yǔ)氣特征并引入目標(biāo)角色元素),然后進(jìn)入過(guò)渡階段：“小明來(lái)啦!本實(shí)施例來(lái)玩?zhèn)€數(shù)字游戲吧!”(融合當(dāng)前角色和目標(biāo)角色特征),最后完完全切換為目標(biāo)角色并建立新的互動(dòng)基調(diào))。還實(shí)現(xiàn)了頻繁切換檢測(cè)，當(dāng)30秒內(nèi)檢測(cè)到超過(guò)2次角色切換請(qǐng)求時(shí)，會(huì)添加5-10秒的過(guò)渡緩沖，避免認(rèn)知負(fù)擔(dān)。[0105]當(dāng)兒童同時(shí)與多個(gè)角色互動(dòng)時(shí)，沖突消解模塊會(huì)處理可能的響應(yīng)沖突?；跊_突檢測(cè)算法，采用基于BERT的語(yǔ)義相似度模型(冗余判定閾值θr=0.85)和基于知識(shí)圖譜的邏索家角色可能會(huì)給出科學(xué)解釋：“天空是藍(lán)色的是因?yàn)殛?yáng)光中的藍(lán)色光被空氣分子散射得更多”,而故事講述者角色可能會(huì)講述一個(gè)關(guān)于天空顏色的神話[0106]根據(jù)權(quán)重矩陣構(gòu)建方法，計(jì)算各響應(yīng)的權(quán)重。在知識(shí)學(xué)習(xí)場(chǎng)景下，采用權(quán)重系數(shù)配[0107]基于響應(yīng)選擇策略，當(dāng)最高權(quán)重與第二高權(quán)重的差值超過(guò)閾值δ=0.25時(shí)，選擇權(quán)探索家角色的響應(yīng)權(quán)重可能為0.65,故事講述者為0.35,系統(tǒng)會(huì)選擇科學(xué)探索家的響應(yīng)。如果權(quán)重接近(如0.55和0.45),會(huì)合成響應(yīng)：“天空是藍(lán)色的是因?yàn)殛?yáng)光中的藍(lán)色光被空氣分子散射得更多。有趣的是，在一些古老的神話中，人們認(rèn)為天空的顏色來(lái)自藍(lán)色精靈灑下的魔法顏料。”。[0108]角色模型庫(kù)包含角色知識(shí)圖譜、行為模式和人群畫(huà)像適應(yīng)機(jī)制。根據(jù)兒童的年齡、認(rèn)知水平和學(xué)習(xí)風(fēng)格，自動(dòng)調(diào)整各角色的表現(xiàn)。例如，對(duì)于5-6歲的兒言風(fēng)格參數(shù)向量L會(huì)調(diào)整為較低的詞匯復(fù)雜度(1?=0.3)和較高的重復(fù)度(1?=0.7),使用更簡(jiǎn)單的詞匯和更多的視覺(jué)輔助；對(duì)于7-8歲的兒童，則調(diào)整為較高的詞匯復(fù)雜度(1?=0.6)和較低的重復(fù)度(1?=0.4),使用更復(fù)雜的概念和更多的互動(dòng)問(wèn)題。[0109]實(shí)施例2:智能教育機(jī)器人在本實(shí)施例中，基于多模態(tài)感知的智能體角色切換方法被實(shí)現(xiàn)為一款智能教育機(jī)器人。該機(jī)器人配備高清攝像頭、麥克風(fēng)陣列、觸摸屏和機(jī)械臂，能夠提供更豐富的交互方[0110]多模態(tài)感知模塊利用麥克風(fēng)陣列實(shí)現(xiàn)了聲源定位和語(yǔ)音增強(qiáng)，即使在嘈雜環(huán)境中也能準(zhǔn)確識(shí)別兒童語(yǔ)音。語(yǔ)音特征識(shí)別單元采用GFCC特征提取算法，并結(jié)合波束形成技術(shù)，將信噪比提升6.5dB,兒童語(yǔ)音識(shí)別準(zhǔn)確率在嘈雜環(huán)境中達(dá)到92.3%。視覺(jué)情緒識(shí)別單元結(jié)合機(jī)器人的運(yùn)動(dòng)能力，實(shí)現(xiàn)了時(shí)序注意力機(jī)制，可以主動(dòng)調(diào)整視角以獲取更好的面部表情數(shù)據(jù)，情緒識(shí)別準(zhǔn)確率提升至91.2%。觸控意圖分析單元采用自適應(yīng)閾值調(diào)整算法，不僅分析觸摸屏上的操作，還通過(guò)壓力傳感器識(shí)別兒童與機(jī)器人機(jī)械臂的物理互動(dòng)，觸控意圖識(shí)別準(zhǔn)確率達(dá)到89.7%。[0111]對(duì)話狀態(tài)跟蹤模塊實(shí)現(xiàn)了兒童對(duì)話優(yōu)化策略，并針對(duì)機(jī)器人場(chǎng)景進(jìn)行了增強(qiáng)。采用低閾值槽位填充技術(shù)，槽位確定性閾值設(shè)置為0.45,比平板應(yīng)用更低，以適應(yīng)機(jī)器人交互中更加自由的對(duì)話模式。同時(shí)，基于主題跳躍適應(yīng)策略，主題相似度閾值降至0.35,并同時(shí)跟蹤最多4個(gè)活躍主題，以應(yīng)對(duì)兒童在物理互動(dòng)環(huán)境中更頻繁的話題轉(zhuǎn)換。還增強(qiáng)了情感敏感跟蹤功能，通過(guò)融合語(yǔ)音、表情和肢體動(dòng)作三種模態(tài)，情感狀態(tài)識(shí)別準(zhǔn)確率達(dá)到93.5%。[0112]角色切換模塊在機(jī)器人平臺(tái)上實(shí)現(xiàn)了更豐富的角色表現(xiàn)形式。采用多因素加權(quán)評(píng)分模型，權(quán)重配置為：用戶明確請(qǐng)求(0.45)、對(duì)話主題變化(0.25)、情感狀態(tài)轉(zhuǎn)變(0.15)和學(xué)習(xí)進(jìn)度變化(0.15),相比平板應(yīng)用增加了情感和學(xué)習(xí)進(jìn)度因素的權(quán)重，以更好地適應(yīng)機(jī)器人的沉浸式交互場(chǎng)景。不同角色不僅有語(yǔ)音和內(nèi)容上的差異，還有機(jī)器人姿態(tài)、LED表情和互動(dòng)方式的變化。例如，故事講述者角色會(huì)降低語(yǔ)速(0.8倍標(biāo)準(zhǔn)速度),調(diào)整為柔和的語(yǔ)調(diào)(音高降低10%),LED顯示溫暖的表情(橙色系，亮度60%),機(jī)械臂做出舒緩的手勢(shì)(運(yùn)動(dòng)幅度小，速度慢);而游戲伙伴角色則語(yǔ)速較快(1.2倍標(biāo)準(zhǔn)速度),語(yǔ)調(diào)活潑(音高提高15%),LED顯示興奮的表情(藍(lán)色系，亮度85%),機(jī)械臂做出更多動(dòng)態(tài)手勢(shì)(運(yùn)動(dòng)幅度大，速度快)。[0113]在角色切換過(guò)程中，采用三階段馬爾可夫過(guò)渡策略，并結(jié)合機(jī)器人的多模態(tài)輸出實(shí)施例做了這么多實(shí)驗(yàn)，是不是有點(diǎn)累了?要不要和游戲伙伴小明一起玩?zhèn)€游戲?”,還會(huì)通過(guò)LED表情逐漸從專注狀態(tài)(綠色系)過(guò)渡到活躍狀態(tài)(藍(lán)色系),機(jī)械臂姿態(tài)也從指示姿態(tài)逐漸變?yōu)榛?dòng)姿態(tài)。在過(guò)渡階段，系統(tǒng)融合兩個(gè)角色的特征：“小明才學(xué)到的科學(xué)知識(shí)用在游戲中!”,同時(shí)LED表情和機(jī)械臂姿態(tài)繼續(xù)過(guò)渡。在確認(rèn)階段，系統(tǒng)完全切換為游戲伙伴角色：“我是小明，讓本實(shí)施例用剛才學(xué)到的力學(xué)原理來(lái)玩彈珠游戲吧!”,LED和機(jī)械臂也完全切換為游戲伙伴的特征表現(xiàn)。還實(shí)現(xiàn)了頻繁切換檢測(cè)，當(dāng)25秒內(nèi)檢測(cè)到超過(guò)2次角色切換請(qǐng)求時(shí)，會(huì)添加8-12秒的過(guò)渡緩沖，避免認(rèn)知負(fù)擔(dān)。[0114]在處理多角色并發(fā)響應(yīng)時(shí)，充分利用了機(jī)器人的多模態(tài)輸出能力?；跊_突檢測(cè)算法，采用基于RoBERTa的語(yǔ)義相似度模型(冗余判定閾值θ,=0.82)和基于知識(shí)圖譜的邏輯一致性檢測(cè)(矛盾判定閾值θ=0.22),比平板應(yīng)用的閾值更嚴(yán)格，以適應(yīng)機(jī)器人交互的更高要求。根據(jù)權(quán)重矩陣構(gòu)建方法，在教育游戲場(chǎng)景下采用權(quán)重系數(shù)配置：基礎(chǔ)權(quán)重(λ?=0.15)、上下文相關(guān)性(λ?=0.25)、角色間關(guān)系(?=0.25)、歷史表現(xiàn)(λ?=0.15)和教育價(jià)值(λ?=0.2),增加了角色間關(guān)系的權(quán)重，以促進(jìn)多角色協(xié)作。[0115]當(dāng)最高權(quán)重與第二高權(quán)重的差值超過(guò)閾值δ=0.2時(shí)(比平板應(yīng)用的閾值低),選擇探索家角色可能會(huì)解釋：“物體下落是因?yàn)榈厍蛞Φ淖饔茫魏斡匈|(zhì)量的物體都會(huì)相互吸不是同時(shí)落地!”。如果權(quán)重接近，不僅會(huì)通過(guò)語(yǔ)音合成響應(yīng)作用。本實(shí)施例可以做個(gè)游戲，一起驗(yàn)證不同重量的物體是否同時(shí)落地!”,還會(huì)同時(shí)通過(guò)屏幕顯示引力相關(guān)的圖示，并用機(jī)械臂做出相應(yīng)的演示動(dòng)作，實(shí)現(xiàn)了信息的并行傳遞和多模態(tài)輸出。[0116]角色模型庫(kù)針對(duì)機(jī)器人平臺(tái)進(jìn)行了優(yōu)化，增加了物理互動(dòng)模式的定義?；诮巧R(shí)圖譜，為機(jī)器人場(chǎng)景擴(kuò)展了物理交互相關(guān)的知識(shí)三元組，共計(jì)增加了約2000個(gè)特定于機(jī)器人交互的知識(shí)點(diǎn)。角色行為模式按照參數(shù)化方法，增加了機(jī)器人特有的行為參數(shù)向量$\vec{P}=(p_1,p_2,...,P_4)$,包括機(jī)械臂動(dòng)作模式、LED表情模式和空間位置調(diào)整等參數(shù)。例如，數(shù)學(xué)老師角色會(huì)使用機(jī)械臂指示屏幕上的數(shù)學(xué)問(wèn)題(p1=0.8,指示性動(dòng)作比例高),并引導(dǎo)兒童通過(guò)觸摸或手勢(shì)進(jìn)行回答(p2=0.6,互動(dòng)引導(dǎo)強(qiáng)度中等);科學(xué)探索家角色會(huì)鼓勵(lì)兒童拿起實(shí)物進(jìn)行觀察(p1=0.4,指示性動(dòng)作比例低),并通過(guò)機(jī)器人的攝像頭進(jìn)行圖像分析和講解(p3=0.9,視覺(jué)分析強(qiáng)度高)。[0117]人群畫(huà)像適應(yīng)機(jī)制針對(duì)機(jī)器人交互場(chǎng)景進(jìn)行了增強(qiáng)。根據(jù)兒童的年齡、認(rèn)知水平、學(xué)習(xí)風(fēng)格和活動(dòng)能力，動(dòng)態(tài)調(diào)整機(jī)器人的物理交互參數(shù)。例如，對(duì)于活動(dòng)能力強(qiáng)的兒童，會(huì)增加機(jī)械臂的活動(dòng)范圍和互動(dòng)頻率；對(duì)于注意力不集中的兒童，會(huì)增加LED表情的變化頻率(B_{\text{role}},\vec{C},E)$,其中$E$表示環(huán)境因素，包括活動(dòng)空間大小、環(huán)境噪音水平和光線條件等，使系統(tǒng)能夠根據(jù)實(shí)際環(huán)境調(diào)整機(jī)器人的行為模式。[0118]實(shí)施例3:智能早教機(jī)器人(無(wú)攝像頭版本)在本實(shí)施例中，基于多模態(tài)感知的智能體角色切換方法被實(shí)現(xiàn)為一款面向家庭使聲器實(shí)現(xiàn)交互，特別適合對(duì)隱私有較高要求的家庭環(huán)境。[0119]多模態(tài)感知模塊在無(wú)視覺(jué)輸入的條件下進(jìn)行了優(yōu)化增強(qiáng)。語(yǔ)音特征識(shí)別單元采用為：采樣率24kHz(高于標(biāo)準(zhǔn)版本),幀長(zhǎng)20ms,幀移8ms,預(yù)加重系數(shù)0.98,高頻截止點(diǎn)7500Hz,梅爾濾波器組數(shù)量48,倒譜系數(shù)16階。還引入了聲紋識(shí)別功能，能夠區(qū)分家庭中不同成員的聲音，兒童語(yǔ)音識(shí)別準(zhǔn)確率達(dá)到90.8%。觸控意圖分析單元采用自適應(yīng)閾值調(diào)整算法，并增強(qiáng)了壓力敏感度和手勢(shì)識(shí)別能力，通過(guò)觸摸屏上的操作模式和壓力變化推斷兒童情緒狀態(tài)，部分彌補(bǔ)了視覺(jué)輸入的缺失，觸控意圖識(shí)別準(zhǔn)確率達(dá)到92.1%。[0120]對(duì)話狀態(tài)跟蹤模塊實(shí)現(xiàn)了兒童對(duì)話優(yōu)化策略，并針對(duì)無(wú)視覺(jué)輸入場(chǎng)景進(jìn)行了特別增強(qiáng)。采用兒童語(yǔ)言理解增強(qiáng)技術(shù)，語(yǔ)義補(bǔ)全模型的參數(shù)針對(duì)純語(yǔ)音輸入進(jìn)行了優(yōu)化，提高了對(duì)兒童不完整表達(dá)的理解能力。同時(shí)，實(shí)現(xiàn)了低閾值槽位填充技術(shù)，槽位確定性閾值設(shè)置為0.42,比標(biāo)準(zhǔn)版本更低，以適應(yīng)無(wú)視覺(jué)輔助情況下的對(duì)話理解。還強(qiáng)化了情感敏感跟蹤功情感識(shí)別模型，情感狀態(tài)識(shí)別準(zhǔn)確率達(dá)到85.7%,雖低于有視覺(jué)輸入的版本，但顯著高于單一模態(tài)的情感識(shí)別。[0121]角色切換模塊針對(duì)無(wú)視覺(jué)交互場(chǎng)景進(jìn)行了優(yōu)化。采用多因素加權(quán)評(píng)分模型，權(quán)重配置為：用戶明確請(qǐng)求(0.55)、對(duì)話主題變化(0.25)、情感狀態(tài)轉(zhuǎn)變(0.12)和學(xué)習(xí)進(jìn)度變化(0.08),相比標(biāo)準(zhǔn)版本增加了用戶明確請(qǐng)求的權(quán)重，降低了情感狀態(tài)和學(xué)習(xí)進(jìn)度因素的權(quán)重，以適應(yīng)情感識(shí)別精度較低的情況。不同角色主要通過(guò)語(yǔ)音特征和LED燈光效果區(qū)分，例如，故事講述者角色采用較低語(yǔ)速(0.85倍標(biāo)準(zhǔn)速度),柔和語(yǔ)調(diào)(音高降低8%),LED顯示溫暖的脈動(dòng)光效(橙色系，亮度55%,脈動(dòng)頻率0.5Hz);而游戲伙伴角色則采用較快語(yǔ)速(1.15倍標(biāo)準(zhǔn)速度),活潑語(yǔ)調(diào)(音高提高12%),LED顯示跳躍的光效(藍(lán)色系，亮度80%,變化頻率[0122]在角色切換過(guò)程中，采用三階段馬爾可夫過(guò)渡策略，并通過(guò)聲音和燈光效果增強(qiáng)已經(jīng)學(xué)習(xí)了一段時(shí)間的數(shù)學(xué)，是不是想休息一下?游戲伙伴小明有個(gè)有趣的數(shù)學(xué)游戲想和你分享!”,同時(shí)LED燈光從穩(wěn)定的綠色系(亮度65%)逐漸過(guò)渡到跳躍的藍(lán)色系(亮度75%)。在過(guò)渡階段，系統(tǒng)融合兩個(gè)角色的語(yǔ)音特征：“小明來(lái)啦!本實(shí)施例可以用剛才學(xué)到的數(shù)學(xué)知切換為游戲伙伴角色的語(yǔ)音和燈光特征：“嗨，我是小明!讓本實(shí)施例來(lái)玩?zhèn)€數(shù)字闖關(guān)游戲吧!”。還實(shí)現(xiàn)了頻繁切換檢測(cè)，當(dāng)20秒內(nèi)檢過(guò)渡緩沖，比標(biāo)準(zhǔn)版本更長(zhǎng)，以確保在無(wú)視覺(jué)反饋的情況下兒童能夠清晰感知角色變化。[0123]沖突消解模塊，針對(duì)無(wú)視覺(jué)輸出場(chǎng)景進(jìn)行了調(diào)整?；跊_突檢測(cè)算法，采用基于DistilBERT的輕量級(jí)語(yǔ)義相似度模型(冗余判定閾值θr=0.88)和簡(jiǎn)化版的邏輯一致性檢測(cè)(矛盾判定閾值θc=0.28),閾值相比標(biāo)準(zhǔn)版本有所調(diào)整，以適應(yīng)純語(yǔ)音和燈光輸出的特點(diǎn)。根據(jù)權(quán)重矩陣構(gòu)建方法，在家庭教育場(chǎng)景下采用權(quán)重系數(shù)配置：基礎(chǔ)權(quán)重(λ?=0.15)、上下了上下文相關(guān)性的權(quán)重，以確保在無(wú)視覺(jué)輔助的情況下響應(yīng)的連貫性。[0124]當(dāng)最高權(quán)重與第二高權(quán)重的差值超過(guò)閾值δ=0.3時(shí)(比標(biāo)準(zhǔn)版本的閾值高),選擇權(quán)重最高的角色響應(yīng)；否則，合成多角色響應(yīng)。閾值提高是為了減少在無(wú)視覺(jué)區(qū)分的情況下把兩個(gè)或更多數(shù)量合并在一起，得到總數(shù)的運(yùn)算”,而游戲伙伴角色可收集寶物!如果你有2顆糖果，又得到了3顆，一共就有5顆啦!”。如果權(quán)重差異顯著,會(huì)選擇像收集寶物一樣，如果你有2顆糖果，又得到了3顆，一共就有5顆啦!”,同時(shí)通過(guò)LED燈光的變化(如數(shù)字出現(xiàn)時(shí)閃爍)增強(qiáng)表達(dá)效果，部分彌補(bǔ)視覺(jué)輸出的缺失。[0125]角色模型庫(kù)針對(duì)無(wú)攝像頭版本進(jìn)行了優(yōu)化。實(shí)現(xiàn)了角色知識(shí)圖譜，為家庭教育場(chǎng)景增加了更多日常生活和家庭