第四章

第五節(jié)

智能座艙交互設(shè)計(jì)師：元宇宙的

“五感魔法師”《人工智能+汽車基礎(chǔ)與應(yīng)用》教師：XXX目錄01語音交互設(shè)計(jì)：讓車機(jī)聽懂方言02多模態(tài)交互開發(fā)：隔空調(diào)節(jié)空調(diào)的AR手勢03情感化交互研究：根據(jù)心跳速率切換車內(nèi)光影一

語音交互設(shè)計(jì)一、語音交互設(shè)計(jì)語音交互（VoiceUserInterface，VUI）是一種通過語音實(shí)現(xiàn)人機(jī)交互的技術(shù)，允許用戶使用自然語言指令與設(shè)備或應(yīng)用程序進(jìn)行溝通，無須依賴物理接觸或圖形界面。汽車語音交互通過自然語言實(shí)現(xiàn)人機(jī)對(duì)話，為駕駛?cè)颂峁懊馐帧辈僮黧w驗(yàn)，極大提升了駕駛安全性和舒適度。一、語音交互設(shè)計(jì)在智能座艙中，VUI可完成導(dǎo)航、空調(diào)、媒體控制等常見功能，還可與車內(nèi)環(huán)境（氛圍燈、座椅調(diào)節(jié)）聯(lián)動(dòng)，實(shí)現(xiàn)多維度反饋。（一）設(shè)計(jì)原則——對(duì)話體驗(yàn)的“基石”0103050204減少認(rèn)知負(fù)荷，避免冗長對(duì)話與復(fù)雜指令系統(tǒng)能自動(dòng)切換到觸控或視覺菜單支持普通話本地方言識(shí)別；遵循無障礙設(shè)計(jì)，考慮聽力或發(fā)音不標(biāo)準(zhǔn)語句自然且簡短，禁止使用晦澀術(shù)語或多層嵌套命令結(jié)合車速、環(huán)境噪聲、駕駛模式，動(dòng)態(tài)調(diào)整語音播報(bào)速度、音量和反饋方式安全優(yōu)先多模態(tài)支持可用性包容性簡潔清晰場景感知一、語音交互設(shè)計(jì)（二）方言支持——“讓車聽得懂你說話”在我國，不同地區(qū)的方言發(fā)音差異顯著，例如“下”字，普通話中發(fā)音為xià,四川話則保留古音特點(diǎn)，聲母不發(fā)“x”而發(fā)“h”，讀作hà。如果語音系統(tǒng)聽不懂方言，那就很難服務(wù)所有用戶。說一說：教師說出東北話指令（如“整點(diǎn)兒音樂”），學(xué)生5s內(nèi)轉(zhuǎn)譯標(biāo)準(zhǔn)指令（如“播放音樂”），討論識(shí)別難點(diǎn)（詞匯歧義/語調(diào)差異）。一、語音交互設(shè)計(jì)（三）對(duì)話管理與錯(cuò)誤處理——“對(duì)話別卡殼，出錯(cuò)能補(bǔ)救”語音系統(tǒng)說到底，是“能交流”的系統(tǒng)。當(dāng)我們和車對(duì)話時(shí)，它要“懂流程”，更要“會(huì)補(bǔ)救”。1.確認(rèn)策略：重要的事要問一聲2.錯(cuò)誤回退：出錯(cuò)不要“死循環(huán)”3.快捷命令：隨時(shí)能“打斷”系統(tǒng)指令作用停止立即終止當(dāng)前對(duì)話返回主頁回到主界面幫助彈出語音使用提示萬能指令二

多模態(tài)交互開發(fā)二、多模態(tài)交互開發(fā)多模態(tài)交互是指將不同感官通道（如語音、手勢、觸控、視覺、觸覺、氛圍燈）有機(jī)結(jié)合，實(shí)現(xiàn)信息輸入與輸出的多路并行和互補(bǔ)，提升系統(tǒng)魯棒性與用戶體驗(yàn)。按壓交互

鼠鍵交互

觸控交互

語音交互

意識(shí)交互二、多模態(tài)交互開發(fā)（一）設(shè)計(jì)原則安全任何時(shí)刻以駕駛安全為第一要?jiǎng)?wù)，禁止在高速狀態(tài)下彈出長文本或進(jìn)行多輪復(fù)雜對(duì)話融智系統(tǒng)通過傳感器實(shí)時(shí)感知車速、噪聲、光照等環(huán)境信息，智能切換最優(yōu)交互模式融合根據(jù)場景動(dòng)態(tài)分配交互權(quán)重，如高速行駛優(yōu)先使用語音，低速或靜止時(shí)手勢/觸控優(yōu)先級(jí)更高穩(wěn)定模式切換過程平滑，不出現(xiàn)閃爍或延遲卡頓，確保用戶體驗(yàn)連貫融通不同通道的反饋須協(xié)調(diào)一致，語音播報(bào)與屏幕文字同步顯示，避免混亂融入界面布局與實(shí)體空間自然融合，虛擬按鈕位置與物理按鍵對(duì)齊，降低學(xué)習(xí)成本模擬人類智能二、多模態(tài)交互開發(fā)試一試：教

師

給

出5個(gè)

手

勢

動(dòng)

作（如上滑=調(diào)高溫度）和語音指令卡，學(xué)生分組在3min內(nèi)將手勢與正確語音指令配對(duì)（如隔空說“升溫”），并演示誤觸時(shí)如何用觸控補(bǔ)救。二、多模態(tài)交互開發(fā)（二）系統(tǒng)架構(gòu)與技術(shù)組件系統(tǒng)架構(gòu)技術(shù)組件輸入層語音麥克風(fēng)陣列：利用多麥克風(fēng)波束成形技術(shù)，精準(zhǔn)捕捉駕駛?cè)苏Z音，并抑制發(fā)動(dòng)機(jī)、風(fēng)噪等干擾手勢攝像頭：深度攝像頭實(shí)時(shí)識(shí)別手部動(dòng)作，如滑動(dòng)、揮手、捏合等基本手勢觸控屏：高靈敏度觸控屏支持多點(diǎn)觸控，用于備選交互轉(zhuǎn)向盤振動(dòng)傳感器：用于觸覺反饋，增強(qiáng)指令確認(rèn)感融合引擎時(shí)間同步模塊：對(duì)所有傳感器數(shù)據(jù)打上統(tǒng)一時(shí)間戳，確保多路輸入可對(duì)應(yīng)到同一交互事件意圖融合算法：基于規(guī)則或輕量神經(jīng)網(wǎng)絡(luò)，將多路輸入合并為單一操作意圖，如同時(shí)檢測到“音量+手勢向上”，優(yōu)先判定手勢為主輸出層屏幕圖形界面：在中控屏或HUD上展示當(dāng)前指令狀態(tài)、確認(rèn)按鈕和簡要文字提示抬頭顯示（HUD）：僅投射關(guān)鍵信息，如“導(dǎo)航中”或“距離剩余500m”，減少低頭分心觸覺反饋：轉(zhuǎn)向盤或座椅輕微振動(dòng)，提示“指令已接收/執(zhí)行失敗”氛圍燈：識(shí)別中→藍(lán)燈緩閃；成功→綠燈常亮；失敗→紅燈閃爍想一想：簡述一個(gè)你設(shè)想的智能汽車多模態(tài)交互場景，至少包含三種感官通道（如語音、視覺、觸覺等），

并說明它們在該場景中的作用。二、多模態(tài)交互開發(fā)（三）開發(fā)流程與關(guān)鍵技術(shù)二、多模態(tài)交互開發(fā)（四）典型應(yīng)用（1）奔馳公司的MBUX系統(tǒng)MBUX系統(tǒng)整合語音“HeyMercedes”、觸控屏、氛圍燈和手勢檢測，實(shí)現(xiàn)了語音、手勢與視覺的無縫切換。當(dāng)用戶說出“導(dǎo)航到華南理工大學(xué)”，同時(shí)向右滑手勢取消，系統(tǒng)優(yōu)先識(shí)別手勢操作。（2）通用汽車的GMWOO項(xiàng)目GMWOO項(xiàng)目將車窗打造成多觸點(diǎn)顯示，支持手勢繪圖、環(huán)境信息互動(dòng)，結(jié)合語音提示，為乘員帶來沉浸式體驗(yàn)。二、多模態(tài)交互開發(fā)議一議：隨著智能駕駛技術(shù)的發(fā)展，多模態(tài)人機(jī)交互系統(tǒng)（融合語音、手勢、觸覺、視覺等）已廣泛應(yīng)用于智能汽車中。請你結(jié)合具體案例，談一談你對(duì)“多模態(tài)交互是否能真正提升駕駛安全與用戶體驗(yàn)”的看法。三

情感化交互研究三、情感化交互研究情感化交互（A?ectiveInteraction）是指系統(tǒng)通過識(shí)別、理解并回應(yīng)用戶的情緒狀態(tài)，實(shí)現(xiàn)“懂你心”的人機(jī)對(duì)話與反饋體驗(yàn)。個(gè)性化媒體推薦駕駛疲勞安撫情緒燈光調(diào)節(jié)020103常見應(yīng)用場景三、情感化交互研究（一）設(shè)計(jì)原則——“三感兩穩(wěn)”（1）同理心（感知他人）（2）直觀性（感受明顯）（4）穩(wěn)定性（穩(wěn)健無誤）（5）安全性（穩(wěn)妥駕駛）（3）自然性（感覺順暢）說一說：請結(jié)合所學(xué)內(nèi)容，簡要說明“情感化交互”在智能座艙中的三種典型應(yīng)用場景，并分析其背后的設(shè)計(jì)原則“同理心、直觀性與自然性”是如何體現(xiàn)的。三、情感化交互研究（二）情感識(shí)別技術(shù)（1）生理信號(hào)采集（3）語音情感識(shí)別（2）面部表情分析

（4）行為數(shù)據(jù)監(jiān)測

三、情感化交互研究（三）情感模型與計(jì)算（1）OCEAN人格情緒映射OCEAN模型（開放性、盡責(zé)性、外向性、宜人性、神經(jīng)質(zhì)）可將用戶情緒維度映射至基礎(chǔ)個(gè)性特征，輔助系統(tǒng)提供更精準(zhǔn)的長期個(gè)性化交互。（2）算法實(shí)現(xiàn)方式1）規(guī)則+閾值法：針對(duì)心率、皮電或表情捕捉設(shè)定閾值，如心率>100次/min，則認(rèn)定為“緊張”。2）機(jī)器學(xué)習(xí)：利用決策樹或支持向量機(jī)（SupportVectorMachine，SVM）對(duì)標(biāo)注數(shù)據(jù)訓(xùn)練分類器，實(shí)現(xiàn)多特征融合判別。3）深度學(xué)習(xí)：采用CNN或RNN端到端訓(xùn)練面部表情和語音情感，實(shí)現(xiàn)更高的魯棒性與泛化能力。三、情感化交互研究（四）系統(tǒng)架構(gòu)與技術(shù)組件系統(tǒng)架構(gòu)技術(shù)組件感知層

生理傳感器：心率帶、皮電貼片

攝像頭：用于面部表情捕捉

傳聲器：采集語音情感特征

車輛總線：獲取轉(zhuǎn)向、制動(dòng)等行為數(shù)據(jù)分析層

信號(hào)預(yù)處理：濾波去噪并同步各通道時(shí)間戳

情感分類模型：基于規(guī)則、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的多模態(tài)融合模型決策層

情感策略引擎：將識(shí)別結(jié)果映射至交互方案，如“播放安撫語音”或“切換燈效”反饋層語音播報(bào)：根據(jù)情緒調(diào)整語速與語調(diào)

氛圍燈：暖色系/冷色系漸變燈效座椅振動(dòng)：輕微振動(dòng)舒緩或提示休息香氛機(jī)：釋放舒緩香氛，營造放松環(huán)境三、情感化交互研究（五）典型應(yīng)用（1）蔚來汽車NOMI情緒氛圍燈（2）奇瑞汽車的情感化健康助手（3）廣汽昊鉑的“隨行導(dǎo)游”三、情感化交互研究（六）智能座艙交互設(shè)計(jì)師職業(yè)能力拆解——以“情緒安撫系統(tǒng)”開發(fā)為例1.職業(yè)定位認(rèn)知智能座艙交互設(shè)計(jì)師=用戶體驗(yàn)研究員+數(shù)據(jù)科學(xué)家+算法工程師+視覺設(shè)計(jì)師，需具備用戶共情、技術(shù)理解、美學(xué)表達(dá)的綜合能力。2.案例實(shí)踐崗位技能核心能力職業(yè)實(shí)踐

用戶研究與需求分析

建立同理心與場景洞察①設(shè)計(jì)訪談提綱（駕駛場景痛點(diǎn)、情緒觸發(fā)點(diǎn)、期望的安撫方式）②繪制用戶旅程圖（起動(dòng)、行駛、駐車不同階段的情緒波動(dòng)）多模態(tài)數(shù)據(jù)采集與分析數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)思維①設(shè)計(jì)實(shí)驗(yàn)場景（直線路段、倒車入庫等）②同步記錄生理數(shù)據(jù)與行為視頻③建立情緒標(biāo)簽體系（緊張、煩躁、專注）交互算法開發(fā)技術(shù)方案選型與驗(yàn)證對(duì)比不同算法在疲勞檢測中的表現(xiàn)：①?zèng)Q策樹：準(zhǔn)確率82%（特征工程關(guān)鍵）②LSTM：準(zhǔn)確率

89%（計(jì)算延遲較高）

系統(tǒng)原型實(shí)現(xiàn)全鏈路交互開發(fā)編寫安撫反饋邏輯：if連續(xù)5min焦慮檢測：啟動(dòng)座椅振動(dòng)

+播放自然音效Elseif突發(fā)憤怒檢測：激活香氛系統(tǒng)+調(diào)暗氛圍燈

迭代優(yōu)化能力

閉環(huán)驗(yàn)證思維收集測試數(shù)據(jù)發(fā)現(xiàn)：新手駕駛?cè)烁鼉A向可視化反饋（儀表盤表情符號(hào)+進(jìn)度條）更新交互方案：增加AR-HUD情緒可視化組件延伸補(bǔ)給包腦機(jī)接口（BCI）與未來汽車的“意見交互”一、什么是腦機(jī)接口（BCI）腦機(jī)接口（Brain-ComputerInterface，BCI）

是一種通過技術(shù)手段直接連接人腦與外部設(shè)備（如計(jì)算機(jī)、智能汽車）的系統(tǒng)。它能夠捕捉大腦活動(dòng)產(chǎn)生的電信號(hào)（即腦電波），并將其轉(zhuǎn)化為機(jī)器可識(shí)別的指令。簡單來說，就是“用大腦控制設(shè)備”，駕駛?cè)酥恍琛跋胍幌搿?，就能讓車輛執(zhí)行操作，無須動(dòng)手或說話。二、帝儀科技：便攜式腦機(jī)接口駕駛安全智能防控系統(tǒng)帝儀科技開發(fā)的“便攜式腦機(jī)接口駕駛安全智能防控系統(tǒng)”通過智能腦電帽實(shí)時(shí)采集駕駛?cè)说哪X電信號(hào)，結(jié)合人工智能算法（如模式識(shí)別、機(jī)器學(xué)習(xí)）精準(zhǔn)識(shí)別疲勞狀態(tài)，并在疲勞駕駛發(fā)生前發(fā)出預(yù)警。系統(tǒng)還集成攝像頭、測速雷達(dá)、智能手環(huán)等設(shè)備，實(shí)時(shí)監(jiān)測分心駕駛、超速等危險(xiǎn)行為，形成“事前預(yù)警、事中警告、事