人機交互前沿技術(shù)第1頁，共13頁，2023年，2月20日，星期日多通道融合交互

(多通道人機交互)第2頁，共13頁，2023年，2月20日，星期日多通道融合交互概念

(多通道人機交互)多個通道以自然、并行、協(xié)作的方式進行人機對話，通過整合來自多個通道的、精確的和不精確的輸入來捕捉用戶的交互意圖，提高人機交互的自然性和高效性。在多通道人機界面中，用戶可以使用自然的交互方式，如語音、手勢、表情等與計算機系統(tǒng)進行協(xié)同工作。人機交互方式向人與人的交互方式靠攏，交互的自然性和高效性得到極大的提高。第3頁，共13頁，2023年，2月20日，星期日多通道人機交互目標關(guān)注用戶向計算機的輸入以及計算機對用戶意圖的理解（1）交互的自然性:使用戶盡可能多地利用已有的日常技能與計算機交互，降低認識負荷。（2）交互的高效性:使人機通訊信息交換吞吐量更大、形式更豐富，發(fā)揮人機彼此不同的認知潛力。第4頁，共13頁，2023年，2月20日，星期日多通道人機交互的基本特點1.使用多個通道一種通道(如語音)不能充分表達用戶的意圖時，需輔以其它通道(如手勢指點)的信息；有時使用輔助通道以增強表達力。交替而獨立地使用不同的通道不是真正意義上的多通道技術(shù)，必須允許充分地并行、協(xié)作的通道配合關(guān)系。

第5頁，共13頁，2023年，2月20日，星期日2.允許非精確的交互人類語言本身就具有高度模糊性,人類在日常生活中習(xí)慣于并大量使用非精確的信息交流。允許使用模糊的表達手段可以避免不必要的認識負荷，有利于提高交互活動的自然性和高效性。多通道人機交互技術(shù)主張以充分性代替精確性。第6頁，共13頁，2023年，2月20日，星期日多通道人機交互關(guān)鍵技術(shù)----融合語音和手勢信息的融合是目前整合的主要問題。融合中的一個重要問題是歧義消除。處理好設(shè)備之間在時間響應(yīng)上的差異。舉例語音+指點語音+唇讀語音+手勢語音+書寫第7頁，共13頁，2023年，2月20日，星期日融合分類第8頁，共13頁，2023年，2月20日，星期日一般來說，基于決策級的融合還可以分為三種類型：符號:每個模態(tài)的輸出僅僅為一個類別編號。如：投票法。排序:根據(jù)輸入對象屬于各個類別的可能性大小，每個通道的輸出為所有類別編號的一個排序。度量:輸出結(jié)果為測試對象屬于各個類別的置信度大小。如：加權(quán)平均、貝葉斯方法、模糊積分、D-S方法以及基于神經(jīng)網(wǎng)絡(luò)的方法等。第9頁，共13頁，2023年，2月20日，星期日基于模糊理論的融合算子

(FuzzySetBased)平均法。加權(quán)平均。其它乘積規(guī)則。最大與最小規(guī)則。第10頁，共13頁，2023年，2月20日，星期日基于統(tǒng)計理論的貝葉斯方法 取最大后驗概率對應(yīng)的類別作為融合后的結(jié)果，即第11頁，共13頁，2023年，2月20日，星期日基于證據(jù)理論的D-S融合方法基本概率賦值函數(shù)：信任函數(shù)與似然函數(shù)：[Bel(A),Pls(A)]反映了不確定度的范圍。在考慮分類器輸出不確定性測度的多分類器融合中，通過拒識置信度較低的樣本，能以較小的拒識率為代價來換取較高的識別率。1、D-S證據(jù)方法D-S正交和第12頁，共13頁，2023年，2月20日，星期日基于模糊積分多分類器融合在用模糊積分對多分類器融合時，積分域為分類器的集合，被積函數(shù)為從分類器得到的對象屬于各類別的置信度，積分結(jié)果為融合后系統(tǒng)對該類別的信任度。模糊積分已成為多分類器融合的有效手段。模糊積分中，要解決模糊