1、人機(jī)交互的新進(jìn)展與展望,1 多通道人機(jī)交互 2 虛擬現(xiàn)實技術(shù) 3 計算機(jī)支持的協(xié)同工作簡介 4 未來的界面,下一代界面的發(fā)展目標(biāo),自然方式的交互:各種新的輸入、輸出設(shè)備以及新的軟件技術(shù)，將真正使人能用日常生活中的自然技能與計算機(jī)進(jìn)行無障礙的自然交互。 即追求適人化的人機(jī)和諧的多維信息空間。,下一代界面的發(fā)展目標(biāo),更高的智能性:不要總是人去命令計算機(jī)做什么，更多地由計算機(jī)來感知人。減小人在使用界面時的負(fù)荷。,人機(jī)交互技術(shù)的發(fā)展趨勢,發(fā)展趨勢將體現(xiàn)在多媒體表現(xiàn)方式、多通道交互、計算機(jī)支持的協(xié)同工作（CSCW:Computer Supported Cooperative Work）和虛擬現(xiàn)實化等方面

2、。,人機(jī)交互技術(shù)的發(fā)展趨勢,隨著計算機(jī)網(wǎng)絡(luò)尤其是因特網(wǎng)的迅猛發(fā)展，一種以網(wǎng)絡(luò)為中心的用戶界面出現(xiàn)在許多PC機(jī)網(wǎng)絡(luò)計算機(jī)（NC）的屏幕上。 展望未來的界面，將是基于智能體、虛擬現(xiàn)實化的多通道因特網(wǎng)界面。,1 多通道用戶界面,多通道（multi-modality）交互：使用多種感覺通道（模態(tài)）進(jìn)行交互的方式。 是90年代才興起的技術(shù)。它與多媒體用戶界面一道共同提高人機(jī)交互的自然性和效率，同時，多通道用戶界面主要關(guān)注人機(jī)界面中用戶向計算機(jī)輸入信息以及計算機(jī)對用戶意圖理解的問題。,1.1 多通道用戶界面的定義與特點,在同一時刻用戶可以用多個通道（如語音、自然語音、手勢、手寫、姿勢、眼動等）與計算機(jī)交互

3、，一提高交互的自然性和高效性。,1.1 多通道用戶界面的定義與特點,多通道用戶界面的基本特點 a. 使用多個感覺和效應(yīng)通道 b. 三維的和直接操縱的要求 c. 允許非精確的交互 d. 交互的雙向性和隱含性,1.1 多通道用戶界面的定義與特點,采用多通道交互的好處 可以利用各種通道、設(shè)備和交互方式的互補(bǔ)性：尤其對語音/聽覺的強(qiáng)調(diào)有利于彌補(bǔ)現(xiàn)有界面的不足，還可把耳朵和觸覺利用起來 ：可以發(fā)揮各個通道獨特的優(yōu)勢，例如，語言用于交互時，它的優(yōu)勢主要是不受時間和空間的限制，即交互的發(fā)起無需以所涉及對象在當(dāng)?shù)氐某尸F(xiàn)為條件，也無需“觸及”所涉及對象。,1.1 多通道用戶界面的定義與特點,采用多通道交互的好處

4、 多通道可以提高交互的靈活性，實現(xiàn)更自然和效率更高的交互；多個通道在系統(tǒng)中并存的冗余性能夠帶來不小的魯棒性、對環(huán)境與用戶的適應(yīng)性以及用戶可選擇性。還突出地表現(xiàn)在為殘疾人服務(wù)方面。,1.1 多通道用戶界面的定義與特點,多通道交互能夠提高輸入/輸出帶寬，利用多種交互手段的結(jié)合，能夠幫助交互意圖的有效傳達(dá)。將多通道相結(jié)合進(jìn)行交互，這種結(jié)合有助于提高識別率和交互效率。,1.1 多通道用戶界面的定義與特點,目前發(fā)展的局限性 目前其發(fā)展受到手勢識別、語音識別、面部表情識別等技術(shù)的限制，且還有許多理論問題待研究。 如何克服目前技術(shù)的限制，從而獲得多通道輸入的益處？ 怎樣組合不同的模態(tài)使得人們使用自然、完成任

5、務(wù)好呢？,1.1 多通道用戶界面的定義與特點,決定模態(tài)組合是否適宜的因素 操作部位有無沖突，若相同則組合困難，如鼠標(biāo)與鍵盤都用手 完成任務(wù)的速度能否互補(bǔ)，例如手腕操作鼠標(biāo)指定字符較快，但指點段落卻不如頸部點頭快,1.1 多通道用戶界面的定義與特點,決定模態(tài)組合是否適宜的因素 誤差是否能互補(bǔ)，不同的設(shè)備與任務(wù)誤差不同，如同音詞識別差； 桌面空間有無沖突，如寫字板與鼠標(biāo)沖突； 成本是否可承受。,1.2 多通道用戶界面評價,）互補(bǔ)性（Complementary）：把若干通道必須以互補(bǔ)方式完成特定的交互任務(wù)，也就是說，當(dāng)單個通道不能提供充分的任務(wù)信息時，需要其他通道補(bǔ)充，如手勢指點補(bǔ)充語音命令。,1.

6、2 多通道用戶界面評價,2）指派性（Assignment）：指某通道是完成特定交互任務(wù)唯一途徑的情形，即某通道必須被用于實現(xiàn)特定交互任務(wù)而沒有其他通道可以替代。,1.2 多通道用戶界面評價,）等效性（Equivalence）：指在完成特定交互任務(wù)時至少有兩種以上通道可以相互替代。 ）冗余性（Redundancy）：指在特定交互中多個通道同時使用并具有相同的表達(dá)作用。,1.3 多通道用戶界面的概念模型,1.3 多通道用戶界面的概念模型,用三元組（，）來表示多通道用戶界面，其中，表示通道數(shù)目，表示輸入信息的精確性，表示通道間的關(guān)系。 傳統(tǒng)的用戶界面的典型情況是（單通道），精確，串行；而典型的多通道

7、用戶界面則允許多個交互通道，非精確交互動作以及并行、協(xié)作的通道配合。,1.3 多通道用戶界面的概念模型,圖形用戶界面雖可支持鍵盤和鼠標(biāo)器，但兩者都需用手操作，一般難以同時配合使用，兩者之間只存在交替和串行的關(guān)系，并且交互過程基于精確的輸入信息。,1.3 多通道用戶界面的概念模型,多通道界面實例中國象棋軟件 四種輸入方式同時使用：鼠標(biāo)、漢王筆、語音、敲鍵盤。 單個通道均可完整走棋。 多個通道可配合完成走棋，如：用語音或手寫或鍵盤輸入棋子名及源位置，再用鼠標(biāo)點中目的地。 可處理單個通道識別有誤。如用戶說“炮二”被識別為“炮四”，但他又用鼠標(biāo)擊了兩下，那么由于鼠標(biāo)優(yōu)先于語音，于是語音識別錯誤無效。,

8、2 虛擬現(xiàn)實技術(shù),虛擬現(xiàn)實是用計算機(jī)技術(shù)來生成一個逼真的三維視覺、聽覺、觸覺及嗅覺等虛擬的模擬真實世界的環(huán)境，使操作者產(chǎn)生親臨其境的感覺。,2.1 基本特征與應(yīng)用領(lǐng)域,三個重要特點，即I3 沉浸感（Immersion） 交互性（Interaction） 構(gòu)想性（Imagination）,2.1 基本特征與應(yīng)用領(lǐng)域,虛擬現(xiàn)實技術(shù)是一種以集成為主的技術(shù)，其人機(jī)界面可以分解為多媒體和多通道界面，它有望徹底實現(xiàn)“和諧的、擬人化的”人機(jī)界面。 多媒體用戶界面技術(shù)側(cè)重計算機(jī)信息表現(xiàn)及輸出的自然性和多樣性問題，而多通道技術(shù)側(cè)重解決計算機(jī)信息輸入及識別的自然性和多樣性問題。,2.1 基本特征與應(yīng)用領(lǐng)域,虛擬現(xiàn)

9、實系統(tǒng)的應(yīng)用十分廣泛，幾乎可用于支持任何人類活動和任何應(yīng)用領(lǐng)域，主要用于仿真、游戲及基于傳感信息的虛擬現(xiàn)實應(yīng)用，涉及可視化、教育、訓(xùn)練、娛樂、圖形、軍事、醫(yī)療、建筑、視聽藝術(shù)、商業(yè)、遙控機(jī)器人、通信等。,2.1 基本特征與應(yīng)用領(lǐng)域,虛擬系統(tǒng)的組成 效應(yīng)器，即效果輸入輸出器件，例如：頭盔顯示器、傳感手套等 計算機(jī)系統(tǒng)，包括圖形（圖像）板、聲源和三維聲音處理器以及輸入輸出部件 應(yīng)用軟件 圖形軟件，用于表示要顯示的各種幾何形狀。,2.2 分類與相關(guān)技術(shù),桌面虛擬現(xiàn)實系統(tǒng)，成本低，主要用于CAD/CAM、建筑設(shè)計等領(lǐng)域； 沉浸式虛擬現(xiàn)實系統(tǒng)，用頭盔顯示器把用戶的視覺、聽覺及其他感覺封閉起來，產(chǎn)生一種身

10、臨其境的錯覺；目前“增強(qiáng)現(xiàn)實系統(tǒng)”正成為研究熱點。,2.2 分類與相關(guān)技術(shù),例1 新型的醫(yī)學(xué)造像技術(shù)，可在病人的頭顱上疊加大腦的數(shù)字圖象。 例2 帶上“眼鏡”，在羅浮宮可見到有臂的維納斯。 例3 帶上Columbia大學(xué)的“移動增強(qiáng)現(xiàn)實系統(tǒng)”在該校走動，注視人或建筑物，其上方會出現(xiàn)人名、樓名及解釋。以上系統(tǒng)具有GPS定位系統(tǒng)、視線捕作器、帶半透明鏡片的頭盔、判斷人頭方向的陀螺儀等，當(dāng)然還有計算機(jī)和通信工具。,2.2 分類與相關(guān)技術(shù),分布式虛擬現(xiàn)實系統(tǒng)，它建立在沉浸式虛擬現(xiàn)實系統(tǒng)和分布式交互仿真的基礎(chǔ)上。 例如：虛擬空間會議系統(tǒng)，將分布在不同地點的局部會場合成一個所有終端都能感知與交互的會議空間

11、。,2.2 分類與相關(guān)技術(shù),虛擬現(xiàn)實系統(tǒng)必須解決的問題 動態(tài)環(huán)境建模技術(shù)，這是核心技術(shù)； 實時三維圖形生成技術(shù)，足夠的刷新頻率和清晰度，并開發(fā)寬視場立體顯示技術(shù)； 傳感器技術(shù)，尤其是觸覺、力覺等傳感器技術(shù)； 應(yīng)用系統(tǒng)開發(fā)工具； 系統(tǒng)集成技術(shù)。,2.3 三維人機(jī)交互設(shè)備,三維交互技術(shù)采用六自由度輸入設(shè)備。所謂六自由度，指沿X，Y，Z軸平移和繞X，Y，Z軸旋轉(zhuǎn)。 現(xiàn)有的三維輸入設(shè)備 ： 浮動鼠標(biāo) 手持式操縱器 力矩球 數(shù)據(jù)手套 眼動交互技術(shù)和手勢識別是研究熱點。,3 計算機(jī)支持的協(xié)同工作,CSCW（Computer Supported Cooperative Work）符合信息時代人們工作的群體性

12、、交互性、分布性和協(xié)同性。這種支持協(xié)作的系統(tǒng)也叫做群件（Groupware）。,3.1 CSCW工作模式,同步模式：在同一地點和同一時間進(jìn)行同一任務(wù)的合作方式，如共同決策、共同編輯文件、CAD、室內(nèi)會議等。 分布式同步模式：在同一時間不同地點進(jìn)行同一任務(wù)的合作方式，如聯(lián)合設(shè)計、聯(lián)合編輯、群體決策、電視會議等。,3.1 CSCW工作模式,異步模式：在不同時間，但在同一地點進(jìn)行同一任務(wù)的合作方式如輪流作業(yè)等。 分布式異步模式：在不同時間和不同地點進(jìn)行同一任務(wù)的合作方式，如電子郵件、工作流、大規(guī)模開發(fā)項目的支持。,3.1 CSCW工作模式,CSCW必須具有的功能和特性 是一個分布式的計算機(jī)系統(tǒng)，其分

13、布結(jié)構(gòu)可以是同構(gòu)性，也可以是異構(gòu)性的； 以多媒體方式通信交互，并具有較高的實時性； 具有并發(fā)處理和控制功能，可實現(xiàn)共享媒體的互斥互訪； 具有良好的人機(jī)界面和人人界面。,3.2 CSCW界面特點（協(xié)作的多用戶界面）,分布性，支持多種顯示：支持在不同CSCW結(jié)點上顯示共享的協(xié)作信息。 人人交互，通過人機(jī)、機(jī)機(jī)、人機(jī)三步驟實現(xiàn)。 協(xié)作與自治性。 多媒體表現(xiàn)，仿佛“面對面” 。 開放性，能適合多種平臺和協(xié)議、規(guī)模可靈活配置。,3.2 CSCW界面特點（協(xié)作的多用戶界面）,支持不同要求的耦合：對應(yīng)于不同級別的信息共享。 表示級共享（緊耦合）：為同一信息提供統(tǒng)一的顯示輸出方式，也稱為“你見即我見” 視圖級

14、共享（中等耦合）：每個用戶使用的顯示數(shù)據(jù)相同，但顯示方式不同 對象級共享（松耦合）：每個用戶使用的顯示數(shù)據(jù)都不相同。,4 未來的界面,網(wǎng)絡(luò)用戶界面（NUI） 以網(wǎng)絡(luò)為中心的用戶界面出現(xiàn)在許多PC機(jī)網(wǎng)絡(luò)計算機(jī)（NC）的屏幕上。大公司紛紛推出相應(yīng)的產(chǎn)品，為了統(tǒng)一起見，“BYTE”雜志推薦了一個新名稱，叫做網(wǎng)絡(luò)用戶界面，被稱為“1984年以來GUI（圖形用戶界面）的又一革命”。,4.1 網(wǎng)絡(luò)用戶界面（NUI）,NUI興起的原因 可執(zhí)行的內(nèi)容：幾千公里之外的服務(wù)器立刻就可以把應(yīng)用傳送過來。 現(xiàn)有代碼：沒有必要讓程序員再去重復(fù)開發(fā)已有的應(yīng)用軟件，NUI應(yīng)提供通向已有的應(yīng)用軟件的數(shù)據(jù)庫存的“網(wǎng)關(guān)”。它一般

15、是仿真已有終端的Java Applet。,4.1 網(wǎng)絡(luò)用戶界面（NUI）,NUI興起的原因 新用戶的原因：他們不需要功能很完善的GUI 對GUI的重新審視：要摒棄那些容易給非專業(yè)用戶帶來麻煩的功能，如，“雙擊”、難以理解的“按鈕”等。 遠(yuǎn)程訪問： NUI使遠(yuǎn)距離復(fù)制、移動用戶間的電子郵件以及與企業(yè)網(wǎng)的連接等操作變得容易。,4.1 網(wǎng)絡(luò)用戶界面（NUI）,NUI的要點 NUI可以把網(wǎng)絡(luò)資源看作本地資源。通常，訪問遠(yuǎn)程Web服務(wù)器要比訪問內(nèi)置硬盤費時間。但是，NUI可以進(jìn)一步縮小這一差別。NUI實現(xiàn)這一目標(biāo)的方法之一是提供所有的資源及其圖形視圖。另一 個方法是把聯(lián)網(wǎng)操作集成到通常的桌面操作中。,4

16、.1 網(wǎng)絡(luò)用戶界面（NUI）,NUI的要點 NUI能提供一種功能選擇，來將客戶端的本地狀態(tài)存儲或鏡像到服務(wù)器上。對于客戶機(jī)來說，通過把客戶端的復(fù)雜應(yīng)用轉(zhuǎn)移到專門進(jìn)行管理的服務(wù)器上，可以大大削減管理費用。這就使用戶能通過連到網(wǎng)絡(luò)上的所有計算機(jī)自由地遠(yuǎn)程訪問某些應(yīng)用。,4.2 智能網(wǎng)絡(luò)界面,NUI應(yīng)具有高度的智能，可稱其為INUI。 計算機(jī)能使用自然語言理解等智能技術(shù)，采用基于內(nèi)容的搜索方法上網(wǎng)，去自動搜尋用戶感興趣的信息，并能對搜索到的結(jié)果進(jìn)行篩選、組織、總結(jié)等再加工，之后按用戶習(xí)慣或要求生成一份定制的報告或電子報刊；或者為用戶的進(jìn)一步閱讀提供參考意見，甚至也可進(jìn)一步輔助用戶的決策。,4.3 基

17、于因特網(wǎng)的多通道用戶界面,利用因特網(wǎng)的分布式計算模式為信息檢索提供多通道用戶界面。 即采用Client/Server結(jié)構(gòu)。Client端接受來自用戶的語音、手勢、筆輸入等，對其進(jìn)行一些預(yù)處理后將待識別的特征信息傳送到遠(yuǎn)程的Server端。由Server端對其進(jìn)行運算密集型的識別工作，并對多通道進(jìn)行整合，獲得用戶交互意圖。然后，按用戶要求進(jìn)行信息的檢索或查詢，將結(jié)果通過網(wǎng)絡(luò)傳回Client端。,4.4 未來界面的特點,小型與隱性的趨勢。 佩帶式計算機(jī)，用語音輸入 智能冰箱，它會根據(jù)儲存的食品顯示各種食譜。 服務(wù)方式的興起：計算機(jī)在人的工作中“悄悄地”主動為人服務(wù)。,4.4 未來界面的特點,對界面

18、無障礙特點的強(qiáng)調(diào)：有障礙的界面或設(shè)備的問題在于干擾用戶的正常活動，不自由也不自然。CMU利用多通道整合，在給人以充分的活動自由的同時，進(jìn)行語音識別和視線跟蹤。,4.4 未來界面的特點,虛擬與現(xiàn)實的結(jié)合：如果用白光全息技術(shù)代替立體眼鏡、用攝像跟蹤技術(shù)或者其它無障礙的技術(shù)代替手套，那么人們就可以“完全自由”地享受虛擬的樂趣。,4.4 未來界面的特點,與Internet連接。未來的世界人機(jī)界面也將無處不在。一種levi夾克衫，配有全集成的計算機(jī)網(wǎng)絡(luò)，使得穿戴者能夠完全連接互聯(lián)網(wǎng)。,4.4 未來界面的特點,自然交互：人們將以日常技能來與計算機(jī)打交道。 下一代界面將呈現(xiàn)出多樣化的特點，將拋棄遵循同一種界面范式的原則，傾向于根據(jù)各