1、多媒體計(jì)算機(jī)技術(shù),魯宏偉 ,第七講 多媒體系統(tǒng)的人機(jī)交互技術(shù),人機(jī)界面概述 多通道用戶界面 三維人機(jī)交互技術(shù) 虛擬現(xiàn)實(shí),人機(jī)界面概述,計(jì)算機(jī)包括了三個(gè)主要部分：人機(jī)信息交互、信息處理和存儲(chǔ)以及信息顯示，其中“信息處理和存儲(chǔ)”和“信息展示”技術(shù)更新和發(fā)展的速度相當(dāng)快。但人機(jī)交互技術(shù)多年來并未有重大技術(shù)突破。 從計(jì)算機(jī)問世以來，早期用戶是以計(jì)算機(jī)專業(yè)人員為主，但隨著計(jì)算機(jī)廣泛進(jìn)入人們的工作生活領(lǐng)域，計(jì)算機(jī)用戶發(fā)生了改變，非計(jì)算機(jī)專業(yè)的普通用戶成了用戶的主體。這一重大轉(zhuǎn)變使計(jì)算機(jī)的可用性問題變得日益突出起來。,人機(jī)界面概述,人機(jī)界面指人類用戶與計(jì)算機(jī)系統(tǒng)之間的通信媒體或手段，它是人機(jī)雙向信息交換的支

2、持軟件和硬件。這里“界面”定義為通信的媒體或手段，它的物化體現(xiàn)是有關(guān)的支持軟件和硬件，如帶有鼠標(biāo)的圖形顯示終端。 人機(jī)界面和人機(jī)對(duì)話(Human Computer Dialogue)是兩個(gè)不同的概念：人機(jī)對(duì)話是指用戶與計(jì)算機(jī)系統(tǒng)之間的通信，它是人與計(jì)算機(jī)之間各種符號(hào)和動(dòng)作的雙向信息交換。,人機(jī)界面的發(fā)展歷史,就用戶界面的具體形式而言，經(jīng)歷了批處理聯(lián)機(jī)終端(命令接口)(文本)菜單等多通道多媒體用戶界面和虛擬現(xiàn)實(shí)系統(tǒng)。 就用戶界面中信息載體類型而言，經(jīng)歷了以文本為主的字符用戶界面(CUI)、以二維圖形為主的圖形用戶界面(GUI)和多媒體用戶界面，使得計(jì)算機(jī)與用戶之間的通信帶寬不斷增加。,人機(jī)界面的

3、發(fā)展歷史,就計(jì)算機(jī)輸出信息的形式而言，經(jīng)歷了以符號(hào)為主的字符命令語(yǔ)言；以視覺感知為主的圖形用戶界面；兼顧聽覺感知的多媒體用戶界面和綜合運(yùn)用多種感官(包括觸覺等)的虛擬現(xiàn)實(shí)系統(tǒng)。 就人機(jī)界面中的信息維度而言，經(jīng)歷了一維信息(主要指文本流如早期電傳式終端)、二維信息(主要是二維圖形技術(shù)，利用了色彩形狀紋理等維度信息)、三維信息(主要是三維圖形技術(shù)，但顯示技術(shù)仍利用二維平面為主)和多維信息(多通道的多維信息)。,人機(jī)界面的發(fā)展歷史,不論從何種角度看，人機(jī)交互發(fā)展的趨勢(shì)體現(xiàn)了對(duì)人的因素的不斷重視，使人機(jī)交互更接近于自然的形式，使用戶能利用日常的自然技能不須經(jīng)過特別的努力和學(xué)習(xí)提高工作效率。這種“以人為

4、中心”的思想特別是自20世紀(jì)80年代以來在人機(jī)交互技術(shù)的研究中得到明顯的體現(xiàn)。,人機(jī)界面設(shè)計(jì)技術(shù),三維用戶界面 多媒體和超媒體界面 多通道交互界面 虛擬現(xiàn)實(shí)技術(shù) 組件及可視計(jì)算,用戶界面的設(shè)計(jì)原則,從用戶的本身需求、生理心理?xiàng)l件和現(xiàn)有硬軟件條件出發(fā)，可以總結(jié)為以下幾點(diǎn)： 以用戶的行為為基本出發(fā)點(diǎn) 考慮用戶操作時(shí)間長(zhǎng)短 以用戶操作中的出錯(cuò)率為依據(jù)，改進(jìn)界面設(shè)計(jì) 減少用戶短期記憶負(fù)擔(dān)、長(zhǎng)期記憶和學(xué)習(xí)負(fù)擔(dān) 采用日常生活的常識(shí)和比喻，較少計(jì)算機(jī)邏輯思維和專業(yè)術(shù)語(yǔ) 注重用戶的個(gè)人特性和區(qū)別，例如老年人、殘疾人的特殊需要 為提高通用性，用戶界面最好采用一致性原則,用戶界面的設(shè)計(jì)原則,對(duì)于軟件界面的設(shè)計(jì)的特

5、殊性，我們可將其設(shè)計(jì)目的概括成以下3個(gè): 用戶界面軟件標(biāo)準(zhǔn)化 用戶界面的一致性 用戶界面的有效性、可靠性、安全性、可移植性(各種軟件的數(shù)據(jù)可以交換)和數(shù)據(jù)的一體性,第七講 多媒體系統(tǒng)的人機(jī)交互技術(shù),人機(jī)界面概述 多通道用戶界面 三維人機(jī)交互技術(shù) 虛擬現(xiàn)實(shí),多通道用戶界面,多通道人機(jī)界面技術(shù)基于視線跟蹤、語(yǔ)音識(shí)別、手勢(shì)輸入、感覺反饋等新的交互技術(shù)，允許用戶利用自身的內(nèi)在感覺和認(rèn)知技能，使用多個(gè)交互通道，以并行、非精確方式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互的自然性和高效性 它代表了人機(jī)交互的一種新范式，與傳統(tǒng)的圖形用戶界面相比，能將互補(bǔ)的通道進(jìn)行整合來獲取增強(qiáng)的混合，通道之間可以相互補(bǔ)充，克服

6、彼此的缺陷，或者是針對(duì)不同的應(yīng)用采取不同的交互方式，具有更強(qiáng)大的表達(dá)能力、自然性、靈活性和便攜性,多通道概念,通道：指?jìng)魉突颢@得信息的通信通道的類型，它包含了信息表達(dá)、感知以及動(dòng)作執(zhí)行的方式，定義了交換數(shù)據(jù)的類型 模式：指一種狀態(tài)或上下文信息，它決定了如何對(duì)信息解釋以獲取意義 通道整合：指用戶在與計(jì)算機(jī)系統(tǒng)交互時(shí)，多個(gè)交互通道之間相互作用形成交互意圖的過程,多通道、多媒體與虛擬現(xiàn)實(shí),多通道系統(tǒng)力求對(duì)語(yǔ)義的理解它對(duì)用戶的原始輸入在較高的層次上(如任務(wù)領(lǐng)域)進(jìn)行解釋、分析和綜合，提取語(yǔ)義內(nèi)容，達(dá)到對(duì)用戶的某種理解，然后，從較高的表現(xiàn)層次上傳達(dá)給用戶最恰當(dāng)?shù)姆答?，它?cè)重于信息的理解和解釋 多媒體側(cè)重

7、于信息的表現(xiàn) 虛擬現(xiàn)實(shí)依靠三維立體視覺、頭盔式顯示器、身體跟蹤和立體音響等技術(shù)來模擬現(xiàn)實(shí)世界，旨在使用戶獲得一種沉浸式的多種感知通道的靈境體驗(yàn),多通道用戶界面的特點(diǎn),多通道用戶界面主要關(guān)注人機(jī)界面中用戶向計(jì)算機(jī)輸入信息以及汁算機(jī)對(duì)用戶意圖理解的問題，它所要達(dá)到的目標(biāo)可歸納為如下方面： 交互自然性 交互高效性 吸取已有人機(jī)交互技術(shù)的成果，與傳統(tǒng)的用戶界面特別是廣泛流行的圖形用戶界面兼容，使老用戶、專家用戶的知識(shí)和技能得以利用,多通道用戶界面的主要研究?jī)?nèi)容,認(rèn)知心理學(xué) 界面模型及描述方法 軟件結(jié)構(gòu) 多通道整合 多通道的錯(cuò)誤糾正機(jī)制,第七講 多媒體系統(tǒng)的人機(jī)交互技術(shù),人機(jī)界面概述 多通道用戶界面 三

8、維人機(jī)交互技術(shù) 虛擬現(xiàn)實(shí),三維人機(jī)交互技術(shù),三維人機(jī)交互技術(shù)與傳統(tǒng)的WIMP（Window，Icon，Menu，Pointer，窗口、圖標(biāo)、菜單和指點(diǎn)裝置）圖形交互技術(shù)不同。它采用六自由度輸入設(shè)備。 由于自由度的增加，使三維交互的復(fù)雜性大大提高。另外，窗口、菜單、圖標(biāo)和傳統(tǒng)的二維光標(biāo)在三維交互環(huán)境會(huì)破壞空間感，同時(shí)也使得交互過程非常不自然,三維設(shè)備,浮動(dòng)鼠標(biāo)（Flying Mouse）：浮動(dòng)鼠標(biāo)類似于標(biāo)準(zhǔn)的計(jì)算機(jī)鼠標(biāo)，但當(dāng)離開桌面后就成為一個(gè)六自由度探測(cè)器，大多數(shù)浮動(dòng)鼠標(biāo)器內(nèi)部裝有電磁探測(cè)器。 數(shù)據(jù)手套（Data Glove）：早期的數(shù)據(jù)手套是美國(guó)加州VPL公司開發(fā)的指示手勢(shì)的輸入裝置。數(shù)據(jù)手

9、套是一種虛擬工具，它將人手的各種手勢(shì)、動(dòng)作通過手套上所帶的光導(dǎo)纖維傳感器，輸入計(jì)算機(jī)中進(jìn)行分析，這種手勢(shì)可以是一符號(hào)表示或命令，也可以是動(dòng)作。,三維設(shè)備,手持式操作器（Wand）：手持式操縱器包含一個(gè)位置跟蹤探測(cè)器和幾個(gè)按鈕，專門用于手中使用。手持式操作器類似于浮動(dòng)鼠標(biāo)，但沒有鼠標(biāo)球，因此不能在桌面上滾動(dòng)。 力矩球（空間球Space Ball）：手持式操作器和浮動(dòng)鼠標(biāo)的問題之一是用戶必須將設(shè)備拿在手中，而力矩球是一種可以提供六自由度的桌面設(shè)備，它安裝在一個(gè)小型的固定平臺(tái)上，可以扭轉(zhuǎn)、壓下的拉出、來回?fù)u擺等。力矩球通常使用發(fā)光二極管和光接收器進(jìn)行測(cè)量。,三維交互方式,在三維人機(jī)交互中，用戶主要通

10、過以下兩種交互方式在三維空間中進(jìn)行操作： 直接操作 三維widgets,人機(jī)交互中的視線跟蹤技術(shù),視線跟蹤技術(shù)早期主要應(yīng)用于心理學(xué)研究(如閱讀研究)、助殘等領(lǐng)域，后來才被應(yīng)用于圖像壓縮及人機(jī)交互技術(shù)。 從理論上說，由于幾乎所有的人機(jī)交互形式都離不開視覺介入，因此，當(dāng)用戶凝視其感興趣的目標(biāo)時(shí)，如果系統(tǒng)能“自動(dòng)”將光標(biāo)置于其上或觸發(fā)必要的動(dòng)作，則比利用鼠標(biāo)器等間接指點(diǎn)設(shè)備甚至觸屏這樣的直接指點(diǎn)設(shè)備更為直接。,人機(jī)交互中的視線跟蹤技術(shù),視線跟蹤技術(shù),在多通道用戶界面研究中，將視線輸入作為一個(gè)輔助通道加以利用，可充分發(fā)揮視覺與語(yǔ)音的互補(bǔ)作用。研究者認(rèn)為，視線跟蹤技術(shù)固有的不精確性與視線運(yùn)動(dòng)的隨意性使其

11、不宜作精確輸入，而作為附加約束信息有重要價(jià)值。,A,B,C,D,感興趣區(qū)域,語(yǔ)音與手勢(shì)整合示例,基于手勢(shì)的人機(jī)交互技術(shù),手勢(shì)是人手或者手和臂結(jié)合所產(chǎn)生的各種姿勢(shì)和動(dòng)作，它包括靜態(tài)手勢(shì)(指姿態(tài)，單個(gè)手形)和動(dòng)態(tài)手勢(shì)(指動(dòng)作，由一系列姿態(tài)組成)。 靜態(tài)手勢(shì)對(duì)應(yīng)空間里的一個(gè)點(diǎn)，而動(dòng)態(tài)手勢(shì)對(duì)應(yīng)著模型參數(shù)空間里的一條軌跡，需要使用隨時(shí)間變化的空間特征來表述。 手勢(shì)和姿勢(shì)(Posture)的主要區(qū)別在于，姿勢(shì)更為強(qiáng)調(diào)手和身體的形態(tài)和狀態(tài)，而手勢(shì)更為強(qiáng)調(diào)手的運(yùn)動(dòng)。,基于手勢(shì)的人機(jī)交互技術(shù),手勢(shì)逐漸成為人機(jī)界面中一種新穎的交互手段，研究手勢(shì)識(shí)別的主要目的就是把手勢(shì)這種既自然又直觀的交流方式引入人機(jī)接口中，實(shí)現(xiàn)更符合人類行為習(xí)慣的人機(jī)接口。 手勢(shì)識(shí)別還可用于虛擬現(xiàn)實(shí)、三維設(shè)計(jì)