多媒體人機交互技術(shù)第1頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第2頁/共41頁本章導讀從多媒體技術(shù)的角度看，人機交互技術(shù)是在計算機具備處理聲音、圖像、視頻等多種媒體信息能力的基礎上發(fā)展起來的，是多媒體技術(shù)的不同應用。另一方面，人機交互技術(shù)的研究又促進了多媒體技術(shù)的快速發(fā)展，充分表現(xiàn)了多媒體技術(shù)的交互性。本章將從多媒體信息處理的角度，簡單介紹目前已經(jīng)廣泛應用的幾種典型的人機交互技術(shù)，如觸摸技術(shù)、手寫識別技術(shù)、語音識別與合成技術(shù)、虛擬現(xiàn)實技術(shù)等。同時，還將介紹基于多媒體技術(shù)的人機交互界面的發(fā)展方向。

第2頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第3頁/共41頁本章主要內(nèi)容12.1人機交互技術(shù)概述12.2觸摸屏技術(shù)12.3OCR與手寫識別技術(shù)12.4語音識別技術(shù)12.5語音合成技術(shù)

12.6虛擬現(xiàn)實技術(shù)

第3頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第4頁/共41頁12.1人機交互技術(shù)概述12.1.1人機交互簡介

人機交互（ComputerHumanInteraction，CHI）也稱HCI（HumanComputerInteraction），是研究人、計算機及其相互影響的技術(shù)，其核心是人機界面，它是計算機與人之間通信和對話的接口，是計算機系統(tǒng)的重要組成部分。

人機交互技術(shù)是指通過計算機系統(tǒng)的輸入/輸出設備，以有效的方式實現(xiàn)人與計算機系統(tǒng)之間信息交流的技術(shù)。

目前，人們已經(jīng)能夠與計算機系統(tǒng)較為方便地進行交互，具體應用的交互技術(shù)有鍵盤交互、手寫文字交互、語音交互、圖像與視頻交互、多語言交互、虛擬現(xiàn)實系統(tǒng)中的交互等。第4頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第5頁/共41頁12.1.2多模態(tài)人機交互1、模態(tài)

是心理學領(lǐng)域中的一個標準術(shù)語，指感知信息的感覺，也就是感覺模態(tài)。2、多模態(tài)人機交互多模態(tài)（Multimodality）人機交互，就是基于智能接口技術(shù)，充分利用人的多種感知通道，以并行的、非精確的方式與計算機系統(tǒng)進行交互，旨在提高人機交互的自然性和高效性。第5頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第6頁/共41頁3、多模態(tài)人機交互的研究內(nèi)容

1）語音識別、2)理解及合成、3）手勢識別技術(shù)、4）人臉的研究、5）唇讀的研究、6）人體動作的研究。

第6頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第7頁/共41頁4、多模態(tài)人機交互的基本特點1）使用多個感覺和動作模態(tài)；

2）三維的和直接操縱的要求；

3）允許模糊交互；

4）交互雙向性；

5）交互的隱含性；第7頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第8頁/共41頁12.1.3可視化

可視化是指充分利用人們對可視模式快速識別的自然能力，將數(shù)據(jù)信息和知識轉(zhuǎn)化為一種視覺形成的過程。可視化操作過程可視化科學計算可視化信息可視化

利用計算機圖形學和圖像處理技術(shù)，將科學計算過程中（包括計算結(jié)果）的數(shù)據(jù)轉(zhuǎn)換為圖形或圖像在屏幕上顯示出來，進行交互處理的理論、方法和技術(shù)。

層次信息可視化多位信息可視化文檔（文本）信息可視化

Web可視化

現(xiàn)代操作系統(tǒng)提供人機交互環(huán)境的基本要求，它通過GUI技術(shù)來實現(xiàn)第8頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第9頁/共41頁12.1.4新型人機界面的主要特征1）人性化2）自然化3）智能化4）高帶寬5）不限制地點6）圖示編程(a)交互墻(b)交互桌(c)交互椅圖12-1物面用戶接口舉例第9頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第10頁/共41頁12.2觸摸屏技術(shù)12.2.1觸摸屏簡介

觸摸屏是一種定位裝置，安裝在顯示屏幕前面，它的功能是報告手指（或物體）觸摸到屏幕的位置。用戶可以直接用手指觸摸屏幕以實現(xiàn)與計算機的交互。

工作過程：手指或其他物體觸摸觸摸屏觸摸屏控制器檢測位置（以坐標形式）通過計算機接口送到CPU確定用戶所輸入的信息。觸摸屏具有界面直觀，操作簡單，“伸手即得”的優(yōu)點，大大改善了人與計算機的交互方式。第10頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第11頁/共41頁觸摸屏是一種定位裝置，安裝在顯示屏幕前面，它的功能是報告手指（或物體）觸摸到屏幕的位置；用戶可以直接用手指觸摸屏幕以實現(xiàn)與計算機的交互；

工作過程：手指或其他物體觸摸觸摸屏，觸摸屏控制器檢測位置（以坐標形式），通過計算機接口送到CPU，以確定用戶所輸入的信息。觸摸屏具有界面直觀，操作簡單，“伸手即得”的優(yōu)點，大大改善了人與計算機的交互方式。12.2觸摸屏技術(shù)12.2.1觸摸屏簡介第11頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第12頁/共41頁12.2.2觸摸屏的主要類型矢量壓力傳感技術(shù)觸摸屏電阻技術(shù)觸摸屏電容技術(shù)觸摸屏紅外線技術(shù)觸摸屏表面聲波技術(shù)觸摸屏等五種類型。其中矢量壓力傳感技術(shù)觸摸屏已經(jīng)被淘汰。依據(jù)所采用的技術(shù)原理，觸摸屏可分為：第12頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第13頁/共41頁1、電阻式觸摸屏

如右圖，當手指接觸屏幕，兩層OTI導電層出現(xiàn)一個接觸點，因其中一面導電層接通Y軸方向的5V均勻電壓場，使得偵測層的電壓由零變?yōu)榉橇?，控制器偵測到這個接通后，進行A/D轉(zhuǎn)換，并將得到的電壓值與5V相比，即可得觸摸點的Y軸坐標，同理得出X軸的坐標。從而實現(xiàn)屏幕定位。圖12-2電阻式觸摸屏第13頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第14頁/共41頁2、電容式觸摸屏

如右圖，用戶觸摸屏幕時，由于人體電場，手指與導體層間會形成一個耦合電容，四邊電極發(fā)出的電流會流向觸點，而電流強弱與手指到電極的距離成正比，位于觸摸屏幕后的控制器便會計算電流的比例及強弱，準確算出觸摸點的位置。圖12-3電容式觸摸屏第14頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第15頁/共41頁3、紅外線式觸摸屏

紅外線觸摸屏由裝在觸摸屏外框上的紅外線發(fā)射與接收感測元件構(gòu)成，在屏幕表面上，形成紅外線探測網(wǎng)，任何觸摸物體可改變觸點上的紅外線而實現(xiàn)觸摸屏操作。具體實現(xiàn)：在顯示器上加上光點距離框，光點距離框的四邊排列了紅外線發(fā)射管及接收管，在屏幕表面形成一個紅外線網(wǎng)（如圖11-4所示）。當手指觸摸屏幕某一點時，便會擋住經(jīng)過該位置的橫豎兩條紅外線，計算機便可即時算出觸摸點位置。圖12-4紅外線觸摸屏第15頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第16頁/共41頁4、表面聲波觸摸屏

表面聲波觸摸屏由觸摸屏、聲波發(fā)生器、反射器和聲波接收器組成，其中聲波發(fā)生器能發(fā)送一種高頻聲波跨越屏幕表面，當手指觸及屏幕時，觸點上的聲波即被阻止，由此確定坐標位置。圖12-5表面聲波觸摸屏第16頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第17頁/共41頁12.2.3觸摸屏的基本技術(shù)特性

觸摸屏通常應具備以下三個基本技術(shù)特性：1、透明性能

2、絕對坐標系統(tǒng)

3、檢測與定位第17頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第18頁/共41頁12.3OCR與手寫識別技術(shù)12.3.1OCR識別技術(shù)OCR（OpticalCharacterRecognition，光學字符識別）技術(shù)，是通過掃描等光學輸入方式將文字轉(zhuǎn)化為圖像信息，再利用文字識別技術(shù)將圖像信息轉(zhuǎn)化為可編輯的文本信息的計算機輸入技術(shù)。廣泛應用于大量文字資料、票據(jù)、檔案卷宗、文案的錄入和處理等領(lǐng)域。相對一般文本，通常以最終識別率、識別速度、版面理解正確率及版面還原滿意度4個方面作為OCR技術(shù)的評測依據(jù)；而相對于表格及票據(jù)，通常以識別率或整張通過率及識別速度為測定OCR技術(shù)的實用標準。

第18頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第19頁/共41頁

OCR的基本工作過程分為圖文掃描、預處理、單字識別、后處理以及文檔輸出等五個環(huán)節(jié)，如圖12-6所示。圖12-6OCR的基本工作原理示意第19頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第20頁/共41頁12.3.2手寫識別技術(shù)

手寫識別通過提取手寫內(nèi)容的結(jié)構(gòu)特征來分割和識別字符，從而達到手寫輸入的目的。1、手寫輸入

手寫輸入是把要輸入的字符寫在一塊叫書寫板的數(shù)字化設備上，這種設備將筆尖走過的軌跡按時間采樣后發(fā)送到計算機中，通過手寫識別技術(shù)，將手寫內(nèi)容識別成相應的字符內(nèi)容（如漢字、數(shù)字、字母等），從而達到手寫輸入的目的。第20頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第21頁/共41頁2、手寫識別

就漢字識別而言，其方法基本上分為統(tǒng)計識別、結(jié)構(gòu)識別以及神經(jīng)網(wǎng)絡方法等幾大類。大量的聯(lián)機手寫識別系統(tǒng)采用的都是結(jié)構(gòu)識別方法。結(jié)構(gòu)識別方法：其出發(fā)點是漢字的組成結(jié)構(gòu)，從漢字的構(gòu)成上講，漢字是由筆劃(點、橫、豎、撇、捺等)、偏旁、部首構(gòu)成，通過把復雜的漢字模式分解為簡單的子模式直至基本模式元素，對子模式的判定，以及基于符號運算的匹配算法，達到對復雜模式的識別。

第21頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第22頁/共41頁3、影響識別率的因素目前影響識別率的因素主要有以下幾個方面：1）筆順問題

2）連筆問題

3）相似字區(qū)分

4）對抗干擾能力的要求第22頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第23頁/共41頁12.4語音識別技術(shù)12.4.1語音識別技術(shù)簡介

語音識別（ASR：AutomaticSpeechRecognition）技術(shù)，是指通過計算機的識別和理解過程，將語音信號轉(zhuǎn)換為相應的文字信息，從而識別說話人的語音指令以及文字內(nèi)容的技術(shù)。語音識別是一個多學科交叉的研究領(lǐng)域，涉及語言學、認知科學以及計算機科學等多個學科。語音識別技術(shù)與語音合成技術(shù)的結(jié)合，使人和計算機之間能夠?qū)崿F(xiàn)雙向語言交流，擺脫鍵盤對人機交互方式的束縛。第23頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第24頁/共41頁12.4.2語音識別的技術(shù)原理語音特征提?。浩淠康氖菑恼Z音波形中提取出隨時間變化的語音特征序列。聲學模型與模式匹配（識別算法）：聲學模型通常通過學習算法來獲取語音特征。在識別時將輸入的語音特征同聲學模型進行匹配與比較，得到最佳的識別結(jié)果。語言模型與語言處理：語言模型包括由識別語音命令構(gòu)成的語法網(wǎng)絡或由統(tǒng)計方法構(gòu)成的語言模型，語言處理可以進行語法、語義分析。對小詞表語音識別系統(tǒng)，往往不需要語言處理部分。

計算機的語音識別過程與人對語音的識別處理過程基本上是一致的。目前主流的語音識別技術(shù)是建立在統(tǒng)計模式識別基本理論之上的，其語音識別系統(tǒng)可大致分為三部分：

第24頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第25頁/共41頁12.5語音合成技術(shù)12.5.1語音合成技術(shù)簡介

語音合成（Speechsynthesis，或TextToSpeech）技術(shù)，是指將文本信息轉(zhuǎn)變?yōu)檎Z音數(shù)據(jù)，再以語音的方式播放出來的技術(shù)，通常被簡稱為TTS技術(shù)。一個典型的語音合成系統(tǒng)可分為文本分析、韻律建模和語音合成三大模塊，主要功能是：根據(jù)韻律建模的結(jié)果，從原始語音庫中取出相應的語音基元，利用特定的語音合成技術(shù)對語音基元進行韻律特性的調(diào)整和修改，最終合成出符合要求的語音。第25頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第26頁/共41頁12.5.2語音合成的技術(shù)方法

語音合成（讓計算機說話）的基本思路有兩種：一種是參數(shù)模擬合成，一種是波形拼接合成。

參數(shù)模擬合成:是采用數(shù)字信號處理的方法，將人類發(fā)聲過程看作是一個模擬聲門狀態(tài)的源，去激勵一個表征聲道諧振特性的時變數(shù)字濾波器。

波形拼接合成:是將要合成的語音信息分割成大量不同的語音信息元，并以數(shù)字形式存儲，合成時根據(jù)具體內(nèi)容和要求，選擇適當?shù)恼Z音信息元進行拼接，從而形成所需的語音信息。第26頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第27頁/共41頁12.5.3語音合成技術(shù)的應用與發(fā)展方向

語音合成技術(shù)可廣泛應用于語音數(shù)據(jù)查詢、語音提示、電話銀行、語音信箱、語音郵件、語音新聞發(fā)布、語音廣播等各類語音業(yè)務，提供更加人性化的人機交互方式。語音合成技術(shù)的發(fā)展方向：

1)提高合成語音的自然度

2)豐富合成語音的表現(xiàn)力

3)降低語音合成技術(shù)的復雜度

4)多語種文語合成第27頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第28頁/共41頁12.6虛擬現(xiàn)實技術(shù)

12.6.1虛擬現(xiàn)實技術(shù)簡介虛擬現(xiàn)實（VirtualReality）是利用計算機生成一種模擬環(huán)境，通過多種傳感設備使用戶“投入”到該環(huán)境中，實現(xiàn)用戶與該環(huán)境直接進行自然交互的技術(shù)。虛擬現(xiàn)實技術(shù)的研究內(nèi)容涉及到人工智能、計算機科學、電子學、傳感器、計算機圖形學、智能控制、心理學等。虛擬現(xiàn)實技術(shù)的特點在于，計算機產(chǎn)生一種人為虛擬的環(huán)境，這種虛擬的環(huán)境是通過計算機圖形構(gòu)成的三維空間，或是把其它現(xiàn)實環(huán)境編制到計算機中去產(chǎn)生逼真的“虛擬環(huán)境”，從而使得用戶在視覺上產(chǎn)生一種沉浸于虛擬環(huán)境的感覺。第28頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第29頁/共41頁12.6.2虛擬現(xiàn)實系統(tǒng)

1、虛擬現(xiàn)實系統(tǒng)的典型模型

如右圖所示。使用者通過傳感裝置直接對虛擬環(huán)境進行操作，并得到實時三維顯示和其它反饋信息（如觸覺、力覺反饋等）。當系統(tǒng)與外部世界通過傳感裝置構(gòu)成反饋閉環(huán)時，在用戶的控制下，用戶與虛擬環(huán)境間的交互可以對外部世界產(chǎn)生作用（如遙操作等）。圖12-7虛擬現(xiàn)實系統(tǒng)的模型第29頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第30頁/共41頁2、虛擬現(xiàn)實系統(tǒng)的構(gòu)成

一般的虛擬現(xiàn)實系統(tǒng)主要由以下五個模塊構(gòu)成，如下圖所示。圖12-8虛擬現(xiàn)實系統(tǒng)的構(gòu)成第30頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第31頁/共41頁檢測模塊：檢測用戶的操作命令，并通過傳感器模塊作用于虛擬環(huán)境。反饋模塊：接受來自傳感器模塊信息，為用戶提供實時反饋。傳感器模塊：一方面接受來自用戶的操作命令，并將其作用于虛擬環(huán)境；另一方面將操作后產(chǎn)生的結(jié)果以各種反饋的形式提供給用戶?？刂颇K：對傳感器進行控制，使其對用戶、虛擬環(huán)境和現(xiàn)實世界產(chǎn)生作用。建模模塊：獲取現(xiàn)實世界組成部分的三維表示，并由此構(gòu)成對應的虛擬環(huán)境。第31頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第32頁/共41頁12.6.3虛擬現(xiàn)實技術(shù)的特征

1）多感知性：除了一般計算機所具有的視覺感知外，還有聽覺感知、力覺感知、觸覺感知、運動感知、甚至包括味覺感知、嗅覺感知等。理想的虛擬現(xiàn)實就是應該具有人所具有的感知功能。

2）存在感：指用戶感到作為主角存在于模擬環(huán)境中的真實程度。理想的模擬環(huán)境應該達到使用戶難以分辨真假的程度。

3）交互性：指用戶對模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度（包括實時性）。

4）自主性：指虛擬環(huán)境中物體依據(jù)物理定律動作的程度。

第32頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第33頁/共41頁12.6.4虛擬現(xiàn)實的關(guān)鍵技術(shù)

就現(xiàn)有的虛擬現(xiàn)實系統(tǒng)而言，其關(guān)鍵技術(shù)可以包括以下幾個方面：1、動態(tài)環(huán)境建模技術(shù)

動態(tài)環(huán)境建模技術(shù)的目的是獲取實際環(huán)境的三維數(shù)據(jù)，并根據(jù)應用的需要，利用獲取的三維數(shù)據(jù)建立相應的虛擬環(huán)境模型。三維數(shù)據(jù)的獲取可以采用CAD技術(shù)（有規(guī)則的環(huán)境），而更多的環(huán)境則需要采用非接觸式的視覺建模技術(shù)，兩者的有機結(jié)合可以有效地提高數(shù)據(jù)獲取的效率。

2、實時三維圖形生成技術(shù)

關(guān)鍵是“實時”生成。第33頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第34頁/共41頁3、立體顯示和傳感器技術(shù)4、應用系統(tǒng)開發(fā)工具5、系統(tǒng)集成技術(shù)

現(xiàn)有的虛擬現(xiàn)實外設還遠遠不能滿足系統(tǒng)的需要，例如，數(shù)據(jù)手套（如下圖所示）有延遲大、分辨率低、作用范圍小、使用不便等缺點；有必要開發(fā)新的三維顯示技術(shù)。第34頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第35頁/共41頁12.6.5虛擬現(xiàn)實技術(shù)的應用領(lǐng)域

1、遙控機器人的遙現(xiàn)技術(shù)

2、各類仿真技術(shù)

1）飛行仿真系統(tǒng)

2）與虛擬生物對話

3）作戰(zhàn)仿真系統(tǒng)

3、對象可視化技術(shù)

1）虛擬風洞2）虛擬物理實驗室3）虛擬電力控制室第35頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第36頁/共41頁本章小結(jié)本章主要介紹了人機交互的基本概念、現(xiàn)有的人機交互技術(shù)以及新型人機界面的主要特征等內(nèi)容，較為全面地概括了多媒體計算機系統(tǒng)或多媒體終端（PDA、多媒體手機等）的人機交互形式和途徑。通過學習本章，應掌握人機交互的基本概念、人機交互的研究內(nèi)容以及新型人機界面的主要特征等內(nèi)容，并對目前的各種人機交互技術(shù)（觸摸屏技術(shù)、OCR技術(shù)、手寫識別技術(shù)、語音識別與合成技術(shù)、虛擬現(xiàn)實技術(shù)等）有所了解。主要包括以下內(nèi)容：第36頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第37頁/共41頁

1)人機交互技術(shù)是指通過計算機系統(tǒng)的輸入/輸出設備，以有效的方式實現(xiàn)人與計算機系統(tǒng)之間信息交流的技術(shù)。它包括機器通過輸出設備給人提供大量有關(guān)信息和操作導向，人通過輸入設備向計算機輸入操作信息等。從第一臺計算機誕生到現(xiàn)在，人與計算機之間的交互方式經(jīng)歷了手工操作、字符用戶界面（命令語言）、可視化的圖形用戶界面（GUI）3個階段，人們操作使用計算機的直觀性有了明顯的改善。2)多模態(tài)（Multimodality）人機交互，就是基于智能接口技術(shù)，充分利用人的多種感知通道，以并行的、非精確的方式與計算機系統(tǒng)進行交互，旨在提高人機交互的自然性和高效性。第37頁，課件共41頁，創(chuàng)作于2023年2月主講人：楊帆第38頁/