1、FPP/RAMA,新一代人機自然交互在移動設(shè)備中的應(yīng)用,人機自然交互的定義 移動設(shè)備現(xiàn)有的交互方式 自然交互在移動設(shè)備中的應(yīng)用 語音交互在移動設(shè)備中的應(yīng)用 圖像識別在移動設(shè)備中的應(yīng)用 多媒體交互在移動設(shè)備中的應(yīng)用 電信研究院在移動設(shè)備人機交互中可以做的,FPP/RAMA,人機自然交互的定義人機交互的定義,人機交互技術(shù)(Human-Computer Interaction Techniques)是指人與機器的交互其實質(zhì)是通過計算機輸入、輸出設(shè)備，以有效的方式實現(xiàn)人與計算機對話的技術(shù)。 機器通過輸出或顯示設(shè)備給人提供大量有關(guān)信息及提示請示等； 人通過輸入設(shè)備給機器輸入有關(guān)信息及提示請示等； 人通過

2、輸入設(shè)備給機器輸入有關(guān)信息，回答問題等； 人機交互技術(shù)是計算機用戶界面設(shè)計中的重要內(nèi)容之一。它與認知學(xué)、人機工程學(xué)、心理學(xué)等學(xué)科領(lǐng)域有密切的聯(lián)系。,FPP/RAMA,人機自然交互的定義人機交互的發(fā)展,確切的說，人機交互是指人與“含有計算機的機器”的交互。人機交互的發(fā)展已經(jīng)經(jīng)歷了4代： 第1代 ： 鍵盤； 第2代 ： 鼠標； 第3代 ： 多媒體； 第4代 ： 人及自然交互。,FPP/RAMA,人機自然交互的定義鼠標,到20世紀80年代初期進入第2代交互，開始使用鼠標。 20世紀60年代麻省理工學(xué)院發(fā)明了Sketchpad首次引入菜單、不可重疊的瓦片式窗口、圖標、并采用光筆進行繪圖操作。 1963

3、年，斯坦福研究所Engelbart發(fā)明了鼠標。 20世紀70年代，施樂公司在Alto計算機上首次開發(fā)了位映像圖形顯示技術(shù)，奠基了目前圖形用戶界面的基礎(chǔ)。 人機交互的自然性和效率得到很大的提高，便于初學(xué)者使用，但是占用了較多屏幕空間，難以表達和支持非空間的抽象性信息的交互。,FPP/RAMA,鼠標,FPP/RAMA,人機自然交互的定義多媒體,到20世紀80年代末期進入第3代，開始以用多媒體并且與鼠標并用。 動畫 音頻 視頻 智能用戶界面和自然交互技術(shù)取得突破之前的一種過渡技術(shù)。提高了人們對信息的表現(xiàn)形式的選擇和控制能力。但是并沒有理解媒體的信息的含義。,FPP/RAMA,人機自然交互的定義人機自

4、然交互,基本特征： 賦予計算機聽覺和視覺智能，使計算機能認識交互的對象，理解以語言形式表達的說話內(nèi)容，理解交互對象的情感，按人的要求去做，或回答人提出的問題，達到交互的目的。 研究重點： 非生命對于生命的理解，生命與非生命的對話。重點是計算機對人的理解，發(fā)展人造信息與自然信息的接口，改造人造信息與自然信息想兼容。,FPP/RAMA,人機自然交互,語音設(shè)備：,FPP/RAMA,人機自然交互,人機自然交互兩種技術(shù)： 多通道用戶界面：采用實現(xiàn)語音、手勢、書寫和眼動等新的交互通道、設(shè)備和交互技術(shù)，使用戶利用多個通道以自然、并行、協(xié)作的方式進行交互。 虛擬現(xiàn)實技術(shù)：以人為中心。,FPP/RAMA,人機自

5、然交互,主要功能與特征： 功能： 說話人識別； 語音識別； 情態(tài)識別； 對說話人進行定位和識別； 特征 交互方式：輸入輸出是多模態(tài)的。 交互內(nèi)容：人機對話，情態(tài)的表現(xiàn)，在互聯(lián)網(wǎng)上基于內(nèi)容的信息檢索。 交互界面：智能代理界面。 交互環(huán)境：營造2或3維的真實的虛擬環(huán)境和虛擬真人。,FPP/RAMA,人機自然交互,識別交互的對象（說話人識別）： 說話人辨別：判斷正在說話的人是誰。 說話人驗證：驗證所獲取的語言或人臉信號是哪個人的。 說話人識別的途徑： 聽覺通道 視覺通道,FPP/RAMA,人機自然交互,識別交互內(nèi)容： 在人際交互中，對交互內(nèi)容的識別就是對人類語言的識別，包括語音識別及對自然語言的理解

6、，這是交互的核心問題。 識別方法： 聽覺通道：線形預(yù)測編碼（LPC），DTW，HMM 視覺通道：唇讀圖像 基于像素 基于模型參量,FPP/RAMA,人機自然交互,聽覺視覺的雙模態(tài)融合： 融合問題：將視覺與聽覺信息融為一體，恢復(fù)其本來的面貌。 融合策略： 早期融合：在分類以前將來自聽覺和視覺的信號的語音特征連接形成特征向量空間。 中期融合：為了適應(yīng)如何對融合的加權(quán)值進行有效地調(diào)整。 晚期融合：聽覺和視覺信到可信度評價的算法機制。,FPP/RAMA,人機自然交互的定義人機自然交互發(fā)展趨勢,高科技化 計算機硬件的發(fā)展：屏幕小，體積小，觸屏，多種交互方式 計算機軟件的發(fā)展：識別軟件的推廣 多媒體技術(shù)的

7、發(fā)展 自然化 語音 手勢 情態(tài) 人性化,FPP/RAMA,移動設(shè)備現(xiàn)有的交互方式現(xiàn)狀,現(xiàn)在市場上有很多的移動設(shè)備，從每個設(shè)備生產(chǎn)商的不同交互理念來設(shè)計出不同的交互方式，總體來看有以下幾種交互方式： 手機鍵盤交互 這種交互方式被廣泛的應(yīng)用到1代手機和2代手機上，其中最為出名的當屬諾基亞的機型。 半觸屏交互 這種交互方式被廣泛的應(yīng)用到2代手機上，其中大部分用在山寨手機上，顯然這是一種折中方案，既節(jié)省成本又節(jié)省錢,FPP/RAMA,移動設(shè)備現(xiàn)有的交互方式現(xiàn)狀,全觸屏交互 這種交互方式多使用在第3帶手機中，被廣泛的使用在Android和iPhone及WinPhone手機上，給人們一種全新的交互方式。

8、語音交互 目前應(yīng)用很少，最為典型的當屬iPhone 4S sir和騰訊的手機語音助手。 手勢交互 這類交互方式被不同程度的融合到各種智能手機中，最具有顯著特點的就是聯(lián)想的LePhone系列 全方位姿態(tài)交互 這類交互方式是最接近人類自然語言溝通的一種交互方式，目前僅僅微軟在開發(fā)。,FPP/RAMA,移動設(shè)備現(xiàn)有的交互方式現(xiàn)狀,Kinect是一種3D體感攝影機，同時它導(dǎo)入了即時動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等功能。 Kinect玩家可以通過這項技術(shù)在游戲中開車、與其他玩家互動、通過互聯(lián)網(wǎng)與其他Xbox玩家分享圖片和信息等。,FPP/RAMA,移動設(shè)備現(xiàn)有的交互方式趨勢,目前看來

9、微軟如果可以把Kinect一直到移動設(shè)備上，那微軟絕對會占據(jù)絕對的市場。所以說未來的移動設(shè)備的交互方式向著這方面發(fā)展，即手機不僅僅是一個死物，更像一個人，我們可以與他交談，它還可以根據(jù)我們的一些動作去做一些事情，甚至只要我們一個眼神他就懂去干什么，這就是未來移動設(shè)備交互方式的發(fā)展趨勢。具體的來說就是更人性化和更簡單和設(shè)備交互,FPP/RAMA,自然交互在移動設(shè)備中的應(yīng)用,語音交互在移動設(shè)備中的應(yīng)用： 應(yīng)用：理想情況下人可以通過語音與設(shè)備交流 目前狀況：可以簡單的使用命令使移動設(shè)備做一些不太復(fù)雜的事情。 發(fā)展空間：更自然的語音交流，更進一步與不同地方的人進行語言交流 具體應(yīng)用：蘋果的sir，TX

10、的語音助手 缺點：蘋果那個像是一個ai體，不過還遠遠達不到語言交流，跟別提方言了，同樣的問題也存在在TX中,FPP/RAMA,自然交互在移動設(shè)備中的應(yīng)用,圖像識別在移動設(shè)備中的應(yīng)用： 應(yīng)用：安全措施，手勢識別 目前狀況：多用于安全措施，協(xié)助多姿態(tài)識別。 發(fā)展空間：幾乎再沒有別的發(fā)展控件了 具體應(yīng)用：網(wǎng)易的人臉認證，其他一些嵌入式設(shè)備的指紋識別，虹膜識別 缺點：指紋識別基本上很成熟了，人臉的難度還是相當大，比如隨著年齡的增長，怎么解決識別問題，還有光照姿態(tài)的影響等,FPP/RAMA,自然交互在移動設(shè)備中的應(yīng)用,多媒體交互在移動設(shè)備中的應(yīng)用： 應(yīng)用：人機自然交互 目前狀況：人機自然交互。 發(fā)展空間：還沒有一款手機實現(xiàn)此功能 具體應(yīng)用：Xbox 缺點：不確定