眼動(dòng)交互技術(shù)目錄CONTENTS課程導(dǎo)入課程內(nèi)容0102課程導(dǎo)入01課程導(dǎo)入

霍金生前因患有肌肉萎縮疾病，幾乎完全癱瘓，既不能通過(guò)雙手，也不能通過(guò)語(yǔ)言與外界溝通。因特爾研究院的技術(shù)專(zhuān)家經(jīng)過(guò)長(zhǎng)期努力，研發(fā)出一款環(huán)境感知輔助系統(tǒng)，最終有效改善了這位科學(xué)天才與世界的溝通方式。課程導(dǎo)入

簡(jiǎn)單地說(shuō)，眼動(dòng)追蹤是測(cè)量眼睛運(yùn)行的過(guò)程。眼動(dòng)追蹤研究的最關(guān)注的事件是確定人類(lèi)或者動(dòng)物看的地方（比如：“注視點(diǎn)”或“凝視點(diǎn)”）。更準(zhǔn)確來(lái)說(shuō)是通過(guò)儀器設(shè)備進(jìn)行圖像處理技術(shù)，定位瞳孔位置，獲取坐標(biāo)，并通過(guò)一定的算法，計(jì)算眼睛注視或者凝視的點(diǎn)，讓計(jì)算機(jī)知道你正在看哪里，何時(shí)看的，為什么看的？課程導(dǎo)入

眼動(dòng)追蹤技術(shù)是歷經(jīng)了一個(gè)長(zhǎng)期的發(fā)展過(guò)程才慢慢成熟起來(lái)的。這個(gè)過(guò)程也見(jiàn)證了眼動(dòng)技術(shù)的成長(zhǎng)，目前熱門(mén)的眼動(dòng)追蹤技術(shù)主要是基于眼睛視頻分析的“非侵入式”技術(shù)，其基本原理是：將一束光線（近紅外光）和一臺(tái)攝像機(jī)對(duì)準(zhǔn)被試者的眼睛，通過(guò)光線和后端分析來(lái)推斷被試者注視的方向，攝像機(jī)則記錄交互的過(guò)程。為此，現(xiàn)在的研究者通常使用基于視頻的眼睛跟蹤器，如Eyellink1000Plus。基于視頻的眼睛跟蹤器，除了監(jiān)視注視，還可以顯示其它有用的測(cè)量指標(biāo)，包括瞳孔大小和眨眼率等。課程內(nèi)容02課程內(nèi)容眼動(dòng)追蹤技術(shù)的歷史

眼動(dòng)技術(shù)先后經(jīng)歷了觀察法，后像法，機(jī)械記錄法，光學(xué)記錄法，影像記錄法等多種方法的演變。眼動(dòng)技術(shù)就是通過(guò)對(duì)眼動(dòng)軌跡的記錄從中提取諸如注視點(diǎn)，注視時(shí)間和次數(shù)，眼跳距離，瞳孔大小等數(shù)據(jù)，從而研究個(gè)體的內(nèi)在認(rèn)知過(guò)程。課程內(nèi)容眼動(dòng)追蹤技術(shù)的原理

眼動(dòng)追蹤最常見(jiàn)的一個(gè)基本原理是“腦-眼假說(shuō)”。它認(rèn)為，我們?cè)诳茨承┬畔r(shí)，這是我們的大腦在控制的。所以說(shuō)，通過(guò)監(jiān)測(cè)眼動(dòng)的變化，就可以推斷出大腦中正在發(fā)生的事情。課程內(nèi)容

視網(wǎng)膜上的中央凹只有相對(duì)很小的一部分，但包含足夠密集的視錐細(xì)胞，可以非常詳細(xì)地分辨視覺(jué)世界。中央凹本身僅覆蓋1-2度視角的區(qū)域。場(chǎng)景的其余部分則主要由視桿狀細(xì)胞處理。視桿細(xì)胞：對(duì)暗光敏感，光敏感度較高，但分辨能力差，在弱光下只能看到物體粗略的輪廓，可以檢測(cè)到較大的形狀和變化，但不能檢測(cè)到精細(xì)的運(yùn)動(dòng)過(guò)程。課程內(nèi)容

所有基于視頻的眼動(dòng)追蹤的核心是一個(gè)或多個(gè)攝像頭，它們可以拍攝一系列的眼睛圖像。無(wú)論是EyeLink1000plus和便攜式PortableDuo的儀器均使用能夠每秒拍攝多達(dá)2000張雙眼圖像的攝像機(jī)。EyeLink系統(tǒng)在距所拍攝眼睛圖像不到3毫秒內(nèi)，即可計(jì)算出受試者正在看屏幕的坐標(biāo)位置，并將此信息傳遞回控制刺激信號(hào)的計(jì)算機(jī)。課程內(nèi)容瞳孔角膜反射眼動(dòng)追蹤

眼睛旋轉(zhuǎn)時(shí)，相機(jī)傳感器上瞳孔中心的位置會(huì)改變。但是，角膜反射的位置相對(duì)固定在攝像頭傳感器上（因?yàn)榉瓷湓床粫?huì)相對(duì)于攝像頭移動(dòng)）。下圖說(shuō)明了當(dāng)眼睛向前看，然后旋轉(zhuǎn)到一側(cè)然后再旋轉(zhuǎn)到另一側(cè)時(shí)相機(jī)所看到的眼圖像。課程內(nèi)容

如果眼睛完全固定在空間中并簡(jiǎn)單地繞其自身的中心旋轉(zhuǎn)，則僅在攝像機(jī)傳感器上跟蹤瞳孔中心的變化就可以確定注視/凝視的位置。實(shí)際上，僅瞳孔跟蹤仍可以在某些頭戴式或基于“眼鏡”的眼動(dòng)儀中使用，無(wú)論頭部如何移動(dòng)，相機(jī)和眼睛之間的關(guān)系都保持相對(duì)固定。課程內(nèi)容眼動(dòng)追蹤技術(shù)的發(fā)展

干擾式眼動(dòng)追蹤技術(shù)主要分為觀察法、機(jī)械記錄法、電流記錄法和接觸鏡法等。它是在計(jì)算機(jī)處理能力比較低下的時(shí)代產(chǎn)生的。

觀察法是通過(guò)人眼利用比較簡(jiǎn)單的記錄設(shè)備直接觀察受試者眼睛運(yùn)動(dòng)情況的方法。干擾式眼動(dòng)追蹤技術(shù)課程內(nèi)容眼動(dòng)追蹤技術(shù)的發(fā)展

機(jī)械記錄法是指通過(guò)機(jī)械裝置將人眼和記錄設(shè)備連接起來(lái)從而完成對(duì)眼睛運(yùn)動(dòng)的跟蹤。機(jī)械記錄法裝置比較復(fù)雜，操作很不方便，準(zhǔn)確性低，而且對(duì)受試者的干擾比較大。干擾式眼動(dòng)追蹤技術(shù)接觸鏡法是在眼睛上吸附一個(gè)專(zhuān)用線圈的隱形鏡片，根據(jù)眼睛運(yùn)動(dòng)產(chǎn)生的感應(yīng)電壓，測(cè)量眼睛的運(yùn)動(dòng)。電流記錄法的原理是基于眼球運(yùn)動(dòng)時(shí)角膜和視網(wǎng)膜之間存在的電位差。通過(guò)向在眼睛附近皮膚放置的裝置導(dǎo)入電流，記錄眼球運(yùn)動(dòng)引起的電流變化。課程內(nèi)容

非干擾式眼動(dòng)技術(shù)采用的追蹤方法主要有角膜反射法、鞏膜一虹膜邊緣法、瞳孔一角膜反射向量法等。非干擾式眼動(dòng)追蹤技術(shù)：角膜反射法：

角膜反射光就是角膜反射照射在其表面上的光線。光線在經(jīng)過(guò)角膜反射后會(huì)形成一個(gè)亮點(diǎn)，即角膜反射光斑。課程內(nèi)容鞏膜一虹膜邊緣法：

此方法首先利用紅外光照射人眼，在眼睛附近安裝的兩只紅外光敏管用來(lái)接收鞏膜和虹膜邊緣處兩部分反射的紅外光。瞳孔一角膜反射向量法：

首先利用眼攝像機(jī)拍攝眼睛圖像，接著通過(guò)圖像處理得到瞳孔中心位置。課程內(nèi)容眼動(dòng)追蹤技術(shù)的主要模塊：校準(zhǔn)模塊圖像采集眼圖處理瞳孔定位校準(zhǔn)模塊圖像采集紅外光源課程內(nèi)容校準(zhǔn)模塊：

在開(kāi)始記錄眼動(dòng)數(shù)據(jù)前，用戶(hù)將首先進(jìn)行校準(zhǔn)過(guò)程。在此過(guò)程中，眼動(dòng)軟件系統(tǒng)會(huì)測(cè)量用戶(hù)眼睛的特征并利用這些與內(nèi)部的眼球模型結(jié)合計(jì)算凝視數(shù)據(jù)。圖像采集：

圖像采集模塊將來(lái)自一個(gè)或者多個(gè)傳感器的輸入信號(hào)轉(zhuǎn)換成某種適合的信號(hào)模式。紅外光源：

交替用不同方位的光源向人眼發(fā)出近紅外線，然后在每?jī)蓭噜彽膱D像中，獲取用戶(hù)暗淡的瞳孔，從而更清晰地“摳”出瞳孔，再計(jì)算瞳孔的質(zhì)心和形狀等參數(shù)。眼圖處理：

該模塊基于數(shù)字眼動(dòng)視頻對(duì)眼球圖像進(jìn)行處理。從采集到的眼圖中提取瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)。課程內(nèi)容瞳孔定位：

為了確定瞳孔和角膜高光的位置,首先使用紅外照相機(jī)拍攝眼睛的圖像,然后對(duì)紅外圖像進(jìn)行分割,并對(duì)得到的眼睛各部分進(jìn)行分析參數(shù)化。通常,先對(duì)眼睛圖像進(jìn)行灰度化處理,然后使用閾值的方法或者搜索眼睛圖像中的連通區(qū)域的方法實(shí)現(xiàn)對(duì)瞳孔的檢測(cè)。課程內(nèi)容眼動(dòng)交互應(yīng)用場(chǎng)景①創(chuàng)造新的渲染技術(shù)

可變碼率渲染技術(shù)是基于眼球追蹤傳感器提供的用戶(hù)實(shí)時(shí)眼動(dòng)信息，動(dòng)態(tài)改變著色像素的數(shù)量，對(duì)注視中央?yún)^(qū)域應(yīng)用100%的GPU性能進(jìn)行渲染。該技術(shù)已經(jīng)與眼球追蹤技術(shù)成功結(jié)合，成為新一代注視點(diǎn)渲染技術(shù)，將廣泛應(yīng)用于虛擬現(xiàn)實(shí)（VR）領(lǐng)域。課程內(nèi)容②模擬虛擬駕駛系統(tǒng)：測(cè)試疲勞駕駛

這是結(jié)合可變碼率渲染技術(shù)與VR技術(shù)的虛擬駕駛模擬系統(tǒng)。RealDrive虛擬駕駛模擬系統(tǒng)包括Cybertron虛擬訓(xùn)練場(chǎng)，能夠真實(shí)還原現(xiàn)實(shí)生活中的道路場(chǎng)景和交通路況給用戶(hù)帶來(lái)身臨其境的全方位虛擬駕駛體驗(yàn)感。課程內(nèi)容③用于商業(yè)領(lǐng)域：優(yōu)化消費(fèi)體驗(yàn)

眼動(dòng)數(shù)據(jù)分析還可以應(yīng)用到更廣泛的商業(yè)領(lǐng)域和學(xué)術(shù)研究領(lǐng)域。房地產(chǎn)商可以通過(guò)設(shè)計(jì)虛擬現(xiàn)實(shí)樣板間場(chǎng)景供用戶(hù)體驗(yàn)，在體驗(yàn)行為過(guò)后，通過(guò)系統(tǒng)后臺(tái)生成包含3D移動(dòng)軌跡、注視區(qū)域時(shí)長(zhǎng)等其他內(nèi)容的整體數(shù)據(jù)報(bào)表，供專(zhuān)業(yè)人員進(jìn)行數(shù)據(jù)研究與分析等。課程內(nèi)容①碰撞檢測(cè)的范圍

因?yàn)榛谀壳把矍蜃粉櫦夹g(shù)，是無(wú)法做到100%準(zhǔn)確，會(huì)存在一定的誤差。所以在視線與物體進(jìn)行碰撞檢測(cè)時(shí)，不要真的將視線視為一個(gè)無(wú)限細(xì)的射線進(jìn)行檢測(cè)。

為了避免這種誤差造成交互失誤，在進(jìn)行碰撞檢測(cè)時(shí)，視線一方的碰撞物體，一般需要設(shè)置一定的擴(kuò)展范圍，最好是將視線設(shè)置為一個(gè)圓錐形，這樣無(wú)論碰撞的距離是多少，其檢測(cè)范圍的半徑是不變的。眼動(dòng)交互設(shè)計(jì)技巧課程內(nèi)容②碰撞檢測(cè)并不等同于注視

人眼有兩種常見(jiàn)的運(yùn)動(dòng)模式：眼跳和注視。

眼跳時(shí)檢測(cè)到視線和物體的碰撞，產(chǎn)生交互是沒(méi)有必要的。視線落在某個(gè)物體上超過(guò)一定的時(shí)間才是注視，一般情況下要超過(guò)100ms，所以在交互設(shè)計(jì)中，一般需要通過(guò)一定的延遲判定才能認(rèn)為是注視。課程內(nèi)容③避免查看觸發(fā)功能

你怎么知道用戶(hù)僅僅是在查看，還是想直接觸發(fā)它的功能呢？

為了解決這個(gè)問(wèn)題，我們不會(huì)采用注視后馬上觸發(fā)的方式，因?yàn)檫@樣會(huì)不斷產(chǎn)生錯(cuò)誤的操作。

一般會(huì)有下面的解決方法：

●延遲觸發(fā)：在被觀察物體上，顯示一個(gè)不影響正常瀏覽的時(shí)間進(jìn)度條，當(dāng)進(jìn)度條完成設(shè)定時(shí)間的計(jì)時(shí)時(shí)，產(chǎn)生觸發(fā)行為。

●二次眼控觸發(fā)：在被觀察物體旁邊，顯示“真正的”觸發(fā)元素，用戶(hù)余光可以看到，但不影響觀察主體。當(dāng)需要觸發(fā)時(shí)，看那個(gè)“真正的”觸發(fā)元素即可。課程內(nèi)容④用眼睛做瞄準(zhǔn)不是好的游戲交互模式

目前在VR游戲中，槍擊游戲是最常見(jiàn)的一種，所以很多開(kāi)發(fā)者就會(huì)想到是否能用眼睛作為瞄準(zhǔn)工具。實(shí)際上，并不推薦大家將用眼睛做瞄準(zhǔn)，因?yàn)檫@并不是一種好的游戲交互模式。

對(duì)于擁有這種想法的開(kāi)發(fā)者，存在需要兩個(gè)必須想通問(wèn)題：1.游戲是想讓用戶(hù)彈無(wú)虛發(fā)永不失?。?.還是想測(cè)試眼動(dòng)廠家算法的準(zhǔn)確性？課程內(nèi)容⑤不要用眼睛做過(guò)于精細(xì)化的