- 1 - 一、項目摘要 （ 1）總體目標 探索自然和諧的人機關系已成為計算機研究的一個重要領域， 自然、高效、智能化的人機交互界面是當今計算機發(fā)展的重要趨勢。視線應用于人機交互具有直接性、自然性和雙向性特點 ， 這也是 眼動技術 應用于 人機交互 特有優(yōu)勢 。 通過本項目的實施，應用、完善眼球識別及高速眼動跟蹤核心關鍵技術，實現(xiàn)視覺指示模塊化、微型化，研發(fā)出一系列具有自主知識產(chǎn)權的智能化人機交互系統(tǒng)設備，探索下一代電腦多通道人機交互系統(tǒng)應用模式。 具體目標為： 開發(fā) 視 線跟蹤 （ 又稱眼睛瞄準系統(tǒng)或視覺跟蹤 ） 應用 系統(tǒng) 。 研發(fā) 眼控筆記本產(chǎn)品原 型 （ 2） 研究 內(nèi)容 提出 微型視線跟蹤器 系統(tǒng)架構； 攻克一系列 系統(tǒng)集成技術，包括視線跟蹤模塊、輸出顯示模塊、后臺信息服務相關設備； 研發(fā)出服務平臺系統(tǒng)和視覺交互信息終端。 視覺定標模式及眼動模式識別與交互功能定義； （ 3）關鍵技術 基于視頻分析的 高速 眼動跟蹤技術； 眼部特征 快速 分析的視線指示技術； 交互 功能 模塊微型化技術。 （ 4）技術創(chuàng)新 - 2 - 提出 下一代電腦多通道人機交互系統(tǒng) 架構 ，實現(xiàn) 系統(tǒng)架構 創(chuàng)新 ； 制定多通道人機交互系統(tǒng)的數(shù)據(jù)傳輸協(xié)議和接口標準 ，實現(xiàn)標準創(chuàng)新 ； 攻克視線跟蹤模塊、輸出顯示模塊和信息服務相關 設備集成技術，實現(xiàn)系統(tǒng)集成創(chuàng)新 。 （ 5）基礎條件 本項目依托單位 重慶市科學技術研究院 是重慶市政府批準成立的正廳級事業(yè)單位 ， 是集研究開發(fā)、技術轉移、成果轉化、人才培訓和國際交流為一體的工業(yè)技術的綜合研究機構，是重慶市組建的最大的科學研究和科技創(chuàng)新服務機構 。 為項目的順利實施提供充足基礎條件。同時， 目前 ,我們的核心技術 形成了系列化的原型應用， 從 2007 年開始應用在臨床醫(yī)學眼球震顫檢查 ， 2008 年應用到臨床醫(yī)學色素變性病人瞳孔光反射檢查 。在技術上準備充分，為項目的順利實施提供保證。 （ 6）經(jīng)費預算 項目 預算資金 95 萬元 。 其中 試制 設備 15萬元， 材料費 15萬元，測試化驗加工費 8萬元， 燃料動力費 2萬元，差旅費 6萬元，會議費 6萬元，國際合作與交流費 3萬元，出版 /文獻 /信息 傳播 /知識產(chǎn)權事務費 5萬元，勞務費 10 萬元，專家咨詢費 3 萬元， 管理 費 7 萬元 。 計劃申請市科委 資助 60萬元。 項目 經(jīng)費科目 及預算細則參見項目預算書。 （ 8） 市場前景 我國筆記本 產(chǎn)品市場需求巨大 、穩(wěn)定，擁有千億級市場規(guī)模； 視覺跟蹤系統(tǒng) ，可以 廣泛應用于軍事領域的預警、火控、制導 ，特種行業(yè)的目標指認（指示）及遠程行動指揮交互，擁有 千億級市場規(guī)模 ， 產(chǎn)業(yè)前景可觀。 - 3 - （ 9） 項目成果 項目可獲得國家專利至少 3 項，軟件著作權至少 2 項； 發(fā)表學術論文至少 2篇； 建立 實驗驗證 系統(tǒng) 2個 。 （ 10） 項目 效益 項目研究可獲得 眼動技術 在 筆記本人機交互及視線指示行業(yè)應用 若干關鍵共性技術突破 ；項目研究將促進 人機交互 領域的技術進步和多學科技術交叉形成；項目研究可獲得自主知識產(chǎn)權 ， 推動新型人機交互設備商品化 ，對促進重慶 造中心的戰(zhàn)略性產(chǎn)業(yè)發(fā)展具有重要意義。 （ 11）風險分析 該項目核心 技術為公司專業(yè)自有知識產(chǎn)權技術，專業(yè)性強 ， 可模仿性較差 ，可形成 一定技術壁壘 ，保障長期的收益， 核心技術相對成熟 ， 硬件模 塊化加工 門檻不高 。 因此，抗風險能力較強。 （ 12）結論與建議 項目研究 立題新穎， 內(nèi)容明確，重點突出， 技術可行，預期成果顯著，產(chǎn)業(yè)前景可觀，建議立項支持。 二、項目的意義和必要性 必要性 1. 項目研究符合國家和重慶市中長期科學技術發(fā)展規(guī)劃，符合“ 重慶打造西部 造業(yè)高地 ”興新戰(zhàn)略性產(chǎn)業(yè)發(fā)展計劃 本項目以“ 基于眼動關鍵技術研究與設備研發(fā) ”為題， 具體涉及視線跟蹤（又稱眼睛瞄準系統(tǒng)或視覺跟蹤）應用系統(tǒng)設計開發(fā)和 眼控筆記本產(chǎn)品原型研發(fā)。 針對特種行業(yè)人機交互應用及通用民用級眼控筆記本產(chǎn)品， 通過 若干 - 4 - 關鍵技術攻關，一系列 應用 樣機與軟件系統(tǒng)，建立示范工程，并推進產(chǎn)業(yè)化發(fā)展。 本項目研究符合國家中長期科學和技術發(fā)展規(guī)劃綱要（ 2006的重點領域及其優(yōu) 先主題中“傳感器網(wǎng)絡及智能信息處理” 之國家重點鼓勵的產(chǎn)業(yè)發(fā)展政策；本項目研究也符合重慶市中長期科學和技術發(fā)展規(guī)劃綱要（ 2006的重點領域及其優(yōu)先主題中“ 下一代網(wǎng)絡與通信技術 ” 之重點鼓勵的產(chǎn)業(yè)發(fā)展政策。 綜上所述，本項目研究符合國家和重慶市的中長期科學技術發(fā)展規(guī)劃，符合“國家 新興戰(zhàn)略性產(chǎn)業(yè)發(fā)展規(guī)劃，符合重慶市西部制作高地的 戰(zhàn)略性產(chǎn) 業(yè)發(fā)展規(guī)劃。 2. 項目研究可獲得 眼動技術 在 眼控筆記本和多個專業(yè) 領域的商用化關鍵共性技術突破 本項目旨在通過深入研究 眼動技術與人機交互 技術現(xiàn)狀、發(fā)展趨勢、面臨的問題和關鍵技術，利用 產(chǎn)業(yè)政策優(yōu)勢和技術上國際同發(fā)優(yōu)勢，結合項目研究團隊較好的前期研 究基礎，實現(xiàn) 眼動技術 在視覺指示 應用領域的商用化 的 關鍵技術突破。 技術的突破 體現(xiàn)在： （ 1） 提出微型視線跟蹤系統(tǒng)架構 ：本項目將構建一 種微型的、 能 快速商品化 應用視線跟蹤體系架構 ，建立開放性的應用協(xié)議和標準接口。 （ 2） 攻克一系列系統(tǒng)集成技術，包括視線跟蹤模塊、輸出顯示模塊、后 臺信息服務相關設備。 本項目將深入研究 多種人機交互的 應用需求，結合相 關 領域內(nèi)的技術標準，研究一種低成本、高可靠、 高精度 的 眼動跟蹤模塊 ，滿足商用化 視覺指示系統(tǒng)和眼控筆記本 的實用性 。 綜上所述，本項目研究將獲得 眼動技術人機交互 應用的關鍵共性技術的突破，使 視覺指示系統(tǒng)和眼控筆記本 系統(tǒng)達到實際商用化水平。 - 5 - 視覺跟蹤的研究和應用在國內(nèi)發(fā)展比較緩慢，國外研究與報道相對較多 。 人眼視線方向的估計方法分為兩種主要研究方向。一是基于神經(jīng)網(wǎng)絡；二是眼部特征分析。一般情況下基于神經(jīng)網(wǎng)絡來估計視線方向 具有較高的精度和實時性，但是 通用 性較差，因為當環(huán)境改變時需要重新建立網(wǎng)絡模型?；谘鄄刻卣鞣治龅姆椒?，利用立體視覺的原理，可以比較精確地獲取眼睛部位的三維信息，從而得到眼球的偏轉角度和視線方向。目前，主要檢測方法及其特點比較結果如表 些方法都需要借助圖像處理這個工具來完成視線輸入方向的識別 。 目前 掌握 眼動跟蹤核心技術 并能達到產(chǎn)品化應用要求的 在國際上有幾個重要的對手 :拿大 ),國 ),國 )典 )。 其中 , 主要定位于基礎研究領域， 高速處理 方面相對領先 ,可以達到每秒 1000 次跟蹤處理 ,但其缺陷在于高昂的價格和較低的圖像分辨率 ; 經(jīng)具備較成熟的追蹤系統(tǒng)，主要應用于心理學研究和用戶視覺行為分析， 穩(wěn)定性方面 表現(xiàn) 不很優(yōu)秀 ；德國 該公司的產(chǎn)品 主要 應用于教育科研、體育科研和醫(yī)療診斷領域 ；以色列也有該技術，主要應用于戰(zhàn)斗機瞄準指示設備 。 - 6 - 業(yè)界動態(tài)與應用 蘋果 2008年 收購了 司 ,交易價格 2150萬美元 。 要擁有一個眼球跟蹤器的技術 ,可以嵌入設備中觀察用戶在應用程序和網(wǎng)站上的視覺焦點 ,蘋果可能會將這 一技術加入其消費電子產(chǎn)品中 ,幫助用戶用更簡單的方式來讀取屏幕上的信息 ,包括臺式機 ,筆記本甚至是 英國飛行國際網(wǎng)站 2008年 8月 27日報道 埃爾比特系統(tǒng)公司正在開發(fā)眼球跟蹤技術，以參加增強 戰(zhàn)斗機飛行員頭盔顯示系統(tǒng)項目的競標。埃爾比特公司稱，目前典型的頭盔視場是 20 40，如果敵軍的飛機在此范圍之外，則限制了頭盔瞄準武器的能力，盡管飛行員能夠看到它們。埃爾比特公司的解決方案是：在其未來頭盔系統(tǒng)內(nèi)綜合一個跟蹤設備，通過飛行員眼睛控制的紅外光線跟蹤產(chǎn)品 方原型 處理速度 (次 /秒 ) 5000000效圖像分辨率 400x 300 60000024干擾性 優(yōu) 良 優(yōu) 優(yōu) - 7 - 敵機。該系統(tǒng)隨后再通過處理其反射光線，探測眼睛所看到的地區(qū)，這樣使瞄準視場拓寬至少 15%。在某些情況下，如目標或平臺處于高加速度或高角速率的情況下，在用武器截獲的目標附近，顯示器的十字瞄準線不可能穩(wěn)定太長時間。因此，埃爾比特公司正在與以色列理工大學聯(lián)合 開發(fā)該眼球跟蹤技術 . 8 - 到了價值 1500 萬美元的訂單，進行 聯(lián)合頭盔指示系統(tǒng)（ 的初始生產(chǎn)。 聯(lián)合頭盔指示系統(tǒng) 將磁航向跟蹤器與投射到飛行員面盔上的顯示器相連，從而使飛行員擁有了目標跟蹤設備。無論飛行員看向何處，都可以利用它來瞄準傳感器和武器。因此，擁有了 聯(lián)合頭盔指示系統(tǒng) ，飛行員可以瞄準雷達、空對空導彈、紅外傳感器和空對地武器，而不需要將頭對準目標，也不需要按動飛行控制按鈕。另外，在空戰(zhàn)期間，飛行員可以在 平視 時 瀏覽任何想看到的數(shù)據(jù)（飛行速度、高度、目標距離等），而不需要去看座艙。 （ 1） 我國的筆記本電腦用戶需求量大，有成熟的市場需求 和產(chǎn)業(yè)基礎 。 2008 年 10 月 9 日惠普和重慶舉行項目簽約儀式，簽下 400 萬臺筆記本電腦基地項目； 2009 年 8 月 4 日，惠普將重慶生產(chǎn)基地的定單從內(nèi)銷 400 萬臺擴大外銷 4000 萬臺； 2009 年，富士康也落戶重慶，隨后英業(yè)達、廣達、宏 碁 也接踵而至； 120 多家零部件生產(chǎn)企業(yè)也到重慶建廠。這讓重慶筆記本電腦的本地配套率在 2010 年年底達到30%40%。短短兩年時間，一個聚集 數(shù)百企業(yè)、到 2015 年將形成 1億臺產(chǎn)能、 7000 億元產(chǎn)值、 1000 億美元進出口的筆記本電腦產(chǎn)業(yè)基地，行業(yè)發(fā)展前景十分看好，經(jīng)濟投入規(guī)模巨大。 （ 2） 視 覺跟蹤應用系統(tǒng)在 我國 特種行業(yè)的視 市場需求巨大，可形成千億級市場規(guī)模 視覺跟蹤應用系統(tǒng) 主要應用與特種行業(yè)， - 9 - 三、項目的基礎條件 ：與項目相關的前期工作情況，現(xiàn)有技術基礎和工作基礎，包括前期所取得的成果或技術（工藝）情況，國內(nèi)外在該技術領域的專利情況，相關領域的試驗及示范基地建設情況，研究開發(fā)隊伍和產(chǎn)學研結合等情況 作單位及合作模式 （ 1）項目 承擔單位概況 項目承擔單位： 重慶市科學技術研究院 重慶市科學技術研究院（簡稱重科院或市科研院）是整合原屬中央和地方的 10 個研究院所于 2008 年重組而建，原名為重慶市應用技術研究院，是重慶市政府批準成立的正廳級事業(yè)單位。 重科院 是集研究開發(fā)、技術轉移、成果轉化、人才培訓和國際交流為一體的工業(yè)技術的綜合研究機構，是重慶市組建的最大的科學研究和科技創(chuàng)新服務機構 。 重慶信息與自動化技術研究中心 是重慶市科學技術研究院下屬的研究中心，成立于 2009 年。該研究中心以信息與自動化技術為研究核心，圍繞科技成果二次開發(fā)和產(chǎn)業(yè)化開 展研究與推廣工作，經(jīng)過一年的建設，已經(jīng)初具規(guī)模，具備了開展相關領域技術研發(fā)、科技成果二次開發(fā)與產(chǎn)業(yè)化的能力。中心在自動化技術研究領域和院屬研究所重慶工業(yè)自動化儀表研究所建立了緊密的合作關系，該所為重慶市高新技術企業(yè)，主要從事自動化儀表、自動化工程設計、開發(fā)、制造、檢測及技術咨詢、技術轉讓和中試生產(chǎn)等，擁有一個研發(fā)中心、二個生產(chǎn)事業(yè)部、三個工程事業(yè)部、一個檢測中心、一個行業(yè)工作部和六個職能管理及服務部門，建所以來完成科研課題 1600 余項，制訂國家、行業(yè)標準 100 余項，完成國家重點科技 - 10 - 攻關項目 90 余項。獲國家、 部科技進步獎 30 余項，部（?。┘壀剟?200余項，專利近 100 項。 （ 2）項目合作單位 概況 項目合作單位： 重慶 颶鷹科技 有限公司 前 身 是 成立于 2004 年的重慶 眼動科技實驗室， 經(jīng)多年 技術發(fā)展 ， 產(chǎn)品和應用逐漸成熟，其中眼震分析儀在國內(nèi)多所醫(yī)院進行了臨床實驗。公司 致力于眼動技術 研發(fā)、生產(chǎn)、銷售、服務 ， 以科技創(chuàng)新路線為戰(zhàn)略， 秉承 專業(yè)化、規(guī)范化、科學化、客戶觀、價值觀的經(jīng)營理念；以管理創(chuàng)新、競爭取勝、整合資源、合作發(fā)展的指導思想來發(fā)展壯大公司 ，服務社會。 （ 5）項目合作模式：產(chǎn)學研聯(lián)合研究與產(chǎn)業(yè)化應用推廣 項目承擔單位擁 有 科研人才、 科研設備、 理論研究、 科研場所、科研設備、科研政策等優(yōu)勢資源；項目合作單位擁有 市場 資源和前期研究成果基礎、工藝技術基礎、生產(chǎn)制造能力、市場推廣能力等優(yōu)勢資源。 雙 方充分利用產(chǎn)、學、研 各自資源優(yōu)勢合作研究，實現(xiàn)研究成果、經(jīng)濟效益、社會效益的共享，并共建 智能公交系統(tǒng) 技術領域的長期科研平臺，推進持續(xù)研究，促進產(chǎn)業(yè)化發(fā)展。 技術基礎 及工作情況 目前 ,我們的核心技術可以高速識別追蹤瞳孔 ,并從 2007 年開始應用在臨床醫(yī)學眼球震顫檢查 ； 2008年開始應用到臨床醫(yī)學色素變性病 - 11 - 人瞳孔光反射檢 查。 我們的核心技術在醫(yī)療科研領域經(jīng)過 4 年的臨床使用，其核心技術應用比較成熟：應用于醫(yī)學眼球運動分析已檢測病人 300 多例，正常人 50 多例，發(fā)表醫(yī)學應用文章兩篇。 A 2010 , 動儀與眼電圖檢查正常人掃視運動的比較研究 2009 年 15 期 , 第三軍醫(yī)大學學報 1000009) 自 2004 年，初步形成眼動系列應用系列，完成的原型應用有： a) 醫(yī)學高速眼震記錄儀。 b) 醫(yī)學瞳孔對光反射記錄儀。 c) 穿戴式眼動儀 d) 穿戴式視覺指示、交互系統(tǒng) - 12 - 醫(yī)學高速眼震記錄儀 穿戴式眼動儀原型 在瞳孔定位技術方面，形成了自身的技術特點，高效、高精度： 亞像素級高精度瞳孔定位樣片 500 次 /秒高速雙目瞳孔定位與跟蹤 - 13 - 瞳孔跟蹤技術數(shù)據(jù)樣本 1 1 2 . 5 113 1 1 3 . 5 114 1 1 4 . 5 115眼球運動異常的眼位跟蹤（ 500次 /秒） 分辨率測試數(shù)據(jù) 樣本來源 ：分別采用健康矯正正常視力的成人組進行測試。 視標指示 ：采用 布： 間間隔為5度。 測試步驟和方法： 在水平方向方向上視標指示順序按 - 14 - （ 0度、左 5度、右 5度、 0 度、左 10 度、右 10 度、 0 度、左 15 度、右 15 度、 0 度、左 20 度、右 20 度、 0 度、左 25 度、右 25 度 注視方位） 進行測試。測試中每個方位指示燈亮的時間控制在 2500 毫秒，全程記錄瞳孔中心震動波形和數(shù)據(jù)。 實際測試波形如下： - 2 5 0- 2 0 0- 1 5 0- 1 0 0- 5 0050100150200 6 8 72 1115 1517 1744 4628 275 人成人組測試數(shù)據(jù) 5度視標間隔 均值分析 （下表） 傾角 眼別 編號 不同 20 10 5 10 15 20 25 間隔 - 15 - 均值 0 左 1 82 A 25 48 70 90 110 22 5 2 77 39 19 40 60 82 98 87 45 27 48 71 93 113 23 2 4 87 45 35 40 67 85 106 69 34 17 34 52 70 84 均值 度 5度（即弧度 300分 ）視標間隔 均值為 轉 化為 弧度 像素 。 注釋： 是變化量，注視點 5度間隔時瞳孔中心移動的像素數(shù)量。 該位置的數(shù)據(jù)無效，如因為眨眼或照明不穩(wěn)定引起的瞳孔中心位置無法確定。 線性度測試分析 成人組測試數(shù)據(jù) 5度視標間隔 均值分析 （下圖） 。 對應上表中 據(jù)圖中在橫向 3， 4位置有三個數(shù)據(jù)用 0表達。 - 16 - 3 4 5 6 7 8 9系列1系列2系列3系列4系列55人組眼動測試 線性度，在 30 度內(nèi)，線性度良好 目前 公司主創(chuàng)人員 申請 的 相關專利有 : 200610167522 一種基于視頻圖像處理的快速瞳 孔中心定位的方法 200710092629 眼動測試分析儀 200720125077 眼球刺激裝置 200720125076 眼球震顫測試儀 200710092631 斜視測試儀 200710092630 眼動測試分析方法 其中 ,200610167522 號發(fā)明專利申請目前處于實質(zhì)性審查階段 ; 200720125077 號實用新型專利 和 200720125076 號實用新型專利已取得專利證書 。 國內(nèi)相關的專利有： - 17 - 數(shù)字視頻眼動分析儀 眼睛操縱 的控制器 眼動感知方法和系統(tǒng) 一種眼動檢測方法及其裝置 用于利用人眼進行設備控制的裝置 一種眼動檢測裝置 眼動傳感器 一種用于穿戴式計算機的人機交互頭盔 基于眼動和頭動檢測的新型人機交互裝置 基于虛擬現(xiàn)實的駕駛員注視物體識別系統(tǒng) 一種利用視覺進行非接觸式人機交互的系統(tǒng) 基于眼電信號的人機交互系統(tǒng) 瞳孔追蹤方法與系統(tǒng)及用于瞳孔追蹤的校正方法與模組 究開發(fā)隊伍 本項目為重大攻關科研課題，主要研究目標、研究內(nèi)容和關鍵技術涉及傳感技術、 圖像處理 、人工智能、模式識別、微功耗與可靠性等高新技術，以及產(chǎn)品工藝技術。為保證項 目研究獲得關鍵技術突破，形成自主知 - 18 - 識產(chǎn)權，研制出正式產(chǎn)品，推進產(chǎn)業(yè)化應用，充分發(fā)揮良好的經(jīng)濟與社會效益，本項目研究擬采取產(chǎn)、學、研相結合的模式開展攻關研究。 具體合作研究分工如下： （ 1）項目承擔單位 主要負責主持、管理、策劃和實施項目的研究工作；主要負責 多通道人機交互系統(tǒng)架構 關鍵共性技術的理論、技術與算法的研究工作； 制定多通道人機交互系統(tǒng)的數(shù)據(jù)傳輸協(xié)議和接口標準； 負責學術成果、知識產(chǎn)權的編寫、申報等工作；負責向合作單位三提供產(chǎn)品化關鍵技術支撐和試驗數(shù)據(jù)支撐等工作。 （ 2）項目合作單位 主要負責產(chǎn)品方案設計 、產(chǎn)品線規(guī)劃、產(chǎn)品樣機研制、產(chǎn)品工藝技術設計、產(chǎn)品試驗系統(tǒng)搭建、產(chǎn)品示范工程建設、成果轉化與產(chǎn)業(yè)化發(fā)展等工作。 根據(jù)上述產(chǎn)學研合作研究原則，經(jīng)合作單位雙方負責人之間的 醞釀 和反復探討，結合雙方長期產(chǎn)學研發(fā)展的共同需要，共同組建了一個學科、職稱、年齡結構合理的項目研究小組。項目研究小組的負責人及成員的具體工作分工如下表 1 所示： 表 1 人員分工表 序號 姓名 年齡 職 稱 職 務 專業(yè)方向 所在單位 聯(lián)系電話 項目中分工 1 臺正 38 高工 控制理論與控制工程 重慶颶鷹科技有限公司 86336266 總負責 總策劃 2 程克非 35 副教 授 控制理論與控制工程 重慶颶鷹科技有限公司 技術路線 總策劃 3 姚軍平 40 教授 醫(yī)學工程 重慶颶鷹科技有限 67300580 人機交互 總策劃 - 19 - 公司 7 王崇明 37 學士 總經(jīng)理 計算機專業(yè) 重慶颶鷹科技有限公司項目管理 5 何耀敏 30 碩士 計算機工程 重慶郵電大學 89137709 系統(tǒng)設計與研發(fā) 6 胡曉力 碩士 重慶市科學技術研究院 89137709 系統(tǒng)設計 與研發(fā) 四、項目攻關總體目標，實施年限，具體的考核指標 （含主要技術經(jīng)濟 指標）及年度計劃安排 目攻關總體目標 實現(xiàn)多通道、多媒體的自然、高效、智能化的人機交互界面是當今計算機發(fā)展的重要趨勢。隨著模式識別、自然語言理解和新的傳感技術的發(fā)展，人機界面技術將進一步朝著計算機主動感受、理解人的意圖方向發(fā)展 ， 新的多通道、多媒體的人機界面將是發(fā)展的主流 。 視線應用于人機交互具有直接性、自然性和雙向性特點 。 通過本項目的實施， 應用、完善 眼動跟蹤 核心關鍵技術， 實現(xiàn)視覺 指示模塊化、微型化， 研發(fā)出一系列具有自主知識產(chǎn)權的智能化 人機交互 系統(tǒng)設備， - 20 - 探索下一代電腦多通道人機交互系統(tǒng)應用模式。 具體目標為： 開發(fā) 視 線跟蹤 （ 又稱眼睛瞄準系統(tǒng)或視覺跟蹤 ） 應用系統(tǒng) 。 研發(fā) 眼控筆記本產(chǎn)品原型 目實施年限及年度計劃安排 根據(jù)本項目主要研究內(nèi)容和關鍵技術研究的可行性分析，本項目實施的年限為 2 年半，即從 2011 年 7 月 12 月，年度計劃安排如下： （ 1）第一階段 2011 年 7 月 2011 年 12 月 ：總體 設計與任務 分解 項目總體方案設計、需求分析及規(guī)劃 ， 研究目標的分解、確定各項研究任務 ，分配到各研究人員 ，同時開展部分核心關鍵技術試驗研究 。通過這個階段 的核心關鍵技術試驗 確定研究方案，將研究內(nèi)容劃分成多個模塊 ， 確定各模塊任務 ， 分析模塊間關系并確定各模塊技術指標 ，確定各研究模塊的技術接口。 實現(xiàn)目標分解，以便 于 項目組能更好地、協(xié)調(diào)地開展研究工作。 本階段成立 三 個研究小組： 系統(tǒng)架構與接口標準組 系統(tǒng)架構與接口標準組主要負責研究基于 多通道人機交互系統(tǒng)架構 ，制定系統(tǒng)數(shù)據(jù)傳輸協(xié)議及數(shù)據(jù)接口標準。 視線跟蹤 關鍵技術研究小組 視線跟蹤關鍵技術研究小組 主要負責 視線跟蹤關鍵技術研究小組 關鍵 技術研究與設 備研發(fā)。 人機交互模式研究小組 人機交互模式研究 小組主要負責 基于 高效、穩(wěn)定用戶交互模式 關鍵 - 21 - 技術研究 及關 鍵技術研究與設備研制。 （ 2）第二階段 2012 年 1 月 2012 年 6 月 ：理論與方法研究 系統(tǒng)架構與接口標準組 系統(tǒng)架構與接口標準組主要負責研究基于多通道人機交互系統(tǒng)架構，制定系統(tǒng)數(shù)據(jù)傳輸協(xié)議及數(shù)據(jù)接口標準。 視線跟蹤關鍵技術研究小組 視線跟蹤關鍵技術研究小組 探討、篩選 視線跟蹤關鍵技術與設備 方案 。 人機交互模式研究小組 人機交互模式研究 小組探討、篩選 高效、穩(wěn)定用戶交互模式關鍵技術 方法 。 （ 3）第 三階段 2011 年 7 月 2012 年 4 月 ：樣機研制 三個研究小組共同 投入： 視線跟蹤應用系統(tǒng) 樣機研制 。 眼控筆記本產(chǎn)品原型 研制。 （ 4）第四階段 2012 年 5 月 2013 年 9 月 ：系統(tǒng)測試 三 個 研究小組 共同協(xié)同開展系統(tǒng)可靠性測試與評估。 （ 5）第四階段 2012 年 10 月 2013 年 12 月 ：總結提高 總結提高：研究總結、驗收結題、后繼研究、產(chǎn)業(yè)推廣。 項目總體進度安排如 下 表 ： 項目研究工作進度計劃表 階段 工作計劃 2011年 2012年 2013 年 一 總體設計與任務分解 二 理論與方法研究 - 22 - 三 樣機研制 四 系統(tǒng)測試 五 總結提高 目考核指標 （ 1）研制 視線跟蹤（又稱眼睛瞄準系統(tǒng)或視覺跟蹤）應用系統(tǒng) 1套 （ 2） 研發(fā)眼控筆記本產(chǎn)品原型 1臺； （ 3） 申報專利 3項，申報軟件著作權 2項， 發(fā)表學術論文至少 2篇； 重慶市政府致力于打造中國內(nèi)陸最大的筆記本電腦基地，預計今后幾年，整個世界市場筆記本電腦的銷售量會達到每年 3 億臺左右。重慶能夠?qū)崿F(xiàn)每年生產(chǎn)銷售 1 億臺電腦，占全球的 1/3。 項目實施推廣后， 對 形成重慶計算機高端制造產(chǎn)業(yè)具有現(xiàn)實意 義 ， 充分發(fā)揮重慶的制造業(yè)自身優(yōu)勢 ， 推動上下游廠商配套 ， 預計 使得 筆記本價值 提高 7%，按筆記本的基本產(chǎn)能分析，每年可新增利潤 200 億 。 五、項目的主要研究內(nèi)容，課題設置方案及承擔單位選擇方式 目 的主要研究內(nèi)容 依據(jù)本項目的總體研究目標，確定如下的主要研究內(nèi)容： （ 1） 微型視線跟蹤器系統(tǒng)架構 研究 微型視線跟蹤器系統(tǒng) 架構包括 視場空間標定、 眼球圖像采集 、 圖像 - 23 - 分析 處理 和 數(shù)據(jù)傳輸幾 個 單元 。 （ 2） 攻克一系列系統(tǒng)集成技術，包括視線跟蹤模塊、輸出顯示模塊、后臺信息服務相關設備 （ 3） 研發(fā)出服務平臺系統(tǒng) 和視覺交互信息終端。 （ 4） 視覺定標模式及眼動模式識別與交互功能定義。 題設置方案及承擔單位選擇方式 根據(jù)本項目研究總體目標、主要研究內(nèi)容和產(chǎn)學研優(yōu)勢互補結合方式，課題研究設置方案如下： （ 1）本項目由重慶 科學技術研究院信息與 自動化研究 中心 承擔 并擔任項目負責人 ，總體負責本項目研究與管理工作 ,具體承擔系統(tǒng)體系架構研究、 核心技術攻關、 產(chǎn)品初樣機 設備 試制 與 系統(tǒng)開發(fā) ； （ 2）本項目由重慶 颶鷹 科技 有限公司 參與合作研究。 重慶 颶鷹 科技有限公司 負責 本項目相關標準制定、工程集成技術規(guī)范設計、 產(chǎn)品 正 樣機研制、實驗驗證 系統(tǒng)搭建、產(chǎn)品樣機測試、產(chǎn)品制造與市場推廣。 （ 3）本項目設立 三 個研究小組，具體分工為： 系統(tǒng)架構與接口標準組：負責系統(tǒng)架構與接口標準組主要負責研究基于多通道人機交互系統(tǒng)架構，制定系統(tǒng)數(shù)據(jù)傳輸協(xié)議及數(shù)據(jù)接口標準；視線跟蹤關鍵技術研究小組：視線跟蹤關鍵技術研究小組，主要負責視線跟蹤關鍵技術研究小組關鍵技術研究與設備研發(fā)；人機交互模式研究小組，負責人機交互模式研究小組主要負責基于高效、穩(wěn)定用戶交互模式關鍵技術研究及關鍵技術研究與設備研制。 （ 4）本項目合作雙方共同開展定期技術交流、現(xiàn)場試驗和國際學術 - 24 - 交流，共同總 結科研成果、發(fā)表學術論文、申請技術專利、共享知識產(chǎn)權。 六、項目的主要技術特點和創(chuàng)新點，關鍵技術內(nèi)容，項目實施的技術、工藝路線，可能取得的專利（尤其是發(fā)明專利和取得國外專利）及知識產(chǎn)權分析 探索自然和諧的人機關系已成為計算機研究的一個重要領域，自然、高效、智能化的人機交互界面是當今計算機發(fā)展的重要趨勢。視線應用于人機交互具有直接性、自然性和雙向性特點，這也是眼動技術應用于人機交互特有優(yōu)勢。 本項目其主要研究內(nèi)容和關鍵技術涉及 心理學、認知科學、軟件工程、圖形學 、人工智能、模式識別、可靠性 等技 術 。 項目研究 具有多學科與技術交叉、學術前沿、工程實踐性強的突出特點 ； 具有行業(yè)性強的顯著特點 ；項目研究成果的推廣應用，屬于國家新興戰(zhàn)略性產(chǎn)業(yè)，具有良好的新興戰(zhàn)略性產(chǎn)業(yè)發(fā)展的政策扶持力度。 新點 通過本項目關鍵技術的研究，可獲得以下 幾 方面的技術創(chuàng)新： （ 1） 提出下一代電腦多通道人機交互系統(tǒng)架構，實現(xiàn)系統(tǒng)架構創(chuàng)新； （ 2）制定多通道人機交互系統(tǒng)的數(shù)據(jù)傳輸協(xié)議和接口標準，實現(xiàn)標準創(chuàng)新； （ 3）攻克視線跟蹤模塊、輸出顯示模塊和信息服務相關設備集成技術，實現(xiàn)系統(tǒng)集成創(chuàng)新。 - 25 - （ 4） 將視線指示技術應用到特種 行業(yè)特種應用，實現(xiàn) 應用創(chuàng)新 。 根據(jù)本項目總體研究目標 和 主要研究內(nèi)容 ， 確定本項目研究關鍵技術內(nèi)容主要為： （ 1） 基于視頻分析的高速眼動跟蹤技術 該技術必須具備以下特點： 穩(wěn)定 ， 物理硬件的可靠性一般由物理設 計來提供保證，處理邏輯可靠性依賴于系統(tǒng)方案和技術實現(xiàn)來進行驗證； 精確 ， 滿足 空間分辨率；實時 ， 不允許有大的時間延時，延時控制在 1/25 秒以內(nèi)。 （ 2） 視線指示技術 該技術也 必須具備以下特點：穩(wěn)定、精確、實時、可修正、可表達。 視線方向的估計方法分為兩種主要研究方向。一是基于神經(jīng)網(wǎng)絡；二是眼部特征分析 。一般情況下基于神經(jīng)網(wǎng)絡來估計視線方向具有較高的精度和實時性，但是魯棒性較差，因為當環(huán)境改變時需要重新建立網(wǎng)絡模型?；谘鄄刻卣鞣治龅姆椒?，利用立體視覺的原理，可以比較精確地獲取眼睛部位的三維信息，從而得到眼球的偏轉角度和視線方向。 （ 3） 眼動模式識別技術 人機交互需要有定位 （類似鼠標移動） 、 選擇（類似鼠標選擇）、動作（類似鼠標雙擊）等。 識別眼球運動的模式是將其轉化為有效交互命令的基礎 前題。 眼動主要有三種形式：注視(跳動 (平滑尾隨跟蹤 ( - 26 - 另外 的眼動如眼球震顫、會聚、扭轉等對人機對話沒有顯著意義。注視表現(xiàn)為在被觀察目標上的停留，這些停留通常至少持續(xù) 1200 絕大多數(shù)信息只有在注視時才能獲得并進行加工。 （ 4） 視線交互模塊微型化技術 集成化、 微型化 是該技術規(guī)?；瘧玫谋匾獥l件。要求模塊采用 低功耗 設計 、便 于 安裝或攜帶 ，接口簡單， 可以方便地與其他設備進行數(shù)據(jù)交換 。 術 路線 本項目研究采取總體策劃與分工合作、理論研究與設備研發(fā)、初樣機研發(fā)與現(xiàn)場實驗、正樣機研 發(fā)與實驗驗證系統(tǒng)建設等多個步驟，理論與實踐相結合的研究方法展開。 視線跟蹤 應用系統(tǒng) 。該系統(tǒng) 可以 廣泛應用于軍事領域的預警、火控、制導 ，特種行業(yè)的目標指認（指示）及遠程行動指揮交互 。 特別 適合 高空作業(yè)、地下作業(yè)、水下作業(yè)、 高密度人群等特殊 環(huán)境情況下 ， 現(xiàn)場作業(yè)人員為遠程 指揮 系統(tǒng)指認、指示作業(yè)環(huán)境的具體目標 。例如， 實時軍事協(xié)同偵察通過協(xié)同偵察指揮員在后端通過實時監(jiān)看前端偵察員視野目標和視覺觀察方位輔助提示被前端偵察員忽視的目標或者指示其對重點目標進行偵察。實時軍事目標指示系統(tǒng)用于通過指示者的視線指示方位快速指示軍事目標或攻擊對象，武器系統(tǒng)跟隨指示方位完成瞄準、鎖定、待擊發(fā)狀態(tài)切換。 - 27 - 該系統(tǒng)的主要組件及其 基本光學 原理如下 ： 系統(tǒng)劃分為前端移動終端和后臺指揮、支援平臺： 前端移動終端：主要包括微型場景攝像機、微型視線跟蹤器、數(shù)據(jù)傳輸單元等，主要提供指示現(xiàn)場信息。 后臺指揮、支援平臺：圖像分析、行業(yè)專家應用系統(tǒng)，決策指揮應用。 - 28 - 系統(tǒng)處理流程如下： 1：標定眼球與場景的相對位置關系，即瞳孔中心位置（ x,y）與場景圖像關注點位置（ xw,空間對應關系。 2：跟蹤眼球位置（ x,y）及其運動狀態(tài)。 3：判斷為眼球指示狀態(tài)時，將瞳孔中心位置（ x,y）投射到場景圖像關注點位置（ xw,并將場景圖像關注點作為視線指示目標傳輸?shù)胶笈_信息處理平臺。 4：后臺信息處理平臺判斷分析前端指示信號，向其發(fā)出行動指示。 眼控筆記本產(chǎn)品原型 方案 基于傳統(tǒng)筆記本，采用添加相對獨立的應用附件的方式，提供眼控應用接入。如下圖，在筆記本顯示屏下方，增加一個獨立的長條型設備， - 29 - - 30 - 系統(tǒng)原理圖 眼控筆記本采用微型眼動跟蹤系統(tǒng)，該系統(tǒng)通過屏幕附近的紅外 特征識別點采用特殊的閃爍規(guī)則或特定的形狀標定自身；微型攝像頭負責跟蹤用戶頭部和眼部細節(jié)，根據(jù)紅外 31 - 眼球的映光 點位置及瞳孔中心位置，反向推算出視線投射在屏幕的位置，其推算可以 按用戶個體差異進行微調(diào)或者進行精細定標。 其核心處理流程如下： 1：初始化定標，確定紅外 顯示器的空間關系。 2：采集眼部圖像，搜索紅外 征點在眼球上的反光點。 3：找出瞳孔中心位置。 4：根據(jù)球迷光點反射模型，計算視線投射在顯示屏的位置。 5：根據(jù)視線運動模式，利用系統(tǒng)消息驅(qū)動用戶交互。 識產(chǎn)權分析與 可 取得 專利 本項目 預計 可取得 3 項專利、 2 項軟件著作權，知識產(chǎn)權情況如下： （ 1）國內(nèi)專利： 微型視線跟蹤 設備； （ 2）國內(nèi)專 利： 視線指示設備 ； （ 3）國內(nèi)專利： 眼控模式識別 方法； （ 6）軟件著作權： 微型視線跟蹤 嵌入式軟件； （ 7）軟件著作權： 眼控交互界面應用 軟件 。 七、項目的關聯(lián)行動：相關的基本建設、技術改造、技術引進、國際合作等落實情況，與其它相關市級科技計劃（工作）、項目的銜接和分工，項目的組織管理措施，其它必要的支撐和配套條件（如基地、示范點、技術或工程依托等）落實情況 - 32 - 劃）項目的銜接和分工 （ 1）項目組織實施方案 本項目組合作雙方根據(jù)理論研究、技術開發(fā)、工藝開發(fā)、可 靠性研究的優(yōu)勢互補原則，組建了技術、學科、年齡、職稱結構較為合理的 課題組 ，并分設 四 個研究小組 ，項目組織 實施方案 為 ： 第一步：在項目批準后，成立以項目負責人為組長、項目 合作單位 負責人為副組長的項目聯(lián)絡與管理組，負責協(xié)調(diào)與管理； 第二步：成立課題組，制定總體技術方案和詳細實施計劃并由所技術委員會組織評審； 第三步：按實施計劃開展研發(fā)； 第四步：組織示范工程的應用； 第五步：組織驗收結題。 （ 2）研究分工和計劃明確落實 項目組根據(jù)項目總體研究的總體目標、主要研究內(nèi)容、關鍵技術要求并結合研究成員各自優(yōu)勢 進行了 明確任 務分工，同時制定了 項目研究工作進度計 劃，雙方將按進度計劃嚴格執(zhí)行。 （ 3）項目 執(zhí)行 和經(jīng)費 使用監(jiān)管 本項目 立項后將分別納入合作單位雙方的科研管理部門統(tǒng)一歸口管理，嚴格按照項目合同實施監(jiān)督執(zhí)行。 項目 研究經(jīng)費根據(jù) 合作 雙方 所 承擔 的 具體研究任務 按比例進行 分配，分別由各自單位帳務部門 設立專項帳戶進行管理， 并嚴格按照項目 經(jīng)專款 - 33 - 專用、資金使用 計劃 納入財務管理 。 八、項目總投資預算，資金籌措及來源渠道 目總投資預算 （ 1）擬新增設備 費 本項目研究 相關技術已有前期研究，但為了試 驗和建立示范工程，項目需要試制初樣機和正式樣機產(chǎn)品 具體需要試制設備數(shù)量與成本如 表 3所示。 表 3 項目擬新增儀器設備情況表 名稱、規(guī)格型號 儀器設備來源 單價 (萬元 ) 數(shù)量 金額 （萬元） 備注 頭戴顯示器 試制 1 3 3 功能與性能驗證 頭戴 微型眼動跟蹤儀 試制 檢、驗證系統(tǒng)建設 微型視覺指示 器 試制 2 4 8 功能與性能驗證 眼控筆記本視覺跟蹤器 試制 10 送檢、驗證系統(tǒng)建設 微光學系統(tǒng)測試儀 采購 3 1 3 性能測試 眼控筆記本 樣機 試制 能與性能驗證 合計金額 30 （ 2） 項目研究經(jīng)費 本項目研究與管理經(jīng)費主要包括材料費、測試化驗 加工費、燃料動力費、差旅費、會議費、國際合作與交流費、文獻資料費、科技查新費、 - 34 - 知識產(chǎn)權事務費、學術論文版面費、勞務費、專家咨詢費、項目管理費等預算科目，并依據(jù)項目研究內(nèi)容、技術路線和預期研究成果進行合理估算，具體預算科目見表 4 所示。 表 4 項目研究與管理經(jīng)費預算表 序號 預算項目 預算依據(jù) 經(jīng)費（萬元） 1 設備費 見表 3 15 2 材料費 試制 所需 模、光學、電子 材料 15 3 測試化驗加工費 樣 機殼模具加工 工與焊裝 8 4 燃料動力費 車輛燃油、水、電： 2年 2 5 差旅費 現(xiàn)場調(diào)研、考察和學術會議 6 6 會議費 調(diào)研、研究、評審會等 6 7 國際合作與交流費 學術交流 3 8 出版 /文獻 /信息傳播 /知識產(chǎn)權事務費 資料印制、論文發(fā)表、專利、軟件著作權申報費等 5 9 勞務費 委托 設計、嵌入式系統(tǒng)驅(qū)動開發(fā)、測試等 10 10 專家咨詢費 標準、產(chǎn)品、產(chǎn)權、行業(yè)咨詢 3 11 管理費 按單位管理規(guī)定計算 7 小計 95 萬元 （ 3）項目經(jīng)費總預算 本項 目經(jīng)費總預算為 95 萬元，其中新增加設備費 30 萬元，研究經(jīng)費65 萬元。 目資金籌措及來源 本項目組通過 前期 相關課題研究做了 大量的理論分析和實驗研究，論證了本項目的可行性和重大意義。要繼續(xù)對該項目進行更深入的研究探討需要更多的資金支持，本項目預算資金共計為 95 萬元 。資金籌措渠道為 :申請 重慶市 科技 攻關 計劃項目資助 60 萬元。資金籌措計劃見表 5。 - 35 - 表 5 項目資金籌措計劃表 總投 入經(jīng)費： 95 資金來源 合計 政府 資金 自籌資金 小計 區(qū)縣科委 市科委 國家部委 其它 小計 自有資金 銀行貸款 其它 已 投入經(jīng)費 新增經(jīng)費 小計 95 160 160 0 0 2011 年 60 25 25 35 35 20122013 年 35 20 20 15 15 九、項目預期成果的經(jīng)濟、社會、環(huán)境效益分析，與國內(nèi)外同類產(chǎn)品或技