第頁(yè)/共29頁(yè)移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)設(shè)計(jì)摘要隨著時(shí)代與社會(huì)的發(fā)展，人工智能在社會(huì)的許多領(lǐng)域都得到了應(yīng)用。本文研究機(jī)器人目標(biāo)跟蹤系統(tǒng)是基于機(jī)器人的學(xué)習(xí)能力，機(jī)器人使用頭部攝像頭實(shí)時(shí)檢測(cè)視野中的目標(biāo)，識(shí)別出目標(biāo)角度信息并建立坐標(biāo)，機(jī)器人利用角度信息計(jì)算并控制傳動(dòng)系統(tǒng)運(yùn)動(dòng)以實(shí)現(xiàn)目標(biāo)追蹤。在移動(dòng)機(jī)器人視覺(jué)系統(tǒng)的研究中，目標(biāo)檢測(cè)、目標(biāo)定位和目標(biāo)跟蹤是目前研究的熱門問(wèn)題，從機(jī)械“手眼”系統(tǒng)到移動(dòng)機(jī)器人，目標(biāo)檢測(cè)、定位和跟蹤都是研究目標(biāo)識(shí)別和軌跡規(guī)劃等機(jī)器智能問(wèn)題所不可缺少的基礎(chǔ)研究，目標(biāo)檢測(cè)、定位和跟蹤能力的好壞直接影響著移動(dòng)機(jī)器人智能的高低。隨著機(jī)器視覺(jué)各項(xiàng)相關(guān)技術(shù)的不斷發(fā)展以及智能機(jī)器的日益增多，運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)的應(yīng)用范圍也將更加廣泛。關(guān)鍵詞：移動(dòng)機(jī)器人；目標(biāo)跟蹤；機(jī)器視覺(jué)；應(yīng)用 目錄 第一章緒論 11.1 研究背景 11.2 國(guó)內(nèi)外研究現(xiàn)狀 11.3 研究?jī)?nèi)容 21.4 研究方法 21.5 本章小結(jié) 2第二章Tyran機(jī)器人介紹 32.1 Tyran移動(dòng)機(jī)器人系統(tǒng)結(jié)構(gòu) 32.1.1 機(jī)器人系統(tǒng)概述 32.1.2 機(jī)器人系統(tǒng)架構(gòu)概述 42.1.3 機(jī)器人參數(shù) 42.1.4 機(jī)器人架構(gòu)說(shuō)明 52.2 Tyran移動(dòng)機(jī)器人深度攝像頭介紹 62.3 深度攝像頭D435 72.4 Tyran移動(dòng)機(jī)器人開(kāi)發(fā)平臺(tái)EwayOS系統(tǒng)介紹 82.5 本章小結(jié) 8第三章Tyran移動(dòng)機(jī)器人深度學(xué)習(xí)研究 93.1 Tyran移動(dòng)機(jī)器人物體識(shí)別實(shí)驗(yàn) 93.1.1 實(shí)驗(yàn)概述 93.1.2 實(shí)驗(yàn)步驟 93.1.3 實(shí)驗(yàn)分析 123.2 人臉特征提取實(shí)驗(yàn) 123.2.1 實(shí)驗(yàn)概述 123.2.2 實(shí)驗(yàn)步驟 123.2.3 實(shí)驗(yàn)分析 153.3 人物身份確認(rèn)實(shí)驗(yàn) 153.3.1 實(shí)驗(yàn)概述 153.2.1 實(shí)驗(yàn)步驟 163.3.1 實(shí)驗(yàn)分析 203.4 人臉角度識(shí)別與機(jī)器人人臉跟隨實(shí)驗(yàn) 203.4.1 實(shí)驗(yàn)概述 203.4.2 實(shí)驗(yàn)步驟 213.4.3 實(shí)驗(yàn)分析 24第一章緒論由于視覺(jué)在人類感知中的地位非常重要，視頻圖像技術(shù)一直都是科學(xué)研究的熱點(diǎn)所在。機(jī)器視覺(jué)可以代替人類的視覺(jué)從事目標(biāo)檢驗(yàn)、目標(biāo)跟蹤、機(jī)器人導(dǎo)航等方面的工作，在一些需要重復(fù)、迅速的從圖像中獲取精確信息的場(chǎng)合下，機(jī)器視覺(jué)與人類視覺(jué)相比較，具有更加敏銳的觀察力和持續(xù)工作的能力[1]。研究背景我國(guó)的機(jī)器人研究開(kāi)始于70年代末，與世界上其他發(fā)達(dá)國(guó)家相比起步比較晚，技術(shù)比較落后。即使在目前軟硬件技術(shù)快速發(fā)展的條件下，機(jī)器視覺(jué)功能還處于初級(jí)水平[2]，但其潛在的巨大應(yīng)用價(jià)值已經(jīng)在世界各國(guó)引起了高度重視，比如美國(guó)、德國(guó)、法國(guó)、日本等國(guó)家都投入了大量的人力物力開(kāi)展研究，近年來(lái)在機(jī)器視覺(jué)的某些方面已經(jīng)獲得了突破性的進(jìn)展，機(jī)器視覺(jué)在車輛安全技術(shù)和自動(dòng)化技術(shù)等方面的應(yīng)用中顯示出其重要作用[3]。在移動(dòng)機(jī)器人視覺(jué)系統(tǒng)的研究中，目標(biāo)檢測(cè)、目標(biāo)定位和目標(biāo)跟蹤系統(tǒng)研究是目前的熱門問(wèn)題，從“手眼”機(jī)器人到移動(dòng)機(jī)器人，目標(biāo)檢測(cè)、定位和跟蹤都是研究目標(biāo)識(shí)別和軌跡規(guī)劃等機(jī)器智能問(wèn)題所不可缺少的基礎(chǔ)研究[4]，目標(biāo)檢測(cè)、定位和跟蹤的好壞直接影響著移動(dòng)機(jī)器人智能的高低。隨著機(jī)器視覺(jué)各項(xiàng)相關(guān)技術(shù)的不斷發(fā)展以及智能機(jī)器的日益增多，運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)的應(yīng)用范圍也將更為廣泛[5]。國(guó)內(nèi)外研究現(xiàn)狀國(guó)內(nèi)在這方面的研究工作起步較晚，與國(guó)外相比還有不小的差距。1999年以后，國(guó)內(nèi)一些大學(xué)如清華大學(xué)、北京理工大學(xué)、福州大學(xué)等都開(kāi)展了固定攝像機(jī)對(duì)其視野范圍內(nèi)的運(yùn)動(dòng)目標(biāo)的跟蹤技術(shù)研究[6]。2001年，清華大學(xué)研發(fā)了適用于野外自然環(huán)境的視覺(jué)偵察系統(tǒng)，攝像機(jī)安裝在只具有一個(gè)水平旋轉(zhuǎn)自由度的車載云臺(tái)上，云臺(tái)方位數(shù)據(jù)及視頻信號(hào)以無(wú)線通訊的方式傳送給基地端的計(jì)算機(jī)。系統(tǒng)跟蹤了一輛汽車，在像素384×288圖像分辨率下達(dá)到12.5幀/s的處理速度[7]。2005年，中國(guó)科學(xué)院自動(dòng)化研究所研發(fā)了一種基于圖像的視覺(jué)伺服機(jī)器人系統(tǒng)。該系統(tǒng)具有5個(gè)自由度，包括一個(gè)3自由度的機(jī)器人和一個(gè)2自由度的手腕，手腕位于機(jī)器人末端，而攝像機(jī)安裝在手腕的末端。該跟蹤系統(tǒng)可以實(shí)時(shí)跟蹤運(yùn)動(dòng)速度不大于0.3m/s的目標(biāo)[8]。運(yùn)動(dòng)目標(biāo)視覺(jué)跟蹤系統(tǒng)作為視頻實(shí)時(shí)監(jiān)控系統(tǒng)的一個(gè)研究方向，目前研究的主要問(wèn)題包括如下兩個(gè)方面：平滑穩(wěn)定的控制精度和動(dòng)態(tài)實(shí)時(shí)的響應(yīng)速度[9]。

1991年，在美國(guó)國(guó)防先進(jìn)研究署(DARPA)的資助下，卡內(nèi)基梅隆大學(xué)機(jī)器人研究所開(kāi)始了機(jī)載視覺(jué)信息在無(wú)人機(jī)穩(wěn)定和控制方面應(yīng)用的研究。1996年，他們研制出的專門攝像機(jī)穩(wěn)定系統(tǒng)可以進(jìn)行視覺(jué)定位和多靜止目標(biāo)跟蹤。該系統(tǒng)通過(guò)攝像機(jī)獲取圖像，用三塊DSP芯片來(lái)計(jì)算目標(biāo)物體的位置和運(yùn)行速度，圖像處理的結(jié)果和與之同步的無(wú)人機(jī)姿態(tài)數(shù)據(jù)再一并傳輸?shù)降谒膲KDSP芯片，最終將運(yùn)算結(jié)果送到一個(gè)實(shí)時(shí)控制器去控制無(wú)人機(jī)的飛行方向和速度，從而完成了對(duì)移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)研究目標(biāo)物體的檢測(cè)和跟蹤[9]。

1996年，在瑞典國(guó)家工業(yè)技術(shù)發(fā)展委員會(huì)的支持下，Nordlund和Uhlin研究了安裝在機(jī)器人頭部的可移動(dòng)攝像機(jī)對(duì)移動(dòng)目標(biāo)物的檢測(cè)和跟蹤[10]。

1997年，美國(guó)國(guó)防先進(jìn)研究署(DARPA)實(shí)施了視頻監(jiān)視和監(jiān)控技術(shù)(VSAM)計(jì)劃。旨在發(fā)展用于城市和戰(zhàn)場(chǎng)監(jiān)視的自動(dòng)視頻理解技術(shù)[11]。內(nèi)容包括通過(guò)靜止和移動(dòng)攝像機(jī)平臺(tái)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)檢測(cè)和跟蹤，在考慮地理空間位置的模型中對(duì)目標(biāo)方位進(jìn)行估計(jì)，主動(dòng)攝像機(jī)控制和多攝像機(jī)協(xié)調(diào)跟蹤等。研究?jī)?nèi)容本文主要研究的是基于Tyran移動(dòng)機(jī)器人的目標(biāo)跟蹤系統(tǒng)研究，由北京一維弦科技有限公司所自主研發(fā)的機(jī)器人控制平臺(tái)EwayOS系統(tǒng)，通過(guò)機(jī)器人的深度學(xué)習(xí)能力使其能夠通過(guò)深度攝像頭識(shí)別目標(biāo)并感知周圍環(huán)境信息反饋系統(tǒng)，由系統(tǒng)計(jì)算出達(dá)到目標(biāo)處的最優(yōu)路徑，從而驅(qū)動(dòng)電機(jī)以實(shí)現(xiàn)目標(biāo)追蹤[12]。初始將目標(biāo)設(shè)定為一個(gè)二維碼，后續(xù)可以有更深入的物體識(shí)別以及人臉識(shí)別，通過(guò)程序來(lái)實(shí)現(xiàn)路徑追蹤。研究方法（1）EwayOS軟件學(xué)習(xí)，從模擬系統(tǒng)軟件的安裝，操作，與移動(dòng)機(jī)器人的連接，程序的編寫修改，導(dǎo)入等一系列操作熟悉至完全掌握EwayOS系統(tǒng)。（2）Tyran移動(dòng)機(jī)器人學(xué)習(xí)，了解其各個(gè)部件結(jié)構(gòu)，各個(gè)傳感器的位置功能，移動(dòng)機(jī)器人動(dòng)作需要用到的部件及動(dòng)作流程，熟練掌握機(jī)器人各種運(yùn)動(dòng)所需要的命令。（3）深入探索移動(dòng)機(jī)器人的深度學(xué)習(xí)能力，將各種類型的目標(biāo)信息錄入并有效的提取目標(biāo)的特征信息，完成目標(biāo)信息的搭建與訓(xùn)練，并最終完成目標(biāo)識(shí)別與追蹤。本章小結(jié)本章介紹了目前國(guó)內(nèi)外對(duì)于視覺(jué)機(jī)器人在一些方面的應(yīng)用與發(fā)展，本文主要研究?jī)?nèi)容為實(shí)現(xiàn)機(jī)器人的目標(biāo)跟蹤，及敘述了實(shí)現(xiàn)機(jī)器人目標(biāo)跟蹤需要做的工作流程。第二章Tyran機(jī)器人介紹Tyran機(jī)器人是一款基于EwayOS操作系統(tǒng)控制的移動(dòng)平臺(tái)機(jī)器人，其擁有能夠感知周圍環(huán)境的深度攝像頭、超聲波、激光雷達(dá)傳感器，可實(shí)現(xiàn)智能跟蹤、人機(jī)交互等功能。Tyran移動(dòng)機(jī)器人系統(tǒng)結(jié)構(gòu)機(jī)器人系統(tǒng)概述Tyran是一款移動(dòng)地面運(yùn)動(dòng)系統(tǒng)開(kāi)發(fā)平臺(tái)。使用者通過(guò)機(jī)器人算法可實(shí)現(xiàn)對(duì)移動(dòng)平臺(tái)的自主移動(dòng)、智能避障、環(huán)境識(shí)別、智能跟蹤、SLAM導(dǎo)航、人機(jī)交互等功能。圖2-1機(jī)器人結(jié)構(gòu)組成圖2-2機(jī)器人結(jié)構(gòu)組成機(jī)器人系統(tǒng)架構(gòu)概述Tyran移動(dòng)機(jī)器人平臺(tái)采用系統(tǒng)式控制方式控制，由機(jī)載PC完成機(jī)器人的數(shù)據(jù)采集和算法處理，交由控制實(shí)現(xiàn)運(yùn)動(dòng)控制，標(biāo)準(zhǔn)配置的Tyran控制架構(gòu)如下：圖2-3機(jī)器人架構(gòu)圖機(jī)器人參數(shù)表2-1機(jī)器人參數(shù)內(nèi)容規(guī)格/指標(biāo)基本底盤尺寸590（D）×480（W）mm標(biāo)準(zhǔn)高度610mm自身重量21kg（僅Tyran）機(jī)身材料鋁合金（陽(yáng)極氧化黑色）電源模組鋰電池組：DC25.2V，20Ah充電方式充電器外置通訊接口Ethernet、WIFI運(yùn)動(dòng)移動(dòng)方式兩輪差速驅(qū)動(dòng)，2個(gè)從動(dòng)輪驅(qū)動(dòng)輪6.5寸輪轂電機(jī)，內(nèi)置增量編碼器越障能力10mm爬坡角度10°避障方式深度攝像頭+超聲波傳感器+激光雷達(dá)（僅TyranPlus）移動(dòng)速度標(biāo)準(zhǔn)：0.5m/s導(dǎo)航方式視覺(jué)+激光SLAM導(dǎo)航（僅Tyran）姿態(tài)感知標(biāo)配六軸IMU視覺(jué)傳感器RGB-D攝像機(jī)視域最遠(yuǎn)10米，水平180°及垂直90°視角可控調(diào)整。算法人臉識(shí)別、物體識(shí)別、maker識(shí)別控制器機(jī)器人控制器X86架構(gòu)，inteli5CPU,NVIDAGTX960M運(yùn)動(dòng)控制器STM32嵌入式系統(tǒng)操作系統(tǒng)EwayOS國(guó)內(nèi)自主知識(shí)產(chǎn)權(quán)智能機(jī)器人專用操作系統(tǒng)機(jī)器人架構(gòu)說(shuō)明Tyran采用模塊化的結(jié)構(gòu)，在需要的時(shí)候方便更換和添加其他模塊。標(biāo)準(zhǔn)配置的機(jī)器人主要尺寸如下：圖2-4機(jī)器人結(jié)構(gòu)尺寸三視圖Tyran移動(dòng)機(jī)器人深度攝像頭介紹圖2-5機(jī)器人傳感器模塊組成相機(jī)：intelrealsense，提供RGB和深度兩種數(shù)據(jù)；激光雷達(dá)：18m激光雷達(dá)；姿態(tài)傳感器：IMU，提供偏轉(zhuǎn)角、線加速度、角加速度等數(shù)據(jù)；超聲波：前4后2，從左到右起始。深度攝像頭D435英特爾實(shí)感深度攝像頭D435是一款立體追蹤解決方案，可為各種應(yīng)用提供高質(zhì)量深度。它的寬視場(chǎng)非常適合機(jī)器人或增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等應(yīng)用，在這些應(yīng)用中，盡可能擴(kuò)大場(chǎng)景視角至關(guān)重要。這款外形小巧的攝像頭拍攝范圍高達(dá)10米，可輕松集成到任何解決方案中，而且配置齊全，采用英特爾實(shí)感SDK2.0，并提供跨平臺(tái)支持。D435延續(xù)了開(kāi)發(fā)尖端視覺(jué)感知產(chǎn)品的承諾。它將英特爾模塊和視覺(jué)處理器組合到一個(gè)小巧外形中，是開(kāi)發(fā)和產(chǎn)品快速創(chuàng)建的理想解決方案。D435與高度可定制的軟件相結(jié)合，提供了一個(gè)成本低、重量輕且功能強(qiáng)大的解決方案，支持能夠理解周圍環(huán)境并與之交互的新一代感知解決方案的開(kāi)發(fā)。圖2-6攝像頭D435非常適合弱光和寬視場(chǎng)。它結(jié)合了寬視場(chǎng)和全局快門傳感器，是機(jī)器人導(dǎo)航和物體識(shí)別等應(yīng)用領(lǐng)域的首選解決方案。全局快門傳感器提供極低的光敏感度，使機(jī)器人能夠在關(guān)燈的情況下在空間中導(dǎo)航。它有簡(jiǎn)單集成的完整套件。深度攝像頭D435屬于英特爾實(shí)感D400系列攝像頭，該產(chǎn)品系列采用了英特爾最新的深度感知硬件和軟件，并將其封裝到易于集成的產(chǎn)品中。英特爾實(shí)感D400系列攝像頭非常適合希望將深度感知引入設(shè)備的開(kāi)發(fā)人員、制造商和創(chuàng)新人士，它提供了簡(jiǎn)單的現(xiàn)成集成，并支持全新一代智能視覺(jué)安裝設(shè)備。圖2-7深度攝像頭結(jié)構(gòu)組成本防撞系統(tǒng)功能特點(diǎn):1.車前防擦角，車后防碰撞；

2.六方位探測(cè)，雙數(shù)字顯示；

3.微電腦智能控制,精確數(shù)字顯示障礙物距離；

4.不受環(huán)境影響；

5.抗電磁干擾,對(duì)原裝電子系統(tǒng)無(wú)影響；

6.探頭采用嵌入式安裝，多顏色配置

感應(yīng)器精致小巧，安裝方便。機(jī)器人超聲波雷達(dá)技術(shù)參數(shù):

檢測(cè)距離:

身后：0.3—2.0m

身前：0.3—1.2m

工作

電壓:

dc12v(+-2v)

工作

電流：

20ma-200ma

功率：2w

探測(cè)聲波頻率:

40khz

探測(cè)角度：h＞80度

v＞70度

工作

溫度:

-40-80℃

警示音量：＞70DBTyran移動(dòng)機(jī)器人開(kāi)發(fā)平臺(tái)EwayOS系統(tǒng)介紹EwayOS系統(tǒng)特點(diǎn)：1.運(yùn)行高效，模塊劃分合理；

2.開(kāi)發(fā)高效，大量前沿框架引入；

3.商業(yè)公司運(yùn)維，完備的文檔及專業(yè)售后技術(shù)支持；Ewayos系統(tǒng)和ros系統(tǒng)的區(qū)別：1.面向?qū)ο蟛煌篟os面向研究學(xué)者，面向開(kāi)發(fā)者；EwayOS更面向教學(xué)、面向高校師生；2.易用性不同：Ros需要開(kāi)發(fā)者去安裝搭建Ros環(huán)境，花費(fèi)大量時(shí)間；EwayOS只需安裝run包，就能部署到不同的機(jī)器上；3.穩(wěn)定性不足：Ros容易觸發(fā)崩潰；EwayOS能長(zhǎng)期穩(wěn)定運(yùn)行。本章小結(jié)本章分別從硬件和軟件方面詳細(xì)的介紹了Tyran機(jī)器人的結(jié)構(gòu)組成和控制系統(tǒng)。機(jī)器人的核心硬件為它的傳感器：超聲波；激光雷達(dá)；姿態(tài)傳感器和深度攝像頭。其控制系統(tǒng)EwayOS系統(tǒng)相較于Ros系統(tǒng)操作更為簡(jiǎn)便，運(yùn)行高效，穩(wěn)定性強(qiáng)，更適用于教學(xué)、面向高校師生。第三章Tyran移動(dòng)機(jī)器人深度學(xué)習(xí)研究機(jī)器人的深度學(xué)習(xí)能力是基于對(duì)目標(biāo)模型的建立，特征的識(shí)別。需要從多個(gè)角度對(duì)目標(biāo)的信息進(jìn)行提取并建模，這樣才能夠在任意角度實(shí)現(xiàn)深度攝像頭對(duì)目標(biāo)的追蹤。Tyran移動(dòng)機(jī)器人物體識(shí)別實(shí)驗(yàn)實(shí)驗(yàn)概述本實(shí)驗(yàn)是利用Tyran實(shí)機(jī)進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)?zāi)康氖潜緦?shí)驗(yàn)需要了解ALexNet等典型網(wǎng)絡(luò)結(jié)構(gòu)，掌握使用Caffe建立網(wǎng)絡(luò)結(jié)構(gòu)，并使用給定訓(xùn)練模型，對(duì)所給的貓的圖像進(jìn)行預(yù)測(cè)，預(yù)測(cè)得到貓的品種。本實(shí)驗(yàn)使用AlexNet網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練得到的caffemodel，對(duì)待預(yù)測(cè)貓的圖像進(jìn)行種類預(yù)測(cè)，并得到預(yù)測(cè)標(biāo)簽，輸出前五個(gè)置信度高的標(biāo)簽以及置信度。物體識(shí)別的基本流程與數(shù)字識(shí)別基本相同，只是訓(xùn)練集為貓的數(shù)據(jù)集，所以訓(xùn)練的caffemodel也是不一樣的，其他的可以參考數(shù)字識(shí)別。實(shí)驗(yàn)步驟(1)建立文件本次實(shí)驗(yàn)工程名為Alex_ObjRecognition，包含頭文件alex.h和定義文件alex.cpp和main.cpp，本實(shí)驗(yàn)著著重學(xué)習(xí)AlexNet網(wǎng)絡(luò)結(jié)構(gòu)在caffe深度學(xué)習(xí)工具的搭建過(guò)程，這個(gè)搭建文件在totxt中實(shí)現(xiàn)。(2)totxt編寫AlexNet網(wǎng)絡(luò)結(jié)構(gòu)如下：表3-1AlexNet網(wǎng)絡(luò)結(jié)構(gòu)輸入圖像大?。ù笮?27×227×3）卷積層1227×227×3卷積核大小11×11，數(shù)量48個(gè)，步長(zhǎng)4卷積核大小11×11，數(shù)量48個(gè)，步長(zhǎng)4激活函數(shù)（relu）激活函數(shù)（relu）池化（kernelsize=3,stride=2）池化（kernelsize=3,stride=2）標(biāo)準(zhǔn)化卷積層227×27×96卷積核大小5×5，數(shù)量128個(gè)，步長(zhǎng)1卷積核大小5×5，數(shù)量128個(gè)，步長(zhǎng)1激活函數(shù)（relu）激活函數(shù)（relu）池化（kernelsize=3,stride=2）池化（kernelsize=3,stride=2）標(biāo)準(zhǔn)化0卷積層313×13×256卷積核大小3×3，數(shù)量192個(gè)，步長(zhǎng)1卷積核大小3×3，數(shù)量192個(gè)，步長(zhǎng)1激活函數(shù)（relu）激活函數(shù)（relu）卷積層413×13×384卷積核大小3×3，數(shù)量192個(gè)，步長(zhǎng)1卷積核大小3×3，數(shù)量192個(gè)，步長(zhǎng)1激活函數(shù)（relu）激活函數(shù)（relu）卷積層513×13×384卷積核大小3×3，數(shù)量128個(gè)，步長(zhǎng)1卷積核大小3×3，數(shù)量128個(gè)，步長(zhǎng)1激活函數(shù)（relu）激活函數(shù)（relu）池化（kernelsize=3,stride=2）池化（kernelsize=3,stride=2）卷積層66×6×2562048個(gè)神經(jīng)元2048個(gè)神經(jīng)元dropoutdropout全連接74096×12048個(gè)神經(jīng)元2048個(gè)神經(jīng)元dropoutdropout全連接74096×11000個(gè)神經(jīng)元第一層：輸入層首先在第一層之前，規(guī)定網(wǎng)絡(luò)的名稱為AlexNet，此名稱是自定義的，也可以改成別的名詞。根據(jù)第一層的特點(diǎn)與屬性，代碼如下：參數(shù)dim:10為批處理圖像個(gè)數(shù)，即一次處理多少?gòu)垐D像，這里設(shè)置為一次處理10張圖像。3dim:227dim:227這三個(gè)參數(shù)含義為圖像的屬性，即圖像為3通道的RGB圖像，尺寸為227*227。第二層：卷積層現(xiàn)在將第二層的名字設(shè)置為“conv1”代表第一層卷積層，層的類型為zhiConvolution”即卷積層，此層的輸入為輸入層“data”，輸出層為本層“conv1”，定義權(quán)重學(xué)習(xí)率為1，學(xué)習(xí)率衰減為1，偏執(zhí)學(xué)習(xí)率為2，學(xué)習(xí)率衰減為0，然后是對(duì)卷積層參數(shù)的設(shè)置，首先是卷積核個(gè)數(shù)為96個(gè)，卷積核尺寸為11*11，步長(zhǎng)為4個(gè)像素。第三層：激活函數(shù)層本層對(duì)卷積層“conv1”進(jìn)行激活函數(shù)操作，使用的激活函數(shù)為ReLU，代碼如下：經(jīng)過(guò)激活函數(shù)運(yùn)算后，進(jìn)行LRN層的設(shè)置。第四層：LRN層本層其他參數(shù)設(shè)置方式與別的層差不多，需要注意的是lrn_param的設(shè)置，其中l(wèi)ocal_siz默認(rèn)為5，如果是跨通道LRN，則表示求和的通道數(shù)；如果是在通道內(nèi)LRN，則表示求和的正方形區(qū)域長(zhǎng)度。代碼如下：第五層：池化層在AlexNet網(wǎng)絡(luò)出現(xiàn)之前，一般使用的池化方法為平均池化，在AlexNet中第一次使用了最大池化的方法，此方法對(duì)網(wǎng)絡(luò)的性能進(jìn)一步提升，所謂“最大池化”，顧名思義，在池化操作中，選擇最大的。規(guī)定對(duì)2×2的區(qū)域內(nèi)進(jìn)行池化操作，下圖中的彩色部分為所在2×2的區(qū)域中的最大值，最大池化結(jié)果如下：圖3-1最大池化示意圖到此就完成了使用caffe中的.prototxt完成網(wǎng)絡(luò)的建立。實(shí)驗(yàn)分析機(jī)器人對(duì)于目標(biāo)的識(shí)別是基于對(duì)于同一類的多個(gè)目標(biāo)建立了一個(gè)相似的模型，對(duì)目標(biāo)的特征一步一步的提取出來(lái)，對(duì)于目標(biāo)的識(shí)別也是需要對(duì)各個(gè)特征進(jìn)行一一對(duì)應(yīng)的，才能夠做到目標(biāo)識(shí)別的準(zhǔn)確性。圖像識(shí)別系統(tǒng)包括預(yù)處理、分析和識(shí)別三部分組成，預(yù)處理包括圖像分割、圖像增強(qiáng)、圖像還原、圖像重建和圖像細(xì)化等諸多內(nèi)容，圖像分析主要指從預(yù)處理得到的圖像中提取特征，最后分類器根據(jù)提取的特征對(duì)圖像進(jìn)行匹配分類并識(shí)別。人臉特征提取實(shí)驗(yàn)實(shí)驗(yàn)概述在利用圖像進(jìn)行人臉特征提取時(shí)，人臉圖像數(shù)據(jù)屬于高維信息，其中多數(shù)數(shù)據(jù)是對(duì)人臉識(shí)別沒(méi)有幫助的，這就要求在人臉識(shí)別中提取有效的數(shù)據(jù)信息，將無(wú)用信息剔除，因此在人臉識(shí)別過(guò)程中數(shù)據(jù)的處理是關(guān)鍵的，不可缺少的步驟，這個(gè)數(shù)據(jù)處理就是“降維”，就是將高維的人臉數(shù)據(jù)投影到低維空間中。效果良好的特征提取算法應(yīng)達(dá)到兩個(gè)目的：（1）應(yīng)盡可能地用較少的特征值個(gè)數(shù)來(lái)表示原始數(shù)據(jù)信息，以降低計(jì)算的復(fù)雜度，便于最后的特征分類；（2）應(yīng)盡量避免因特征提取而遺漏掉原始數(shù)據(jù)的信息，全面反映出數(shù)據(jù)的特征屬性。實(shí)驗(yàn)步驟本實(shí)驗(yàn)可以使用給定的數(shù)據(jù)集完成特征提取與顯示任務(wù)，數(shù)據(jù)集存放在data文件夾中，在工程中我們已經(jīng)編寫好了圖像讀取與可視化部分，這里我們只需重點(diǎn)學(xué)習(xí)PCA、Fisher與LBP特征提取的方法實(shí)現(xiàn)與結(jié)果輸出形式，在工程FaceRecognition_Features中，main（）函數(shù)部分實(shí)現(xiàn)了三種特征的提取。（1）PCA特征提取本實(shí)驗(yàn)PCA特征是使用OpenCV提供的接口完成的，在此過(guò)程中，我們輸出“平均臉”與“特征臉”圖像，以及最后降維得到的人臉數(shù)據(jù)。在main函數(shù)中，PCA代碼部分主要對(duì)期望的PCA主元數(shù)量進(jìn)行設(shè)定，用nNumComponents儲(chǔ)存了主元的數(shù)量，本實(shí)驗(yàn)設(shè)置為5，并聲明了Mat類型的iOutPcaMean用于存放PCA的平均臉數(shù)據(jù)，由于一個(gè)特征向量對(duì)應(yīng)一個(gè)特征臉，主元數(shù)量為5，則有5個(gè)特征臉，這里定義容器veciOutFisherFea儲(chǔ)存特征臉數(shù)據(jù)，完成相關(guān)的準(zhǔn)備工作后，調(diào)用函數(shù)PCAFeature（）完成特征提取，提取完成后可視化顯示“平均臉”和一張“特征臉”，代碼如下：（2）Fisher特征提取Fisher特征提取的原理在實(shí)驗(yàn)原理部分已經(jīng)詳細(xì)講述過(guò)，F(xiàn)isher的特征提取流程與PCA類似，其中的線性鑒別分析就是通過(guò)一個(gè)平面將特征空間分成兩部分，對(duì)于本實(shí)驗(yàn)只有兩個(gè)分類，最終得到一個(gè)特征向量即可，下面講解如何實(shí)現(xiàn)Fisher的特征提取，在main（）函數(shù)中，大體的流程與上面的PCA相似，不同之處就在LDA的主元數(shù)量設(shè)置上，具體會(huì)在代碼實(shí)現(xiàn)中講解。main（）函數(shù)Fisher代碼如下：（3）LBP特征提取LBP特征是通過(guò)領(lǐng)域像素與中心像素在數(shù)值上的關(guān)系，來(lái)計(jì)算中心像素的LBP值，本實(shí)驗(yàn)我們使用圓形領(lǐng)域形式計(jì)算LBP值，每個(gè)像素點(diǎn)的LBP值為一個(gè)八位的二進(jìn)制數(shù)，通過(guò)遍歷整個(gè)圖像上的像素點(diǎn)，得到每個(gè)像素點(diǎn)的LBP值，這個(gè)矩陣便是實(shí)驗(yàn)中所說(shuō)的LBP特征圖像可視化。有了LBP特征圖像，我們用統(tǒng)計(jì)直方圖的方法便可得到LBP的特征向量，具體計(jì)算的過(guò)程，我們?cè)诮酉聛?lái)的代碼講解中會(huì)詳細(xì)介紹。LBP人臉特征提取代碼，在main函數(shù)中，首先按照我們要求的特征提取方式，規(guī)定采樣圓的半徑radius為1與采樣點(diǎn)數(shù)neighbors為8，定義Mat類型的iLBPImg用于存放LBP統(tǒng)圖12LBP特征像素點(diǎn)分布圖LBP特征圖像計(jì)直方圖，定義容器veciOutLBPFea存放LBP特征圖像，然后就是最核心的函數(shù)的調(diào)用——LBP特征提取LBPFeature（），此函數(shù)得到人臉LBP特征圖像與直方圖特征向量，main函數(shù)代碼如下：到此就完成了人臉圖像的特征提取，中間結(jié)果是“平均臉”與“特征臉”，并將每個(gè)人臉圖像，用一個(gè)5維向量表示。實(shí)驗(yàn)分析人臉的特征識(shí)別是從12個(gè)角度降維在人臉數(shù)據(jù)中得到68個(gè)特征點(diǎn)坐標(biāo)信息之后使用隨機(jī)森林算法完成人臉模型的訓(xùn)練。完成特征提取后可視化展示為“平均臉”和一張“特征臉”，每個(gè)人臉圖像用一個(gè)5維向量表示。人物身份確認(rèn)實(shí)驗(yàn)實(shí)驗(yàn)概述基于人臉特征提取得到的特征數(shù)據(jù)，使用SVM分類算法與歐式距離法，分別實(shí)現(xiàn)主人身份確認(rèn)與多人物身份確認(rèn)兩個(gè)實(shí)驗(yàn)任務(wù)：（1）基于SVM分類算法的主人身份確認(rèn)，要求顯示設(shè)定的主人姓名標(biāo)簽，其他人均識(shí)別為“Vistor”；（2）基于歐氏距離的多人物身份確認(rèn)，要求可以實(shí)現(xiàn)多個(gè)人物身份，并標(biāo)注其姓名。實(shí)驗(yàn)步驟（1）人物身份確認(rèn)實(shí)驗(yàn)此實(shí)驗(yàn)要求只識(shí)別指定的“主人”身份，主人命名為“***”，其他的人均為訪客“Vistor”，因此需要采集“主人”的人臉圖像集，實(shí)驗(yàn)提供的程序包中，編譯運(yùn)行文件夾“data_collection”中的程序，便可通過(guò)攝像頭完成圖像數(shù)據(jù)集的采集。實(shí)驗(yàn)本質(zhì)上是一個(gè)二分類問(wèn)題，我們?cè)O(shè)定“主人”為正類，記為1，其他非“主人”為負(fù)類，記為-1，我們將這些數(shù)據(jù)集利用SVM進(jìn)行訓(xùn)練，就可以得到識(shí)別是否為“主人”的分類器，在得到訓(xùn)練好的分類模型xml文件后，便可完成規(guī)定的實(shí)驗(yàn)任務(wù)，具體流程如下圖：開(kāi)始人臉訓(xùn)練集數(shù)據(jù)制作特征提取識(shí)別模型訓(xùn)練（SVM），得到xml模型文件開(kāi)始人臉訓(xùn)練集數(shù)據(jù)制作特征提取識(shí)別模型訓(xùn)練（SVM），得到xml模型文件對(duì)待測(cè)圖像數(shù)據(jù)進(jìn)行預(yù)處理待測(cè)人臉圖像特征提取利用識(shí)別模型對(duì)待測(cè)人臉進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)結(jié)果可視化輸出對(duì)應(yīng)項(xiàng)目：data_collootion對(duì)應(yīng)項(xiàng)目：SYNTrain對(duì)應(yīng)項(xiàng)目：Facorecognition_FaceUnlock人臉數(shù)據(jù)的采集，可以使用文件夾data_collection提供的程序，完成人臉數(shù)據(jù)的采集，正類人臉數(shù)據(jù)與負(fù)類人臉數(shù)據(jù)都要采集。有了訓(xùn)練集的數(shù)據(jù)，接下來(lái)就像進(jìn)行SVM模型的訓(xùn)練，對(duì)應(yīng)工程名稱為SVMTrain。此工程主要分三大步，第一步是訓(xùn)練數(shù)據(jù)的讀取，第二步是特征提取，第三步就是使用OpenCV的SVM接口訓(xùn)練分類模型，在三種特征中，基于LBP特征實(shí)現(xiàn)的人臉識(shí)別準(zhǔn)確率最好，下面均以LBP特征為例。第一步：訓(xùn)練數(shù)據(jù)的讀取主要進(jìn)行一系列文件流操作，從指定路徑讀取訓(xùn)練集數(shù)據(jù)，將數(shù)據(jù)都保存在容器Inimages中，對(duì)應(yīng)標(biāo)簽保存在容器Inlabels中，我們從數(shù)據(jù)集中對(duì)iImgZTFName文件中讀取100張圖像，由于此圖像儲(chǔ)存的是“主人”的數(shù)據(jù)，所以設(shè)置為正類，標(biāo)簽為“1”，iImgWHName儲(chǔ)存的是負(fù)類數(shù)據(jù)，標(biāo)簽設(shè)為“-1”數(shù)據(jù)加載完會(huì)顯示提示信息“DataLoaded!”將數(shù)據(jù)儲(chǔ)存到指定容器內(nèi)后，我們要對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理，主要是減少計(jì)算量。對(duì)于人臉識(shí)別，我們只關(guān)心人臉區(qū)域的數(shù)據(jù)，其他非人臉區(qū)域的圖像對(duì)人臉識(shí)別沒(méi)有幫助，還會(huì)加大計(jì)算量，因此，要對(duì)訓(xùn)練集的圖像進(jìn)行預(yù)處理，最終將人臉區(qū)域的圖像裁剪出來(lái)，在代碼中，定義容器vecFaceRect儲(chǔ)存人臉位置矩形框數(shù)據(jù)，容器vecInimages儲(chǔ)存矩形框中的人臉數(shù)據(jù)，我們用人臉檢測(cè)接口HaarFace（）得到人臉矩形框位置，用函數(shù)CropFace（）將矩形框中人臉裁剪出來(lái)，這樣就完成了人臉數(shù)據(jù)的預(yù)處理，去掉了沒(méi)用的圖像數(shù)據(jù)，代碼如下：接下來(lái)對(duì)預(yù)處理后的訓(xùn)練集人臉數(shù)據(jù)進(jìn)行特征提取，具體的提取方法我們?cè)谏弦粋€(gè)實(shí)驗(yàn)已經(jīng)講解過(guò)了，這里不再贅述，本實(shí)驗(yàn)以LBP特征提取為例，完成了特征提取后，我們就利圖6采集的人臉原始圖像用這些特征數(shù)據(jù)，進(jìn)行模型的訓(xùn)練，調(diào)用接口SVMTrainModel（）完成模型的訓(xùn)練，代碼如下：上面的代碼中，模型訓(xùn)練是在函數(shù)SVMTrainModel（）中實(shí)現(xiàn)的，函數(shù)形式如下：其中，iTrainData是訓(xùn)練集的數(shù)據(jù)，iLabels為對(duì)應(yīng)的標(biāo)簽，nIter為最大迭代次數(shù)，nFlags為選擇的特征提取方法。將人臉數(shù)據(jù)，傳入函數(shù)LBPPredict（）中得到此人臉對(duì)應(yīng)的標(biāo)簽，對(duì)于本實(shí)驗(yàn)就是判斷是主人“***”還是訪客“Visitor”，得到標(biāo)簽便可以完成實(shí)驗(yàn)效果的輸出。函數(shù)LBPPredict（）的實(shí)現(xiàn)過(guò)程，函數(shù)形式如下：其中iSrc為待預(yù)測(cè)的人臉圖像，nFlag是識(shí)別模式標(biāo)志位，當(dāng)nFlag=0時(shí)，表示用歐式距離法進(jìn)行識(shí)別，當(dāng)nFlag=1時(shí)，表示用SVM法進(jìn)行識(shí)別，本實(shí)驗(yàn)使用SVM法，所以nFlag=1，label為返回的此張人臉的標(biāo)簽。函數(shù)實(shí)現(xiàn)首先需要將輸入的待預(yù)測(cè)人臉圖像尺寸縮放到與訓(xùn)練SVM模型時(shí)訓(xùn)練圖像尺寸相同，然后提取待檢測(cè)人臉的LBP特征。將得到的LBP特征保存在iTestProjectionLBP中，然后調(diào)用SVMPredict（）利用訓(xùn)練好的識(shí)別模型“l(fā)bp.xml”完成人臉的預(yù)測(cè)。到此就完成了主人身份確認(rèn)的實(shí)驗(yàn)。（2）多人物身份確認(rèn)實(shí)驗(yàn)基于歐氏距離的多人物身份確認(rèn)，要求可以實(shí)現(xiàn)多個(gè)人物身份，并標(biāo)注其姓名。在主人身份確認(rèn)的實(shí)驗(yàn)中，我們使用SVM建立人臉識(shí)別模型，由于SVM是二分類算法，實(shí)現(xiàn)多分類任務(wù)比較困難，所以我們?cè)凇岸嗳宋锷矸荽_認(rèn)”的實(shí)驗(yàn)中，采用歐氏距離法實(shí)現(xiàn)人臉的識(shí)別，這個(gè)方法思想極為簡(jiǎn)單，可以理解為身份特征比對(duì)，原理如下圖所示：圖3-3特征對(duì)比示意圖經(jīng)過(guò)人臉特征提取，每一個(gè)人臉都對(duì)應(yīng)一個(gè)特征向量，假設(shè)維度為3，在訓(xùn)練集中我們知道每個(gè)人臉對(duì)應(yīng)的名字，左側(cè)為張三的數(shù)據(jù)集，右側(cè)為王二的數(shù)據(jù)集，特征提取后就得到了一系列3維的，有標(biāo)簽的數(shù)據(jù)，如下圖：[1,3,7]王二[10,32,71]張三圖3-4人臉特征數(shù)據(jù)集對(duì)未知人臉進(jìn)行特征提取，特征是為[a,b,c],計(jì)算[a,b,c]與哪個(gè)人臉特征向量歐式距離最近就認(rèn)為未知人臉與此人臉是同類。代碼方面，本實(shí)驗(yàn)對(duì)應(yīng)的工程名稱為其實(shí)現(xiàn)過(guò)程與“多人物身份確認(rèn)份識(shí)別”實(shí)驗(yàn)類似，只是得到待測(cè)人臉?lè)诸悩?biāo)簽的方法是“歐式距離”法，我們還是以LBP為例，在LBPPredict中，首先還是對(duì)待測(cè)人臉尺寸進(jìn)行調(diào)整，并提取待測(cè)人臉的LBP特征，代碼如下：得到了待測(cè)人臉的LBP特征后，接下來(lái)就是和人臉庫(kù)中的人臉進(jìn)行比對(duì)，找到歐式距離最小的人臉，將此標(biāo)簽作為待測(cè)人臉的標(biāo)簽。首先，我們定義dMindist用在儲(chǔ)存當(dāng)前最小的歐式距離值，初始化為2，然后與特征庫(kù)中的每組特征計(jì)算歐式距離，這里歐式距離我們使用OpenCV接口函數(shù)norm（）完成，將計(jì)算的歐式距離值存入dDist，然后不斷將最小歐式距離值對(duì)應(yīng)的人臉標(biāo)簽記錄在label中，這樣我們就完成了識(shí)別。實(shí)驗(yàn)分析在人臉特征提取的實(shí)驗(yàn)中，我們使用了PCA、Fisher與LBP三種方法，從人臉圖像信息中提取特征數(shù)據(jù)，我們用PCA將人臉圖像這種高維的數(shù)據(jù)，通過(guò)降維便可用一個(gè)m維向量表示一個(gè)人臉。在人臉識(shí)別模型建立的過(guò)程中，我們首先將要識(shí)別的人物A的照片作為訓(xùn)練集，并對(duì)訓(xùn)練集進(jìn)行預(yù)處理并提取人臉特征，這樣我們就得到人物A的特征數(shù)據(jù)集，對(duì)于實(shí)驗(yàn)“主人身份確認(rèn)”我們使用SVM算法，利用特征數(shù)據(jù)集，訓(xùn)練人臉識(shí)別模型，得到模型后，對(duì)于待測(cè)人臉，將其按照同樣的方法進(jìn)行特征提取，并將此特征輸入SVM建立好的模型，就得到了預(yù)測(cè)標(biāo)簽，這樣就可以實(shí)現(xiàn)人臉識(shí)別與主人身份確認(rèn)的實(shí)驗(yàn)任務(wù)。人臉角度識(shí)別與機(jī)器人人臉跟隨實(shí)驗(yàn)實(shí)驗(yàn)概述本實(shí)驗(yàn)需要機(jī)器人識(shí)別視野中的人臉角度，并根據(jù)此角度信息，控制機(jī)器人運(yùn)動(dòng)到人臉的正面1米的位置。根據(jù)上面的任務(wù)我們將實(shí)驗(yàn)分兩大部分：訓(xùn)練人臉角度識(shí)別器和機(jī)器人控制。第一部分需要利用攝像頭，采集人臉圖像，并使用隨機(jī)森林算法對(duì)人臉圖像數(shù)據(jù)集進(jìn)行訓(xùn)練建立訓(xùn)練模型，此訓(xùn)練模型可以通過(guò)人臉圖像計(jì)算人臉偏轉(zhuǎn)角度，機(jī)器人利用此偏轉(zhuǎn)角可以完成自主跟隨人臉的運(yùn)動(dòng)，這個(gè)實(shí)驗(yàn)涉及到人臉圖像采集、圖像信息標(biāo)注、數(shù)據(jù)訓(xùn)練以及控制機(jī)器人運(yùn)動(dòng)等方面的知識(shí)。實(shí)驗(yàn)步驟步驟1：人臉角度識(shí)別模型建立。這部分的工作主要是通過(guò)機(jī)器人頭部的攝像頭采集的人臉數(shù)據(jù)集，并使用seetaface工具對(duì)數(shù)據(jù)集進(jìn)行角度標(biāo)注，得到帶角度標(biāo)簽的人臉訓(xùn)練集，利用此人臉數(shù)據(jù)集，使用隨機(jī)森林算法，訓(xùn)練得到對(duì)應(yīng)模型，此模型的功能主要是根據(jù)機(jī)器人攝像頭看到的人臉圖像，輸出人臉相對(duì)機(jī)器人坐標(biāo)系偏轉(zhuǎn)的角度yaw，這個(gè)值是控制機(jī)器人走到人臉正面的重要參數(shù)，模型建立的流程圖如下：人臉角度識(shí)別人臉角度識(shí)別模型建立人臉數(shù)據(jù)預(yù)處理人臉數(shù)據(jù)集收集使用隨機(jī)森林算法完成模型訓(xùn)練使用工具完成人臉數(shù)據(jù)集角度標(biāo)注使用隨機(jī)森林算法完成模型訓(xùn)練使用工具完成人臉數(shù)據(jù)集角度標(biāo)注結(jié)束開(kāi)始結(jié)束開(kāi)始圖3-5人臉模型建立流程圖步驟2：采集人臉數(shù)據(jù)集這一步主要是通過(guò)機(jī)器人頭部攝像頭采集人臉照片，本實(shí)驗(yàn)我們采用開(kāi)源的人臉識(shí)別系統(tǒng)SeetaFace完成此工作。關(guān)于SeetaFace這里就不詳細(xì)介紹了，網(wǎng)上有豐富的資料與教程供大家學(xué)習(xí)。采集人臉數(shù)據(jù)主要是程序FaceDataCollection完成，本程序作為一個(gè)工具，利用攝像頭獲得人臉數(shù)據(jù)，步驟如下：運(yùn)行FaceDataCollection工程，會(huì)彈出如下對(duì)話框：輸入被采集人姓名，此姓名作為儲(chǔ)存采集圖像的文件夾名稱。姓名輸入完成后按鍵盤上的回車，便可通過(guò)攝像頭采集圖片，按q可退出采集過(guò)程。注：在采集人臉數(shù)據(jù)時(shí)，攝像頭前的實(shí)驗(yàn)人員需要轉(zhuǎn)動(dòng)頭部，使得攝像頭采集到角度范圍盡可能大的人臉圖像數(shù)據(jù)集。采集獲得人臉數(shù)據(jù)集后，接下來(lái)需要對(duì)每張人臉圖像進(jìn)行角度標(biāo)注。步驟3：人臉數(shù)據(jù)的標(biāo)注。我們訓(xùn)練的模型是通過(guò)人臉圖像，識(shí)別對(duì)應(yīng)的人臉角度，這樣就需要準(zhǔn)備一批帶人臉角度信息的數(shù)據(jù)集，上一步我們采集的人臉圖像數(shù)據(jù)集是不帶角度信息的，所以要根據(jù)采集的圖像中人臉的旋轉(zhuǎn)角度特征，進(jìn)行角度標(biāo)注。手工標(biāo)注是一個(gè)繁重的體力勞動(dòng)，所以本實(shí)驗(yàn)使用通過(guò)程序FaceDataTagging來(lái)完成圖像角度的標(biāo)注，這樣照片集就帶上了角度信息，此步標(biāo)注使用的到了訓(xùn)練好的Caffe模型。步驟4：人臉角度識(shí)別模型建立在本實(shí)驗(yàn)中，比較重要的代碼在FaceDataTrain中，即如何對(duì)FaceDataTagging角度標(biāo)注后的人臉數(shù)據(jù)進(jìn)行預(yù)處理（數(shù)據(jù)信息儲(chǔ)存在文件“faceYaw.txt”中），并利用隨機(jī)森林算法完成角度識(shí)別模型的訓(xùn)練。用人臉68個(gè)輪廓特征點(diǎn)坐標(biāo)表示人臉，如下圖：圖3-6人臉輪廓特征點(diǎn)坐標(biāo)圖步驟5：人臉數(shù)據(jù)預(yù)處理我們知道人臉圖像數(shù)據(jù)是一種高維的數(shù)據(jù)，在機(jī)器學(xué)習(xí)中，要想得到好的模型，必須將人臉數(shù)據(jù)進(jìn)行預(yù)處理，轉(zhuǎn)換成特征向量，在本實(shí)驗(yàn)中我們用68個(gè)人臉輪廓點(diǎn)坐標(biāo)表示一張人臉的信息，有利于后面的模型訓(xùn)練，此功能是在函數(shù)DataPreprocessing（）中完成的，數(shù)據(jù)處理的對(duì)象便是經(jīng)過(guò)FaceDataTagging角度標(biāo)注后的人臉數(shù)據(jù)“faceYaw.txt”。下圖為函數(shù)DataPreprocessing（）的流程圖：保存特征保存特征數(shù)據(jù)定義尺度因子d與基準(zhǔn)坐標(biāo)，并計(jì)算新的68個(gè)特征值連續(xù)角度離散化為12個(gè)值文件操作結(jié)束獲取68個(gè)特征點(diǎn)坐標(biāo)信息結(jié)束獲取68個(gè)特征點(diǎn)坐標(biāo)信息開(kāi)始圖3-7函數(shù)運(yùn)行流程圖步驟6：人臉角度識(shí)別模型訓(xùn)練。經(jīng)過(guò)上一步人臉數(shù)據(jù)預(yù)處理后，我們將人臉圖像數(shù)據(jù)轉(zhuǎn)換成一個(gè)134維的向量，這134個(gè)數(shù)據(jù)值為67個(gè)特征點(diǎn)的坐標(biāo)信息。因?yàn)楸羌?1特征點(diǎn)在經(jīng)過(guò)預(yù)處理后變成了0，所以我們可以去掉它，這樣就是67個(gè)特征點(diǎn)。所有的訓(xùn)練數(shù)據(jù)保存在文件“faceData.txt”中，我們使用OpenCV中的ml庫(kù)自帶的隨機(jī)森林算法接口，完成模型的訓(xùn)練，具體過(guò)程與前面的分類實(shí)驗(yàn)是一樣的，這里不做終點(diǎn)講解，模型訓(xùn)練完成后，我們就可以得到模型文件“FaceData.xml”，利用這個(gè)模型文件，我們就可以對(duì)攝像頭采集的人臉進(jìn)行角度預(yù)測(cè)了。步驟7：機(jī)器人人臉追蹤功能要求機(jī)器人使用頭部攝像頭實(shí)時(shí)檢測(cè)視野中人臉，并識(shí)別出人臉角度信息yaw；機(jī)器人利用角度信息yaw計(jì)算并控制輪子運(yùn)動(dòng)，使機(jī)器機(jī)器人運(yùn)動(dòng)到人臉對(duì)面，與之有1m的距離。步驟8:角度識(shí)別主要是通過(guò)機(jī)器人頭部攝像頭，采集視野中的圖像，并檢測(cè)圖像中是否有人臉，如果檢測(cè)到人臉，提取人臉框數(shù)據(jù)，并對(duì)人臉圖像進(jìn)行前面模型訓(xùn)練用到的圖像數(shù)據(jù)預(yù)處理。得到134維特征向量，然后利用角度識(shí)別模型“FaceData.xml”識(shí)別出此人臉的角度yaw，以及人臉相對(duì)機(jī)器人坐標(biāo)系的坐標(biāo)值x，y，z，然后傳到第二階段運(yùn)動(dòng)控制，指導(dǎo)機(jī)器人完成下一步運(yùn)動(dòng)。步驟9:我們需要計(jì)算機(jī)器人在機(jī)器人坐標(biāo)系中，需要在x軸方向上運(yùn)動(dòng)的距離、在y軸方向上運(yùn)動(dòng)的距離以及機(jī)器人需要偏轉(zhuǎn)的角度。首先我們定義三個(gè)3×3的矩陣，分別為：表3-2機(jī)器人坐標(biāo)定義矩陣名稱功能matTargetInPerson運(yùn)動(dòng)終點(diǎn)在人臉坐標(biāo)系下的位置matTargetInRobot人臉坐標(biāo)系在機(jī)器人坐標(biāo)系下的變換矩陣matTargetInRobot運(yùn)動(dòng)終點(diǎn)在機(jī)器人坐標(biāo)系下的位姿注：在程序計(jì)算中我們將角度均轉(zhuǎn)化為弧度進(jìn)行計(jì)算在矩陣matTargetInRobot中，第一行第三列表示機(jī)器人需要機(jī)器人坐標(biāo)系在x軸方向移動(dòng)的距離；第二行第三列表示機(jī)器人需要機(jī)器人坐標(biāo)系在y軸方向移動(dòng)的距離；以及機(jī)器人需要偏轉(zhuǎn)的角度，代碼如下：然后將上面的信息下發(fā)機(jī)器人下位機(jī)，機(jī)器人就可以完成實(shí)驗(yàn)要求的運(yùn)動(dòng)任務(wù)了，代碼如下：至此，機(jī)器人就完成目標(biāo)追蹤任務(wù)了。實(shí)驗(yàn)分析本實(shí)驗(yàn)通過(guò)Tyran實(shí)機(jī)進(jìn)行實(shí)驗(yàn)，利用提供的腳本程序使用機(jī)器人頭部攝像頭采集人臉數(shù)據(jù)，并使用程序?qū)Σ杉娜四様?shù)據(jù)集進(jìn)行角度標(biāo)注。得到有角度信息的人臉數(shù)據(jù)集后，在程序FaceDataTrain中，對(duì)人臉數(shù)據(jù)進(jìn)行預(yù)處理，實(shí)時(shí)采集并利用人臉角度模型“FaceData.xml”識(shí)別機(jī)器人視野中人臉的角度信息ya