動物在AR科普圖書中的呈現(xiàn)與交互摘要增強現(xiàn)實（AR）是能夠?qū)⒄鎸嵤澜缗c虛擬世界的信息相結(jié)合的一項技術(shù)，此項技術(shù)的革新，對我國各行行業(yè)的發(fā)展都將會產(chǎn)生一定的影響。本文將主要介紹AR技術(shù)應(yīng)用于圖書行業(yè)的可行性與實現(xiàn)方法，并通過交互設(shè)計來實現(xiàn)虛擬與現(xiàn)實相結(jié)合的體驗式閱讀。關(guān)鍵詞：增強現(xiàn)實（AR），AR圖書，交互注：本設(shè)計（論文）題目來源于教師的省部級科研項目目錄1. 緒論 21.1 題目背景 21.1.1 增強現(xiàn)實（AR）技術(shù)的發(fā)展現(xiàn)狀 21.1.2 AR圖書發(fā)展現(xiàn)狀 21.2 技術(shù)概念及設(shè)計目的 31.2.1 增強現(xiàn)實（AR）技術(shù)的概念 31.2.2 AR圖書的概念 41.2.3 設(shè)計目的 41.3 題目設(shè)計方法 61.3.1 Unity平臺介紹 61.3.2 Vuforia插件介紹 61.3.3 C#腳本語言簡介 91.4 論文構(gòu)成及研究內(nèi)容 112 交互設(shè)計1 113 交互設(shè)計2 11參考文獻(xiàn) 11致謝 11緒論題目背景增強現(xiàn)實（AR）技術(shù)的發(fā)展現(xiàn)狀A(yù)R技術(shù)在我們國內(nèi)發(fā)展，從硬件支持上來看，以支持AR功能的手機和眼鏡為主；從AR應(yīng)用場景上來看，在C端以游戲和娛樂為主，而在B端市場AR應(yīng)用發(fā)展得更為紅火，尤其是在產(chǎn)品營銷展示、醫(yī)療、教育、電商、工業(yè)維修等行業(yè)，AR技術(shù)的應(yīng)用得到了普遍認(rèn)可，特別是場景營銷領(lǐng)域，AR已經(jīng)有了很多成功案例。目前AR技術(shù)的發(fā)展至關(guān)重要，國內(nèi)的巨頭廠商諸如阿里、騰訊、百度、網(wǎng)易、京東等待都在發(fā)展自己的AR領(lǐng)地，形成獨特優(yōu)勢。舉例說，阿里巴巴和京東將AR技術(shù)應(yīng)用于電子商務(wù)，并推出AR購物平臺，進(jìn)行品牌營銷活動；騰訊則通過AR開放平臺免費為開發(fā)者提供識別、追蹤、展現(xiàn)等基礎(chǔ)技術(shù)；而百度也推出AR/VR搜索和AR地圖導(dǎo)航。除了軟件技術(shù)開發(fā)外，各大廠商也進(jìn)入了投資AR領(lǐng)域，阿里巴巴投資了顯示技術(shù)和AR眼鏡方面，騰訊和京東投資的公司類型主要是硬件AR眼鏡，百度投資收購的公司則側(cè)重于人工智能、自動駕駛及顯示技術(shù)，這也與各自的優(yōu)勢領(lǐng)域相重合。而這些技術(shù)，似乎還是離我們的日常生活有點遙遠(yuǎn)，目前國內(nèi)AR領(lǐng)域創(chuàng)業(yè)方向主要集中在硬件類和企業(yè)服務(wù)類上，市場普及程度還不高，其主要因素是硬件產(chǎn)品和AR基本技術(shù)。目前AR眼鏡價格貴、缺乏剛性需求，價格昂貴加之沒有突破剛性需求的門檻，使得用戶難以為AR技術(shù)買單。一副AR眼鏡普遍的市場價格在4000-200000元不等，而且這種眼鏡不適合長久地佩戴，讓其市場接受度難以提升。雖然AR生活化還有很長的路走，但這是未來AR技術(shù)發(fā)展的趨勢與方向，需要我們共同努力。本文所要介紹的AR圖書，則是對AR生活化的一次嘗試與探索。本文將探討怎樣通過人手一部的手機來便捷地實現(xiàn)虛擬與現(xiàn)實的交互，來實現(xiàn)AR圖書的技術(shù)。AR圖書發(fā)展現(xiàn)狀我國已經(jīng)進(jìn)入了智能媒體的時代，文化產(chǎn)業(yè)與人工智能在很多方面都結(jié)合了起來，在各行各業(yè)中，AR技術(shù)也得到了越來越多人的認(rèn)同。由于AR技術(shù)對硬件設(shè)備的要求，隨著技術(shù)的發(fā)展越來越低，近幾年來，AR技術(shù)也不斷應(yīng)用到了圖書出版物的行業(yè)上。目前，AR技術(shù)應(yīng)用到圖書的表現(xiàn)方式主要分為兩種，一種是3D實時互動書籍，一種是游戲劇情類書籍。3D實時互動書籍，要求讀者預(yù)先下載一個商家制作的AR圖書軟件，然后通過移動終端設(shè)備，如手機，平板電腦等，瞄準(zhǔn)獲取紙質(zhì)書籍上的文字或者圖片等圖標(biāo)，獲取后，移動設(shè)備會將識別出的平面化內(nèi)容融入更為立體現(xiàn)實的形象，給讀者帶來更為豐富的閱讀體驗。簡單來說，就是利用AR技術(shù)，將紙質(zhì)書籍上的文字或者圖片，與音頻、視頻、3D模型等虛擬信息相匹配，在相應(yīng)的移動設(shè)備上呈現(xiàn)出來。國內(nèi)對此項技術(shù)的應(yīng)用較晚，直到2013年，浙江少年兒童出版社才首次將此項技術(shù)引進(jìn)國內(nèi)，并出版了國內(nèi)第一本帶有AR技術(shù)的紙質(zhì)書籍《孩子的科學(xué)》。游戲劇情類AR書籍，這類書籍在實體印刷頁面基本沒有有效的文字信息，取而代之的是眾多的標(biāo)記信息，用移動端設(shè)備作為交互體，通過攝像頭來識別獲取相應(yīng)的標(biāo)記信息，進(jìn)而在移動設(shè)備端產(chǎn)生具體虛擬場景，讀者可以通過肢體動作對移動端畫面進(jìn)行創(chuàng)建與操控，帶來沉浸式體驗。該項技術(shù)早在2012年便在《哈利·波特》系列《奇幻之書：魔咒之冊》有所應(yīng)用。技術(shù)概念及設(shè)計目的增強現(xiàn)實（AR）技術(shù)的概念增強現(xiàn)實（AugmentedReality，簡稱AR）技術(shù)，是通過計算機模擬仿真技術(shù)，將本不存在于某個現(xiàn)實場景中的信息，如音頻、視頻、3D模型、圖片或者文字等，疊加到該現(xiàn)實場景中，實現(xiàn)虛擬信息與現(xiàn)實世界的結(jié)合。用戶通過相應(yīng)的移動端設(shè)備進(jìn)行實時互動，不僅能體驗到原有的現(xiàn)實場景，還能體驗到通過計算機仿真疊加上來的虛擬信息，虛擬與現(xiàn)實相融，使體驗者擁有了比現(xiàn)實更為豐富的感官體驗。簡單來說，AR技術(shù)需要具備以下三大特征：虛擬現(xiàn)實融合——用虛擬信息疊加在現(xiàn)實環(huán)境上來增強現(xiàn)實場景，實時交互——使用者通過相應(yīng)設(shè)備與增強后的現(xiàn)實環(huán)境進(jìn)行實時性的交互，三維注冊——計算機生成的虛擬信息要和現(xiàn)實環(huán)境一一對應(yīng)，必須要維持正確位置、尺寸關(guān)系。AR圖書的概念A(yù)R圖書是通過相關(guān)設(shè)備，如手機，并借助已經(jīng)整合好在紙質(zhì)書籍界面上預(yù)設(shè)相關(guān)虛擬信息，如圖片、音頻、視頻、3D模型等的軟件，在紙質(zhì)書籍的基礎(chǔ)上，與相關(guān)虛擬信息進(jìn)行實時交互的全新的閱讀方式。這種方式可以充分調(diào)動讀者的感官，給讀者一種超乎想象、身臨其境的體驗。設(shè)計目的AR圖書的優(yōu)點：豐富閱讀體驗，激發(fā)讀者閱讀興趣在3D實時互動書籍中導(dǎo)入的虛擬信息不僅可以是通過計算機仿真出逼真的三維圖像，還可以是通過攝像機拍攝的關(guān)于現(xiàn)實世界的真實場景內(nèi)容，讀者可以通過相關(guān)設(shè)備，與書籍上的虛擬信息進(jìn)行實時交互，比如可以切換成不同的角度觀察各部分的內(nèi)容，又或者通過肢體動作來控制圖書中的情節(jié)故事發(fā)展。從以上特點來看，與普通出版物相比，AR圖書將以更加逼真形象的形式，給讀者帶來更加豐富的閱讀體驗。在游戲劇情類AR圖書中，通過AR技術(shù)，將交互與閱讀融合在了一起，讓讀者在閱讀的過程中，可以通過自己的想法，與劇情進(jìn)行互動，給讀者帶來了立體式交互的閱讀體驗，讓讀者能夠有機會沉浸在AR圖書所構(gòu)建的虛擬的平行世界中?？梢钥闯觯珹R圖書可以給予讀者豐富的閱讀體驗，激發(fā)讀者的閱讀興趣。這對于當(dāng)下以數(shù)字碎片化閱讀為主的閱讀方式有極大的改善，讓人們重新有興趣去沉浸在一本書籍的內(nèi)容當(dāng)中。讓人們對AR技術(shù)有更深的了解目前，國內(nèi)AR領(lǐng)域創(chuàng)業(yè)方向主要集中在硬件類和企業(yè)服務(wù)類上，市場普及程度還不高，AR圖書的出現(xiàn)，則將AR技術(shù)的基本內(nèi)容帶進(jìn)普通人的視野當(dāng)中，帶進(jìn)日常人們的生活當(dāng)中，這對人們了解AR技術(shù)有很好的促進(jìn)作用。更好地防止盜版書籍的出現(xiàn)以往，傳統(tǒng)紙質(zhì)書籍的盜版現(xiàn)象很嚴(yán)重，這不僅損害了作者以及出版機構(gòu)的利益，還對讀者的閱讀質(zhì)量造成了影響。AR技術(shù)在圖書上的應(yīng)用，則可以通過采用特殊的識別信息來進(jìn)行防偽，而且與AR技術(shù)相結(jié)合的移動端交互功能，也使盜版的難度大大提高。AR圖書的不足技術(shù)剛起步，同質(zhì)化明顯AR圖書的技術(shù)在近幾年才逐漸在國內(nèi)發(fā)展應(yīng)用，處于剛起步的階段，目前市面上大多數(shù)AR圖書，內(nèi)容上AR的元素較少，真正融入AR技術(shù)的只有很少一部分，大部分都只是以AR為銷售宣傳噱頭操作相比傳統(tǒng)圖書略復(fù)雜AR圖書不僅需要紙質(zhì)圖書，還需要下載相應(yīng)的軟件，利用移動端設(shè)備，如手機，平板電腦等進(jìn)行識別相應(yīng)信息，這比以往拿起一本書就可以閱讀來說，要復(fù)雜一點。而且移動端設(shè)備在進(jìn)行信息識別的時候，需要網(wǎng)絡(luò)，耗電量也會比平時增多，這也在一定程度上影響了閱讀體驗長期使用會影響視力AR圖書需要借助一定的電子設(shè)備來進(jìn)行識別傳統(tǒng)圖書中的信息，并作為顯示屏來顯現(xiàn)出虛擬增強現(xiàn)實的內(nèi)容，長時間使用的話，會使使用者產(chǎn)生視覺疲勞，影響視力。增強現(xiàn)實替代不了親身體驗AR圖書旨在豐富讀者的閱讀體驗，而并非剝奪讀者的全部感受，增強現(xiàn)實是替代不了親身體驗的，就好比一些實驗性質(zhì)需要動手操作的內(nèi)容，雖然通過AR技術(shù)也可以在移動端設(shè)備上實現(xiàn)出來，但手指觸摸屏幕與親自動手操作體驗也是大不一樣的，而且這些都是人為設(shè)置好的，實驗中可能會出現(xiàn)的差錯是沒辦法體現(xiàn)出來的，只有自己去親手操作才會有所感受小結(jié)雖然AR圖書技術(shù)在國內(nèi)處于剛剛起步的階段，技術(shù)尚不成熟，但是在現(xiàn)如今智能化的時代背景下，AR圖書是順應(yīng)時代發(fā)展需求的，不僅如此，AR圖書還能改善當(dāng)下人們以數(shù)字碎片化閱讀為主要閱讀方式的狀況，豐富讀者閱讀的體驗，培養(yǎng)人們閱讀的自發(fā)積極性，使閱讀更加體系化。題目設(shè)計方法Unity平臺介紹Unity3D是由UnityTechnologies開發(fā)的一個讓玩家輕松創(chuàng)建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型互動內(nèi)容的多平臺的綜合型游戲開發(fā)工具，是一個全面整合的專業(yè)游戲引擎。其編寫的程序可發(fā)布游戲至Windows、Mac、Wii、iPhone、WebGL（需要HTML5）、Windowsphone8和Android平臺。也可以利用Unitywebplayer插件發(fā)布網(wǎng)頁游戲，支持Mac和Windows的網(wǎng)頁瀏覽。它的網(wǎng)頁播放器也被Mac所支持。unity可以說是游戲開發(fā)領(lǐng)域最輕量級的游戲開發(fā)工具了，入門簡單，界面簡單（就好像VB一樣），安裝，調(diào)試，發(fā)布都非常的方便，語言采用c#或者JS作為腳本語言，學(xué)習(xí)成本低（.net開發(fā)人員可以很容易轉(zhuǎn)行過來），官方的文檔相當(dāng)完善，并且給出了相對的demo。自己有自己的AssetStore，社區(qū)活躍且有相當(dāng)多的資源可供下載。開發(fā)效率高。一個硬幣分兩面，unity也有很多相當(dāng)?shù)娜秉c，最突出被大家吐槽的就是光影渲染效果差（相對于虛幻4引擎），材質(zhì)復(fù)雜，而且內(nèi)置的工具不完善，很多都需要第三方插件來完成。作為一個游戲開發(fā)或者AR開發(fā)的入門者，untiy是一個非常非常不錯的入門工具，初級游戲開發(fā)或者AR開發(fā)，Unity綽綽有余，但是開發(fā)高端領(lǐng)域的游戲，虛幻4或者是osg則是必須要學(xué)習(xí)掌握的。如果要想長久在該領(lǐng)域發(fā)展，僅僅是一個Unity遠(yuǎn)遠(yuǎn)不夠，虛幻4，osg等工具也是要學(xué)會使用的，模型工具例如3Dmax也是必須掌握的。Vuforia插件介紹目前世界上主流的ARSDK提供廠商，國外的主要是Vuforia、Metaio，國內(nèi)的主要是EasyAR。其中Metaio在2015年5月已被Apple重金收購，之后就沒有再對外公開過SDK，經(jīng)過兩年的封閉開發(fā)，Apple已經(jīng)打造出了強大的ARKit，能夠基于龐大的iOS和iPad設(shè)備生產(chǎn)出各種驚艷的AR產(chǎn)品。Vuforia也在2015年11月被PTC公司重金收購，但是后續(xù)一直在更新并提供SDK，因此在ARKit普及之前，Vuforia一直是開發(fā)者最青睞的ARSDK，眾多的功能以及高質(zhì)量的識別技術(shù)，使得Vuforia早已深入人心。Vuforia主要由三大部分組成：Vuforia引擎。這個引擎是一個靜態(tài)鏈接庫，作為客戶端封裝進(jìn)最終的App中，用來進(jìn)行最主要的識別功能，支持iOS、Android和UWP，并且根據(jù)不同的平臺開放出了不同的SDK，可以根據(jù)需要從AndroidStudio、Xcode、VisualStudio以及Unity中任選一種作為開發(fā)工具。本系列是以Unity為開發(fā)工具，因為Unity本來就是個游戲引擎，對3D模型的導(dǎo)入以及控制非常方便，非常適合開發(fā)AR程序；一系列工具。Vuforia提供了一系列的工具，用來創(chuàng)建對象、管理對象數(shù)據(jù)庫以及管理程序licenses。TargetManager是一個網(wǎng)頁程序，開發(fā)者在里面創(chuàng)建和管理對象數(shù)據(jù)庫，并且可以生成一系列的識別圖像，用在AR設(shè)備以及云端上。LicensesManager用來創(chuàng)建和管理程序licenses，因為每一個AR程序都有一個唯一的licenses。VuforiaObjectScanner是Vuforia近段時間新出的工具，用來進(jìn)行十分黑科技的功能--實物掃描，但是很遺憾目前只支持某些Android設(shè)備。云識別服務(wù)。當(dāng)你的AR程序需要識別數(shù)量很龐大的圖片對象，或者你的對象數(shù)據(jù)庫需要經(jīng)常更新，可以選擇Vuforia的云識別服務(wù)。VuforiaWebServices可以讓你很輕松的管理數(shù)量龐大的對象數(shù)據(jù)庫，并且可以建立自動的工作流。根據(jù)功能的不同，Vuforia支持很多類型的AR識別類型，主要有以下幾種：ImageTargets這是最常用、也是最簡單的識別對象，即單一靜態(tài)的平面圖像，比如打印的圖片或者產(chǎn)品包裝；VuMark這是Vuforia自己研發(fā)的一種新型條形碼，并且被稱為下一代條形碼，你能夠自己隨意設(shè)計這種條形碼的樣式，并且在其中融入相關(guān)的數(shù)據(jù)信息；Multi-Targets多對象識別，可以同時識別多張ImageTargets，并且可以把它們和幾何立體物體結(jié)合起來，比如一個紙盒子，或者任意形狀的平面；CylinderTargets是形狀類似于圓柱形的圖片，可以將這些圖片貼到一些圓柱形物體上比如瓶子、杯子等等，進(jìn)行識別；TextRecognization(Nativeonly)文字識別，可以識別大約10萬個英文單詞，對于一些英語教育產(chǎn)品很是實用。但是很遺憾，不支持中文漢字識別，只支持英文；ObjectRecognization實物識別，這是Vuforia在今年前不久推出的一種新型識別，識別對象已經(jīng)從簡單的圖像中跳出來了，可以基于現(xiàn)實生活中的實物模型進(jìn)行掃描識別，很是黑科技，這也代表著AR的未來。但是很遺憾目前只支持三星S7等少數(shù)Android手機，不過隨著技術(shù)的進(jìn)步，不久的未來一定會全平臺覆蓋；SmartTerrain這是一項突破性的技術(shù)，可以基于用戶的真實物理環(huán)境重新建造虛擬的3D環(huán)境，可以打造出新型種類的游戲以及很真實的視覺效果，這種產(chǎn)品中的元素可以和真實世界中的物理實體以及平面進(jìn)行互動，非?？犰牛嬲龅搅颂摂M和現(xiàn)實相互融合。三種不同類型Database的比較Vuforia提供了三種類型的Database，分別是Device、VuMark和Cloud。這三種類型都各有自己的優(yōu)勢，在開發(fā)產(chǎn)品時需要根據(jù)需求來選擇不同的Database：DeviceDatabase：包含了安裝在設(shè)備本地的圖片以及3D模型對象的數(shù)據(jù)庫，可以開發(fā)ImageTarget（圖片識別）、MultiTargets（多對象識別）、CylinderTargets（圓柱圖像識別）以及ObjectTarget（3D模型識別）。當(dāng)你的產(chǎn)品需要最快速的圖像識別，而且圖片對象小于1000張，并且數(shù)據(jù)庫中的對象不會經(jīng)常更新，那么DeviceDatabase就是最好的選擇。如果需要開發(fā)識別真實3D物體識別的產(chǎn)品，那就只能選擇Device類型的。CloudDatabase：包含了存儲于網(wǎng)絡(luò)云服務(wù)器上的對象的數(shù)據(jù)庫，需要通過網(wǎng)絡(luò)進(jìn)行獲取。Cloud類型的數(shù)據(jù)庫可以包含數(shù)量百萬級別的對象，因此當(dāng)識別對象超過1000個，而且對象需要經(jīng)常進(jìn)行更新時，CloudDatabase是最好的選擇。需要注意的是，CloudDatabase只支持單一的圖像識別，并不支持Multitarget和CylinderTarget。因為是通過網(wǎng)絡(luò)識別，因此采用Cloud進(jìn)行識別的話需要根據(jù)網(wǎng)絡(luò)情況花費一定時間。VuMark：這是Vuforia自家研發(fā)的條形碼，被譽為下一代條形碼。和目前市面上通用的條形碼不一樣的是，VuMark的外觀可以完全自主定制，只要符合VuMark的相關(guān)規(guī)范就行，而且VuMark中還能包含諸如字符串之類的數(shù)據(jù)信息，非常適合于企業(yè)級產(chǎn)品的開發(fā)。C#腳本語言簡介長久以來，游戲引擎開發(fā)都采用底層語言如C++來進(jìn)行，這對于游戲上層開發(fā)來說，并不友好。很難想象如果使用一款引擎修改某個人物的動作，還需要直接調(diào)用C++底層的接口，這樣既不安全，也不方便。因此，一般引擎從設(shè)計之初就會把封裝好的繪制接口通過某些上層語言暴露出來，給游戲制作方使用。這些上層語言就叫做游戲腳本語言。lua是腳本語言里面比較流行的一種，因其虛擬機小巧、API豐富、可靈活定制而深受游戲引擎開發(fā)商的喜愛。Unity使用了C#和UnityScript（現(xiàn)已廢棄）來作為腳本語言。C#語言因為建立在.NETIL之上而具有跨平臺擴(kuò)展性。這樣，游戲開發(fā)者只需要一套代碼就可在多個平臺運行。IL（IntermediateLanguage，在.NET平臺下是CIL，CommonIntermediateLanguage）是一種中間語言格式，類似于Java的字節(jié)碼（bytecode），這種格式的代碼需要一個虛擬機來“解釋”執(zhí)行。IL的所有指令都是基于虛擬堆棧的：調(diào)用函數(shù)前，先將參數(shù)push到虛擬堆棧里面；函數(shù)執(zhí)行的時候，從虛擬堆棧里面取出參數(shù)，然后將結(jié)果壓入虛擬堆棧。由于調(diào)用方式簡單，IL語言的指令集也比較精簡。IL作為腳本語言的獨到之處在于可以將C#上層語言的各種特性（如泛型、協(xié)程等）轉(zhuǎn)換成基本的IL指令集，但是這樣的轉(zhuǎn)換也是有代價的—轉(zhuǎn)換后的IL指令比普通的函數(shù)調(diào)用多出數(shù)倍。因此，在游戲開發(fā)中，不宜在每一幀中都進(jìn)行這一類的調(diào)用。另外，IL語言執(zhí)行需要一個虛擬機翻譯成目標(biāo)平臺的機器碼，雖然.NET虛擬機已經(jīng)比較高效了（可參考.NET與Java的對比），但是和平臺原生代碼比起來，依然有一些差距。在iOS平臺上，由于蘋果禁止使用JIT方式，IL指令需要預(yù)先編譯成目標(biāo)平臺庫文件，然后在最終二進(jìn)制文件打包的時候作為第三方庫鏈接進(jìn)去。Unity游戲幾乎所有的游戲邏輯都是通過腳本來實現(xiàn)的，一個大型游戲，成千上萬個腳本，AOT方式打包造成的效率低下，是不得不考慮的問題。因此，Unity在5.3.4版本中引入了il2cpp技術(shù)。顧名思義，il2cpp就是把中間語言轉(zhuǎn)換成cpp代碼的工具。上面我們講到，在iOS平臺上，由于無法使用JIT方式執(zhí)行IL指令，所以需要先將游戲腳本打包成.NETManagedA