CN113808279B 基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng) (臺達電子工業(yè)股份有限公司)_第1頁
CN113808279B 基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng) (臺達電子工業(yè)股份有限公司)_第2頁
CN113808279B 基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng) (臺達電子工業(yè)股份有限公司)_第3頁
CN113808279B 基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng) (臺達電子工業(yè)股份有限公司)_第4頁
CN113808279B 基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng) (臺達電子工業(yè)股份有限公司)_第5頁
已閱讀5頁,還剩42頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領

文檔簡介

(19)國家知識產(chǎn)權局(12)發(fā)明專利(10)授權公告號CN113808279B(65)同一申請的已公布的文獻號申請公布號CN113808279A(43)申請公布日2021.12.17(30)優(yōu)先權數(shù)據(jù)審查員邢亞晶(73)專利權人臺達電子工業(yè)股份有限公司地址中國臺灣桃園市(72)發(fā)明人嚴堯瀚羅文欣(74)專利代理機構隆天知識產(chǎn)權代理有限公司專利代理師李琛黃艷(54)發(fā)明名稱基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng)開始接收一3D模型根據(jù)上述3開始接收一3D模型根據(jù)上述3D模型生成對應上述3D模型的一模型數(shù)據(jù)包,其中上述模型數(shù)據(jù)包至少包括應用于上述3D模型的復數(shù)物件通過復數(shù)虛擬攝影機錄制一使用者在一虛擬現(xiàn)實中操作上述物件的動作,并產(chǎn)生對應上述物件的動作影片產(chǎn)生一課程數(shù)據(jù)包,其中上述課程數(shù)據(jù)包包括上述模型數(shù)據(jù)包以及包括上述動作影片的一動畫包結束一種基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng),應用于一電子裝置,上述方法包括:接收一3D模型;根據(jù)上述3D模型生成對應上述3D模型的一模型數(shù)據(jù)包,其中上述模型數(shù)據(jù)包至少包括應用于上述3D模型的復數(shù)物件;通過復數(shù)虛擬攝影機錄制一使用者在一虛擬現(xiàn)實中操作上述物件的動作,并產(chǎn)生對應上述物件的動作影片;以及產(chǎn)生一課程數(shù)據(jù)包,其中上述課程數(shù)據(jù)21.一種基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法,應用于一電子裝置,該方法包括:接收一3D模型;根據(jù)上述3D模型生成對應上述3D模型的一模型數(shù)據(jù)包,其中上述模型數(shù)據(jù)包至少包括應用于上述3D模型的復數(shù)物件;通過復數(shù)虛擬攝影機錄制一使用者在一虛擬現(xiàn)實中操作上述物件的動作,并產(chǎn)生對應產(chǎn)生一課程數(shù)據(jù)包,其中上述課程數(shù)據(jù)包包括上述模型數(shù)據(jù)包以及包括上述動作影片的一動畫包,其中在錄制上述使用者在上述虛擬現(xiàn)實中操作上述物件的上述動作之后,上述方法還包括:判斷上述物件是否移動;當上述物件移動時,以時間戳對上述動作影片進行標記;以及對標記有上述時間戳的上述動作影片進行存儲。2.如權利要求1所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法,其中上述復數(shù)物件被3.如權利要求1所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法,其中上述虛擬攝影機通過一時間差記錄上述物件的坐標旋轉信息及位移信息。4.如權利要求1所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法,還包括:播放包括在上述課程數(shù)據(jù)包中的上述動畫包,以重現(xiàn)上述使用者在上述虛擬現(xiàn)實中操作上述物件的上述動作。5.如權利要求4所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法,其中上述播放包括在上述課程數(shù)據(jù)包中的上述動畫包的步驟還包括:將包括上述動作影片的上述動畫包放入一物件池中;判斷上述動作影片中的一動作幀是否與一欲播放動作幀具有相同的第一物件;以及當上述動作幀與上述欲播放動作幀具有相同的上述第一物件時,在上述物件池中保留上述動作幀的上述第一物件。6.如權利要求1所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法,還包括:通過一Unity3D引擎建立上述虛擬現(xiàn)實。7.如權利要求6所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法,其中上述課程數(shù)據(jù)包是一Assetbundle文件。8.如權利要求1所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法,其中上述動畫包至少包括一音頻檔、一預載物件與動畫配對文件、對應上述物件的動畫信息以及一動畫包截圖。9.如權利要求1所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法,其中上述電子裝置是一頭戴式顯示裝置。10.一種基于虛擬現(xiàn)實的課程制作及重現(xiàn)的系統(tǒng),包括:一或多個電腦存儲媒體,存儲電腦可讀取指令,其中上述處理器使用上述電腦存儲媒體以執(zhí)行:3根據(jù)上述3D模型生成對應上述3D模型的一模型數(shù)據(jù)包,其中上述模型數(shù)據(jù)包至少包括應用于上述3D模型的復數(shù)物件;通過復數(shù)虛擬攝影機錄制一使用者在一虛擬現(xiàn)實中操作上述物件的動作,并產(chǎn)生對應產(chǎn)生一課程數(shù)據(jù)包,其中上述課程數(shù)據(jù)包包括上述模型數(shù)據(jù)包以及包括上述動作影片的一動畫包,其中在錄制上述使用者在上述虛擬現(xiàn)實中操作上述物件的上述動作之后,上述處理器更執(zhí)行:判斷上述物件是否移動;當上述物件移動時,以時間戳對上述動作影片進行標記;以及對標記有上述時間戳的上述動作影片進行存儲。11.如權利要求10所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的系統(tǒng),其中上述復數(shù)物件12.如權利要求10所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的系統(tǒng),其中上述虛擬攝影機通過一時間差記錄上述物件的坐標旋轉信息及位移信息。13.如權利要求10所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的系統(tǒng),上述處理器更執(zhí)行:播放包括在上述課程數(shù)據(jù)包中的上述動畫包,以重現(xiàn)上述使用者在上述虛擬現(xiàn)實中操作上述物件的上述動作。14.如權利要求13所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的系統(tǒng),其中上述播放包括在上述課程數(shù)據(jù)包中的上述動畫包的步驟還包括:將包括上述動作影片的上述動畫包放入一物件池中;判斷上述動作影片中的一動作幀是否與一欲播放動作幀具有相同的第一物件;以及當上述動作幀與上述欲播放動作幀具有相同的上述第一物件時,在上述物件池中保留上述動作幀的上述第一物件。15.如權利要求10所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的系統(tǒng),上述處理器更執(zhí)行:通過一Unity3D引擎建立上述虛擬現(xiàn)實。16.如權利要求15所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的系統(tǒng),其中上述課程數(shù)據(jù)包是一Assetbundle文件。17.如權利要求10所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的系統(tǒng),其中上述動畫包至少包括一音頻檔、一預載物件與動畫配對文件、對應上述物件的動畫信息以及一動畫包截18.如權利要求10所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的系統(tǒng),上述系統(tǒng)應用于一頭戴式顯示裝置。4基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng)技術領域[0001]本公開涉及一種課程制作及重現(xiàn)的方法及其系統(tǒng),且特別涉及一種基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng)。背景技術[0002]在新興的多媒體教學模式中,以虛擬現(xiàn)實(VirtualReality,VR)技術所開發(fā)的VR教材課程及VR內(nèi)容編輯器,能夠呈現(xiàn)如臨場般的沉浸式模擬真實工作環(huán)境,已應用于如大型機具操作、工安事件演練及人體生理現(xiàn)象模擬等。然而,這類型的教材課程制作門檻高,互動設定的工作。再者,市場上的VR內(nèi)容編輯器功能繁復、需要花本程序概念,對于單純想要進行技術操作培訓的講師而言,并無法很有效率的設計及制作教材。此外,也有一些記錄VR教材的解決方案是利用錄制教學過程為影片的方式來讓學生觀賞。但是影片僅只有一個視角供學生觀看,學生并無法于各視角觀看教學過程,造成學生可能無法理解其教學過程。[0003]因此,需要一種基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng),以改善上述問發(fā)明內(nèi)容[0004]以下公開的內(nèi)容僅為示例性的,且不意指以任何方式加以限制。除所述說明方面、實施方式和特征之外,通過參照附圖和下述具體實施方式,其他方面、實施方式和特征也將顯而易見。即,以下公開的內(nèi)容被提供以介紹概念、重點、益處及本文所描述新穎且非顯而并不意旨在所要求保護主題的必要特征,也不意旨在決定所要求保護主題的范圍中使用。[0005]因此,本公開的主要目的即在于提供一種基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法[0006]本公開提出一種基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法,應用于一電子裝置,上述模型數(shù)據(jù)包至少包括應用于上述3D模型的復數(shù)物件;通過復數(shù)虛擬攝影機錄制一使用者在一虛擬現(xiàn)實中操作上述物件的動作,并產(chǎn)生對應上述物件的動作影片;以及產(chǎn)生一課程數(shù)據(jù)包,其中上述課程數(shù)據(jù)包包括上述模型數(shù)據(jù)包以及包括上述動作影片的一動畫包。[0007]在一些實施例中,上述復數(shù)物件被分類為純碰撞物件、基座物件、提取物件、物理性物件、穿透性物件以及仿物理性物件。[0008]在一些實施例中,上述虛擬攝影機是通過一時間差記錄上述物件的坐標旋轉信息及位移信息。[0009]在一些實施例中,在錄制上述使用者在上述虛擬現(xiàn)實中操作上述物件的上述動作之后,上述方法還包括:判斷上述物件是否移動;當上述物件移動時,以時間戳對上述動作5影片進行標記;以及對標記有上述時間戳的上述動作影片進行存儲。[0010]在一些實施例中,上述方法還包括:載入上述課程數(shù)據(jù)包;以及播放包括在上述課程數(shù)據(jù)包中的上述動畫包,以重現(xiàn)上述使用者在上述虛擬現(xiàn)實中操作上述物件的上述動[0011]在一些實施例中,上述播放包括在上述課程數(shù)據(jù)包中的上述動畫包的步驟還包括:將包括上述動作影片的上述動畫包放入一物件池(ObjectPool)中;判斷上述動作影片中的一動作幀是否與一欲播放動作幀具有相同的第一物件:以及當上述動作幀與上述欲播放動作幀具有相同的上述第一物件時,在上述物件池中保留上述動作幀的上述第一物件。[0012]在一些實施例中,上述方法還包括:通過一Unity3D引擎建立上述虛擬現(xiàn)實。[0013]在一些實施例中,上述課程數(shù)據(jù)包是一Assetbundle文件。[0014]在一些實施例中,上述動畫包至少包括一音頻檔、一預載物件與動畫配對文件、對應上述物件的動畫信息以及一動畫包截圖。[0015]在一些實施例中,上述電子裝置是一頭戴式顯示(Head-mountedDisplay,HMD)裝[0016]本公開亦提出一種基于虛擬現(xiàn)實的課程制作及重現(xiàn)的系統(tǒng),包括:一或多個處理器以及一或多個電腦存儲媒體,存儲電腦可讀取指令,其中上述處理器使用上述電腦存儲媒體以執(zhí)行:接收一3D模型;根據(jù)上述3D模型生成對應上述3D模型的一模型數(shù)據(jù)包,其中上述模型數(shù)據(jù)包至少包括應用于上述3D模型的復數(shù)物件;通過復數(shù)虛擬攝影機錄制一使用者在一虛擬現(xiàn)實中操作上述物件的動作,并產(chǎn)生對應上述物件的動作影片;以及產(chǎn)生一課程數(shù)據(jù)包,其中上述課程數(shù)據(jù)包包括上述模型數(shù)據(jù)包以及包括上述動作影片的一動畫包。附圖說明[0017]圖1A是顯示根據(jù)本公開一實施例所述的教學者配戴一頭戴式顯示(Head-mountedDisplay,HMD)裝置在一虛擬現(xiàn)實中操作虛擬現(xiàn)實教材的示意圖。[0018]圖1B是顯示根據(jù)本公開一實施例所述的學習者配戴一HMD裝置在一虛擬現(xiàn)實中觀看虛擬現(xiàn)實教材的示意圖。[0019]圖2是顯示根據(jù)本公開一實施例所述的基座物件制定的示意圖。[0020]圖3是顯示根據(jù)本公開一實施例所述的碰撞物件制定的示意圖。[0021]圖4是顯示根據(jù)本公開一實施例所述的群集物件制定的示意圖。[0022]圖5是顯示根據(jù)本公開一實施例所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法流[0023]圖6是顯示根據(jù)本公開一實施例所述的虛擬攝影機記錄物件移動的統(tǒng)一建模語言(UnifiedModelingLanguage,UML)的示意圖。[0024]圖7是顯示根據(jù)本公開一實施例所述的電子裝置以時間戳對上述動作影片進行標記的示意圖。[0025]圖8是顯示根據(jù)本公開一實施例所述的電子裝置以時間戳播放動作影片的示意[0026]第9A~9D圖是顯示根據(jù)本公開一實施例所述的六種不同類型的物件的示意圖。[0027]圖10是顯示根據(jù)本公開一實施例所述的播放課程數(shù)據(jù)包的示意圖。6[0028]圖11是顯示根據(jù)本公開一實施例所述的使用者制作課程數(shù)據(jù)包的詳細流程圖。[0029]圖12是顯示根據(jù)本公開一實施例所述的使用者重現(xiàn)課程數(shù)據(jù)包的詳細流程圖。[0030]圖13是顯示用以實現(xiàn)本公開實施例的示例性操作環(huán)境。[0031]附圖標記說明:[0032]110:教學者[0034]130:學習者[0036]210:機柜[0037]500:方法流程圖[0039]910:環(huán)境[0040]920:機柜[0041]930:組裝物件[0043]950:標記對象[0044]960:手工具[0045]1100:流程圖[0046]S1105,S1110,S1115,S1120,S1125,S1130,S1135,S1140,S1145:[0047]1200:流程圖[0048]S1205,S1210[0049]1300:計算裝置[0051]1312:存儲器[0052]1314:處理器[0053]1316:顯示元件[0056]1322:電源供應器具體實施方式[0057]在下文中將參考附圖對本公開的各方面進行更充分的描述。然而,本公開可以具體化成許多不同形式且不應解釋為局限于貫穿本公開所呈現(xiàn)的任何特定結構或功能。相反地,提供這些方面將使得本公開周全且完整,并且本公開將給本領域技術人員充分地傳達本公開的范圍?;诒疚乃虒У膬?nèi)容,本領域的技術人員應意識到,無論是單獨還是結合本公開的任何其它方面實現(xiàn)本文所公開的任何方面,本公開的范圍旨在涵蓋本文中所公開的任何方面。例如,可以使用本文所提出任意數(shù)量的裝置或者執(zhí)行方法來實現(xiàn)。另外,除了本文所提出本公開的多個方面之外,本公開的范圍更旨在涵蓋使用其它結構、功能或結構和功能來實現(xiàn)的裝置或方法。應可理解,其可通過權利要求的一或多個元件具體化本文所7公開的任何方面。本文描述為“示例性”的設計不一定被解釋為優(yōu)選于或優(yōu)于本公開或設計的其他方面。此外,相同的數(shù)字在所有若干圖示中指示相同的元件,且除非在描述中另有指接耦接”至到另一元件時,則不存在中間元件。用于描述元件之間的關系的其他詞語應以類[0060]圖1A是顯示根據(jù)本公開一實施例所述的教學者110配戴一頭戴式顯示(Head-mountedDisplay,HMD)裝置120在一虛擬現(xiàn)實中操作虛擬現(xiàn)實教材的示意圖。[0061]在圖1A中,教學者110可通過本公開提出的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及其系統(tǒng)將真實手部操作動作轉換成虛擬3D影像,以使教學者110于虛擬現(xiàn)實中可邊操作邊記錄動作。教學者110可通過HMD裝置120制作虛擬現(xiàn)實課程。HMD裝置120可以有線網(wǎng)絡或無線通信傳送數(shù)據(jù)至一計算裝置(圖未顯示)或接收來自計算裝置的數(shù)據(jù)。HMD裝置120及計算裝置可分別包括處理器及可以存儲程序的一存儲器。[0062]計算裝置的類型范圍例如從小型手持裝置(例如,移動電話/便攜式電腦)到大型主機系統(tǒng)(例如大型電腦)。便攜式電腦的示例包括個人數(shù)字助理(PDA)、筆記本電腦等裝置。在另一實施例中,計算裝置可與本文所描述之外的其他組件、系統(tǒng)、[0063]圖1B是顯示根據(jù)本公開一實施例所述的學習者130配戴—HMD裝置120在一虛擬現(xiàn)實中觀看虛擬現(xiàn)實教材的示意圖。學習者130可先通過HMD裝置120接收教學者110所錄制的虛擬現(xiàn)實教材,并通過本公開提出的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及裝置進入虛擬現(xiàn)實中同步或異步觀看教學者110的虛擬3D影像操作動作。此外,學習者130亦可自由地從多角度探索或跟隨教學者110的操作步驟一起進行操作。[0064]應可理解,圖1A及1B中的HMD裝置120及計算裝置130所示的每個元件可經(jīng)由任何類型的計算裝置來實現(xiàn),像是參考圖13描述的計算裝置1300,如圖13所示。[0065]為了讓使用者進到虛擬現(xiàn)實里可以直接開始進行課程制作的操作,需要在虛擬現(xiàn)實中盡可能模擬真實世界的物理特性,以避免讓使用者不會因為一些違反真實世界的物理特性而感到疑惑,造成使用者的操作意愿低落。本公開所提供的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及裝置設計了六類的物件特性,以使使用者于操作中感覺符合真實世界應有的體驗,即使物件不是完全符合真實物理性質。以下是以對一3D模型進行組裝為例進行說[0066]為了于虛擬現(xiàn)實中模擬真實世界組裝機臺時的物理效果,本公開是采用Unity3D引擎中內(nèi)置3D物理(Build-in3Dphysics),其中此Unity3D引擎主要使用開源的Nvidia器等。而在本公開中,組成3D模型的物件將被分為六種不同類型的物件,分別是純碰撞物8物件類型可移動件穿透性物件件純碰撞YYNYNYYNNNNNNNYNYN群集效果YNNNNN抓取效果YYYNNN表格1而每一類型的物件彼此接觸后的效果如表格2所示。組裝元件 (物理性物件)物理性物(穿透性物件)物件)虛擬現(xiàn)實取物件)撞物件)組裝元件(物理性碰撞,不產(chǎn)生穿透效碰撞,不產(chǎn)生穿透效穿透固定,并取穿透,物件碰撞,不產(chǎn)生穿透效9物件)層判斷兩者是否產(chǎn)生群集效除其群集果。若下一物理性物固定的且失去群集效果,以此取手工具(仿物理性物生穿透效碰撞,不產(chǎn)生穿透效穿透碰撞,不產(chǎn)生穿透效取碰撞,不產(chǎn)生穿透效(穿透性物件)穿透穿透穿透穿透取穿透機柜(基座物件)消物件A重力效物理性物A串聯(lián),則固定的且失去群集類推碰撞,不產(chǎn)生穿透效穿透無碰撞可能提取無碰撞可能虛擬現(xiàn)實控制器(提穿透,物件穿透,物件無反應穿透,物件取物件)取取取提取提取其它(純碰撞物件)生穿透效果。生穿透效果。穿透無碰撞可能穿透,物件提取無碰撞可能[0074]為了于虛擬現(xiàn)實中構成正確且符合現(xiàn)實的組裝模擬,除了調節(jié)內(nèi)置參數(shù)外,還必須滿足定義組裝基座的條件。因物件被組裝時,經(jīng)常碰到欲組裝的物件已放置在目標位置,但卻被其他物件碰撞造成的坐標偏移或轉向,進而影響組裝結果。因此,本公開是設計該基座物件制定條件,以使使用者于虛擬現(xiàn)實中組裝物件時皆須以一物件做為組裝基底,其中只要與該基座接觸的物件即繼承基座物件的特性進入固定模式。圖2是顯示根據(jù)本公開一實施例所述的基座物件制定的示意圖。如圖所示,使用者可設定機柜部分210為整體機臺[0075]圖3是顯示根據(jù)本公開一實施例所述的碰撞物件制定的示意圖。為了于虛擬現(xiàn)實中模擬物件真實碰撞效果并節(jié)省Unity3D引擎中運算的耗能,使用者在組裝各物件時可通過Unity3D引擎中的物理碰撞器制定每一物件的碰撞范圍,以達到真實的虛擬現(xiàn)實。[0076]圖4是顯示根據(jù)本公開一實施例所述的群集物件制定的示意圖。為配合使用者實際組裝的組裝需求,于組裝過程中,使用者可依照自行需求執(zhí)行組裝物件、分解物件等動作。使用者可依照兩物件的質量或體積實時判斷出哪個物件具有牽引另一物件的功能。在兩物件組裝過程中,使用者可使用Unity3D引擎中的固定關節(jié)(FixedJoint)功能,將一物件進行移動并組裝于其他物件之上。更詳細地說明,兩物件組裝過程類似于將兩物件形成為父子物件(Parenting)。依照該父子物件的特性可以讓使用者輕易地拆解與重組物件。[0077]圖5是顯示根據(jù)本公開一實施例所述的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法流程圖500。此方法可執(zhí)行于如圖1所示的類似HMD裝置120或是計算裝置130的一電子裝置中。[0078]在步驟S505中,電子裝置接收一3生成對應上述3D模型的一模型數(shù)據(jù)包,其中上述模型數(shù)據(jù)包至少包括應用于上述3D模型的性物件、穿透性物件以及仿物理性物件。[0079]再來,在步驟S515中,電子裝置通過復數(shù)虛擬攝影機錄制一使用者在一虛擬現(xiàn)實中操作上述物件的動作,并產(chǎn)生對應上述物件的動作影片,其中上述虛擬攝影機是通過一時間差記錄上述物件的坐標旋轉信息及位移信息。在一實施例中,上述時間差為10毫秒(ms)。在另一實施例中,使用者可于每一物件上均架設對應的虛擬攝影機,已達到記錄每一物件移動的目的。圖6是顯示根據(jù)本公開一實施例所述的虛擬攝影機記錄物件移動的統(tǒng)一建模語言(UnifiedModelingLanguage,UML)的示意圖。[0080]在步驟S520中,電子裝置產(chǎn)生一課程數(shù)據(jù)包,其中上述課程數(shù)據(jù)包包括上述模型數(shù)據(jù)包以及包括上述動作影片的一動畫包。[0081]更詳細地說明,電子裝置所產(chǎn)生的課程數(shù)據(jù)包包含課程中所需的所有多媒體文11據(jù)包如表格2所示名稱類型備注LL該數(shù)據(jù)夾包含該課程所有動態(tài)載件圖示等。L該數(shù)據(jù)夾包含該課程中所需要的模型檔。L該數(shù)據(jù)夾定義該課程需載入的各工具的選用等。該數(shù)據(jù)夾內(nèi)包含所有錄制后的動畫包L該數(shù)據(jù)夾為編輯者最終編輯且匯出的錄制文件L…表格3在一實施例中,動作影片上述課程數(shù)據(jù)包是一Assetbundle文件。更詳細地說明,在步驟S515中所產(chǎn)生的動作影片及3D模型將被導入至Unity3D引擎的Asset中,以使動作影片及3D模型被打包為Assetbundle格式。Assetbundle功能可將各式3D文件格式(例如:.FBX、obj、.gltf、.stl等格式)進行轉譯,以達到節(jié)省載入模型空間的效果。[0086]而包括在課程數(shù)據(jù)包中的動畫包是至少包括一音頻檔(.wav)、一預載物件與動畫配對文件(.json)、對應上述物件的動畫信息(.pbani)以及一動畫包截圖(.jpg)。動畫包的詳細內(nèi)容如表格3所示。名稱類型備注L該文件記錄單一物件在時間內(nèi)所形成的偏移量L同上L同上L音旁白L該動畫包中預載入的3D模型與.pbani對應信息L該動畫包截圖表格4在一實施例中,在步驟S515之后,電子裝置還可判斷上述物件是否移動。當上述物件移動時,電子裝置以時間戳對上述動作影片進行標記,并僅對標記有上述時間戳的上述動作影片進行存儲。圖7是顯示根據(jù)本公開一實施例所述的電子裝置以時間戳對上述動作影片進行標記的示意圖。假設此一3D模型記具有五個物件,分別為物件1~物件5。記錄物件1~物件5移動的虛擬攝影機可通過一時間差(10ms)記錄物件1~物件5的坐標旋轉信息及位移信息。如圖所示,電子裝置還可判斷物件1~物件5是否移動。當物件1~物件5移動時,電子裝置以時間戳(記號田)對上述動作影片進行標記,并記錄物件1~物件5在此時間戳的50ms、80ms、100ms發(fā)生移動。而電子裝置分別在上述時間點對物件1動作影片加入時間戳,并僅存儲上述具有時間戳的部分動作影片。相反地,由于物件1在其他時間點均無移動,則電子裝置將不會存儲未有時間戳的動作影片,已避免文件容量持續(xù)增大,并達到縮小文件容量及較能的最佳化。[0091]在步驟S520之后,電子裝置可將課程數(shù)據(jù)包上傳至一伺服器,以供其他學習者下載。而其他學習者可由伺服器下載課程數(shù)據(jù)包,并通過電子裝置載入上述課程數(shù)據(jù)包,并播放包括在上述課程數(shù)據(jù)包中的上述動畫包,以重現(xiàn)教學者在上述虛擬現(xiàn)實中操作上述物件的上述動作。[0092]在一實施例中,電子裝置在播放動畫包之前,可先將包括上述動作影片的上述動畫包放入一物件池(ObjectPool)中。電子裝置接著可判斷上述動作影片中的一動作幀是否與一欲播放動作幀具有相同的第一物件。當上述動作幀與上述欲播放動作幀具有相同的上述第一物件時,在上述物件池中保留上述動作幀的上述第一物件,以達到低延遲及高速度的播放方式。[0093]圖8是顯示根據(jù)本公開一實施例所述的電子裝置以時間戳播放動作影片的示意圖。類似圖7,假設此3D模型記具有五個物件,分別為物件1~物件5。電子裝置可直接播放物件1~物件5在對應時間戳(記號◎)的坐標旋轉信息及位移信息。舉例來說,物件2的動作影片的時間戳分別位于時間點00ms、10ms、90ms。當電子裝置的計時器(GlobalTimer在時間點00ms、10ms、90ms時,電子裝置才會播放物件2在對應時間戳(記號◎)的坐標旋轉信息及位移信息。[0094]圖9A~9D是顯示根據(jù)本公開一實施例所述的六種不同類型的物件的示意圖。第9A~9D圖是以對一機臺進行組裝為例進行說明。如圖9A所示,電子裝置會生成環(huán)境910(純碰撞物件)、機柜920(基座物件)及組裝物件930(物理性物件)。如圖9B所示,電子裝置會生成VR手把940(提取物件)。如圖9C所示,電子裝置會生成標記物件950(穿透性物件)。如圖9D所示,電子裝置會生成手工具960(仿物理性物件)。使用者是錄制在虛擬現(xiàn)實中操作上述物件的動作影片。[0095]圖10是顯示根據(jù)本公開一實施例所述的播放課程數(shù)據(jù)包的示意圖。如圖所示,藍色部分為使用者播放課程數(shù)據(jù)包物件移動的情形。電子裝置并可執(zhí)行快轉或倒轉動作影片等播放功能。[0096]圖11是顯示根據(jù)本公開一實施例所述的使用者制作課程數(shù)據(jù)包的詳細流程圖型的一模型數(shù)據(jù)包,其中上述模型數(shù)據(jù)包至少包括應用于上述3D模型的復數(shù)物件(在此步驟中,虛擬攝影機將被放置在每一物件上)。者按下錄制鍵時(步驟S1120中的“是”),在步驟S1125中,虛擬攝影機通過一時間差記錄上述物件的坐標旋轉信息及位移信息。當HMD裝置未檢測到使用者按下錄制鍵時(步驟S1120生成動畫影片。當HMD裝置未檢測到使用者按下停止錄制鍵時(步驟S1130中的“否”),回到[0099]在步驟S1140中,HMD裝置將模型數(shù)據(jù)包及動畫包合成為一課程數(shù)據(jù)包。在步驟[0100]圖12是顯示根據(jù)本公開一實施例所述的使用者重現(xiàn)課程數(shù)據(jù)包的詳細流程圖包內(nèi)的3D模型,其中上述課程數(shù)據(jù)包還包括應用于上述3D模型的復數(shù)物件及對應上述物件的動作影片(在此步驟中,虛擬播放機將被放置在每一物件上)。否使用者按下播放鍵。放結束。當HMD裝置檢測使用者按下停止播放鍵或動畫已播放結束時(步驟S1230中的“是”),結束流程。當HMD裝置檢測使用者未按下停止播放鍵或動畫尚未播放結束時(步驟S1230中的“否”),HMD裝置繼續(xù)檢測使用者是否按下停止播放鍵或動畫是否已播放結束。[0103]通過本公開的基于虛擬現(xiàn)實的課程制作及重現(xiàn)的方法及裝置可捕捉教學者的身體及手部動作。而學習者可在影片重播時可以看到教學者觀看物件的角度及手部的關鍵動作。本公開不僅記錄操作物件的步驟順序,更記錄了操作物件的移動軌跡。因此,學習者能在虛擬現(xiàn)實中看到教學者的動作及物件移動軌跡。學習者自由探索從各種角度去學習,或邊觀看邊做。學習者還可自由選擇觀看某些步驟,提高了學習者學習效率。[0104]此外,由于本公開的課程數(shù)據(jù)包為Assetbundle文件,因此課程數(shù)據(jù)包中所有文件皆可進行多平臺讀取。再者,因本公開使用Unity3D引擎,故電子裝置只需在制作課程數(shù)據(jù)包的過程中載入各式虛擬現(xiàn)實開發(fā)工具包(SDK),如:ARFoundation、Vuforia、ARKit、ARCore、,即可呈現(xiàn)各式虛擬現(xiàn)實效果,如:世界追蹤(WorldTracking)、平面檢測(Plane[0105]對于本發(fā)明已描述的實施例,下文描述了可以實現(xiàn)本發(fā)明實施例的示例性操作環(huán)境。具體參考圖13,圖13是顯示用以實現(xiàn)本發(fā)明實施例的示例性操作環(huán)境,一般可被視為計算裝置1300。計算裝置1300僅為一合適計算環(huán)境的一個示例,并不意圖暗示對本發(fā)明使用或功能范圍的任何限制。計算裝置1300也不應被解釋為具有與所示元件任一或組合相關任何的依賴性或要求。[0106]本發(fā)明可在電腦程序碼或機器可使用指令來執(zhí)行本發(fā)明,指令可為程序模塊的電腦可執(zhí)行指令,其程序模塊由電腦或其它機器,例如個人數(shù)字助理或其它便攜式裝置執(zhí)行。務或實現(xiàn)特定抽象數(shù)據(jù)類型的程序碼。本發(fā)明可在各種系統(tǒng)組態(tài)中實現(xiàn),包括便攜式裝置、消費者電子產(chǎn)品、通用電腦、更專業(yè)的計算裝置等。本發(fā)明還可在分散式運算環(huán)境中實現(xiàn),處理由通信網(wǎng)絡所連結的裝置。[0107]參考圖13.計算裝置1300包括直接或間接耦接以下裝置的總線1310、存儲器1312、一或多個處理器1314、一或多個顯示元件1316、輸入/輸出(I/0)端口1318、輸入/輸出(I/O)元件1320以及說明性電源供應器1322。總線1310表示可為一或多個總線的元件(例如,位址總線、數(shù)據(jù)總線或其組合)。雖然圖13的各個方塊為簡的分界并不是具體的,例如,可將顯示裝置的呈現(xiàn)元件[0108]計算裝置1300一般包括各種電腦可讀取媒體。電腦可讀取媒體可以是可被計算裝置1300存取的任何可用媒體,該媒體同時包括易揮發(fā)性和非易揮發(fā)性媒體、可移動和不可移動媒體。舉例但不局限于,電腦可讀取媒體可包括電腦存儲媒體和通信媒體。電腦可讀取媒體同時包括在用于存儲像是電腦可讀取指令、數(shù)據(jù)結構、程序模塊或其它數(shù)據(jù)的類信息的任何方法或技術中實現(xiàn)的易揮發(fā)性性和非易揮發(fā)性媒體、可移動和不可移動媒體。電腦存儲媒體包括但不局限于隨機存取存儲器(RandomAccessMemory,RAM)、只讀存儲器(Read-OnlyMemory,ROM)、電子抹除式可復寫只讀存儲器(Electrically-ErasableProgrammableRead-OnlyMemory,EEPROM)、快閃存儲器或其它存儲器技術、只讀光盤DVD)或其它光盤存儲裝置、磁片、磁盤、磁片存儲裝置或其它磁存儲裝置,或可用于存儲所需的信息并且可被計算裝置1300存取的其它任何媒體。電腦存儲媒體本身不包括信號。[0109]通信媒體一般包含電腦可讀取指令、數(shù)據(jù)結構、程序模塊或其它采用諸如載波或其他傳輸機制之類的模塊化數(shù)據(jù)信號形式的數(shù)據(jù),

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論