1、第8章多媒體技術(shù)及應(yīng)用,內(nèi)容提要,本章介紹多媒體的基本概念、多媒體計算機的硬件和軟件，介紹超媒體與流媒體、虛擬現(xiàn)實VR的概念與技術(shù)。,8.1多媒體的基本概念,多媒體技術(shù)是近幾年來全球信息化發(fā)展的比較熱門的技術(shù)，由于它不僅能處理數(shù)據(jù)與文本，而且還能處理圖形、圖像、聲音等信息，得到了迅速的發(fā)展。,8.1.1 媒體與多媒體,通常所說的“媒體”（Media）有兩種含義。一種是指信息的物理載體（即存儲和傳遞信息的實體），如書本、掛圖、磁盤、光盤、磁帶以及相關(guān)的播放設(shè)備等；另一種含義是指信息的表現(xiàn)形式（或者說傳播形式），如文字、聲音、圖像、動畫等。多媒體計算機中的媒體，主要是指信息的表現(xiàn)形式，即計算機不僅

2、能處理文字、數(shù)值之類的信息，而且還能處理聲音、圖形、電視圖像等各種不同形式的信息。,1媒體及其類型,（1）感覺媒體（Perception Medium） （2）表示媒體（representation Medium）： （3）表現(xiàn)媒體（Presentation Medium） （4）存儲媒體（Storage Medium） （5）傳輸媒體（Transmission Medium） 在上述的各種媒體中，表示媒體是核心。,計算機處理媒體信息時，首先通過表現(xiàn)媒體的輸入設(shè)備將感覺媒體轉(zhuǎn)換成表示媒體，并存放在存儲媒體中，計算機從存儲媒體中獲取表示媒體信息后進行加工、處理；最后利用表現(xiàn)媒體的輸出設(shè)備將表示媒

3、體還原成感覺媒體。此外，通過傳輸媒體，計算機也可將從存儲媒體中得到的表示媒體傳送到網(wǎng)絡(luò)中的另一臺計算機。圖8.1表示計算機與媒體的這些關(guān)系。,圖8.1各種媒體與計算機的關(guān)系,2. 多媒體信息的類型,（1）文本 （2）圖像 （3）動畫 （4）聲音 （5）視頻影像,3多媒體技術(shù)的特點,多媒體技術(shù)有以下幾個主要特點： （1）集成性 （2）控制 （3）交互性 （4）非線性 （5）實時性 （6）信息使用的方便性 （7）信息結(jié)構(gòu)的動態(tài)性,4. 媒體文件,8.1.2 多媒體計算機的構(gòu)成,通常所說的“多媒體”并不是指多媒體信息本身，面主要是指處理和應(yīng)用它的整套軟、硬件技術(shù)。多媒體個人計算機（Multimedi

4、a Personal Computer）一般是指能夠綜合處理文字、圖像、動畫、聲音、音樂等多種媒體信息（特別是指傳統(tǒng)微機無法處理的圖像信號、音頻信號和視頻信號等）的個人機，通常是在個人計算機（PC）上，增加多媒體板卡以及多媒體外部設(shè)備組成。,1. 多媒體計算機的硬件結(jié)構(gòu)組成,（1）多媒體主機 （2）多媒體接口卡 （3）外部存儲設(shè)備 （4）輸入設(shè)備 （5）輸出設(shè)備 （6）與Internet連接的設(shè)備,2. 多媒體計算機的光存儲技術(shù),常見的光盤驅(qū)動器可分為：CD-ROM（只讀光盤驅(qū)動器）CD-R（可寫光盤驅(qū)動器）CD-R/W（可擦寫光盤驅(qū)動器）DVD-ROM（DVD只讀光盤驅(qū)動器）DVD- R/W

5、 （可反復(fù)擦寫DVD光盤存儲器）。,3. 多媒體計算機的軟件系統(tǒng)組成,多媒體系統(tǒng)軟件包括操作系統(tǒng)，數(shù)據(jù)庫系統(tǒng)、多媒體壓縮解壓縮軟件、多媒體聲像同步軟件、多媒體通信軟件等。特別指出的是，多媒體系統(tǒng)在不同的應(yīng)用領(lǐng)域中需要有不同的開發(fā)工具，多媒體開發(fā)和創(chuàng)作工具、圖形、聲音、圖像、動畫以及各種媒體文件的轉(zhuǎn)換與編輯工具。 多媒體系統(tǒng)的軟件結(jié)構(gòu)如圖8.4所示。,圖8.4多媒體系統(tǒng)的軟件結(jié)構(gòu),8.2 多媒體技術(shù),多媒體涉及的技術(shù)范圍很廣，技術(shù)很新、研究內(nèi)容很深，是多種學(xué)科和多種技術(shù)交叉的領(lǐng)域。目前，多媒體技術(shù)的研究和應(yīng)用開發(fā)主要在下列幾個方面： 8.2.1 音頻信息處理 8.2.2 圖形圖像信息處理 8.2

6、.3 視頻信息的處理,圖 8.5 聲音數(shù)字化示意圖,圖 8.6 聲卡工作原理框圖,8.2.2 圖形圖像信息處理,1. 圖形圖像的基礎(chǔ)知識 2. 掃描儀 3圖象文件格式及其轉(zhuǎn)換 4圖象素材的采集和制作,8.2.3 視頻信息的處理,1. 視頻及有關(guān)的基本概念 2. 視頻卡 3. 視頻文件的格式 4. 流媒體及流式視頻文件,圖 8.7視頻采集卡的連接,8.2.4 多媒體技術(shù)的應(yīng)用,（1）教育與培訓(xùn) （2）商業(yè)演示 （3）多媒體電子出版物 （4）多媒體電子娛樂與服務(wù) （5）多媒體電子郵件與通信 （6）對自然語音進行分析 未來多媒體的發(fā)展有幾個趨勢：虛擬現(xiàn)實(Virtual Reality)、超媒體(H

7、yper media)以及多媒體通訊網(wǎng)絡(luò)通信等。多媒體加上通訊網(wǎng)絡(luò)將是多媒體未來發(fā)展的重點。,8.3 虛擬現(xiàn)實技術(shù),8.3.1 虛擬現(xiàn)實技術(shù)的概念 8.3.2 虛擬現(xiàn)實技術(shù)的關(guān)鍵技術(shù) 8.3.3 虛擬現(xiàn)實技術(shù)的應(yīng)用 8.3.4 虛擬現(xiàn)實建模語言VRML,8.3.1 虛擬現(xiàn)實技術(shù)的概念,虛擬現(xiàn)實是利用計算機生成一個逼真的視覺、聽覺、觸覺以及嗅覺等的模擬環(huán)境(如飛機駕駛艙、分子結(jié)構(gòu)世界等)，通過多種傳感設(shè)備使用戶“投入”到該環(huán)境中，用戶可通過其感官與這一生成的虛擬實體進行交互溝通，如同與真實的環(huán)境直接進行自然交互的技術(shù)。這里所謂的“模擬環(huán)境”一般是指用計算機生成的有立體感的圖形，它可以是某一特定現(xiàn)

8、實環(huán)境的表現(xiàn)，也可以是純粹構(gòu)想的世界。虛擬現(xiàn)實技術(shù)實現(xiàn)的是人所感受到的虛擬幻境，所以錢學(xué)森建議把Virtual Reality的技術(shù)叫做“靈境技術(shù)”，由它構(gòu)成的信息處理環(huán)境稱作“靈境” 。,1. 虛擬現(xiàn)實技術(shù)的含義,第一，虛擬現(xiàn)實技術(shù)是通過計算機生成一個非常逼真的實體，逼真要達(dá)到三維的視感，甚至還包括聽覺、觸覺和嗅覺等。這個逼真的實體足以成為“迷惑”人類視覺的虛幻的世界，這種“迷惑”是多方面的，不僅可以看到而且可以聽到、觸到以及嗅到這個虛擬世界中所發(fā)生的一切。這種感覺是如此的真實，以至于能全方位地浸沒在這個虛幻的世界中，這就是虛擬現(xiàn)實的第一個特征，即浸沒感（Immersion）或臨場參與感。,

9、第二，虛擬現(xiàn)實與通常CAD系統(tǒng)所產(chǎn)生的模型是不一樣的，它不是一個靜態(tài)的世界，而是一個動態(tài)的、開放的環(huán)境，它可以對使用者的輸入（如手勢，語言命令）作出響應(yīng)。如拿起一個虛擬的火炬并打開其開關(guān)，推動操縱桿，就可以在虛擬環(huán)境中的漫游，甚至還可以用虛擬的手感觸到虛擬物體的存在。虛擬現(xiàn)實環(huán)境可以通過一些三維傳感設(shè)備來完成交互動作，這是虛擬現(xiàn)實技術(shù)的第二個特征，即交互性（Interaction）。,第三，虛擬現(xiàn)實不僅僅是一個媒體，一個高級用戶界面，它還是為解決工程、醫(yī)學(xué)、軍事等方面的問題而由開發(fā)者設(shè)計出來的應(yīng)用軟件，它以詳盡的形式反映了設(shè)計者的思想。如在蓋一座現(xiàn)代化的大廈之前，首先要做的事是對這座大廈的結(jié)構(gòu)

10、做細(xì)致的構(gòu)思，為了使之定量化，還需設(shè)計許多圖紙。這些圖紙反映的是設(shè)計者的構(gòu)思，虛擬現(xiàn)實同樣反映的是某個設(shè)計者的思想，只不過它的功能遠(yuǎn)比那些呆板的圖紙生動、強大的多，所以國外有些學(xué)者稱虛擬現(xiàn)實為放大人們心靈的工具，或人工現(xiàn)實（artifical reality）。這是虛擬現(xiàn)實技術(shù)所具有的第三個特征，即思想性（Imagation）。,2. 虛擬現(xiàn)實系統(tǒng)的基本構(gòu)成,8.3.2 虛擬現(xiàn)實技術(shù)的關(guān)鍵技術(shù),（1）動態(tài)環(huán)境建模技術(shù) （2）實時三維圖形生成技術(shù) （3）立體顯示和傳感器技術(shù) （4）應(yīng)用系統(tǒng)開發(fā)工具 （5）系統(tǒng)集成技術(shù),8.3.3 虛擬現(xiàn)實技術(shù)的應(yīng)用,（1）醫(yī)學(xué) （2）娛樂、藝術(shù)與教育 （3）軍事

11、與航天工業(yè) （4）管理工程,8.3.4 虛擬現(xiàn)實建模語言VRML,虛擬現(xiàn)實建模語言 （Virtual Reality Modeling Language，VRML）是一種基于文本的、在網(wǎng)絡(luò)上使用的描述三維環(huán)境的場景描述語言，是HTML的3D(三維)模擬。它定義了3D應(yīng)用中大多數(shù)常見概念，如光源、視點、動畫、霧化、材質(zhì)屬性、紋理映射等。VRML語言的誕生，尤其是新的VRML2.0標(biāo)準(zhǔn)，被稱為第二代Web語言，它改變了原來WWW上單調(diào)、平面的缺點，將人的行動作為瀏覽的主體，所有的表現(xiàn)都將隨操作者行為而改變。,VRML2.0標(biāo)準(zhǔn)被稱為第二代Web語言,例8.1用VRML構(gòu)造簡單的空間造型,VRML是

12、一項包含很多新概念的技術(shù)，它定義了一種把3D圖形和多媒體集成在一起的文件格式。從語法角度看，VRML文件是顯式地定義和組織起來的3D多媒體對象集合;從語義角度看，VRML文件描述的是基于時間的交互式3D多媒體信息的抽象功能行為。VRML文件描述的基于時間的3D空間稱為虛擬境界(Virtual World)，簡稱境界，所包含的圖形對象和聽覺對象可通過多種機制動態(tài)修改。境界中的對象及其屬性用節(jié)點(Node)描述，節(jié)點按照一定規(guī)則構(gòu)成場景圖(Scene Grap h)。場景圖中的第一類節(jié)點用于從視覺和聽覺角度表現(xiàn)對象，它們按照層次體系組織起來，反映了境界的空間結(jié)構(gòu)。另一類節(jié)點參與事件產(chǎn)生和路由機制，形成路由圖(Route Graph)，確定境界隨時間的推移如何動態(tài)變化。,VRML是文本文件，它向VRML瀏覽器發(fā)出如何為虛擬空間創(chuàng)建3D造型的指令。使用VRML創(chuàng)建自己的虛擬空間，需要VRML瀏覽器（例如Windows中IE的組件VRML2.0）和某種字處理器（如記事本）就可以實現(xiàn)了。 在字處理器鍵入VRML指令。然后，將文本文件存成*.wrl 文件，最后將它裝入VRML瀏覽器，以3D形式查看。為了向空間添加更多東西，返回字處理器，鍵入其他VRM