第一章多媒體技術(shù)概述

第一章多媒體技術(shù)概述主要內(nèi)容多媒體技術(shù)的基本概念多媒體技術(shù)的研究?jī)?nèi)容多媒體技術(shù)的應(yīng)用和發(fā)展多媒體系統(tǒng)的組成主要內(nèi)容多媒體技術(shù)的基本概念§1.1多媒體技術(shù)的基本概念1.何謂“多媒體”？“多媒體”譯自英文“Multimedia”。

Multimedia=Multi[詞根：多]+medium[詞根：中間，介質(zhì)]1/2/20233§1.1多媒體技術(shù)的基本概念1.何謂“多媒體”？媒體的名詞解釋媒體，介質(zhì)：物體傳輸或變換時(shí)的中間物質(zhì)；一種大眾傳播方式，如報(bào)紙、雜志或電視（摘自1991年出版的美國(guó)大百科電子詞典）。1/2/20234媒體的名詞解釋媒體，介質(zhì)：物體傳輸或變換時(shí)的中間物質(zhì)；一種大2.什么是“媒體”？媒體（medium）在計(jì)算機(jī)領(lǐng)域有兩種含義：一是指存儲(chǔ)信息的實(shí)體，如磁盤、光盤、磁帶等，中文譯為媒質(zhì)；二是指?jìng)鬟f信息的載體，如數(shù)字、文字、聲音、圖形、圖像等，中文譯為媒介；多媒體中的“媒體”是指后者。1/2/202352.什么是“媒體”？媒體（medium）在計(jì)算機(jī)領(lǐng)域有五大類媒體1.感知媒體：指的是能直接作用于人們的感覺器官，從而能使人產(chǎn)生直接感覺的媒體。如語(yǔ)言、音樂(lè)、自然界中的各種聲音、各種圖像、動(dòng)畫、文字等。要解決的問(wèn)題是：人在計(jì)算機(jī)環(huán)境中如何感知信息？1/2/20236五大類媒體1.感知媒體：指的是能直接作用于人們的感覺器官，從2.表示媒體：指的是為了傳送感覺媒體而人為研究出來(lái)的媒體。即用計(jì)算機(jī)的內(nèi)部表示來(lái)刻畫信息。如語(yǔ)言編碼、電報(bào)碼、條形碼等。要解決的問(wèn)題是：計(jì)算機(jī)信息如何編碼？3.表現(xiàn)媒體：指的是用于通信中使用電信號(hào)和感覺媒體之間產(chǎn)生轉(zhuǎn)換用的媒體。如輸入、輸出設(shè)備等。要解決的問(wèn)題是：信息通過(guò)何種媒體輸入到計(jì)算機(jī)中或從計(jì)算機(jī)中輸出？1/2/202372.表示媒體：指的是為了傳送感覺媒體而人為研究出來(lái)的媒體。即4.存儲(chǔ)媒體：指的是能支持信息存儲(chǔ)的數(shù)據(jù)載體，即用于存放某種媒體的媒體。如紙張、磁帶、磁盤、光盤等。要解決的問(wèn)題是：信息存儲(chǔ)在什么地方？5.傳輸媒體：指的是用于傳輸某些媒體的媒體。如電話線、電纜、光纖、無(wú)線電波等。要解決的問(wèn)題是：在什么上面?zhèn)鬏斝畔ⅲ?/2/202384.存儲(chǔ)媒體：指的是能支持信息存儲(chǔ)的數(shù)據(jù)載體，即用于存放某種感覺媒體輸入設(shè)備CPU輸出設(shè)備感覺媒體存儲(chǔ)設(shè)備表現(xiàn)媒體表示媒體存儲(chǔ)媒體傳輸媒體表現(xiàn)媒體圖各種媒體之間的關(guān)系1/2/20239感覺媒體輸入設(shè)備CPU輸出設(shè)備感覺媒體存儲(chǔ)設(shè)備表現(xiàn)媒體表示媒表示值和表示維數(shù)媒體的表示空間：例如可視的表示空間是紙和計(jì)算機(jī)屏幕。媒體的表示值：決定不同媒體的信息表示。表示值可以是離散的，也可以是連續(xù)的。表示維數(shù)：每個(gè)表示空間由一個(gè)或多個(gè)表示維組成。在每個(gè)表示空間中，時(shí)間可作為另一維。1/2/202310表示值和表示維數(shù)媒體的表示空間：例如可視的表示空間是紙和計(jì)算媒體與時(shí)間的關(guān)系（1）獨(dú)立于時(shí)間的媒體這些媒體的信息由一組獨(dú)立的元素組成，不包含時(shí)間信息。這種媒體的處理應(yīng)該盡可能快，但這種處理不是限時(shí)的。（2）依賴于時(shí)間的媒體這些媒體信息不僅用一系列的值表示，而且要指出相應(yīng)值出現(xiàn)的時(shí)間。這些數(shù)據(jù)的處理是限時(shí)的，數(shù)據(jù)的有效性依賴于時(shí)間條件。1/2/202311媒體與時(shí)間的關(guān)系（1）獨(dú)立于時(shí)間的媒體12/18/20221感覺媒體靜態(tài)媒體：文字、圖形、圖像動(dòng)態(tài)媒體：聲音、動(dòng)畫、活動(dòng)影像3.多媒體的定義[定義1]“多媒體”是指能夠同時(shí)獲取、處理、編輯、存儲(chǔ)和展示兩種以上不同類型信息媒體的技術(shù)。1/2/202312感覺媒體靜態(tài)媒體：文字、圖形、圖像動(dòng)態(tài)媒體：聲音、動(dòng)畫、活動(dòng)[定義2]多媒體是融合兩種以上媒體的人-機(jī)交互式信息交流和傳播媒體。1/2/202313[定義2]多媒體是融合兩種以上媒體的人-機(jī)交互式信息交流和傳理解多媒體的概念多媒體是信息交流和傳播媒體。從這個(gè)意義上說(shuō)，多媒體和電視、報(bào)紙、雜志等媒體的功能是一樣的。多媒體是人-機(jī)交互式媒體，這里的“機(jī)”目前主要是指計(jì)算機(jī)，或由微處理器控制的其它終端設(shè)備。1/2/202314理解多媒體的概念多媒體是信息交流和傳播媒體。從這個(gè)意義上說(shuō)，多媒體信息都是以數(shù)字形式而不是以模擬信號(hào)形式存儲(chǔ)和傳輸?shù)摹ｋm然融合任何兩種以上的媒體就可以稱為多媒體，但通常認(rèn)為多媒體中連續(xù)媒體是人和機(jī)器交互的最自然的媒體。1/2/202315多媒體信息都是以數(shù)字形式而不是以模擬信號(hào)形式存儲(chǔ)和傳輸?shù)摹?問(wèn)題根據(jù)多媒體特性判斷下面哪些屬于多媒體的范疇？彩色電視有聲圖書立體聲音樂(lè)交互式視頻游戲1/2/202316問(wèn)題根據(jù)多媒體特性判斷下面哪些屬于多媒體的范疇？12/18/多媒體計(jì)算機(jī)技術(shù)的定義MultimediaComputerTechnology的定義是：

計(jì)算機(jī)綜合處理多種媒體信息，文本、圖形、圖像、音頻和視頻，使多種信息建立邏輯連接，集成為一個(gè)系統(tǒng)并有交互性。1/2/202317多媒體計(jì)算機(jī)技術(shù)的定義MultimediaComputer4.多媒體計(jì)算機(jī)技術(shù)的特點(diǎn)集成性：建立在數(shù)字化的基礎(chǔ)上的多種媒體的集成。交互性：可以和用戶做交互性溝通，是多媒體和傳統(tǒng)媒體最大的不同。實(shí)時(shí)性：是指在多媒體系統(tǒng)中聲音及活動(dòng)視頻圖像是強(qiáng)實(shí)時(shí)的。多媒體系統(tǒng)需要提供對(duì)這些與時(shí)間密切相關(guān)的媒體實(shí)時(shí)處理的能力。1/2/2023184.多媒體計(jì)算機(jī)技術(shù)的特點(diǎn)集成性：建立在數(shù)字化的基礎(chǔ)上的多§1.2多媒體技術(shù)的研究?jī)?nèi)容1.多媒體數(shù)據(jù)壓縮和解壓縮技術(shù)數(shù)字化的聲音和圖像數(shù)據(jù)量非常大，例如：

使用11.025KHz采樣頻率和8位量化精度的單聲道的聲音信號(hào)，一分鐘的數(shù)據(jù)量為0.66MB;一秒鐘全活動(dòng)視頻畫面的數(shù)據(jù)量約為22.12MB。如果不使用壓縮技術(shù)和解壓縮技術(shù)，目前的微型機(jī)還無(wú)法實(shí)現(xiàn)對(duì)動(dòng)態(tài)視頻和立體聲的實(shí)時(shí)處理。1/2/202319§1.2多媒體技術(shù)的研究?jī)?nèi)容1.多媒體數(shù)據(jù)壓縮和解壓縮技術(shù)2.多媒體數(shù)據(jù)存儲(chǔ)技術(shù)多媒體信息需要大量的存儲(chǔ)空間。因此存儲(chǔ)技術(shù)成為影響多媒體應(yīng)用發(fā)展的重要因素。高效快速的存儲(chǔ)設(shè)備是多媒體系統(tǒng)的基本部件之一。光盤存儲(chǔ)器是目前主要的多媒體存儲(chǔ)設(shè)備。3.多媒體硬件平臺(tái)

多媒體系統(tǒng)的基礎(chǔ)是計(jì)算機(jī)系統(tǒng)，配備配置較高豐富的外設(shè)。1/2/2023202.多媒體數(shù)據(jù)存儲(chǔ)技術(shù)12/18/2022204.多媒體計(jì)算機(jī)系統(tǒng)軟件平臺(tái)

以支持多媒體信息管理的操作系統(tǒng)為基礎(chǔ)；包括處理不同類型媒體的多媒體素材制作工具及開發(fā)不同應(yīng)用系統(tǒng)的開發(fā)工具，如MacromediaDirector、3DStudio、多媒體節(jié)目編著工具Authorware等。1/2/2023214.多媒體計(jì)算機(jī)系統(tǒng)軟件平臺(tái)12/18/2022215.多媒體數(shù)據(jù)庫(kù)與基于內(nèi)容的檢索技術(shù)與傳統(tǒng)的數(shù)據(jù)庫(kù)相比，多媒體的數(shù)據(jù)庫(kù)包含著多種數(shù)據(jù)類型，必須支持大對(duì)象；需要提供基于相似性的檢索，以及提供對(duì)連續(xù)媒體傳輸速度的保證。6.超文本與web技術(shù)超文本是一種非線性結(jié)構(gòu)，以結(jié)點(diǎn)為單位組織信息，在結(jié)點(diǎn)和結(jié)點(diǎn)之間通過(guò)表示它們之間的鏈加以連接，構(gòu)成表達(dá)特定內(nèi)容的信息網(wǎng)絡(luò)。1/2/2023225.多媒體數(shù)據(jù)庫(kù)與基于內(nèi)容的檢索技術(shù)12/18/2022221/2/20232312/18/202223§1.3多媒體技術(shù)的應(yīng)用和發(fā)展推動(dòng)多媒體系統(tǒng)發(fā)展的強(qiáng)大動(dòng)力是多媒體應(yīng)用，其中一個(gè)主要?jiǎng)恿κ敲襟w娛樂(lè)業(yè)。當(dāng)前多媒體應(yīng)用的領(lǐng)域很廣泛。其基本應(yīng)用方式有：多媒體演示系統(tǒng)；多媒體網(wǎng)絡(luò)；數(shù)字電視；等。1/2/202324§1.3多媒體技術(shù)的應(yīng)用和發(fā)展推動(dòng)多媒體系統(tǒng)發(fā)展的強(qiáng)大動(dòng)多媒體技術(shù)的發(fā)展方向（1）智能化圖像理解、語(yǔ)音識(shí)別、多媒體數(shù)據(jù)檢索、虛擬現(xiàn)實(shí)等基于內(nèi)容管理的技術(shù)是研究的熱點(diǎn)。（2）立體化PC、家電設(shè)備、工業(yè)控制系統(tǒng)、現(xiàn)場(chǎng)監(jiān)視系統(tǒng)全部實(shí)現(xiàn)數(shù)字化，并將隨網(wǎng)絡(luò)技術(shù)和通信技術(shù)的發(fā)展構(gòu)建一個(gè)立體化的信息網(wǎng)絡(luò)。1/2/202325多媒體技術(shù)的發(fā)展方向（1）智能化12/18/202225多媒體技術(shù)的發(fā)展方向以虛擬現(xiàn)實(shí)環(huán)境為例，說(shuō)明多媒體技術(shù)未來(lái)某些發(fā)展方向。1/2/202326多媒體技術(shù)的發(fā)展方向以虛擬現(xiàn)實(shí)環(huán)境為例，說(shuō)明多媒體技術(shù)未來(lái)某虛擬現(xiàn)實(shí)虛擬現(xiàn)實(shí)（Virtual

Reality）是一種全新的人機(jī)交互系統(tǒng)。它能對(duì)介入者——人產(chǎn)生各種感官刺激，如視覺、聽覺、觸覺、嗅覺、并給人一種身臨其境的感覺；人能以自然的方式與計(jì)算機(jī)生成的環(huán)境進(jìn)行交互操作。

1/2/202327虛擬現(xiàn)實(shí)虛擬現(xiàn)實(shí)（Virtual

Reality）是一種全新VR的由來(lái)早在1965年美國(guó)I.E.Sutherland就提出了所謂“The

Ultimate

Display”，目標(biāo)是使人在計(jì)算機(jī)生成的世界中產(chǎn)生親臨其境的感覺，并能與計(jì)算機(jī)進(jìn)行自然、直接的交換。1968年I.E.Sutherland研制成功頭盔式顯示器和頭部及手跟蹤器，這些技術(shù)后來(lái)在飛行模擬器中起了重要作用。1/2/202328VR的由來(lái)早在1965年美國(guó)I.E.Sutherland就提80年代中期，NASA研制成功第一套基于頭盔顯示器及數(shù)據(jù)手套的VR系統(tǒng)。VR正成為高科技和軍事領(lǐng)域中不可缺的技術(shù)，正在開發(fā)的應(yīng)用領(lǐng)域有飛行、空間技術(shù)、醫(yī)學(xué)、娛樂(lè)等。

1/2/20232980年代中期，NASA研制成功第一套基于頭盔顯示器及數(shù)據(jù)手套虛擬現(xiàn)實(shí)的本質(zhì)虛擬現(xiàn)實(shí)是指用計(jì)算機(jī)生成的一種特殊環(huán)境，人可以通過(guò)使用各種特殊裝置將自己“投射”到這個(gè)環(huán)境中，并操作、控制環(huán)境，實(shí)現(xiàn)特殊的目的，即人是這種環(huán)境的主宰。從本質(zhì)上來(lái)說(shuō)，虛擬現(xiàn)實(shí)就是一種先進(jìn)的計(jì)算機(jī)用戶接口，它通過(guò)給用戶同時(shí)提供諸如視覺、聽覺、觸覺等各種直觀而又自然的實(shí)時(shí)感知交互手段，最大限度地方便用戶的操作。1/2/202330虛擬現(xiàn)實(shí)的本質(zhì)虛擬現(xiàn)實(shí)是指用計(jì)算機(jī)生成的一種特殊環(huán)境，人可以主要特征多感知性(Multi-Sensory)浸沒感(Immersion)交互性(Interactivity)構(gòu)想性(Imagination)1/2/202331主要特征多感知性(Multi-Sensory)12/18/2多感知性(Multi-Sensory)所謂多感知是指除了一般計(jì)算機(jī)技術(shù)所具有的視覺感知之外，還有聽覺感知、力覺感知、觸覺感知、運(yùn)動(dòng)感知，甚至包括味覺感知、嗅覺感知等。由于相關(guān)技術(shù)，特別是傳感技術(shù)的限制，目前虛擬現(xiàn)實(shí)技術(shù)所具有的感知功能僅限于視覺、聽覺、力覺、觸覺、運(yùn)動(dòng)等幾種。1/2/202332多感知性(Multi-Sensory)所謂多感知是指除了一般浸沒感(Immersion)又稱臨場(chǎng)感，指用戶感到作為主角存在于模擬環(huán)境中的真實(shí)程度。理想的模擬環(huán)境應(yīng)該使用戶難以分辨真假，使用戶全身心地投入到計(jì)算機(jī)創(chuàng)建的三維虛擬環(huán)境中，該環(huán)境中的一切看上去是真的，聽上去是真的，動(dòng)起來(lái)是真的，甚至聞起來(lái)、嘗起來(lái)等一切感覺都是真的，如同在現(xiàn)實(shí)世界中的感覺一樣。1/2/202333浸沒感(Immersion)又稱臨場(chǎng)感，指用戶感到作為主角交互性(Interactivity)交互性(Interactivity)——指用戶對(duì)模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度(包括實(shí)時(shí)性)。例如，用戶可以用手去直接抓取模擬環(huán)境中虛擬的物體，這時(shí)手有握著東西的感覺，并可以感覺物體的重量，視野中被抓的物體也能立刻隨著手的移動(dòng)而移動(dòng)。1/2/202334交互性(Interactivity)交互性(Interac構(gòu)想性(Imagination)強(qiáng)調(diào)虛擬現(xiàn)實(shí)技術(shù)應(yīng)具有廣闊的可想像空間，可拓寬人類認(rèn)知范圍:再現(xiàn)真實(shí)存在的環(huán)境;隨意構(gòu)想客觀不存在的甚至是不可能發(fā)生的環(huán)境。1/2/202335構(gòu)想性(Imagination)強(qiáng)調(diào)虛擬現(xiàn)實(shí)技術(shù)應(yīng)具有廣闊的VR技術(shù)用于遠(yuǎn)程醫(yī)療例如，通過(guò)遠(yuǎn)程醫(yī)療虛擬現(xiàn)實(shí)系統(tǒng)，對(duì)在偏遠(yuǎn)的山區(qū)的危急病人實(shí)施遠(yuǎn)程手術(shù)。醫(yī)生對(duì)病人模型進(jìn)行手術(shù)，他的動(dòng)作通過(guò)衛(wèi)星傳送到遠(yuǎn)處的手術(shù)機(jī)器人。手術(shù)的實(shí)際圖像通過(guò)機(jī)器人上的攝像機(jī)傳回醫(yī)生的頭盔立體顯示器，并將其和虛擬病人模型進(jìn)行疊加，為醫(yī)生提供有用的信息。美國(guó)斯坦福國(guó)際研究所已成功研制出遠(yuǎn)程手術(shù)醫(yī)療系統(tǒng)。1/2/202336VR技術(shù)用于遠(yuǎn)程醫(yī)療例如，通過(guò)遠(yuǎn)程醫(yī)療虛擬現(xiàn)實(shí)系統(tǒng)，對(duì)在偏遠(yuǎn)飛行訓(xùn)練模擬利用計(jì)算機(jī)動(dòng)畫技術(shù)實(shí)時(shí)生成具有真實(shí)感的周圍環(huán)境圖像，如機(jī)場(chǎng)、山脈和云彩等。此時(shí)，飛行員駕駛艙的舷艙成為計(jì)算機(jī)屏幕，飛行員的飛行控制信息轉(zhuǎn)化為數(shù)字信號(hào)直接輸出到電腦程序，進(jìn)而模擬飛機(jī)的各種飛行特征。飛行員可以模擬駕駛飛機(jī)進(jìn)行起飛、著落、轉(zhuǎn)身等操作。1/2/202337飛行訓(xùn)練模擬利用計(jì)算機(jī)動(dòng)畫技術(shù)實(shí)時(shí)生成具有真實(shí)感的周圍環(huán)境圖三維交互設(shè)備確定人體空間方向、位置、速度及施力大小。數(shù)據(jù)手套數(shù)據(jù)衣數(shù)據(jù)頭盔及眼鏡力反饋儀1/2/202338三維交互設(shè)備確定人體空間方向、位置、速度及施力大小。12/1數(shù)據(jù)手套數(shù)據(jù)手套跟蹤手部運(yùn)動(dòng)精確操作日本ATR實(shí)驗(yàn)室：筷子5DT公司Glove16型傳感器數(shù)據(jù)手套1/2/202339數(shù)據(jù)手套數(shù)據(jù)手套跟蹤手部運(yùn)動(dòng)日本ATR實(shí)驗(yàn)室：筷子5DT公司數(shù)據(jù)頭盔數(shù)據(jù)頭盔獲得人頭部的空間位置，并輸出音頻和視頻信號(hào)；數(shù)據(jù)眼鏡是圖形圖像輸出設(shè)備。1/2/202340數(shù)據(jù)頭盔數(shù)據(jù)頭盔獲得人頭部的空間位置，并輸出音頻和視頻信號(hào)；HMD1/2/202341HMD12/18/202241Head-MountedDisplaysTwominiaturedisplayscreens(LCDorCRT)AnopticalsystemthatchannelstheimagesfromthescreenstotheeyesPresentingastereoviewofavirtualworld.Amotiontracker：continuouslymeasuresthepositionandorientationoftheuser'sheadandallowstheimagegeneratingcomputertoadjustthescenerepresentationtothecurrentview.Asaresult,theviewercanlookaroundandwalkthroughthesurroundingvirtualenvironment.1/2/202342Head-MountedDisplaysTwominia立體視覺立體視覺是人眼辨別物體的空間位置，包括遠(yuǎn)近、前后、高低等相對(duì)位置的功能。在計(jì)算機(jī)視覺中關(guān)心的核心問(wèn)題之一是空間知覺，也就是深度知覺。深度知覺既可以來(lái)自雙眼線索也可以來(lái)自單眼線索。1/2/202343立體視覺立體視覺是人眼辨別物體的空間位置，包括遠(yuǎn)近、前后、高單眼深度覺相對(duì)大?。≧elativesize）紋理梯度（texturegradient）運(yùn)動(dòng)（motion）光與陰影（lightingandshadow）透視（Perspective）聚焦調(diào)節(jié)（accomodation）重疊與遮擋（interposition）1/2/202344單眼深度覺相對(duì)大?。≧elativesize）12/18/單眼深度覺示例紋理梯度光與陰影遮擋相對(duì)大小1/2/202345單眼深度覺示例紋理梯度光與陰影遮擋相對(duì)大小12/18/雙眼深度覺雙眼輔合作用。當(dāng)人們注視近處物體時(shí)，兩眼的視線就必須向中間聚合，以便使視線的焦點(diǎn)落在物體上，這種通過(guò)眼球轉(zhuǎn)動(dòng)以聚合視線從而獲得深度信息的雙眼線索稱為輔合作用。雙目視差線索。雙眼看同一景物時(shí)，由于左右眼的位置不同（對(duì)于成人來(lái)說(shuō)，一般兩眼的距離是2.5英寸或64毫米），所以看到的景象不完全一致，這種差別稱之為雙目視差。在虛擬現(xiàn)實(shí)技術(shù)中，利用雙目視差來(lái)造成立體感是一個(gè)重要的方面。1/2/202346雙眼深度覺雙眼輔合作用。當(dāng)人們注視近處物體時(shí)，兩眼的視線就必立體顯示原理1/2/202347立體顯示原理12/18/202247立體視覺模型從立體視覺模型可知，要使計(jì)算機(jī)產(chǎn)生的圖像具有立體感，就需要做到：A.以左右眼為觀察點(diǎn)，產(chǎn)生兩幅畫面，我們分別稱其為左畫面和右畫面。B.左眼只能看到左畫面，右眼只能看到右畫面。1/2/202348立體視覺模型從立體視覺模型可知，要使計(jì)算機(jī)產(chǎn)生的圖像具有立體左右畫面交替顯示對(duì)于后一個(gè)問(wèn)題的解決方法有三種：用兩個(gè)小型CRT顯示裝置分別顯示左、右畫面，并安裝在頭盔上，使左眼只看到左畫面，右眼只看到右畫面；用單獨(dú)的顯示器，但在眼睛前面加上控制快門。CRT依次顯示左、右畫面，兩眼前的快門同步，而交替地開閉。當(dāng)顯示左畫面時(shí)，左眼快門打開，右眼快門關(guān)閉；當(dāng)顯示右畫面時(shí)，右眼快門打開，左眼快門關(guān)閉；1/2/202349左右畫面交替顯示對(duì)于后一個(gè)問(wèn)題的解決方法有三種：12/18/(3)雙色立體顯示。這是一種最簡(jiǎn)單的立體顯示辦法。它對(duì)左右畫面分別采用紅色和藍(lán)色來(lái)顯示，而在左右眼處分別用紅藍(lán)鏡片對(duì)畫面進(jìn)行選擇。1/2/202350(3)雙色立體顯示。這是一種最簡(jiǎn)單的立體顯示辦法。它對(duì)左右當(dāng)前虛擬現(xiàn)實(shí)需要解決的問(wèn)題虛擬現(xiàn)實(shí)的交互能力依賴于立體顯示和傳感器技術(shù)的發(fā)展，現(xiàn)有的設(shè)備遠(yuǎn)遠(yuǎn)不能滿足需要。比如頭盔式三維立體顯示器有以下缺點(diǎn):過(guò)重(1.5kg至2kg)分辨率低(圖像質(zhì)量差)延遲大(刷新頻率低)行動(dòng)不便(有線)跟蹤精度低視場(chǎng)不夠?qū)捬劬θ菀灼诘?/2/202351當(dāng)前虛擬現(xiàn)實(shí)需要解決的問(wèn)題虛擬現(xiàn)實(shí)的交互能力依賴于立體顯示和人與計(jì)算機(jī)之間的交流層次人機(jī)接口能力：人類的視覺和聽覺；機(jī)器的視覺和聽覺。人的感知系統(tǒng)和肌肉系統(tǒng)與計(jì)算機(jī)的結(jié)合作用。觸覺、味覺、嗅覺、運(yùn)動(dòng)等。研究“人在實(shí)踐中得到的感覺信息是怎樣在人的大腦中存儲(chǔ)和加工處理成為人對(duì)客觀世界的認(rèn)識(shí)”，人和信息處理系統(tǒng)間的隔閡能夠被徹底的克服。1/2/202352人與計(jì)算機(jī)之間的交流層次人機(jī)接口能力：人類的視覺和聽覺；機(jī)器人機(jī)交流的現(xiàn)狀目前虛擬現(xiàn)實(shí)技術(shù)所取得的成就，絕大部分還僅僅限于擴(kuò)展了計(jì)算機(jī)的接口能力；僅僅是剛剛開始涉及到人的感知系統(tǒng)和肌肉系統(tǒng)與計(jì)算機(jī)的結(jié)合作用問(wèn)題；還根本未涉及“人在實(shí)踐中得到的感覺信息是怎樣在人的大腦中存儲(chǔ)和加工處理成為人對(duì)客觀世界的認(rèn)識(shí)”這一重要過(guò)程。1/2/202353人機(jī)交流的現(xiàn)狀目前虛擬現(xiàn)實(shí)技術(shù)所取得的成就，絕大部分還僅僅限§1.4多媒體系統(tǒng)的組成多媒體系統(tǒng)是指能對(duì)文本、圖形、圖像、音頻、動(dòng)畫和視頻等多媒體信息，進(jìn)行邏輯互連、獲取、編輯、存儲(chǔ)和播放等功能的計(jì)算機(jī)系統(tǒng)。多媒體計(jì)算機(jī)需要計(jì)算機(jī)交互式地綜合處理聲、文、圖信息，尤其是圖像和聲音信息數(shù)據(jù)量大，處理速度要求高。1/2/202354§1.4多媒體系統(tǒng)的組成多媒體系統(tǒng)是指能對(duì)文本、圖形、圖多媒體系統(tǒng)構(gòu)成多媒體系統(tǒng)一般由四部分構(gòu)成：多媒體硬件系統(tǒng)多媒體操作系統(tǒng)多媒體創(chuàng)作工具多媒體應(yīng)用系統(tǒng)1/2/202355多媒體系統(tǒng)構(gòu)成多媒體系統(tǒng)一般由四部分構(gòu)成：12/18/202多媒體硬件系統(tǒng)音頻部分：負(fù)責(zé)采集、加工、處理波表、MIDI等多種形式的音頻素材，需要的硬件有錄音設(shè)備、MIDI合成器、高性能的聲卡、音箱、話筒、耳機(jī)等。圖像部分：負(fù)責(zé)采集，加工，處理各種格式的圖像素材，需要的硬件有靜態(tài)圖像采集卡、數(shù)字化儀、數(shù)碼相機(jī)，掃描儀等。1/2/202356多媒體硬件系統(tǒng)音頻部分：負(fù)責(zé)采集、加工、處理波表、MID視頻部分：負(fù)責(zé)采集、編輯計(jì)算機(jī)動(dòng)畫、視頻素材，對(duì)機(jī)器速度、存儲(chǔ)要求較高，需要的硬件設(shè)備有動(dòng)態(tài)圖像采集卡、數(shù)字錄像機(jī)、以及海量存儲(chǔ)器等。存儲(chǔ)部分：可以用刻錄機(jī)刻錄成光盤保存。硬盤（IDE硬盤、SCSI硬盤等），現(xiàn)在它的容量已極大提高，100多G硬盤已經(jīng)出現(xiàn)，另外硬盤的轉(zhuǎn)速也提高很快，目前已經(jīng)達(dá)到一萬(wàn)轉(zhuǎn)。1/2/202357視頻部分：負(fù)責(zé)采集、編輯計(jì)算機(jī)動(dòng)畫、視頻素材，對(duì)機(jī)器速度、存1/2/20235812/18/202258多媒體操作系統(tǒng)在多媒體系統(tǒng)中，離散和連續(xù)多媒體數(shù)據(jù)的集成要求操作系統(tǒng)提供額外的服務(wù)功能。連續(xù)媒體數(shù)據(jù)的實(shí)時(shí)處理。進(jìn)程管理必須考慮到多媒體數(shù)據(jù)處理的時(shí)序要求，使用適當(dāng)?shù)恼{(diào)度方法；為應(yīng)用系統(tǒng)提供設(shè)備訪問(wèn)功能，將設(shè)備與應(yīng)用程序屏蔽開來(lái)；1/2/202359多媒體操作系統(tǒng)在多媒體系統(tǒng)中，離散和連續(xù)多媒體數(shù)據(jù)的集成要求多媒體操作系統(tǒng)一體化的計(jì)算機(jī)控制媒體的生成、存儲(chǔ)、通信等操作以及時(shí)間相關(guān)或不相關(guān)的媒體的獨(dú)立表現(xiàn)。其中關(guān)鍵之一是各種媒體數(shù)據(jù)間的同步。操作系統(tǒng)需要提供各媒體對(duì)象間時(shí)序關(guān)系所需要的同步控制機(jī)制；友好的具有圖形功能和聲像功能的用戶接口。1/2/202360多媒體操作系統(tǒng)一體化的計(jì)算機(jī)控制媒體的生成、存儲(chǔ)、通信等操作多媒體系統(tǒng)開發(fā)軟件工具媒體創(chuàng)作工具：用于建立媒體模型、產(chǎn)生媒體數(shù)據(jù)。多媒體著作工具：幫助開發(fā)者制作多媒體應(yīng)用系統(tǒng)的軟件工具的統(tǒng)稱。它可以對(duì)文本、圖形、圖像、動(dòng)畫、視頻和音頻數(shù)據(jù)進(jìn)行控制和管理，并將它們按照要求連接成完整的多媒體應(yīng)用系統(tǒng)。1/2/202361多媒體系統(tǒng)開發(fā)軟件工具媒體創(chuàng)作工具：用于建立媒體模型、產(chǎn)生媒媒體播放工具：可以在計(jì)算機(jī)上播出視頻序列（包括伴音）的軟件系統(tǒng)。如VideoforWindows。其他各類媒體處理工具：如多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)等。1/2/202362媒體播放工具：可以在計(jì)算機(jī)上播出視頻序列（包括伴音）的軟件系多媒體應(yīng)用系統(tǒng)稱為多媒體應(yīng)用軟件。它是由各種應(yīng)用領(lǐng)域的專家或開發(fā)人員利用計(jì)算機(jī)語(yǔ)言或多媒體創(chuàng)作工具制作的最終多媒體產(chǎn)品，是直接面向用戶的。1/2/202363多媒體應(yīng)用系統(tǒng)稱為多媒體應(yīng)用軟件。它是由各種應(yīng)用領(lǐng)域的專家或§1.5多媒體個(gè)人計(jì)算機(jī)多媒體個(gè)人計(jì)算機(jī)（Multimediapersonalcomputer，簡(jiǎn)稱MPC）指具有特定多媒體功能的PC機(jī)。實(shí)際上，MPC并不是全新的個(gè)人計(jì)算機(jī)，它是在現(xiàn)有PC機(jī)基礎(chǔ)上加上一些硬件板卡及其軟件，使其具有綜合處理聲音、文字、圖形、圖像等信息的功能。1/2/202364§1.5多媒體個(gè)人計(jì)算機(jī)多媒體個(gè)人計(jì)算機(jī)（MultimeMPC的技術(shù)標(biāo)準(zhǔn)MPC聯(lián)盟規(guī)定多媒體計(jì)算機(jī)包括5個(gè)基本的部件：個(gè)人計(jì)算機(jī)、只讀光盤驅(qū)動(dòng)器（CD-ROM）、聲卡、Windows操作系統(tǒng)和一組音箱或耳機(jī)。在多媒體技術(shù)發(fā)展的早期和中期，多媒體計(jì)算機(jī)的硬件性能和參數(shù)有嚴(yán)格的工業(yè)標(biāo)準(zhǔn)，以使多媒體計(jì)算機(jī)保持良好的兼容性和一致性，這就是MPC標(biāo)準(zhǔn)。1/2/202365MPC的技術(shù)標(biāo)準(zhǔn)MPC聯(lián)盟規(guī)定多媒體計(jì)算機(jī)包括5個(gè)基本的部件三個(gè)標(biāo)準(zhǔn)MPC1標(biāo)準(zhǔn)公布于1991年，由“多媒體個(gè)人計(jì)算機(jī)市場(chǎng)協(xié)會(huì)”提出。內(nèi)容大概如后。1993年5月，MPC2標(biāo)準(zhǔn)由“多媒體個(gè)人計(jì)算機(jī)市場(chǎng)協(xié)會(huì)”公布。內(nèi)容大致如后。1995年6月，MPC3標(biāo)準(zhǔn)由“多媒體個(gè)人計(jì)算機(jī)工作組(MultimediaPCWorkingGroup)”公布。1/2/202366三個(gè)標(biāo)準(zhǔn)MPC1標(biāo)準(zhǔn)公布于1991年，由“多媒體個(gè)人計(jì)算機(jī)市MPC的技術(shù)標(biāo)準(zhǔn)內(nèi)容項(xiàng)目MPC-1MPC-2MPC-3制定時(shí)間1990年1993年5月1995年6月RAM2MB4MB8MBCPU16MHz386SX25MHz486SX75MHzPentium硬盤容量30M160M540MCD-ROM150kB/s1s300kB/s400ms600kB/s200ms聲卡8bit16bit16bit顯示640×48016640×48065536640×48065536視頻播放//352×240×30輸入輸出MIDIMIDIMIDI1/2/202367MPC的技術(shù)標(biāo)準(zhǔn)內(nèi)容項(xiàng)目MPC-1MPC-2MPC-3制定時(shí)MPC系統(tǒng)的特點(diǎn)和功能圖像處理：包括圖像獲取、編輯和變換。聲音處理：聲音的數(shù)字化方法是采樣。每次采樣數(shù)字化后的位數(shù)越多，音質(zhì)就越好。聲音的處理還分為單聲道和立體聲道MDI。MIDI樂(lè)器的數(shù)字接口：MIDI規(guī)定了電子樂(lè)器之間電纜的硬件接口標(biāo)準(zhǔn)和設(shè)備之間的通信協(xié)議。1/2/202368MPC系統(tǒng)的特點(diǎn)和功能圖像處理：包括圖像獲取、編輯和變換。1動(dòng)畫處理：計(jì)算機(jī)動(dòng)畫有兩種，一種是造型動(dòng)畫，另一種是幀動(dòng)畫。多媒體數(shù)據(jù)的存儲(chǔ)：硬盤介質(zhì)；光盤介質(zhì)；磁帶備用介質(zhì)。MPC之間的信息傳遞：可移動(dòng)硬盤；可移動(dòng)光盤；網(wǎng)絡(luò)；串口通信。1/2/202369動(dòng)畫處理：計(jì)算機(jī)動(dòng)畫有兩種，一種是造型動(dòng)畫，另一種是幀動(dòng)畫。圖多媒體個(gè)人計(jì)算機(jī)（MPC）結(jié)構(gòu)原理1/2/202370圖多媒體個(gè)人計(jì)算機(jī)（MPC）結(jié)構(gòu)原理12/18/2022MPC基本設(shè)備音頻卡完成聲音數(shù)據(jù)的采集，模/數(shù)轉(zhuǎn)換或者數(shù)/模轉(zhuǎn)換，音頻過(guò)濾以及音頻播放等功能。，分為8位和16位卡兩種。1/2/202371MPC基本設(shè)備音頻卡12/18/202271視頻卡有視頻抓取卡、視頻顯示卡（VGA卡），視頻轉(zhuǎn)換卡（如TVCoder）以及動(dòng)態(tài)視頻壓縮和視頻解壓縮卡等。它們完成的功能主要包括圖形圖像的采集、壓縮、顯示、疊加、淡入/淡出、轉(zhuǎn)換和輸出等。1/2/202372視頻卡12/18/202272CD-ROM驅(qū)動(dòng)器/DVD驅(qū)動(dòng)器CD-ROM(CompactDisc-ReadOnlyMemory)系統(tǒng)包括CD-ROM驅(qū)動(dòng)器和CD-ROM盤片兩部分。其中CD-ROM盤片是多媒體信息的載體；CD-ROM驅(qū)動(dòng)器通過(guò)連線與計(jì)算機(jī)相連，主要任務(wù)是完成對(duì)CD-ROM盤片上的數(shù)據(jù)讀取。DVD也是一種光學(xué)存儲(chǔ)媒體，DVD在存儲(chǔ)容量和帶寬方面都有很大的提高。1/2/202373CD-ROM驅(qū)動(dòng)器/DVD驅(qū)動(dòng)器12/18/202273CD-ROM盤片CD-ROM盤片是用塑料壓制成的圓盤，盤片的直徑為120mm，中心定位孔為15mm，厚度為1.2mm。CD-ROM盤片用單面存儲(chǔ)數(shù)據(jù)，另一面用來(lái)印刷商標(biāo)。CD-ROM盤片的最上層是涂了漆的保護(hù)層，該層上印有商標(biāo)。第二層是鋁反射層，當(dāng)驅(qū)動(dòng)器讀光盤時(shí)用來(lái)反射激光光束。第三層是用聚碳酸脂壓制的透明襯底，同時(shí)壓制出的預(yù)刻槽用來(lái)對(duì)光道徑向定位，信息通常存儲(chǔ)在光道上。1/2/202374CD-ROM盤片CD-ROM盤片是用塑料壓制成的圓盤，盤片的CD-ROM光盤的光道CD-ROM光盤的信息是沿著盤面由內(nèi)向外螺旋形信息軌道(光道)的一系列凹坑的形式存儲(chǔ)的。光道上不論內(nèi)圈還是外圈，各處的存儲(chǔ)密度是一樣的。光道的間距為1.6μm，光道寬度為0.6μm，光道上凹坑深約為0.12μm。1/2/202375CD-ROM光盤的光道CD-ROM光盤的信息是沿著盤面由內(nèi)向只讀光盤的存儲(chǔ)原理注意：凹坑和非凹坑本身并不代表“0”或“1”，而是凹坑端部的前沿和后沿代表“1”，其它代表“0”。10010010000010光盤底板激光束1/2/202376只讀光盤的存儲(chǔ)原理注意：凹坑和非凹坑本身并不代表“0”或“1MPC擴(kuò)展設(shè)備開發(fā)一個(gè)多媒體產(chǎn)品，從素材的收集和整理，媒體數(shù)字化處理，到產(chǎn)品的保存、打印輸出和演示，除了具備一臺(tái)基本配置的多媒體計(jì)算機(jī)外，還需要一些專門完成特定工作的設(shè)備。由于這些設(shè)備不屬于多媒體計(jì)算機(jī)的基本配置，因此被叫做“擴(kuò)展設(shè)備”，常用的擴(kuò)展設(shè)備有以下幾種。1/2/202377MPC擴(kuò)展設(shè)備開發(fā)一個(gè)多媒體產(chǎn)品，從素材的收集和整理，媒體數(shù)觸摸屏一種無(wú)鍵盤交互操作的工具/輸入設(shè)備/坐標(biāo)定位裝置。將觸摸屏的檢測(cè)裝置放在顯示器的前端，由于檢測(cè)裝置的透明度很高，因此在觀看計(jì)算機(jī)顯示信息的同時(shí)，可以用手觸模檢測(cè)裝置，從而控制計(jì)算機(jī)的動(dòng)作。1/2/202378觸摸屏一種無(wú)鍵盤交互操作的工具/輸入設(shè)備/坐標(biāo)定位裝置。12●觸摸屏—輸入設(shè)備，坐標(biāo)定位裝置●觸摸屏組成顯示器觸摸檢測(cè)裝置觸摸屏控制卡驅(qū)動(dòng)程序●作用—將坐標(biāo)信息送入計(jì)算機(jī)●觸摸檢測(cè)裝置特點(diǎn)：高透明度，可觸摸作用：獲得觸摸坐標(biāo)信息●觸摸屏控制卡作用：分析觸摸坐標(biāo)信息坐標(biāo)信息數(shù)字化經(jīng)電纜傳送至主機(jī)電纜●驅(qū)動(dòng)程序作用：提供數(shù)據(jù)分析方法規(guī)范信號(hào)傳送格式控制硬件動(dòng)作1/2/202379●觸摸屏—輸入設(shè)備，坐標(biāo)定位裝置●觸摸屏組成顯示器觸種類及基本特點(diǎn)紅外線觸摸屏通過(guò)紅外線傳感器的觸摸屏電容觸模屏利用人體可改變電容量的原理電阻觸摸屏用電阻膜作為傳感器的觸摸屏表面聲波觸摸屏使用聲波傳感器和反射器的觸摸屏矢量壓力觸摸屏通過(guò)對(duì)矢量壓力敏感的傳感器進(jìn)行檢測(cè)的觸摸屏1/2/202380種類及基本特點(diǎn)紅外線觸摸屏通過(guò)紅外線傳感器的觸摸屏12/●+5V+5V0V0VX方向Y方向第1層ITO第2層ITO第1層ITO第2層ITOR電阻觸摸屏將檢測(cè)到的電阻值R轉(zhuǎn)換成坐標(biāo)數(shù)字信息1/2/202381●+5V+5V0V0VX方向Y方向第1層ITO第2層I掃描儀掃描儀(Scanner)是一種圖形輸入設(shè)備，由關(guān)源、光學(xué)鏡頭、光敏元件、機(jī)械移動(dòng)部件和電子邏輯部件組成。該設(shè)備主要用于輸入黑白或彩色圖片資料、圖形方式的文字資料等平面素材。1/2/202382掃描儀掃描儀(Scanner)是一種圖形輸入設(shè)備，由關(guān)源、光種類及基本特點(diǎn)反射式掃描掃描時(shí)光源照射原稿，經(jīng)反射被CCD接收，形成電信號(hào)，經(jīng)過(guò)譯碼處理生成圖像數(shù)據(jù)。透射式掃描掃描對(duì)象是透明原稿。掃描時(shí)光線透過(guò)原稿被CCD接收，形成電信號(hào)，經(jīng)譯碼生成圖像數(shù)據(jù)。掃描分辨率和精度很高。混合式掃描可以進(jìn)行反射式掃描，也進(jìn)行透射式掃描。1/2/202383種類及基本特點(diǎn)反射式掃描掃描時(shí)光源照射原稿，經(jīng)反射被CC●

透射式掃描原理掃描樣張光電轉(zhuǎn)換器光源底片掃描儀掃描樣張光電轉(zhuǎn)換器導(dǎo)軌光源數(shù)字信號(hào)輸出掃描基本工作原理●

反射式掃描原理數(shù)字信號(hào)輸出識(shí)別反射光線識(shí)別穿透光線平板式掃描儀1/2/202384●透射式掃描原理掃描樣張光電轉(zhuǎn)換器光源底片掃描儀掃描樣張光數(shù)碼照相機(jī)數(shù)碼照相機(jī)是一種數(shù)字成像設(shè)備。數(shù)碼相機(jī)使用光敏元件作為成像器件，將圖像中的光學(xué)信息轉(zhuǎn)換為數(shù)字信號(hào)。常見的數(shù)碼相機(jī)的成像器件是CCD（電荷耦合器件）,它使用一種高感光度的半導(dǎo)體材料制成，能將光線轉(zhuǎn)換為電荷，通過(guò)模數(shù)轉(zhuǎn)換芯片轉(zhuǎn)換為數(shù)字信號(hào)。1/2/202385數(shù)碼照相機(jī)數(shù)碼照相機(jī)是一種數(shù)字成像設(shè)備。數(shù)碼相機(jī)使用光敏元件數(shù)碼相機(jī)的結(jié)構(gòu)數(shù)字相機(jī)的CCD陣列是排成一個(gè)矩形網(wǎng)格分布在芯片上，形成一個(gè)對(duì)光線極其敏感的單元陣列，使照相機(jī)可以一次攝入一整幅圖像。CCD是數(shù)字照相機(jī)的成像部件，可以將照射于其上的光信號(hào)轉(zhuǎn)變?yōu)殡妷盒盘?hào)。CCD芯片上的每一個(gè)光敏元件對(duì)應(yīng)將來(lái)生成的圖像的一個(gè)像素，CCD芯片上光敏元件的密度決定了最終成像的分辨率。1/2/202386數(shù)碼相機(jī)的結(jié)構(gòu)數(shù)字相機(jī)的CCD陣列是排成一個(gè)矩形網(wǎng)格分布在芯數(shù)碼照相機(jī)的工作原理鏡頭影像數(shù)字信號(hào)譯碼器存儲(chǔ)介質(zhì)數(shù)據(jù)接口●軟盤●微型硬盤●壓縮閃存卡(存儲(chǔ)卡)●CD-RW激光盤●譯碼器作用——將電信號(hào)轉(zhuǎn)換成數(shù)字信息●CCD(ChargedCoupledDevice)(光電偶合器件)基本光敏單元——像素作用——將可見光轉(zhuǎn)換成電信號(hào)1/2/202387數(shù)碼照相機(jī)的工作原理鏡頭影像數(shù)字信號(hào)譯碼器存儲(chǔ)打印機(jī)多媒體信息輸出設(shè)備。激光打印機(jī)利用激光束照射到光導(dǎo)帶上，改變電荷的分布規(guī)律，從而產(chǎn)生圖像。噴墨打印機(jī)使用四色墨水或六色墨水超微顆粒噴在紙張上形成圖像。熱升華打印機(jī)通過(guò)加熱固體原料使其升華附著在紙張上形成圖像。1/2/202388打印機(jī)多媒體信息輸出設(shè)備。12/18/202288課堂作業(yè)多媒體技術(shù)中使用多媒體元素有哪些？MPC的基本設(shè)備和擴(kuò)展設(shè)備有哪些？請(qǐng)將問(wèn)題及其答案寫在一張紙片上，注明班級(jí)和姓名，交到講臺(tái)上。1/2/202389課堂作業(yè)多媒體技術(shù)中使用多媒體元素有哪些？12/18/202第一章多媒體技術(shù)概述

第一章多媒體技術(shù)概述主要內(nèi)容多媒體技術(shù)的基本概念多媒體技術(shù)的研究?jī)?nèi)容多媒體技術(shù)的應(yīng)用和發(fā)展多媒體系統(tǒng)的組成主要內(nèi)容多媒體技術(shù)的基本概念§1.1多媒體技術(shù)的基本概念1.何謂“多媒體”？“多媒體”譯自英文“Multimedia”。

Multimedia=Multi[詞根：多]+medium[詞根：中間，介質(zhì)]1/2/202392§1.1多媒體技術(shù)的基本概念1.何謂“多媒體”？媒體的名詞解釋媒體，介質(zhì)：物體傳輸或變換時(shí)的中間物質(zhì)；一種大眾傳播方式，如報(bào)紙、雜志或電視（摘自1991年出版的美國(guó)大百科電子詞典）。1/2/202393媒體的名詞解釋媒體，介質(zhì)：物體傳輸或變換時(shí)的中間物質(zhì)；一種大2.什么是“媒體”？媒體（medium）在計(jì)算機(jī)領(lǐng)域有兩種含義：一是指存儲(chǔ)信息的實(shí)體，如磁盤、光盤、磁帶等，中文譯為媒質(zhì)；二是指?jìng)鬟f信息的載體，如數(shù)字、文字、聲音、圖形、圖像等，中文譯為媒介；多媒體中的“媒體”是指后者。1/2/2023942.什么是“媒體”？媒體（medium）在計(jì)算機(jī)領(lǐng)域有五大類媒體1.感知媒體：指的是能直接作用于人們的感覺器官，從而能使人產(chǎn)生直接感覺的媒體。如語(yǔ)言、音樂(lè)、自然界中的各種聲音、各種圖像、動(dòng)畫、文字等。要解決的問(wèn)題是：人在計(jì)算機(jī)環(huán)境中如何感知信息？1/2/202395五大類媒體1.感知媒體：指的是能直接作用于人們的感覺器官，從2.表示媒體：指的是為了傳送感覺媒體而人為研究出來(lái)的媒體。即用計(jì)算機(jī)的內(nèi)部表示來(lái)刻畫信息。如語(yǔ)言編碼、電報(bào)碼、條形碼等。要解決的問(wèn)題是：計(jì)算機(jī)信息如何編碼？3.表現(xiàn)媒體：指的是用于通信中使用電信號(hào)和感覺媒體之間產(chǎn)生轉(zhuǎn)換用的媒體。如輸入、輸出設(shè)備等。要解決的問(wèn)題是：信息通過(guò)何種媒體輸入到計(jì)算機(jī)中或從計(jì)算機(jī)中輸出？1/2/2023962.表示媒體：指的是為了傳送感覺媒體而人為研究出來(lái)的媒體。即4.存儲(chǔ)媒體：指的是能支持信息存儲(chǔ)的數(shù)據(jù)載體，即用于存放某種媒體的媒體。如紙張、磁帶、磁盤、光盤等。要解決的問(wèn)題是：信息存儲(chǔ)在什么地方？5.傳輸媒體：指的是用于傳輸某些媒體的媒體。如電話線、電纜、光纖、無(wú)線電波等。要解決的問(wèn)題是：在什么上面?zhèn)鬏斝畔ⅲ?/2/2023974.存儲(chǔ)媒體：指的是能支持信息存儲(chǔ)的數(shù)據(jù)載體，即用于存放某種感覺媒體輸入設(shè)備CPU輸出設(shè)備感覺媒體存儲(chǔ)設(shè)備表現(xiàn)媒體表示媒體存儲(chǔ)媒體傳輸媒體表現(xiàn)媒體圖各種媒體之間的關(guān)系1/2/202398感覺媒體輸入設(shè)備CPU輸出設(shè)備感覺媒體存儲(chǔ)設(shè)備表現(xiàn)媒體表示媒表示值和表示維數(shù)媒體的表示空間：例如可視的表示空間是紙和計(jì)算機(jī)屏幕。媒體的表示值：決定不同媒體的信息表示。表示值可以是離散的，也可以是連續(xù)的。表示維數(shù)：每個(gè)表示空間由一個(gè)或多個(gè)表示維組成。在每個(gè)表示空間中，時(shí)間可作為另一維。1/2/202399表示值和表示維數(shù)媒體的表示空間：例如可視的表示空間是紙和計(jì)算媒體與時(shí)間的關(guān)系（1）獨(dú)立于時(shí)間的媒體這些媒體的信息由一組獨(dú)立的元素組成，不包含時(shí)間信息。這種媒體的處理應(yīng)該盡可能快，但這種處理不是限時(shí)的。（2）依賴于時(shí)間的媒體這些媒體信息不僅用一系列的值表示，而且要指出相應(yīng)值出現(xiàn)的時(shí)間。這些數(shù)據(jù)的處理是限時(shí)的，數(shù)據(jù)的有效性依賴于時(shí)間條件。1/2/2023100媒體與時(shí)間的關(guān)系（1）獨(dú)立于時(shí)間的媒體12/18/20221感覺媒體靜態(tài)媒體：文字、圖形、圖像動(dòng)態(tài)媒體：聲音、動(dòng)畫、活動(dòng)影像3.多媒體的定義[定義1]“多媒體”是指能夠同時(shí)獲取、處理、編輯、存儲(chǔ)和展示兩種以上不同類型信息媒體的技術(shù)。1/2/2023101感覺媒體靜態(tài)媒體：文字、圖形、圖像動(dòng)態(tài)媒體：聲音、動(dòng)畫、活動(dòng)[定義2]多媒體是融合兩種以上媒體的人-機(jī)交互式信息交流和傳播媒體。1/2/2023102[定義2]多媒體是融合兩種以上媒體的人-機(jī)交互式信息交流和傳理解多媒體的概念多媒體是信息交流和傳播媒體。從這個(gè)意義上說(shuō)，多媒體和電視、報(bào)紙、雜志等媒體的功能是一樣的。多媒體是人-機(jī)交互式媒體，這里的“機(jī)”目前主要是指計(jì)算機(jī)，或由微處理器控制的其它終端設(shè)備。1/2/2023103理解多媒體的概念多媒體是信息交流和傳播媒體。從這個(gè)意義上說(shuō)，多媒體信息都是以數(shù)字形式而不是以模擬信號(hào)形式存儲(chǔ)和傳輸?shù)?。雖然融合任何兩種以上的媒體就可以稱為多媒體，但通常認(rèn)為多媒體中連續(xù)媒體是人和機(jī)器交互的最自然的媒體。1/2/2023104多媒體信息都是以數(shù)字形式而不是以模擬信號(hào)形式存儲(chǔ)和傳輸?shù)摹?問(wèn)題根據(jù)多媒體特性判斷下面哪些屬于多媒體的范疇？彩色電視有聲圖書立體聲音樂(lè)交互式視頻游戲1/2/2023105問(wèn)題根據(jù)多媒體特性判斷下面哪些屬于多媒體的范疇？12/18/多媒體計(jì)算機(jī)技術(shù)的定義MultimediaComputerTechnology的定義是：

計(jì)算機(jī)綜合處理多種媒體信息，文本、圖形、圖像、音頻和視頻，使多種信息建立邏輯連接，集成為一個(gè)系統(tǒng)并有交互性。1/2/2023106多媒體計(jì)算機(jī)技術(shù)的定義MultimediaComputer4.多媒體計(jì)算機(jī)技術(shù)的特點(diǎn)集成性：建立在數(shù)字化的基礎(chǔ)上的多種媒體的集成。交互性：可以和用戶做交互性溝通，是多媒體和傳統(tǒng)媒體最大的不同。實(shí)時(shí)性：是指在多媒體系統(tǒng)中聲音及活動(dòng)視頻圖像是強(qiáng)實(shí)時(shí)的。多媒體系統(tǒng)需要提供對(duì)這些與時(shí)間密切相關(guān)的媒體實(shí)時(shí)處理的能力。1/2/20231074.多媒體計(jì)算機(jī)技術(shù)的特點(diǎn)集成性：建立在數(shù)字化的基礎(chǔ)上的多§1.2多媒體技術(shù)的研究?jī)?nèi)容1.多媒體數(shù)據(jù)壓縮和解壓縮技術(shù)數(shù)字化的聲音和圖像數(shù)據(jù)量非常大，例如：

使用11.025KHz采樣頻率和8位量化精度的單聲道的聲音信號(hào)，一分鐘的數(shù)據(jù)量為0.66MB;一秒鐘全活動(dòng)視頻畫面的數(shù)據(jù)量約為22.12MB。如果不使用壓縮技術(shù)和解壓縮技術(shù)，目前的微型機(jī)還無(wú)法實(shí)現(xiàn)對(duì)動(dòng)態(tài)視頻和立體聲的實(shí)時(shí)處理。1/2/2023108§1.2多媒體技術(shù)的研究?jī)?nèi)容1.多媒體數(shù)據(jù)壓縮和解壓縮技術(shù)2.多媒體數(shù)據(jù)存儲(chǔ)技術(shù)多媒體信息需要大量的存儲(chǔ)空間。因此存儲(chǔ)技術(shù)成為影響多媒體應(yīng)用發(fā)展的重要因素。高效快速的存儲(chǔ)設(shè)備是多媒體系統(tǒng)的基本部件之一。光盤存儲(chǔ)器是目前主要的多媒體存儲(chǔ)設(shè)備。3.多媒體硬件平臺(tái)

多媒體系統(tǒng)的基礎(chǔ)是計(jì)算機(jī)系統(tǒng)，配備配置較高豐富的外設(shè)。1/2/20231092.多媒體數(shù)據(jù)存儲(chǔ)技術(shù)12/18/2022204.多媒體計(jì)算機(jī)系統(tǒng)軟件平臺(tái)

以支持多媒體信息管理的操作系統(tǒng)為基礎(chǔ)；包括處理不同類型媒體的多媒體素材制作工具及開發(fā)不同應(yīng)用系統(tǒng)的開發(fā)工具，如MacromediaDirector、3DStudio、多媒體節(jié)目編著工具Authorware等。1/2/20231104.多媒體計(jì)算機(jī)系統(tǒng)軟件平臺(tái)12/18/2022215.多媒體數(shù)據(jù)庫(kù)與基于內(nèi)容的檢索技術(shù)與傳統(tǒng)的數(shù)據(jù)庫(kù)相比，多媒體的數(shù)據(jù)庫(kù)包含著多種數(shù)據(jù)類型，必須支持大對(duì)象；需要提供基于相似性的檢索，以及提供對(duì)連續(xù)媒體傳輸速度的保證。6.超文本與web技術(shù)超文本是一種非線性結(jié)構(gòu)，以結(jié)點(diǎn)為單位組織信息，在結(jié)點(diǎn)和結(jié)點(diǎn)之間通過(guò)表示它們之間的鏈加以連接，構(gòu)成表達(dá)特定內(nèi)容的信息網(wǎng)絡(luò)。1/2/20231115.多媒體數(shù)據(jù)庫(kù)與基于內(nèi)容的檢索技術(shù)12/18/2022221/2/202311212/18/202223§1.3多媒體技術(shù)的應(yīng)用和發(fā)展推動(dòng)多媒體系統(tǒng)發(fā)展的強(qiáng)大動(dòng)力是多媒體應(yīng)用，其中一個(gè)主要?jiǎng)恿κ敲襟w娛樂(lè)業(yè)。當(dāng)前多媒體應(yīng)用的領(lǐng)域很廣泛。其基本應(yīng)用方式有：多媒體演示系統(tǒng)；多媒體網(wǎng)絡(luò)；數(shù)字電視；等。1/2/2023113§1.3多媒體技術(shù)的應(yīng)用和發(fā)展推動(dòng)多媒體系統(tǒng)發(fā)展的強(qiáng)大動(dòng)多媒體技術(shù)的發(fā)展方向（1）智能化圖像理解、語(yǔ)音識(shí)別、多媒體數(shù)據(jù)檢索、虛擬現(xiàn)實(shí)等基于內(nèi)容管理的技術(shù)是研究的熱點(diǎn)。（2）立體化PC、家電設(shè)備、工業(yè)控制系統(tǒng)、現(xiàn)場(chǎng)監(jiān)視系統(tǒng)全部實(shí)現(xiàn)數(shù)字化，并將隨網(wǎng)絡(luò)技術(shù)和通信技術(shù)的發(fā)展構(gòu)建一個(gè)立體化的信息網(wǎng)絡(luò)。1/2/2023114多媒體技術(shù)的發(fā)展方向（1）智能化12/18/202225多媒體技術(shù)的發(fā)展方向以虛擬現(xiàn)實(shí)環(huán)境為例，說(shuō)明多媒體技術(shù)未來(lái)某些發(fā)展方向。1/2/2023115多媒體技術(shù)的發(fā)展方向以虛擬現(xiàn)實(shí)環(huán)境為例，說(shuō)明多媒體技術(shù)未來(lái)某虛擬現(xiàn)實(shí)虛擬現(xiàn)實(shí)（Virtual

Reality）是一種全新的人機(jī)交互系統(tǒng)。它能對(duì)介入者——人產(chǎn)生各種感官刺激，如視覺、聽覺、觸覺、嗅覺、并給人一種身臨其境的感覺；人能以自然的方式與計(jì)算機(jī)生成的環(huán)境進(jìn)行交互操作。

1/2/2023116虛擬現(xiàn)實(shí)虛擬現(xiàn)實(shí)（Virtual

Reality）是一種全新VR的由來(lái)早在1965年美國(guó)I.E.Sutherland就提出了所謂“The

Ultimate

Display”，目標(biāo)是使人在計(jì)算機(jī)生成的世界中產(chǎn)生親臨其境的感覺，并能與計(jì)算機(jī)進(jìn)行自然、直接的交換。1968年I.E.Sutherland研制成功頭盔式顯示器和頭部及手跟蹤器，這些技術(shù)后來(lái)在飛行模擬器中起了重要作用。1/2/2023117VR的由來(lái)早在1965年美國(guó)I.E.Sutherland就提80年代中期，NASA研制成功第一套基于頭盔顯示器及數(shù)據(jù)手套的VR系統(tǒng)。VR正成為高科技和軍事領(lǐng)域中不可缺的技術(shù)，正在開發(fā)的應(yīng)用領(lǐng)域有飛行、空間技術(shù)、醫(yī)學(xué)、娛樂(lè)等。

1/2/202311880年代中期，NASA研制成功第一套基于頭盔顯示器及數(shù)據(jù)手套虛擬現(xiàn)實(shí)的本質(zhì)虛擬現(xiàn)實(shí)是指用計(jì)算機(jī)生成的一種特殊環(huán)境，人可以通過(guò)使用各種特殊裝置將自己“投射”到這個(gè)環(huán)境中，并操作、控制環(huán)境，實(shí)現(xiàn)特殊的目的，即人是這種環(huán)境的主宰。從本質(zhì)上來(lái)說(shuō)，虛擬現(xiàn)實(shí)就是一種先進(jìn)的計(jì)算機(jī)用戶接口，它通過(guò)給用戶同時(shí)提供諸如視覺、聽覺、觸覺等各種直觀而又自然的實(shí)時(shí)感知交互手段，最大限度地方便用戶的操作。1/2/2023119虛擬現(xiàn)實(shí)的本質(zhì)虛擬現(xiàn)實(shí)是指用計(jì)算機(jī)生成的一種特殊環(huán)境，人可以主要特征多感知性(Multi-Sensory)浸沒感(Immersion)交互性(Interactivity)構(gòu)想性(Imagination)1/2/2023120主要特征多感知性(Multi-Sensory)12/18/2多感知性(Multi-Sensory)所謂多感知是指除了一般計(jì)算機(jī)技術(shù)所具有的視覺感知之外，還有聽覺感知、力覺感知、觸覺感知、運(yùn)動(dòng)感知，甚至包括味覺感知、嗅覺感知等。由于相關(guān)技術(shù)，特別是傳感技術(shù)的限制，目前虛擬現(xiàn)實(shí)技術(shù)所具有的感知功能僅限于視覺、聽覺、力覺、觸覺、運(yùn)動(dòng)等幾種。1/2/2023121多感知性(Multi-Sensory)所謂多感知是指除了一般浸沒感(Immersion)又稱臨場(chǎng)感，指用戶感到作為主角存在于模擬環(huán)境中的真實(shí)程度。理想的模擬環(huán)境應(yīng)該使用戶難以分辨真假，使用戶全身心地投入到計(jì)算機(jī)創(chuàng)建的三維虛擬環(huán)境中，該環(huán)境中的一切看上去是真的，聽上去是真的，動(dòng)起來(lái)是真的，甚至聞起來(lái)、嘗起來(lái)等一切感覺都是真的，如同在現(xiàn)實(shí)世界中的感覺一樣。1/2/2023122浸沒感(Immersion)又稱臨場(chǎng)感，指用戶感到作為主角交互性(Interactivity)交互性(Interactivity)——指用戶對(duì)模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度(包括實(shí)時(shí)性)。例如，用戶可以用手去直接抓取模擬環(huán)境中虛擬的物體，這時(shí)手有握著東西的感覺，并可以感覺物體的重量，視野中被抓的物體也能立刻隨著手的移動(dòng)而移動(dòng)。1/2/2023123交互性(Interactivity)交互性(Interac構(gòu)想性(Imagination)強(qiáng)調(diào)虛擬現(xiàn)實(shí)技術(shù)應(yīng)具有廣闊的可想像空間，可拓寬人類認(rèn)知范圍:再現(xiàn)真實(shí)存在的環(huán)境;隨意構(gòu)想客觀不存在的甚至是不可能發(fā)生的環(huán)境。1/2/2023124構(gòu)想性(Imagination)強(qiáng)調(diào)虛擬現(xiàn)實(shí)技術(shù)應(yīng)具有廣闊的VR技術(shù)用于遠(yuǎn)程醫(yī)療例如，通過(guò)遠(yuǎn)程醫(yī)療虛擬現(xiàn)實(shí)系統(tǒng)，對(duì)在偏遠(yuǎn)的山區(qū)的危急病人實(shí)施遠(yuǎn)程手術(shù)。醫(yī)生對(duì)病人模型進(jìn)行手術(shù)，他的動(dòng)作通過(guò)衛(wèi)星傳送到遠(yuǎn)處的手術(shù)機(jī)器人。手術(shù)的實(shí)際圖像通過(guò)機(jī)器人上的攝像機(jī)傳回醫(yī)生的頭盔立體顯示器，并將其和虛擬病人模型進(jìn)行疊加，為醫(yī)生提供有用的信息。美國(guó)斯坦福國(guó)際研究所已成功研制出遠(yuǎn)程手術(shù)醫(yī)療系統(tǒng)。1/2/2023125VR技術(shù)用于遠(yuǎn)程醫(yī)療例如，通過(guò)遠(yuǎn)程醫(yī)療虛擬現(xiàn)實(shí)系統(tǒng)，對(duì)在偏遠(yuǎn)飛行訓(xùn)練模擬利用計(jì)算機(jī)動(dòng)畫技術(shù)實(shí)時(shí)生成具有真實(shí)感的周圍環(huán)境圖像，如機(jī)場(chǎng)、山脈和云彩等。此時(shí)，飛行員駕駛艙的舷艙成為計(jì)算機(jī)屏幕，飛行員的飛行控制信息轉(zhuǎn)化為數(shù)字信號(hào)直接輸出到電腦程序，進(jìn)而模擬飛機(jī)的各種飛行特征。飛行員可以模擬駕駛飛機(jī)進(jìn)行起飛、著落、轉(zhuǎn)身等操作。1/2/2023126飛行訓(xùn)練模擬利用計(jì)算機(jī)動(dòng)畫技術(shù)實(shí)時(shí)生成具有真實(shí)感的周圍環(huán)境圖三維交互設(shè)備確定人體空間方向、位置、速度及施力大小。數(shù)據(jù)手套數(shù)據(jù)衣數(shù)據(jù)頭盔及眼鏡力反饋儀1/2/2023127三維交互設(shè)備確定人體空間方向、位置、速度及施力大小。12/1數(shù)據(jù)手套數(shù)據(jù)手套跟蹤手部運(yùn)動(dòng)精確操作日本ATR實(shí)驗(yàn)室：筷子5DT公司Glove16型傳感器數(shù)據(jù)手套1/2/2023128數(shù)據(jù)手套數(shù)據(jù)手套跟蹤手部運(yùn)動(dòng)日本ATR實(shí)驗(yàn)室：筷子5DT公司數(shù)據(jù)頭盔數(shù)據(jù)頭盔獲得人頭部的空間位置，并輸出音頻和視頻信號(hào)；數(shù)據(jù)眼鏡是圖形圖像輸出設(shè)備。1/2/2023129數(shù)據(jù)頭盔數(shù)據(jù)頭盔獲得人頭部的空間位置，并輸出音頻和視頻信號(hào)；HMD1/2/2023130HMD12/18/202241Head-MountedDisplaysTwominiaturedisplayscreens(LCDorCRT)AnopticalsystemthatchannelstheimagesfromthescreenstotheeyesPresentingastereoviewofavirtualworld.Amotiontracker：continuouslymeasuresthepositionandorientationoftheuser'sheadandallowstheimagegeneratingcomputertoadjustthescenerepresentationtothecurrentview.Asaresult,theviewercanlookaroundandwalkthroughthesurroundingvirtualenvironment.1/2/2023131Head-MountedDisplaysTwominia立體視覺立體視覺是人眼辨別物體的空間位置，包括遠(yuǎn)近、前后、高低等相對(duì)位置的功能。在計(jì)算機(jī)視覺中關(guān)心的核心問(wèn)題之一是空間知覺，也就是深度知覺。深度知覺既可以來(lái)自雙眼線索也可以來(lái)自單眼線索。1/2/2023132立體視覺立體視覺是人眼辨別物體的空間位置，包括遠(yuǎn)近、前后、高單眼深度覺相對(duì)大小（Relativesize）紋理梯度（texturegradient）運(yùn)動(dòng)（motion）光與陰影（lightingandshadow）透視（Perspective）聚焦調(diào)節(jié)（accomodation）重疊與遮擋（interposition）1/2/2023133單眼深度覺相對(duì)大?。≧elativesize）12/18/單眼深度覺示例紋理梯度光與陰影遮擋相對(duì)大小1/2/2023134單眼深度覺示例紋理梯度光與陰影遮擋相對(duì)大小12/18/雙眼深度覺雙眼輔合作用。當(dāng)人們注視近處物體時(shí)，兩眼的視線就必須向中間聚合，以便使視線的焦點(diǎn)落在物體上，這種通過(guò)眼球轉(zhuǎn)動(dòng)以聚合視線從而獲得深度信息的雙眼線索稱為輔合作用。雙目視差線索。雙眼看同一景物時(shí)，由于左右眼的位置不同（對(duì)于成人來(lái)說(shuō)，一般兩眼的距離是2.5英寸或64毫米），所以看到的景象不完全一致，這種差別稱之為雙目視差。在虛擬現(xiàn)實(shí)技術(shù)中，利用雙目視差來(lái)造成立體感是一個(gè)重要的方面。1/2/2023135雙眼深度覺雙眼輔合作用。當(dāng)人們注視近處物體時(shí)，兩眼的視線就必立體顯示原理1/2/2023136立體顯示原理12/18/202247立體視覺模型從立體視覺模型可知，要使計(jì)算機(jī)產(chǎn)生的圖像具有立體感，就需要做到：A.以左右眼為觀察點(diǎn)，產(chǎn)生兩幅畫面，我們分別稱其為左畫面和右畫面。B.左眼只能看到左畫面，右眼只能看到右畫面。1/2/2023137立體視覺模型從立體視覺模型可知，要使計(jì)算機(jī)產(chǎn)生的圖像具有立體左右畫面交替顯示對(duì)于后一個(gè)問(wèn)題的解決方法有三種：用兩個(gè)小型CRT顯示裝置分別顯示左、右畫面，并安裝在頭盔上，使左眼只看到左畫面，右眼只看到右畫面；用單獨(dú)的顯示器，但在眼睛前面加上控制快門。CRT依次顯示左、右畫面，兩眼前的快門同步，而交替地開閉。當(dāng)顯示左畫面時(shí)，左眼快門打開，右眼快門關(guān)閉；當(dāng)顯示右畫面時(shí)，右眼快門打開，左眼快門關(guān)閉；1/2/2023138左右畫面交替顯示對(duì)于后一個(gè)問(wèn)題的解決方法有三種：12/18/(3)雙色立體顯示。這是一種最簡(jiǎn)單的立體顯示辦法。它對(duì)左右畫面分別采用紅色和藍(lán)色來(lái)顯示，而在左右眼處分別用紅藍(lán)鏡片對(duì)畫面進(jìn)行選擇。1/2/2023139(3)雙色立體顯示。這是一種最簡(jiǎn)單的立體顯示辦法。它對(duì)左右當(dāng)前虛擬現(xiàn)實(shí)需要解決的問(wèn)題虛擬現(xiàn)實(shí)的交互能力依賴于立體顯示和傳感器技術(shù)的發(fā)展，現(xiàn)有的設(shè)備遠(yuǎn)遠(yuǎn)不能滿足需要。比如頭盔式三維立體顯示器有以下缺點(diǎn):過(guò)重(1.5kg至2kg)分辨率低(圖像質(zhì)量差)延遲大(刷新頻率低)行動(dòng)不便(有線)跟蹤精度低視場(chǎng)不夠?qū)捬劬θ菀灼诘?/2/2023140當(dāng)前虛擬現(xiàn)實(shí)需要解決的問(wèn)題虛擬現(xiàn)實(shí)的交互能力依賴于立體顯示和人與計(jì)算機(jī)之間的交流層次人機(jī)接口能力：人類的視覺和聽覺；機(jī)器的視覺和聽覺。人的感知系統(tǒng)和肌肉系統(tǒng)與計(jì)算機(jī)的結(jié)合作用。觸覺、味覺、嗅覺、運(yùn)動(dòng)等。研究“人在實(shí)踐中得到的感覺信息是怎樣在人的大腦中存儲(chǔ)和加工處理成為人對(duì)客觀世界的認(rèn)識(shí)”，人和信息處理系統(tǒng)間的隔閡能夠被徹底的克服。1/2/2023141人與計(jì)算機(jī)之間的交流層次人機(jī)接口能力：人類的視覺和聽覺；機(jī)器人機(jī)交流的現(xiàn)狀目前虛擬現(xiàn)實(shí)技術(shù)所取得的成就，絕大部分還僅僅限于擴(kuò)展了計(jì)算機(jī)的接口能力；僅僅是剛剛開始涉及到人的感知系統(tǒng)和肌肉系統(tǒng)與計(jì)算機(jī)的結(jié)合作用問(wèn)題；還根本未涉及“人在實(shí)踐中得到的感覺信息是怎樣在人的大腦中存儲(chǔ)和加工處理成為人對(duì)客觀世界的認(rèn)識(shí)”這一重要過(guò)程。1/2/2023142人機(jī)交流的現(xiàn)狀目前虛擬現(xiàn)實(shí)技術(shù)所取得的成就，絕大部分還僅僅限§1.4多媒體系統(tǒng)的組成多媒體系統(tǒng)是指能對(duì)文本、圖形、圖像、音頻、動(dòng)畫和視頻等多媒體信息，進(jìn)行邏輯互連、獲取、編輯、存儲(chǔ)和播放等功能的計(jì)算機(jī)系統(tǒng)。多媒體計(jì)算機(jī)需要計(jì)算機(jī)交互式地綜合處理聲、文、圖信息，尤其是圖像和聲音信息數(shù)據(jù)量大，處理速度要求高。1/2/2023143§1.4多媒體系統(tǒng)的組成多媒體系統(tǒng)是指能對(duì)文本、圖形、圖多媒體系統(tǒng)構(gòu)成多媒體系統(tǒng)一般由四部分構(gòu)成：多媒體硬件系統(tǒng)多媒體操作系統(tǒng)多媒體創(chuàng)作工具多媒體應(yīng)用系統(tǒng)1/2/2023144多媒體系統(tǒng)構(gòu)成多媒體系統(tǒng)一般由四部分構(gòu)成：12/18/202多媒體硬件系統(tǒng)音頻部分：負(fù)責(zé)采集、加工、處理波表、MIDI等多種形式的音頻素材，需要的硬件有錄音設(shè)備、MIDI合成器、高性能的聲卡、音箱、話筒、耳機(jī)等。圖像部分：負(fù)責(zé)采集，加工，處理各種格式的圖像素材，需要的硬件有靜態(tài)圖像采集卡、數(shù)字化儀、數(shù)碼相機(jī)，掃描儀等。1/2/2023145多媒體硬件系統(tǒng)音頻部分：負(fù)責(zé)采集、加工、處理波表、MID視頻部分：負(fù)責(zé)采集、編輯計(jì)算機(jī)動(dòng)畫、視頻素材，對(duì)機(jī)器速度、存儲(chǔ)要求較高，需要的硬件設(shè)備有動(dòng)態(tài)圖像采集卡、數(shù)字錄像機(jī)、以及海量存儲(chǔ)器等。存儲(chǔ)部分：可以用刻錄機(jī)刻錄成光盤保存。硬盤（IDE硬盤、SCSI硬盤等），現(xiàn)在它的容量已極大提高，100多G硬盤已經(jīng)出現(xiàn)，另外硬盤的轉(zhuǎn)速也提高很快，目前已經(jīng)達(dá)到一萬(wàn)轉(zhuǎn)。1/2/2023146視頻部分：負(fù)責(zé)采集、編輯計(jì)算機(jī)動(dòng)畫、視頻素材，對(duì)機(jī)器速度、存1/2/202314712/18/202258多媒體操作系統(tǒng)在多媒體系統(tǒng)中，離散和連續(xù)多媒體數(shù)據(jù)的集成要求操作系統(tǒng)提供額外的服務(wù)功能。連續(xù)媒體數(shù)據(jù)的實(shí)時(shí)處理。進(jìn)程管理必須考慮到多媒體數(shù)據(jù)處理的時(shí)序要求，使用適當(dāng)?shù)恼{(diào)度方法；為應(yīng)用系統(tǒng)提供設(shè)備訪問(wèn)功能，將設(shè)備與應(yīng)用程序屏蔽開來(lái)；1/2/2023148多媒體操作系統(tǒng)在多媒體系統(tǒng)中，離散和連續(xù)多媒體數(shù)據(jù)的集成要求多媒體操作系統(tǒng)一體化的計(jì)算機(jī)控制媒體的生成、存儲(chǔ)、通信等操作以及時(shí)間相關(guān)或不相關(guān)的媒體的獨(dú)立表現(xiàn)。其中關(guān)鍵之一是各種媒體數(shù)據(jù)間的同步。操作系統(tǒng)需要提供各媒體對(duì)象間時(shí)序關(guān)系所需要的同步控制機(jī)制；友好的具有圖形功能和聲像功能的用戶接口。1/2/2023149多媒體操作系統(tǒng)一體化的計(jì)算機(jī)控制媒體的生成、存儲(chǔ)、通信等操作多媒體系統(tǒng)開發(fā)軟件工具媒體創(chuàng)作工具：用于建立媒體模型、產(chǎn)生媒體數(shù)據(jù)。多媒體著作工具：幫助開發(fā)者制作多媒體應(yīng)用系統(tǒng)的軟件工具的統(tǒng)稱。它可以對(duì)文本、圖形、圖像、動(dòng)畫、視頻和音頻數(shù)據(jù)進(jìn)行控制和管理，并將它們按照要求連接成完整的多媒體應(yīng)用系統(tǒng)。1/2/2023150多媒體系統(tǒng)開發(fā)軟件工具媒體創(chuàng)作工具：用于建立媒體模型、產(chǎn)生媒媒體播放工具：可以在計(jì)算機(jī)上播出視頻序列（包括伴音）的軟件系統(tǒng)。如VideoforWindows。其他各類媒體處理工具：如多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)等。1/2/2023151媒體播放工具：可以在計(jì)算機(jī)上播出視頻序列（包括伴音）的軟件系多媒體應(yīng)用系統(tǒng)稱為多媒體應(yīng)用軟件。它是由各種應(yīng)用領(lǐng)域的專家或開發(fā)人員利用計(jì)算機(jī)語(yǔ)言或多媒體創(chuàng)作工具制作的最終多媒體產(chǎn)品，是直接面向用戶的。1/2/2023152多媒體應(yīng)用系統(tǒng)稱為多媒體應(yīng)用軟件。它是由各種應(yīng)用領(lǐng)域的專家或§1.5多媒體個(gè)人計(jì)算機(jī)多媒體個(gè)人計(jì)算機(jī)（Multimediapersonalcomputer，簡(jiǎn)稱MPC）指具有特定多媒體功能的PC機(jī)。實(shí)際上，MPC并不是全新的個(gè)人計(jì)算機(jī)，它是在現(xiàn)有PC機(jī)基礎(chǔ)上加上一些硬件板卡及其軟件，使其具有綜合處理聲音、文字、圖形、圖像等信息的功能。1/2/2023153§1.5多媒體個(gè)人計(jì)算機(jī)多媒體個(gè)人計(jì)算機(jī)（MultimeMPC的技術(shù)標(biāo)準(zhǔn)MPC聯(lián)盟規(guī)定多媒體計(jì)算機(jī)包括5個(gè)基本的部件：個(gè)人計(jì)算機(jī)、只讀光盤驅(qū)動(dòng)器（CD-ROM）、聲卡、Windows操作系統(tǒng)和一組音箱或耳機(jī)。在多媒體技術(shù)發(fā)展的早期和中期，多媒體計(jì)算機(jī)的硬件性能和參數(shù)有嚴(yán)格的工業(yè)標(biāo)準(zhǔn)，以使多媒體計(jì)算機(jī)保持良好的兼容性和一致性，這就是MPC標(biāo)準(zhǔn)。1/2/2023154MPC的技術(shù)標(biāo)準(zhǔn)MPC聯(lián)盟規(guī)定多媒體計(jì)算機(jī)包括5個(gè)基本的部件三個(gè)標(biāo)準(zhǔn)MPC1標(biāo)準(zhǔn)公布于1991年，由“多媒體個(gè)人計(jì)算機(jī)市場(chǎng)協(xié)會(huì)”提出。內(nèi)容大概如后。1993年5月，MPC2標(biāo)準(zhǔn)由“多媒體個(gè)人計(jì)算機(jī)市場(chǎng)協(xié)會(huì)”公布。內(nèi)容大致如后。1995年6月，MPC3標(biāo)準(zhǔn)由“多媒體個(gè)人計(jì)算機(jī)工作組(MultimediaPCWorkingGroup)”公布。1/2/2023155三個(gè)標(biāo)準(zhǔn)MPC1標(biāo)準(zhǔn)公布于1991年，由“多媒體個(gè)人計(jì)算機(jī)市MPC的技術(shù)標(biāo)準(zhǔn)內(nèi)容項(xiàng)目MPC-1MPC-2MPC-3制定時(shí)間1990年1993年5月1995年6月RAM2MB4MB8MBCPU16MHz386SX25MHz486SX75MHzPentium硬盤容量30M160M540MCD-ROM150kB/s1s300kB/s400ms600kB/s200ms聲卡8bit16bit16bit顯示640×48016640×48065536640×48065536視頻播放//352×240×30輸入輸出MIDIMIDIMIDI1/2/2023156MPC的技術(shù)標(biāo)準(zhǔn)內(nèi)容項(xiàng)目MPC-1MPC-2MPC-3制定時(shí)MPC系統(tǒng)的特點(diǎn)和功能圖像處理：包括圖像獲取、編輯和變換。聲音處理：聲音的數(shù)字化方法是采樣。每次采樣數(shù)字化后的位數(shù)越多，音質(zhì)就越好。聲音的處理還分為單聲道和立體聲道MDI。MIDI樂(lè)器的數(shù)字接口：MIDI規(guī)定了電子樂(lè)器之間電纜的硬件接口標(biāo)準(zhǔn)和設(shè)備之間的通信協(xié)議。1/2/2023157MPC系統(tǒng)的特點(diǎn)和功能圖像處理：包括圖像獲取、編輯和變換。1動(dòng)畫處理：計(jì)算機(jī)動(dòng)畫有兩種，一種是造型動(dòng)畫，另一種是幀動(dòng)畫。多媒體數(shù)據(jù)的存儲(chǔ)：硬盤介質(zhì)；光盤介質(zhì)；磁帶備用介質(zhì)。MPC之間的信息傳遞：可移動(dòng)硬盤；可移動(dòng)光盤；網(wǎng)絡(luò)；串口通信。1/2/2023158動(dòng)畫處理：計(jì)算機(jī)動(dòng)畫有兩種，一種是造型動(dòng)畫，另一種是幀動(dòng)畫。圖多媒體個(gè)人計(jì)算機(jī)（MPC）結(jié)構(gòu)原理1/2/2023159圖多媒體個(gè)人計(jì)算機(jī)（MPC）結(jié)構(gòu)原理12/18/2022MPC基本設(shè)備音頻卡完成聲音數(shù)據(jù)的采集，模/數(shù)轉(zhuǎn)換或者數(shù)/模轉(zhuǎn)換，音頻過(guò)濾以及音頻播放等功能。，分為8位和16位卡兩種。1/2/2023160MPC基本設(shè)備音頻卡12/18/202271視頻卡有視頻抓取卡、視頻顯示卡（VGA卡），視頻轉(zhuǎn)換卡（如TVCoder）以及動(dòng)態(tài)視頻壓縮和視頻解壓縮卡等。它們完成的功能主要包括圖形圖像的采集、壓縮、顯示、疊加、淡入/淡出、轉(zhuǎn)換和輸出等。1/2/2023161視頻卡12/18/202272CD-ROM驅(qū)動(dòng)器/DVD驅(qū)動(dòng)器CD-ROM(CompactDisc-ReadOnlyMemory)系統(tǒng)包括CD-ROM驅(qū)動(dòng)器和CD-ROM盤片兩部分。其中CD-ROM盤片是多媒體信息的載體；CD-ROM驅(qū)動(dòng)器通過(guò)連線與計(jì)算機(jī)相連，主要任務(wù)是完成對(duì)CD-ROM盤片上的數(shù)據(jù)讀取。DVD也是一種光學(xué)存儲(chǔ)媒體，DVD在存儲(chǔ)容量和帶寬方面都有很大的提高。1/2/2023162CD-ROM驅(qū)動(dòng)器/DVD驅(qū)動(dòng)器12/18/202273CD-ROM盤片CD-ROM盤片是用塑料壓制成的圓盤，盤片的直徑為120mm，中心定位孔為15mm，厚度為1.2mm。C