第5章

多媒體技術(shù)基礎(chǔ)15.1多媒體技術(shù)概述 5.1.1、媒體與多媒體

1.媒體(媒介、媒質(zhì))

媒體是信息表示、傳遞和存儲(chǔ)的載體

存儲(chǔ)信息的實(shí)體紙張、磁盤、光盤

表示信息的載體文本、圖形、圖像

聲音、動(dòng)畫、視頻命運(yùn)2媒體的種類(CCITT)

感覺媒體人的感官，如視覺、聽覺等

表示媒體為了處理和傳輸感覺媒體而人為構(gòu)造的媒體，如文本、圖形、動(dòng)畫等

顯示媒體獲取和表現(xiàn)信息的物理設(shè)備，如鍵盤、鼠標(biāo)器、顯示器和音箱等

存儲(chǔ)媒體用來存放表示媒體的介質(zhì)，如磁盤、光盤和內(nèi)存等

傳輸媒體傳輸數(shù)據(jù)的載體，如光纜32.多媒體

通常是指表示媒體，也就是

靜態(tài)媒體：文本、圖形、圖像

動(dòng)態(tài)媒體：聲音、動(dòng)畫、視頻多媒體是融合兩種或兩種以上表示媒體的一種人機(jī)交互式信息交流和傳播媒體。

多媒體的實(shí)質(zhì)：各種媒體數(shù)字化。45.1.2、多媒體技術(shù)

定義將多種媒體信息通過計(jì)算機(jī)進(jìn)行數(shù)字化采集、編碼、存儲(chǔ)、傳輸、處理和再現(xiàn)等，使多種媒體信息建立邏輯連接，并集成一個(gè)具有交互性的計(jì)算機(jī)系統(tǒng)。利用計(jì)算機(jī)綜合處理圖文聲像。

特征多樣性：綜合處理多種媒體信息集成性：信息集成及設(shè)備集成交互性：控制和使用信息的手段 實(shí)時(shí)性：支持實(shí)時(shí)處理55.1.3、多媒體技術(shù)的應(yīng)用

1.教育與培訓(xùn)多媒體教學(xué)課件多媒體技能培訓(xùn)系統(tǒng)虛擬課堂、虛擬實(shí)驗(yàn)室、虛擬圖書館

2.出版與圖書

電子出版物具有容量大、體積小、成本低、檢索快、易于保存和復(fù)制、能存儲(chǔ)圖文聲像信息等，如光盤百科全書、e-book。6

3.商業(yè)與咨詢商品簡(jiǎn)報(bào)、查詢服務(wù)、產(chǎn)品演示、商貿(mào)交易(電子商務(wù))等。利用多媒體技術(shù)可為公眾提供各類咨詢服務(wù)，也可通過觸摸屏進(jìn)行操作。

4.通信與網(wǎng)絡(luò)信息家電(電話、電視、冰箱、音響)、視頻會(huì)議、可視電話、遠(yuǎn)程醫(yī)療系統(tǒng)。7

5.軍事與娛樂軍事遙感戰(zhàn)場(chǎng)模擬核武器模擬

CD、VCD、DVD、(三維)游戲多媒體技術(shù)的優(yōu)勢(shì)可能不在于某些具體的應(yīng)用，而是在于它能把復(fù)雜的事物變得簡(jiǎn)單、把抽象的東西變?yōu)榫唧w。85.2多媒體系統(tǒng)的組成5.2.1、多媒體系統(tǒng)的層次結(jié)構(gòu)多媒體硬件系統(tǒng)：多媒體控制板卡及I/O電路多媒體驅(qū)動(dòng)程序：用來控制和操縱多媒體硬件多媒體操作系統(tǒng)：CD-RTOS(專用),Windows(通用)多媒體應(yīng)用軟件多媒體開發(fā)工具多媒體操作系統(tǒng)多媒體驅(qū)動(dòng)程序多媒體硬件系統(tǒng)95.2.2、多媒體系統(tǒng)的基本組成101、多媒體硬件：計(jì)算機(jī)：MPC或工作站 MPC：多媒體計(jì)算機(jī)系統(tǒng)

工作站：采用工業(yè)標(biāo)準(zhǔn)POSIX和XPG3，整體運(yùn)算速度高、存儲(chǔ)容量大、具有較強(qiáng)的圖形處理能力。多媒體板卡： 為多媒體數(shù)據(jù)解決輸入和輸出問題的硬件設(shè)備。常用的多媒體板卡有：顯示卡、音頻卡和視頻壓縮卡等。11顯示卡（顯示適配器）： 計(jì)算機(jī)與顯示器之間的接口，用于將數(shù)字信號(hào)轉(zhuǎn)換成圖像信號(hào)并在顯示器上輸出。音頻卡： 用來錄制、編輯和回放數(shù)字音頻文件，在記錄和回放數(shù)字音頻文件時(shí)進(jìn)行壓縮和解壓縮。視頻壓縮卡：

視頻信號(hào)處理平臺(tái)，匯集視頻源和音頻源的信號(hào)，具有捕獲、壓縮、存儲(chǔ)、編輯和特技制作等處理手段。12多媒體外部設(shè)備： 常用的多媒體外部設(shè)備有： 光盤、掃描儀、數(shù)碼相機(jī)、攝像頭、數(shù)字?jǐn)z像機(jī)、觸摸屏、麥克風(fēng)、揚(yáng)聲器、顯示器和投影機(jī)等。?多媒體軟件：

系統(tǒng)軟件、支持軟件和應(yīng)用軟件。多媒體系統(tǒng)軟件：

多媒體驅(qū)動(dòng)程序和多媒體操作系統(tǒng)（數(shù)據(jù)壓縮、媒體硬件接口的驅(qū)動(dòng)、新型交互方式等）13多媒體支持軟件：創(chuàng)作和開發(fā)工具

多媒體素材制作工具文字特效制作軟件：MSWord/藝術(shù)字音頻處理軟件：Syntrillium

Cooledit

TwelveToneCakewalk圖形圖像處理軟件：CorelCorelDRAW

AdobePhotoshop14動(dòng)畫制作軟件：MacromediaFlashMXDiscreet3dsmax視頻編輯軟件：AdobePremiere多媒體著作工具

MicrosoftPowerPointMacromediaAuthorware

多媒體編程語(yǔ)言

VB、VC++多媒體應(yīng)用軟件：

多媒體應(yīng)用軟件又稱多媒體應(yīng)用系統(tǒng)或多媒體產(chǎn)品。155.3.1、聲音的基本概念

聲音是模擬信號(hào)，其幅度隨時(shí)間而連續(xù)變化5.3音頻信息處理tt周期TF=1/T振幅A正弦信號(hào)語(yǔ)音信號(hào)

振幅A—反映信號(hào)的強(qiáng)度或聲音的大??；

頻率f—反映振動(dòng)的快慢或音調(diào)的高低。單位為：振動(dòng)次數(shù)/每秒。f=1/T（周期）165.3.2、聲音的數(shù)字化

計(jì)算機(jī)只能識(shí)別數(shù)字信號(hào)。數(shù)字信號(hào)的優(yōu)點(diǎn):

①易于進(jìn)行信息處理（信息的識(shí)別、比較、壓縮、加密等）

②高保真度（“0”、“1”兩種狀態(tài)，容易判決，存儲(chǔ)，不怕噪音干擾，無失真地進(jìn)行遠(yuǎn)距離傳輸）聲音數(shù)字化過程：模擬信號(hào)數(shù)字信號(hào)A/DADCD/ADAC17

A/D轉(zhuǎn)換（AnalogtoDigital模數(shù)轉(zhuǎn)換）：

PCM法

(PulseCodeModulation脈沖編碼調(diào)制)

采樣：在連續(xù)信號(hào)中每隔一定時(shí)間取一個(gè)值；

量化：把信號(hào)大小取整為n位二進(jìn)制數(shù)表示；

編碼：按一定規(guī)律產(chǎn)生二進(jìn)制位流輸出信號(hào)。采樣量化編碼聲音的模擬信號(hào)聲音的數(shù)字信號(hào)18例，將下面信號(hào)數(shù)字化。t4.014.9連續(xù)信號(hào)采樣量化和編碼t439715數(shù)字信號(hào)結(jié)果19聲音數(shù)字化三要素：采樣頻率量化位數(shù)聲道數(shù)每秒鐘抽取聲波幅度樣本的次數(shù)每個(gè)采樣點(diǎn)用多少二進(jìn)制位表示數(shù)據(jù)范圍使用聲音通道的個(gè)數(shù)采樣頻率越高聲音質(zhì)量越好數(shù)據(jù)量也越大量化位數(shù)越多音質(zhì)越好數(shù)據(jù)量也越大立體聲比單聲道的表現(xiàn)力豐富，但數(shù)據(jù)量翻倍11.025kHz22.05kHz44.1kHz8位＝256個(gè)值16位＝65536個(gè)值單聲道立體聲

采樣定理：采樣頻率要高于信號(hào)最高有效頻率的兩倍，信號(hào)才可能完全復(fù)原。

如：話音4KHz，采樣8K次；聲音20KHz，采樣40K次。20

聲音數(shù)字化計(jì)算公式數(shù)據(jù)量＝采樣頻率×量化位數(shù)

×聲道數(shù)/8(字節(jié)/秒)采樣頻率(kHz)量化位數(shù)(bit)數(shù)據(jù)量(KB/s)單聲道立體聲11.025810.7721.531621.5343.0722.05821.5343.071643.0786.1344.1843.0786.131686.13172.27215.3.3、音頻的文件格式

①WAV格式

WAV是Microsoft/IBM共同開發(fā)的，標(biāo)準(zhǔn)的WindowsPCM波形文件，是一種未經(jīng)壓縮的PCM脈沖編碼調(diào)制數(shù)據(jù)，是對(duì)聲波信號(hào)數(shù)字化的直接表示形式，主要用于自然聲音的保存與重放。

特點(diǎn)：聲音層次豐富，還原音質(zhì)好22

②MP3格式：

MP3(MPEGAudiolayer3)是一種按MPEG標(biāo)準(zhǔn)的音頻壓縮技術(shù)制作的有損壓縮音頻文件。 MP3Pro是MP3的改進(jìn)算法，對(duì)聲音中的低頻成分采用較高壓縮率，對(duì)高頻成分采用低壓縮率。

特點(diǎn)：高壓縮比(11:1)，優(yōu)美音質(zhì)MPEG標(biāo)準(zhǔn):(MovingPicturesExpertsGroup動(dòng)態(tài)圖像專家組)

主要包括: MPEG-1、MPEG-2、

MPEG-4、MPEG-7、MPEG-21。23

③CD格式：

CD格式的音頻文件擴(kuò)展名為.cda。采樣頻率為44.1kHz，量化位數(shù)為16bit，速率為176kB/s。CD音軌是近似無損的，一張CD盤可以播放74分鐘左右。 一個(gè)cda文件存放的只是一個(gè)索引信息，并不是真正的包含聲音信息，所以不論CD音樂的長(zhǎng)短，在計(jì)算機(jī)上看到的*.cda文件都是44B。

特點(diǎn)：高保真、不能直接復(fù)制。需要使用音頻抓軌軟件進(jìn)行格式轉(zhuǎn)換。24

④WMA文件

WMA(WindowsMediaAudio)是WindowsMedia格式中的一個(gè)子集(音頻格式)。

特點(diǎn)：壓縮到MP3一半且保留同樣音質(zhì)

⑤MIDI文件

MIDI(樂器數(shù)字接口)是由一組聲音或樂器符號(hào)的集合。

特點(diǎn)：數(shù)據(jù)量很小，缺乏重現(xiàn)自然音255.3.4、音頻的獲取與處理

音頻的獲取主要有：①利用錄音軟件直接錄制②使用專業(yè)錄音棚錄制③從唱盤或錄音帶中進(jìn)行轉(zhuǎn)錄④購(gòu)買數(shù)字音頻庫(kù)26

音頻處理：①刪除無用的部分，將需要合并的音軌拼貼起來。②降噪，去除錄音時(shí)的背景噪音。③調(diào)節(jié)均衡，使得高、中、低幾個(gè)頻段聽起來更加悅耳。④添加混響、延遲和變速等效果。⑤壓縮與限制，即動(dòng)態(tài)處理。⑥音頻文件格式的轉(zhuǎn)換。275.4圖像信息處理5.4.1、圖形與圖像

1.圖形(矢量圖形、幾何圖形)矢量圖是用一組指令來描述的，這些指令給出構(gòu)成圖形的各種屬性和參數(shù)。例如：

圓(圓心坐標(biāo),半徑及粗細(xì),色彩)

優(yōu)缺點(diǎn)：①圖形文件占用空間較少②圖形復(fù)雜時(shí)耗時(shí)相對(duì)較長(zhǎng)

繪圖軟件：CorelDRAWFreeHand282.圖像(位圖圖像、點(diǎn)陣圖像) 圖象沒有明顯的線條。 位圖是指在空間和亮度上已離散化的圖像，通過描述每一像素點(diǎn)的顏色或亮度來表示該圖像。它適應(yīng)表現(xiàn)包含大量細(xì)節(jié)的圖片，如明暗、濃淡、層次和色彩變化等。29 優(yōu)缺點(diǎn)：①色彩和色調(diào)豐富，景物逼真

②縮放處理易失真，數(shù)據(jù)量大繪畫軟件：PhotoshopPhotoImpact

圖形與圖像幾個(gè)不同點(diǎn)：

構(gòu)成原理不同；

圖形顏色數(shù)目與文件的大小關(guān)系不同

經(jīng)縮放、旋轉(zhuǎn)等操作后失真現(xiàn)象不同

對(duì)事物的表現(xiàn)力不同。30圖形與圖像的比較圖形圖像文件大小與圖形的復(fù)雜程度有關(guān)，一般較小與圖像的尺寸和顏色有關(guān)，一般較大文件內(nèi)容圖形指令圖像點(diǎn)陣數(shù)據(jù)縮放、旋轉(zhuǎn)處理無失真有失真處理技術(shù)繪制、創(chuàng)造和藝術(shù)性獲取、復(fù)制和技巧性適合范圍表現(xiàn)變化的曲線簡(jiǎn)單圖案、運(yùn)算結(jié)果表現(xiàn)自然和細(xì)節(jié)景物層次、色彩較豐富圖形圖像真實(shí)感圖形繪制模式識(shí)別技術(shù)315.4.2、圖像的數(shù)字化

連續(xù)空間位置的離散和數(shù)字化亮度值的離散和數(shù)字化空間位置采樣m×n20×13256亮度量化8b24b5.4圖像信息處理32 每個(gè)網(wǎng)格用一個(gè)亮度值表示，一幅圖像就要用m×n個(gè)亮度值表示，這個(gè)過程稱為采樣。 把亮度分成k個(gè)等級(jí)區(qū)間，分別對(duì)應(yīng)k個(gè)不同的亮度值，這個(gè)過程稱為量化。 將k個(gè)不同的亮度值由一定位數(shù)的二進(jìn)制數(shù)表示，這個(gè)過程稱為編碼。

采樣量化編碼圖象的模擬信號(hào)圖象的數(shù)字信號(hào)33

圖像的主要參數(shù)：

⑴分辨率分辨率直接影響圖像質(zhì)量。

顯示分辨率：指在顯示器上能夠顯示的像素?cái)?shù)目。(640*480,800*600,1024*768)

圖像分辨率：指數(shù)字圖像的實(shí)際像素?cái)?shù)目，它反映圖像在屏幕中顯示的大小。

像素分辨率：指像素的寬高比(1:1),在像素分辨率不同的機(jī)器間傳輸圖像會(huì)變形。34

⑵顏色深度指記錄每個(gè)像素所使用的二進(jìn)制位數(shù)。

二值圖象（黑白圖像）：每個(gè)象素點(diǎn)由1bit位表示“0”或“1”。

灰度圖象：每個(gè)象素點(diǎn)由多位表示的黑白圖象。如，8bit位表示256種黑白灰度。

彩色圖象：每個(gè)象素點(diǎn)由多位表示的彩色圖象。如，8bit位表示256種彩色。

真彩色圖象：用24個(gè)bit位表示一個(gè)象素，可得到1677萬種顏色，稱為真彩色。35位數(shù)顏色數(shù)說明4位16種Windows3.x中畫筆支持16種顏色8位256種多媒體應(yīng)用中的最低顏色深度16位32768種RGB5:5:5,剩余1位表示其它屬性(透明度)24位16M種真彩色，超出人眼所能識(shí)別的顏色范圍32位16M種RGB8:8:8,剩余8位表示其它屬性(透明度)表5-3、圖象的顏色數(shù)量36

圖像數(shù)據(jù)量的計(jì)算：

數(shù)據(jù)量＝圖像分辨率×顏色深度/8(B)

例，

①一幅640×480的真彩色圖像，未壓縮的圖像數(shù)據(jù)量是多少？640×480×24/8＝921600B＝900KB ②一張3×5英寸的照片，經(jīng)由1200dpi(點(diǎn)/英寸)分辨率掃描儀掃描入計(jì)算機(jī)，其圖象文件大小約： 1200×1200×3×5×24/8≌63MB。375.4.3、圖像的文件格式

BMP：Windows標(biāo)準(zhǔn)圖像文件格式

JPG：一種高效率壓縮格式(1:10～20)

GIF：用于交換圖片的，對(duì)灰度

圖像表現(xiàn)佳，但不超過256色的圖像。JPEG：靜態(tài)有損壓縮，真彩色，文件小

PNG：流式網(wǎng)絡(luò)圖形格式，它使用LZ77派生的無損數(shù)據(jù)壓縮算法。

PNG存儲(chǔ)灰度圖像時(shí)圖像深度達(dá)16位

PNG存儲(chǔ)彩色圖像時(shí)圖像深度達(dá)48位5.4圖像信息處理385.4.4、圖像的獲取與處理

1.圖像的獲取方法采用掃描儀、數(shù)碼相機(jī)進(jìn)行模數(shù)轉(zhuǎn)換從數(shù)字圖像庫(kù)、網(wǎng)上獲取、自行繪制

2.圖像的處理技術(shù)圖像處理手段很多，所有處理都是建立在對(duì)數(shù)據(jù)進(jìn)行數(shù)學(xué)運(yùn)算的基礎(chǔ)上，一般用戶可通過圖像處理軟件(Photoshop)來完成。例如：圖像亮度、對(duì)比度的調(diào)整等。5.4圖像信息處理395.5.1、視頻的基本概念

1.視覺暫留現(xiàn)象人眼有一種視覺暫留的生物現(xiàn)象，即人觀察的物體消失后，物體映像在人眼的視網(wǎng)膜上會(huì)保留一個(gè)非常短暫的時(shí)間(約0.1s)。利用這一現(xiàn)象，將一系列畫面中物體移動(dòng)或形狀改變很小的圖像，以

足夠快的速度連續(xù)播放，就會(huì)

產(chǎn)生連續(xù)活動(dòng)的場(chǎng)景。5.5視頻信息處理40

2.視頻的定義

視頻又稱運(yùn)動(dòng)圖像或活動(dòng)圖像，它是指連續(xù)地隨著時(shí)間變化的一組圖像。

幀：一幅單獨(dú)的圖像

幀率：每秒種播放的幀數(shù)，單位是f/s

典型的幀率：24f/s、25f/s、30f/s

常見的視頻信號(hào)：電影、電視41

3.電視的制式色度信息處理方法→三種彩色電視制式

⑴NTSC制式(美國(guó)、日本、中國(guó)臺(tái)灣等)

NationalTelevisionSystemsCommittee(1953，美國(guó))①30幀/秒(29.97fps)，525行/幀

②隔行掃描：2場(chǎng)/幀，262.5行/場(chǎng)

③顏色模型：YIQ

④寬高比：4:3(幀大小：352*240)42

⑵PAL制式(中國(guó)、德國(guó)、英國(guó)、朝鮮等)

PhaseAlternationLine(1962，德國(guó))①25幀/秒，625行/幀

②隔行掃描：2場(chǎng)/幀，312.5行/場(chǎng)

③顏色模型：YUV

④寬高比：4:3(幀大?。?52*288)⑶SECAM制式(法國(guó)、俄羅斯、東歐國(guó)家)“輪流傳送彩色與存儲(chǔ)”(1966年，法國(guó))類似PAL制式435.5.2、視頻的數(shù)字化掃描采樣量化編碼模擬視頻信號(hào)數(shù)字視頻信號(hào)

視頻是連續(xù)的圖像

圖像是離散的視頻5.5視頻信息處理掃描采樣量化編碼模擬視頻信號(hào)數(shù)字視頻信號(hào)44數(shù)字視頻的特點(diǎn)：

優(yōu)點(diǎn)：①數(shù)字視頻便于創(chuàng)造性的編輯與合成②數(shù)字視頻可不失真地進(jìn)行多次復(fù)制③在網(wǎng)絡(luò)環(huán)境下容易實(shí)現(xiàn)資源共享④數(shù)字視頻可與其它媒體組合使用

缺陷：①處理速度慢②數(shù)據(jù)量巨大(壓縮、光盤)455.5.3、視頻的文件格式

⑴AVI文件AVI是一種音視頻交叉記錄的文件格式,微軟在1992年推出AVI文件及其應(yīng)用軟件VideoforWindows。

特點(diǎn)：①AVI采用幀內(nèi)壓縮，可用一般的視頻編輯軟件進(jìn)行編輯。

②提供無硬件視頻回

放，其窗口大小和幀率可

根據(jù)播放環(huán)境調(diào)整。5.5視頻信息處理46

⑵MOV文件MOV(Moviedigitalvideo)文件是Apple公司在其Macintosh機(jī)推出的視頻文件格式，其相應(yīng)的視頻應(yīng)用軟件QuickTime。QuickTimeforMacintoshQuickTimeforWindowsMOV文件格式的壓縮算法

Video編碼支持16位圖像深度

的幀內(nèi)壓縮和幀間壓縮。47

⑶

MPG文件MPG文件是采用MPEG算法進(jìn)行壓縮的全運(yùn)動(dòng)視頻文件格式。它在1024*768的分辨率下可用每秒25或30幀的速率同步播放全運(yùn)動(dòng)視頻圖像和CD音樂伴音。

DAT文件也是基于MPEG

壓縮算法的一種文件格式,

它是VideoCD和卡拉OKCD

數(shù)據(jù)文件的擴(kuò)展名。485.5.4、視頻的采集與處理

采集視頻數(shù)據(jù)主要有：①?gòu)哪M設(shè)備中采集視頻數(shù)據(jù)②從數(shù)字設(shè)備中采集視頻數(shù)據(jù)③從影視光盤中截取視頻數(shù)據(jù)5.5視頻信息處理視頻數(shù)據(jù)的處理包括：①在保證圖像質(zhì)量的前提下盡可能壓縮視頻圖像的數(shù)據(jù)量②消除視頻產(chǎn)生、獲取和傳輸過程中引入的失真和干擾③從視頻圖像中提取某些特征，以便對(duì)其進(jìn)行描述、分類和識(shí)別495.6多媒體存儲(chǔ)技術(shù)5.6.1、光盤技術(shù)光盤(CD-CompactDisc，高密盤)

特點(diǎn)：①存儲(chǔ)容量大：CD-ROM→650MB

DVD→4.7GB～17GB②記錄密度高：107-108bit/cm2③長(zhǎng)期保存信息：10-100年④非接觸方式、價(jià)格低廉50

1.CD-ROM技術(shù)

CD-ROM是只讀光盤或固定型光盤(只能讀，不能改-重寫、擦除)。一張普通光盤可以存儲(chǔ)650MB數(shù)據(jù),它包括文本、表格、圖形、圖

像、視頻、音頻等文件。凹坑→0平坦→151

CD-ROM的工作原理：

CD-ROM驅(qū)動(dòng)器讀取數(shù)據(jù)時(shí)由激光束照射到光盤的平面上