16.1多媒體技術(shù)概述6.2音頻信息的表示和處理6.3圖形圖像的表示和處理6.4視頻信息處理6.5動畫（了解）6.6多媒體數(shù)據(jù)壓縮標(biāo)準(zhǔn)（選講）第6章多媒體基礎(chǔ)第一頁，共六十六頁。2一、多媒體的概念

媒體：即信息的載體兩種含義：（1）存儲信息的載體，如磁盤、存儲器等（2）傳遞信息的載體，如數(shù)字，聲音等其中（2）為主要學(xué)習(xí)范疇。6.1多媒體技術(shù)概述第二頁，共六十六頁。3媒體分類:

視覺、聽覺、觸覺等多媒體：直接作用于人的感官的文字、圖形、圖像、動畫、聲音和影像等各種媒體的統(tǒng)稱，是多種信息載體的表現(xiàn)形式和傳遞方式。多媒體技術(shù)：把文字、圖形、圖像、動畫、音頻和視頻等各種媒體通過計算機進(jìn)行數(shù)字化的采集、獲取、加工處理、存儲和傳播而綜合為一體化的技術(shù)。第三頁，共六十六頁。4二、多媒體技術(shù)的特性多樣性集成性

多媒體信息的集成設(shè)備和軟件的集成交互性數(shù)字化第四頁，共六十六頁。5三、多媒體信息的類型

文本、圖形、圖像、動畫、視頻和音頻

文本

（計算機中基本的信息表示方式，包括字母、數(shù)字及各種符號）

圖形（通過繪圖軟件繪制的直線、圓、圓弧、曲線等組成的畫面，以矢量圖形文件保存，保存其生成圖形的指令）第五頁，共六十六頁。6三、多媒體信息的類型圖像（通過掃描儀等輸入設(shè)備捕捉的真實場景的畫面，數(shù)字化后以位圖格式存儲。）動畫（制作軟件有flash、3DSMAX等）視頻（來自攝像機等視頻信號源的影像，數(shù)字化后以視頻文件格式存儲）音頻（包括語音、音樂及各種動物和自然界發(fā)出的聲音等）第六頁，共六十六頁。7四、多媒體技術(shù)的發(fā)展歷史1984年Apple公司Macintosh機bitmap1986年P(guān)hilips、Sony推出650M光盤1989年Intel的DVI(交互數(shù)字視頻)1992年Intel將DVI用于主板1990S，圖像壓縮/解壓方案MPEG第七頁，共六十六頁。8五、多媒體技術(shù)的應(yīng)用領(lǐng)域多媒體教育電子出版物報紙，教材，辭典，數(shù)據(jù)庫文獻(xiàn)1張光盤可存儲600本50萬漢字的書多媒體網(wǎng)絡(luò)應(yīng)用互聯(lián)網(wǎng)的直播、視頻點播、遠(yuǎn)程教育、視頻會議系統(tǒng)第八頁，共六十六頁。96.2音頻的表示和處理6.2.1音頻的數(shù)字化（重點）6.2.2聲音合成技術(shù)6.2.3常用的音頻文件格式6.2.4聲音處理軟件第九頁，共六十六頁。10聲音：具有振幅周期性的聲波3個量描述：振幅、周期、頻率人耳聽覺范圍：20~20kHz蚊子聲音說話頻率：300Hz~3400Hz音頻（Audio）音頻技術(shù)包括：音頻信息采集、編碼/解碼、編輯、傳輸；音樂合成、語音識別理解、音頻視頻同步6.2音頻信息的表示與處理第十頁，共六十六頁。116.2.1音頻的數(shù)字化

多媒體信息在計算機中進(jìn)行處理，其核心問題是數(shù)字化，即轉(zhuǎn)化為二進(jìn)制數(shù)字進(jìn)行處理，處理后在輸出。在其過程中要經(jīng)過“模數(shù)”轉(zhuǎn)換或“數(shù)模”轉(zhuǎn)換。音頻信號轉(zhuǎn)為數(shù)字信號的過程如下：第十一頁，共六十六頁。12

實現(xiàn)音頻的數(shù)字化就是將模擬音頻信號轉(zhuǎn)換成有限個數(shù)字表示的離散序列。音頻數(shù)字化涉及音頻的采樣、量化和編碼。模擬聲音信號采樣量化編碼數(shù)字聲音1……6.2.1音頻的數(shù)字化

選擇采樣頻率，進(jìn)行采樣；選擇分辨率，進(jìn)行量化；形成數(shù)字化聲音。第十二頁，共六十六頁。13聲音采樣計算機并不直接使用連續(xù)平滑的波形來表示聲音。它是以固定的時間間隔對波形的幅值進(jìn)行采樣，用得到的—系列數(shù)字量來表示聲音。6.2.1音頻的數(shù)字化第十三頁，共六十六頁。14奈奎斯特采樣定理：采樣頻率只要高于被采樣信號最高頻率的2倍，就能獲得滿意的聲音還原效果。采樣頻率：單位時間內(nèi)的采樣次數(shù)。常用的采樣頻率：11.025kHz(語言效果)、22.05kHz(音樂效果)和44.1kHz(高保真效果)6.2.1音頻的數(shù)字化第十四頁，共六十六頁。15量化6.2.1音頻的數(shù)字化

采樣得到的數(shù)據(jù)只是一些離散的值，將這些離散的值用計算機中的若干二進(jìn)制位來表示，這一過程稱作量化。顯然，量化的過程中要損失一些精度。

量化精度：若采樣位數(shù)為R，則有2R個量化級；量化級分得越細(xì)，對聲音信號的反應(yīng)越靈敏，即量化精度越高，存儲的數(shù)據(jù)量也就越大。第十五頁，共六十六頁。166.2.1音頻的數(shù)字化

3位量化只能表示8個值；o．75，0．5，0．25，0，-0．25，-0．5，一0．75和-1，可以看出量化位數(shù)越少，波形就越難辨認(rèn)，還原后的聲音質(zhì)量也就越差。第十六頁，共六十六頁。17

對聲音進(jìn)行數(shù)據(jù)壓縮，減少數(shù)據(jù)量，并組織數(shù)據(jù)，便于存儲和處理。（3）編碼6.2.1音頻的數(shù)字化（重點）第十七頁，共六十六頁。186.2.1音頻的數(shù)字化

聲道數(shù):指聲音通道的個數(shù)。單聲道只記錄和產(chǎn)生一個波形，雙聲道記錄和產(chǎn)生兩個波形，即立體聲，存儲空間是單聲道的兩倍。第十八頁，共六十六頁。196.2.1音頻的數(shù)字化

波形聲音的主要參數(shù)包括：取樣頻率，量化位數(shù)，聲道數(shù)目，使用的編碼方法及碼率。碼率幾即每秒中的數(shù)據(jù)量，數(shù)字聲音未壓縮前，碼率的計算機公式為：

碼率（b/s）=采樣頻率×量化位數(shù)×聲道數(shù)

（要會計算）

例：雙聲道立體聲，采樣頻率為11.025kHz，8位量化，其碼率=11.025*8*2=176.4(kb/s)=22.05(kB/s)

存儲1分鐘這樣的聲音數(shù)據(jù)，容量=22.05(kB/s)×60(s)=1323kB1292KB1.262MB第十九頁，共六十六頁。20

（1）樂器數(shù)字接口MIDI（了解）

MIDI是多媒體計算機所支持的一種聲音產(chǎn)生方法，與波形音頻產(chǎn)生和記錄聲音的方法不同，它不支持記錄聲音的波形信息，而是說明音樂信息的一系列指令，如音符序列、節(jié)拍速度等，即它通過描述聲音產(chǎn)生數(shù)字化的樂譜。

6.2.2聲音合成技術(shù)第二十頁，共六十六頁。21

MIDI聲音特點：（1）占用數(shù)據(jù)量小。30分鐘的音樂，用MIDI文件記錄只需200KB，用16位CD品質(zhì)的未壓縮WAV文件記錄需317MB。（2）編輯修改方便靈活。配音比較方便。因為MIDI文件存儲的是命令，而不是聲音波形；容易編輯。（3）配音比較方便。用作背景音樂，和其它媒體如數(shù)字電視、圖形、動畫、話音等一起播放，加強演示效果。（4）處理語音能力較差，并且受合成器中樂器組合限制，不能保證一個MIDI文件在不同聲音卡上播放時效果一樣6.2.2聲音合成技術(shù)第二十一頁，共六十六頁。22（2）語音合成（Speechsynthesis）語音合成：使計算機模仿人的發(fā)聲，自動生成語音的過程。合成的語音必須是可理解的，聽上去要盡量自然，可理解是一個基本的前提。例如：在股票交易、航班等動態(tài)查詢，電話中相關(guān)信息的查詢等就要用到該技術(shù)。6.2.2聲音合成技術(shù)第二十二頁，共六十六頁。23例：計算機合成的語音和音樂你好，我是貝爾實驗室的中文語音合成系統(tǒng)（BellTTS1）南京大學(xué)計算機系2002年招收了202名本科生，15名（22名）博士生，130多名碩士生。（中科大訊飛）

（Bell）我們都是同行，我們一路同行，去參加人參培植研討會（Bell）

（訊飛）計算機合成的MIDI音樂軍港之夜（6KB）

需要進(jìn)一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力第二十三頁，共六十六頁。24WAV特點：真實采樣，文件大MP3特點：壓縮比高，文件小RA、RAM、RM：網(wǎng)絡(luò)在線收聽MIDMIDI格式文件RMIMIDI格式文件（微軟）MOD自帶波形表，比MID文件大6.2.3常見音頻文件格式第二十四頁，共六十六頁。25波形的剪輯聲音強度調(diào)節(jié)添加聲音的特殊效果格式轉(zhuǎn)換功能6.2.4聲音處理軟件聲音處理軟件可以對波形音頻數(shù)據(jù)進(jìn)行加工處理，編輯處理功能主要包括：第二十五頁，共六十六頁。26超級解霸GoldWaveAudioEditerSoundEditWaveStudioCoolEditPro6.2.4聲音處理軟件第二十六頁，共六十六頁。27?圖像的數(shù)字化?矢量圖形表示?圖形圖像文件格式?圖形、圖像處理軟件6.3圖形、圖像的表示與處理第二十七頁，共六十六頁。28

圖形:即矢量圖形或幾何圖形，基本元素是圖元,即圖形命令,用來描述構(gòu)成畫面的直線、矩形、圓、圓弧、曲線等的形狀、位置、顏色等各種屬性和參數(shù)。

圖像：點陣圖像或位圖圖像(Bitmap),基本元素是像素。通過描述畫面中每一個像素的亮度或顏色來表示畫面。圖像更逼真；圖形是對圖像的抽象，圖形變換不失真。第二十八頁，共六十六頁。29

（1）圖像的獲取計算機獲取圖像的過程稱為圖像的獲取，其步驟為：

采樣量化6.3.1圖像的數(shù)字化第二十九頁，共六十六頁。30采樣：對圖像進(jìn)行離散化處理。經(jīng)采樣得到N*M的離散樣本陣列，整個樣本陣列構(gòu)成位圖，每個采樣點稱為一個像素。量化：對每個采樣點的灰度或顏色進(jìn)行數(shù)字化處理，即用二進(jìn)制進(jìn)行編碼，表示圖像的顏色。6.3.1圖像的數(shù)字化第三十頁，共六十六頁。31

描述圖像的重要屬性是：

圖像分辨率彩色空間圖像顏色深度和最大顏色數(shù)圖像的數(shù)據(jù)量（2）圖像的表示6.3.1圖像的數(shù)字化第三十一頁，共六十六頁。32

圖像的分辨率：指圖像的尺寸，即水平方向上與垂直方向上所包含的像素個數(shù)。

與屏幕分辨率未必相同。

彩色空間：即顏色模型，指圖像所使用的彩色描述方法，如：RGB模型、CMYK(青橙黃黑)模型、YUV(亮度、色差)模型。6.3.1圖像的數(shù)字化第三十二頁，共六十六頁。33舉例：分辨率與圖像尺寸的關(guān)系520x376260x188130x94

在顯示比例相同時，顯示在屏幕上的圖像尺寸與圖像分辨率成正比第三十三頁，共六十六頁。34

圖像顏色深度和最大顏色(灰度)數(shù)：

圖像顏色深度----組成該圖像的所有顏色分量的位數(shù)之和，如8位或24位，即表達(dá)彩色的所有二進(jìn)制位數(shù)。

最大顏色(灰度)數(shù)----指圖像中可能出現(xiàn)的不同顏色(灰度)的最大數(shù)目。圖像顏色深度決定最大顏色(灰度)數(shù)6.3.1圖像的數(shù)字化第三十四頁，共六十六頁。35

注意：

1位所表示的顏色數(shù)為2（黑白）；

8位所表示的顏色數(shù)為256（灰色）；

RGB使用24位來表示彩色。6.3.1圖像的數(shù)字化第三十五頁，共六十六頁。36

圖像數(shù)據(jù)量：一幅圖像的數(shù)據(jù)量(字節(jié))

圖像數(shù)據(jù)量＝圖像寬度×圖像高度×圖像深度/8幾種常用圖像的數(shù)據(jù)量見P1606.3.1圖像的數(shù)字化第三十六頁，共六十六頁。37（1）矢量圖形的組織

圖元：指一些形狀簡單的物體，如點、直線、曲線、圓、多邊形、球體、立方體、矢量字體等。用一組命令和數(shù)學(xué)公式描述這些圖元，包括它們的形狀、位置、顏色等信息。

用簡單的圖元可以構(gòu)成復(fù)雜的圖形。6.3.2矢量圖形的表示第三十七頁，共六十六頁。38（2）矢量圖形的特點尺寸可以任意變化而不損失圖像的質(zhì)量；快速打印和屏幕顯示；文件較??；高度的可編輯性；缺乏真實感。6.3.2矢量圖形的表示第三十八頁，共六十六頁。39(1)位圖類圖像文件

BMP、GIF、PNG、JPEG、TIFF、RAW等(2)矢量圖形文件

SVG、WMF、EPS、CDR等6.3.3常用的圖形圖像文件格式第三十九頁，共六十六頁。401.位圖類文件格式

BMP

是與設(shè)備無關(guān)的通用圖形圖像存儲格式，該格式保存時不經(jīng)過壓縮，因此圖像質(zhì)量高，但文件比較大。

JPEG簡稱為JPG，是一種流行的圖像文件壓縮文件，是有損壓縮，起壓縮比為2:1到50:1，適合網(wǎng)上傳播。缺點：壓縮和還原的速度比較慢。6.3.3靜態(tài)圖像文件格式第四十頁，共六十六頁。411.位圖類文件格式

GIF

是一種與硬件無關(guān)的8位彩色文件格式，其文件的大小取決于實際使用的顏色數(shù)，壓縮時有顏色數(shù)量上的壓縮，因此，該格式保存時可能有顏色的丟失。Internet上的彩色動畫文件多采用該格式。

PNG(便攜式網(wǎng)絡(luò)圖片)

是一種位圖類型的文件格式，使用無損壓縮，該標(biāo)準(zhǔn)允許在一個文件中存儲多幅圖像，正在網(wǎng)絡(luò)中廣泛應(yīng)用。6.3.3靜態(tài)圖像文件格式第四十一頁，共六十六頁。42

2.矢量圖形格式

EPS

是與分辨率無關(guān)的PostScript文件，該格式的文件可以包括矢量和位圖圖形，常用在程序間傳輸PostScript語言編碼的圖稿。

WMF

廣泛應(yīng)用于Windows平臺中，如：剪貼畫。

EMF

該格式是WMF格式的增強版。6.3.3靜態(tài)圖像文件格式第四十二頁，共六十六頁。436.3.4圖形、圖像處理軟件功能：文件處理編輯、繪制：旋轉(zhuǎn)、縮放、cut/paste、填充等效果處理：顏色、紋理、濾鏡、銳化、柔化畫圖工具(mspaint)我行我速；光影魔術(shù)手ACESee；FlashPhotoShop；CorelDrawAutoCAD第四十三頁，共六十六頁。446.4.1視頻信息采集6.4.2視頻信息主要技術(shù)參數(shù)6.4.3常見視頻文件格式6.4.4視頻信息處理軟件6.4視頻信息處理第四十四頁，共六十六頁。45

視頻：隨時間變化的一組活動圖像。25,30幀/秒視頻信息的采集，目的模擬信號數(shù)字信號。設(shè)備：視頻采集卡（信號轉(zhuǎn)換），如DV卡(1394卡)

視頻采集卡包括：視頻信號采集模塊；音頻信號采集模塊；總線接口模塊。視頻采集卡工作方式：靜態(tài)：單幀采集動態(tài)：連續(xù)采集

攝像頭、數(shù)字?jǐn)z像機等不需視頻采集卡。6.4.1視頻信息采集第四十五頁，共六十六頁。46幀速：每秒播放多少幅圖像例：30幀/s、25幀/s，連續(xù)圖像至少>12幀/s視頻信息數(shù)據(jù)量=

每幅圖像的數(shù)據(jù)量*幀速*播放時間例：1280*1024真彩色、30幀/s、1分鐘1280*1024*（24/8）*30*60=6.6GB如果不壓縮，1張650M的光盤只能播放6秒鐘6.4.2視頻信息主要技術(shù)參數(shù)第四十六頁，共六十六頁。47

1.AVI（AudioVideoInterleaved）該格式是對音頻/視頻采用有損壓縮的方式，其壓縮率較高，并可將音頻和視頻混合在一起。目前，AVI主要應(yīng)用于多媒體光盤上，保存影像信息。

缺點：不適應(yīng)在網(wǎng)絡(luò)上對視頻流的實時播放2.MOV

QuickTime的文件格式，圖像質(zhì)量比AVI好。6.4.3動態(tài)圖像文件格式第四十七頁，共六十六頁。483.MPEG

以MPEG壓縮和解壓縮技術(shù)為基礎(chǔ)圖像格式，后綴：MPG4.SWFFlash軟件支持的矢量動畫格式。5.DATVCD專用格式，是基于MPEG壓縮算法的一種格式。。6.RM流式視頻格式，可以邊下載邊播放，是網(wǎng)絡(luò)中最為流行的視頻格式之一。6.4.3動態(tài)圖像文件格式第四十八頁，共六十六頁。49視頻信息播放軟件代替解壓縮卡超級解霸WindowsMediaPlayer視頻信息編輯制作軟件剪輯、合成QuickTimeAdobePremiereProWindowsMediaEncode6.4.4視頻信息處理軟件第四十九頁，共六十六頁。506.5.1動畫的概念6.5.2動畫的種類6.5.3動畫的實現(xiàn)方法6.5.4二維動畫和三維動畫（自學(xué)）6.5.5動畫制作軟件（自學(xué)）6.5動畫第五十頁，共六十六頁。51

動畫

即運動的圖畫，就是將一幅幅靜止圖像進(jìn)行連續(xù)播放。

連續(xù)體現(xiàn)在播放時間上的連續(xù)和播放圖像上的連續(xù)。6.5.1動畫的概念第五十一頁，共六十六頁。521.過程動畫

強調(diào)控制物體運動變化的過程，相對于空間環(huán)境的位置變化或環(huán)境本身的變化，也就是要么環(huán)境變，要么物體變。2.變形動畫

通過計算機的運算，實現(xiàn)物體自身形態(tài)的變化，如確定第一幅畫面，然后在此基礎(chǔ)上通過一些算法生成后續(xù)的動畫畫面。6.5.2動畫的種類第五十二頁，共六十六頁。531.逐幀動畫

其核心在產(chǎn)生關(guān)鍵幀畫面，然后在此基礎(chǔ)上利用相關(guān)算法生成中間幀，再利用緩沖技術(shù)產(chǎn)生動畫。在播放前已經(jīng)生成所有的每一幀畫面。2.實時動畫

在動畫的實現(xiàn)過程中即時繪制每一幀畫面，邊播放邊生成畫面。6.5.3動畫的實現(xiàn)方法第五十三頁，共六十六頁。54FlashDirector3DStudioMAXAnimatorStudio，AnimatorPro6.5.5動畫制作軟件endof6.5第五十四頁，共六十六頁。556.6.1多媒體數(shù)據(jù)壓縮的概念6.6.2多媒體數(shù)據(jù)壓縮的可能性和必要性6.6.3數(shù)據(jù)壓縮方法概述6.6.4多媒體數(shù)據(jù)壓縮的標(biāo)準(zhǔn)6.6多媒體數(shù)據(jù)壓縮標(biāo)準(zhǔn)第五十五頁，共六十六頁。566.6.1多媒體數(shù)據(jù)壓縮的概念

數(shù)據(jù)壓縮是通過編碼技術(shù)/數(shù)學(xué)運算將原來較大的文件變?yōu)檩^小文件的數(shù)字處理技術(shù)，以降低數(shù)據(jù)存儲時占用的存儲空間。

數(shù)據(jù)壓縮的前提是無失真或允許一定失真，以盡可能少的數(shù)據(jù)表示信號。

數(shù)據(jù)解壓縮是把壓縮數(shù)據(jù)還原成原始數(shù)據(jù)或與原始數(shù)據(jù)相近的數(shù)據(jù)的技術(shù)。第五十六頁，共六十六頁。576.6.2

多媒體數(shù)據(jù)壓縮的必要性與可能性

必要性數(shù)據(jù)量龐大存儲容量和通信帶寬的限制

可能性多媒體信息有大量的冗余相鄰數(shù)據(jù)之間存在相關(guān)性第五十七頁，共六十六頁。58常用數(shù)據(jù)壓縮方法：

無損壓縮方法特點：能確保解壓縮后的數(shù)據(jù)不失真，一般用于文本數(shù)據(jù)、程序以及重要圖片和圖像的壓縮，壓縮比一般為2:1-5:1。

無損壓縮軟件有：WinZip、WinRar等。

無損壓縮的編碼方法有：行程編碼、哈夫曼編碼、二進(jìn)制算術(shù)編碼等。6.6.3數(shù)據(jù)壓縮方法概述第五十八頁，共六十六頁。59

有損壓縮方法是以犧牲某些信息為代價，換取較高的壓縮比，一般用于圖像、視頻和音頻數(shù)據(jù)的壓縮，壓縮比高達(dá)幾十到幾百倍。

大多數(shù)常用的圖像壓縮標(biāo)準(zhǔn)，總是上述2類方法的混合使用，例如JPEG，MPFG等。6.6.3數(shù)據(jù)壓縮方法概述第五十九頁，共六十六頁。60衡量數(shù)據(jù)壓縮方法優(yōu)劣需考慮的因素：信息的壓縮比；實現(xiàn)壓縮/還原算法的難易程度；重現(xiàn)精度。6.6.3數(shù)據(jù)壓縮方法概述第六十頁，共六十六頁。61

聯(lián)合圖像專家組（JointPhotographicExpertsGroup,JPEG

）,靜止圖像壓縮標(biāo)準(zhǔn)運動圖像專家組（MovingPictureExpe