專題一多媒體技術基礎

第一章多媒體計算機的定義和關鍵技術

媒體（Medium）在計算機領域中有兩種含義：

1、用以存儲信息的實體，如磁帶、磁盤、光盤和半導體存儲器；

2、信息的載體，如數(shù)字、文字、聲音、圖形和圖像。

多媒體技術中的媒體是指后者。

多媒體計算機技術定義

計算機綜合處理多種媒體信息（文本、圖形、圖象、音頻和視頻），使多種信息建立邏輯連接，集成為一個系統(tǒng)并具有交互性。

簡單地說：計算機綜合處理聲、文、圖信息；具有集成性和交互性；

總之多媒體計算機具有信息載體多樣性、集成性和交互性。

多媒體計算機的關鍵技術（把一臺普通計算機變?yōu)槎嗝襟w計算機要解決的的關鍵技術）

（1）視頻音頻信號獲取技術；

（2）多媒體數(shù)據(jù)壓縮編碼和解碼技術；

（3）視頻音頻數(shù)據(jù)的實時處理技術和特技：

（4）視頻音頻數(shù)據(jù)的輸出技術。

多媒體計算機的分類

家電制造廠商研制的：電視計算機一一靈巧電視SmartTV

計算機制造廠商研制的：計算機電視一一發(fā)展方向是TV-killer

在多媒體計算機發(fā)展史上卓有成效的公司和系統(tǒng)

1、Philips/Sony公司的CDT系統(tǒng)

2、Commodore公司的Amiga系統(tǒng)

3^Apple公司的HyperCard

4、Intel和IBM公司的DVI系統(tǒng)

HDTV（HighDefinitionTelevision高清晰度電視）特點：

（1）采用國際標準的壓縮編碼算法MPEG-2。（能與多媒體計算機兼容、通信）

（2）采用打包數(shù)據(jù)結構。（圖像、聲音、及多媒體服務附加數(shù)據(jù)以包的方式發(fā)送，包可隨即次序傳送、大小動態(tài)分配）

（3）采用雙層傳輸技術。（重要數(shù)據(jù)放到高優(yōu)先級的載波上傳輸，其他數(shù)據(jù)放到具有標準優(yōu)先級的載波上傳輸）

常規(guī)電視數(shù)字化：

湯姆遜（Thomson）消費電子公司通過休斯銀河（HughesGalaxy）601衛(wèi)星，開創(chuàng)世界首次全數(shù)字直接到戶的衛(wèi)星廣播業(yè)務

（DSS-l）igitalSatel1itesSystem及DBS-DirectBroadcastService）。消費者很容易獲得120到150個頻道最受歡迎的電視

節(jié)目。用戶端只需要購置一個易于安裝的18英寸或常規(guī)碟形天線，一個和錄像機體積差不多的接收機/解碼器以及一個易于控制和

操作的遙控器。

交互式電視技術（ITV）：

最常用的是節(jié)目間的交互，即V0D系統(tǒng)。典型的V0D系統(tǒng)主要由下述四部分組成；

（1）視頻服務器；（2）編碼器/路由器；（3）用戶請求計算機和記帳計算機；（4）機頂盒

多媒體計算機技術在常規(guī)電視和高清晰度電視，影視節(jié)目制作中的應用分成兩個層次:

影視畫面的制作；影視的后期制作（如非線性編輯器）。

用多媒體技術制作V-CD及影視音響卡拉0K機

多媒體數(shù)據(jù)壓縮和解壓縮技術是多媒體計算機系統(tǒng)中的關鍵技術，首次將此技術應用到VCD播放機中的是美國C-Cube公司。

VCD問世于1993年，是多家公司聯(lián)合制定的數(shù)字電視視盤技術標準。安徽合肥萬燕公司在世界上首先利用MPEG國際標準和CD

光盤技術，研制了全功能影視音響卡拉0K機CDK-320。

VCD播放機，由CD-ROM驅動器、MPEG解壓卡及控制操作電路組成。

DVD與VCD的不同只是視頻和音頻的編碼標準不同，兩者的原理是一樣的。DVD的視頻和音頻編碼標準是MPEG-2或者AC-3而

不是MPEGT。

V-CD播放系統(tǒng)主要有下述兩種產(chǎn)品：MPEG播放卡、V-CD播放機

多媒體家庭網(wǎng)關

MHG（多媒體家庭網(wǎng)關）數(shù)據(jù)流向圖MHG結構圖

一般認為，多媒體技術研究的興起從（1984年，美國Apple公司推出Macintosh系列機）開始

多媒體創(chuàng)作工具的分類:

基于時間的創(chuàng)作工具；

基于圖符（Icon）或流線（Line）創(chuàng)作工具；

基于卡片（Card）和頁面（Page）的創(chuàng)作工具；

以傳統(tǒng)程序語言為基礎的創(chuàng)作工具。

多媒體創(chuàng)作工具的應用：

制作各種電子出版物、教材、參考書、地圖、醫(yī)藥衛(wèi)生、商業(yè)手冊及游戲娛樂節(jié)目。

多媒體應用系統(tǒng)、演示系統(tǒng)或信息查詢系統(tǒng)、導游系統(tǒng)；培訓和教育系統(tǒng)；娛樂、視頻動畫及廣告等等。

多媒體數(shù)據(jù)庫的研究途徑：

（1）在現(xiàn)有商用數(shù)據(jù)庫管理系統(tǒng)的基礎上增加接口，以滿足多媒體應用的需要；（實用，效率低）

（2）建立基于一種或幾種應用的專用多媒體信息管理系統(tǒng)；（易實現(xiàn)，缺乏通用性，可擴展性差）

（3）從數(shù)據(jù)模型入手，研究全新的通用多媒體數(shù)據(jù)庫管理系統(tǒng)（研究和發(fā)展的主流，難度較大）

多媒體數(shù)據(jù)庫要解決的關鍵技術問題：

（1）多媒體數(shù)據(jù)模型：采用面向對象的方法描述和建立多媒體數(shù)據(jù)模型是較好的方法。（2）數(shù)據(jù)的壓縮和解壓縮

（3）多媒體數(shù)據(jù)的存貯管理和存取方法（4）多媒體信息的再現(xiàn)及良好的用戶界面（5）分布式技術

多媒體數(shù)據(jù)存儲的問題：巨大的數(shù)據(jù)量、存儲技術、多媒體對象存儲、多媒體文檔檢索。

多媒體數(shù)據(jù)庫基于內容的檢索：目標標識，特征提取，數(shù)據(jù)庫查詢接口，檢索引擎，索引/過濾器

多媒體通信分類：

（1）對稱的全雙工的多媒體通訊。如分布式多媒體信息系統(tǒng)、視頻會議系統(tǒng)及計算機支持的協(xié)同工作系統(tǒng)；

（2）非對稱全雙工的多媒體通訊系統(tǒng)。如交互式電視系統(tǒng)（ITV）、點播電視系統(tǒng)（VOD）

多媒體通信的關鍵技術：（1）多媒體數(shù)據(jù)壓縮。（2）高速數(shù)據(jù)通訊問題。尤其是視頻會議系統(tǒng)要解決視頻會議系統(tǒng)的國際標準問題。

視頻會議系統(tǒng)可分為兩類：

（1）點對點視頻會議系統(tǒng)：如可視電話、臺式機一臺式機視頻會議（桌面視頻會議系統(tǒng)）、會議室一會議室視頻會議

（2）多點視頻會議系統(tǒng)：如三個或三個以上不同地點的參加者一起參加討論。多點會議系統(tǒng)的關鍵技術是：多點控制器（MCU）,

它能自動的交換數(shù)據(jù)。

視頻會議系統(tǒng)的結構：視頻會議終端、多點控制器、信道（網(wǎng)絡）、控制管理軟件。

MCU——多點控制單元/多點控制器

MCU是視頻會議系統(tǒng)的關鍵設備，它的主要功能是對視頻、語音及數(shù)據(jù)信號進行切換。例如它會將傳送到MCU某會場的場景圖

像信號切換到所有會場，對于語音信號，若同時有幾個發(fā)言，可以對他們進行混合處理，選出最高的音頻信號切換到其它會場。

MCU的主要組成部分：網(wǎng)絡接口單元、呼叫控制單元、多路復用和解復用單元、音頻處理器、視頻處理器、數(shù)據(jù)處理器、控制

處理器、密鑰處理分發(fā)器、呼叫控制處理器。

多媒體計算機的發(fā)展趨勢

（1）進一步完善計算機支持的協(xié)同工作環(huán)境CSCW（ComputerSupportedCollaborativeWork）

（2）智能多媒體技術

（3）把多媒體信息實時處理和壓縮編碼算法作到CPU芯片中。（集成原則:壓縮算法采用國際標準設計；多媒體功能的單獨解

決變成集中解決；體系結構設計和算法相結合。）

總之，多媒體計算機將朝著高分辨率、提高顯示質量、高速化、簡單化、智能化方向發(fā)展。

第二章多媒體信息處理技術

采樣、量化、數(shù)字化、數(shù)字圖像

多媒體計算機處理圖像和視頻，首先必須把連續(xù)的圖像函數(shù)f(x,y)進行空間和幅值的離散化處理:

采樣:空間連續(xù)坐標(X,y)的離散化

量化：f(x,y)顏色的離散化

數(shù)字化:兩種離散化結合在一起，叫做數(shù)字化。離散化的結果稱為數(shù)字圖像。

x,y的離散化稱為采樣

f(x,y)的離散化稱為量化

采樣

對連續(xù)圖像彩色函數(shù)f(x,y),沿x方向以等間隔Ax采樣，采樣點數(shù)為N,沿y方向以等間隔Ay采樣，采樣點數(shù)為N,于

是得到一個NXN的離散樣本陣列

[f(m,n)]NXN。

為了達到由離散樣本陣列以最小失真重建原圖的目的，采樣密度必須滿足香農(nóng)采樣定理采樣密度：與Ay)

采樣定理：采樣間隔與f(x,y)頻帶之間，頻帶愈窄，相應的采樣頻率可以降低，采樣頻率是圖像變化頻率二倍時，就能保證

由離散圖像數(shù)據(jù)無失真地重建原圖。

顏色的基本概念

彩色可用亮度、色調和飽和度來描述，人眼看到任一彩色光都是這三個特性的綜合效果。

亮度：光作用于人眼時所引起的明亮程度的感覺，它與被觀察物體的發(fā)光強度有關。(光的強和弱)

色調：當人眼看一種或多種波長的光時所產(chǎn)生的彩色感覺，它反映顏色的種類，是決定顏色的基本特性。

飽和度：指顏色的純度，即摻入白光的程度(指顏色的深淺程度，對于同一色調彩色光，飽和度越深顏色越鮮明或者說越純)。

紅色+白光>粉紅色>飽和度下降

紅色+綠色>黃色>色調發(fā)生變化

色度：色調和飽和度通稱為色度。

亮度表示某彩色光的明亮程度，而色度則表示顏色的類別與深淺程度。

三基色原理

三基色原理：自然界常見的各種顏色光，都可由紅(R)、綠(G)、藍(B)三種顏色光按不同比例相配而成，同樣絕

大多數(shù)顏色也可以分解成紅、綠、藍三種色光。

三基色的選擇不是唯一的，三種顏色必須是相互獨立的，即任何?種顏色都不能由其他兩種顏色合成。

相加混色：把三種基色光按不同比例相加稱之為相加混色。

常用亮度公式：(Y表示白光的亮度)

NTSC電視制式:Y=0.3R+0.59G+0.11B；

PAL電視制式：Y=0.222R+0.707G+0.071B

注：如果把單色光亮度定為100,則主觀感覺是綠光僅次白光，是三基色中最亮的，紅光次之，亮度約占綠光的一半，藍光最

弱，亮度約占紅光的1/3。注意0.3+0.59+0.11=1.0三原色的系數(shù)之所以不同是因為人的眼睹對不同波長的顏色有著不同的敏感度。

RGB彩色空間

當三基色按不同強度相加時，可得到任何一種顏色。在RGB彩色空間，某一種顏色和這三種顏色之間的關系可用下面的式子來

描述：F（顏色）=r[R]+g[G]+b[B]（r+g+b=l）

其中r、g、b為三色系數(shù)。r[R]、g[G]、b[B]為F色光的三色分量。當三基色等量相加時，得到白色。

不管多媒體系統(tǒng)采用何種色彩空間，最后監(jiān)視器輸出一定要轉換成RGB色彩空間。

RGB和黑白電視信號不兼容。

YUV彩色空間

攝像機把攝得的彩色圖像信號，經(jīng)分色棱鏡分成RGB。三個分量的信號，分別經(jīng)放大和丫校正得到RGB,再經(jīng)過矩陣變換電路

得到亮度信號Y、色差信號R-Y和B-Y。

Y=0.3R+0.59G+0.UB~Y~■0.30.59o.ii-R

U=m(B-Y)=0.493(B-Y)U=-0.15-0.290.44G圖像子采樣

V=n(R-Y)=0.877(R-Y)V0.61-0.52-0.096B對圖像進行采樣時，如果對色差信號

優(yōu)點：使用的采樣頻率比對亮度信號使用的采樣

1）亮度信號Y解決了彩色電視和黑白電視的兼容問題。頻率低，這種采樣就稱為圖像子采樣

2）可以利用人眼的特性來降低數(shù)字彩色圖像所需要的存儲容量。（subsampling）o

YUV彩色空間，數(shù)字化后通常的比例為：Y:U:V=8:4:4Y:U:V=8:2:2

YIQ彩色空間

亮度：Y色差：I、Q

I軸：表示人眼最敏感的色軸

（123度的橙色及其相反方向的303度的青色，人眼對其具有最大的彩色分期

Q軸：表示人眼最不敏感的色軸

/=Teos330-ysin33°

優(yōu)點：

人眼分辨紅、黃之間顏色變化的能力最強，而分2=Psin330+Ucos33°

辨藍與紫之間顏色變化的能力最弱。在傳送分辨

力弱的信號時，可以用較窄的頻帶，而傳送分辨

力較強的信號時，可以用較寬的頻帶。

Y0.30.590.11R

I-0.6-0.28-032G

Q0.21-0.52031B

電視廣播制式

世界上主要使用的電視廣播制式有PAL、NTSC,SECAM三種，中國大部分地區(qū)使用PAL制式，日本、韓國及東南亞地區(qū)與美國

等歐美國家使用NTSC制式，俄羅斯則使用SECAM制式。PAL制式（.正交平衡調幅逐行倒相制）：采用YUV彩色空間；25幀/秒。

NTSC制式（正交平衡調幅制）：采用YIQ彩色空間。30幀/秒。SECA"制（行輪換調頻制）25幀/秒。

HSI彩色空間

H(hue)色調；S(saturation)飽和度；I(Intensity)光的強度

優(yōu)點：亮度分量與圖像的色彩信息無關；能夠減少彩色圖像處理的復雜性，它更接近人對彩色的認識和解釋。廣泛用于計算

機視覺、圖像檢索和視頻檢索。rR+G+B

13

HSI彩色空間與RGB彩色空間之間的轉換:

H=+l90-arctan(F</5)+{0,G>B:180,G<B}]

其中

?2R-G-B

F=G-B

★全電視信號

電視攝像機把一幅圖像信號轉變成的輸出信號就是全電視信號。

光柵掃描

二維信號一維信號

（掃描方式：隔行掃描逐行掃描；隔行掃描：奇數(shù)場+偶數(shù)場=1幀：每一行有正程和逆程。）

黑白全電視信號=圖像信號（視頻信號）+復合消隱信號（行消隱、場消隱）+復合同步信號（行同步、場同步）

彩色全電視信號=色度信號+亮度信號+復合同步信號+復合消隱信號

在現(xiàn)代彩色電視系統(tǒng)中，通常采用YUV彩色空間或YIQ彩色空間，Y為亮度信號，它可以與黑白全電視信號兼容，U和V用載

波頻率3sc調制加到亮度Y上，最后形成彩色全電視信號，如下式所示：

CVBS=Y+F

F=Vcos<*>sct+Usinset（壓縮后的色度信號）

多媒體計算機常用的三種圖像及其獲取方式

多媒體計算機最常用的圖像有下述三種：圖形、靜態(tài)圖像、動態(tài)圖像（視頻）。獲得這三種圖像可用下述方法：

（1）計算機產(chǎn)生彩色圖形，靜態(tài)圖像和動態(tài)圖像：

（2）用彩色掃描儀，掃描輸入彩色圖形和靜態(tài)圖像：

（3）用視頻信號數(shù)字化儀，將彩色全電視信號數(shù)字化后，輸入到多媒體計算機中，可獲得靜態(tài)和動態(tài)圖像。

★視頻采集卡（視頻信號獲取器）工作原理概述如下：

視頻信號源、攝像機、錄像機或激光視盤的信號經(jīng)過A/D變換，送到多制式數(shù)字解碼器進行解碼得到Y、U、V數(shù)據(jù)，然后由

視頻窗口控制器對其進行剪裁，改變比例后存入幀存儲器.

幀存儲器的內容在窗口控制器的控制下，與VGA同步信號或視頻編碼器的同步信號同步，再送到D/A變換器模擬彩色空間變換

矩陣，同時送到數(shù)字式視頻編輯器進行視頻編碼，最后輸出到VGA監(jiān)視器及電視機或錄像機，

視頻信號獲取器的六部分:

（1）A/D變換和數(shù)字解碼（2）窗口控制器（3）幀存儲器系統(tǒng)

（4）數(shù)模轉換和矩陣變換（5）視頻信號和VGA信號的疊加（6）數(shù)字式多制式視頻信號編碼部分

模擬視1

常用的i

?GI

GIF格式最多只能儲存256色。在壓縮過程中，圖像的像素資料不會被丟失，丟失的是圖像的色彩。

主要優(yōu)點在于壓縮率高、單一文件容量小，并且可以產(chǎn)生動態(tài)的效果(可以在一個文件中存放多幅彩色圖形/圖像)，支持圖像

透明度。

?TIFF(TaggedImageFileFormat)——標記圖像文件格式，擴展名：.TIF

支持多種壓縮方法，特殊的圖像控制函數(shù)以及許多其它特性。它是一種非失真的壓縮格式(最高也只能做到2?3倍的壓縮比)

能保持原有圖像的顏色及層次，但占用空間大。如果使用LAW無損壓縮方法來壓縮文件，能夠產(chǎn)生大約2：1的壓縮比。

故TIFF常被應用于較專業(yè)的用途，廣泛應用于印刷業(yè)，如書籍出版、海報等，極少應用于互聯(lián)網(wǎng)上。

?TGA(TargeImageFormat)目標圖像格式

結構簡單，由文件頭和文件體組成。文件頭描述圖像的屬性；文件體描述各點像素值。支持32位圖像，其中包括8位Alpha

通道用于顯示實況電視。

什么是alpha通道？

32位顏色深度就是在24位顏色深度上增加一個8位的灰

?BMP位圖，擴展名：.bmp

度通道，這個灰度通道是為每個象素存儲透明信息的通道，我

是windows系統(tǒng)交換圖像數(shù)據(jù)的標準圖像文件存儲格式。

們把視頻編輯中的這個8位的灰度通道叫做Alpha通道。

在windows環(huán)境下運行的所有圖像軟件都支持這種格式。

bmp是一種與設備無關的圖像文件格式。它采用位映射存儲格式，除了圖像深度可選Ibit、4bit、8bit及24bit外，不采用

其他任何壓縮，因此占用空間大。BMP文件存儲數(shù)據(jù)時，圖像的掃描方式是按從左到右、從下到上的順序。

?PCXPCX圖像文件格式是Zsoft公司研制開發(fā)的，主要與商業(yè)性PC—Paintbrush圖像軟件一起使用。

?MMPMMP圖像文件格式是Ani-Video公司以及清華大學計算機系在他們設計制造的視頻信號采集板中采用的圖像文件格

式。為了使視頻數(shù)據(jù)能和電視視頻信號兼容，它的圖像數(shù)據(jù)采用YUV的形式，并以Y:U:V=8:2:2的方式存儲。

在編制圖像文件格式轉換程序時，主要解決的幾個問題

(1)識別文件頭和產(chǎn)生文件頭的程序；(2)文件體的解碼和編程程序；(3)文件體的數(shù)據(jù)轉換程序。

多媒體計算機中常用的動態(tài)圖像的文件格式

?MPG、MPEG

MPG是IS0/IEC1993年8月1日正式頒布的國際標準。

MPEGT標準包括三個部分：MPEG視頻(核心)、MPEG音頻、MPEG系統(tǒng)

MPEG數(shù)據(jù)流分六個層次

序列層、圖像組層、圖像層、片層、宏塊層、塊層

(1)序列層：規(guī)定了MPEG解碼器的運行狀態(tài)，包含圖像的水平尺寸、垂直尺寸、長寬比、幀速率和位速率等信息。

(2)圖像組層：一個MPEG圖像序列分成若干個組，每組即為一個隨機存取點，實現(xiàn)了圖像隨機存取，一個圖像組可以單獨解碼。

圖像組第一幀為I圖像,第一個圖像組有7幀圖像,跟著的圖像組有9幀圖像，每個圖像組必須包含一個或多個I圖像。

(3)圖像層：一幅圖像對應一幀，四種圖像形式：I幀內圖P預測圖B雙向預測圖D直流分量圖

I圖:信息量最多，是預測和運動補償?shù)幕A；P圖是經(jīng)前面的I或P運動補償后得到的，有一定的數(shù)據(jù)壓縮；B圖是由前后

的I,P圖補償后得到的，它的數(shù)據(jù)壓縮率最大。

(4)片層：為容錯考慮，將一幅圖劃分若干片，每片中都存有解碼所需的信息，某一片出錯時，可以繼續(xù)查找下一片的起始信息

繼續(xù)進行解碼，而不會因圖像的某一部分出錯導致整幅圖的損壞。

(5)宏塊層：層是一個16*16的樣本塊，它是運動補償和更換量化級的單位，宏塊由該樣本塊的4個亮度塊和2個色度塊構成,

在其首部存放著量化級和運動補償?shù)男畔ⅰ?/p>

(6)塊層：一個塊是8*8的矩陣，它是編碼的基本單元。

圖像序列頭圖像組圖像組序列尾圖像序列層

圖像組頭(1圖久)°圖……

?AVI——AudioVideoInterleave,即音頻視頻交叉存取格式

在AVI文件中，運動圖像和伴音數(shù)據(jù)以交織的方式存儲，并獨立于硬件設備。構成一個AVI文件的主要參數(shù)包括影像、伴音

和壓縮參數(shù)等。影像和伴音分別存儲，因此可以把一段視頻中的影像與另一段視頻中的伴音組合在一起。

AVI的視窗大小可按4：3的比例或隨意調整，視窗越大，數(shù)據(jù)量越大。AVI的幀率也可以調整，而且與數(shù)據(jù)量成正比。不同

的幀率會產(chǎn)生不同的畫面連續(xù)效果。

?AVS

AVS是Intel和IBM公司共同研制的數(shù)字視頻交互DVI系統(tǒng)動態(tài)圖像文件格式，AVS必須在DVI硬件系統(tǒng)的支持下才能讀寫,

這樣系統(tǒng)的造價較高。

數(shù)字化音頻的獲取，數(shù)字化音頻模數(shù)轉換過程

采樣：聲波是連續(xù)信號，或稱連續(xù)時間函數(shù)x(t)o用計算機處理這些信號時應先離散化，即按一定的時間間隔(T)取值，

得到x(nT)(n為整數(shù)),T稱采樣周期，1/T稱采樣頻率(每秒鐘采樣次數(shù))，x(nT)稱采樣值(或離散信號)

奈奎斯特(Nyqust)采樣定理：只要采樣頻率大于或者等于信號中所包含的最高頻率的兩倍；即當信號是最高頻率時，每

個周期至少采樣兩個點，則理論上就可以完全恢復原來的信號。

量化：通過采樣得到的表示聲音強弱的函數(shù)x(nT)是連續(xù)的，為把x(nT)存入計算機，就必須將采樣值離散化，即量化成一

個有限個幅度值的集合

編碼：音頻模擬信號經(jīng)過采樣與量化之后，為把數(shù)字化音頻存入計算機，需對其編碼，即用二進制數(shù)表示每個采樣的量化值，

完成整個模數(shù)轉換過程。采樣頻率、采樣精度和聲道數(shù)對聲音的音質和占用的存儲空間起著決定性作用，如表所示：

聲音質量采樣頻率(KHZ)采樣精度(bit)單聲道/雙聲道存儲容量(Mb/min)數(shù)字化文件數(shù)據(jù)量(字節(jié)/秒)

=采樣頻率(Hz)X(量化位數(shù)(bit)/8)X

電話音質8810.46聲道數(shù)

(注意：lkHz=1000HZ)

AM音質11.025810.63

FM音質22.051625.05

CD音質44.116210.09

DAT音質4816210.99

常用的聲音文件格式

?WAV文件microsoft公司的波形音頻文件，擴展名：.vaf

一種最直接的表達聲音波形的數(shù)字音頻文件，主要用于自然聲音的保存與重放。存儲容量大。電子幻燈片PowerPoint軟

件、各種算法語言及多媒體平臺軟件可直接使用，適合多媒體系統(tǒng)、音樂光盤制作等。

?VOC文件Creative公司的波形音頻文件，擴展名：.voc

聲霸卡使用的音頻文件格式。由文件頭塊和音頻數(shù)據(jù)塊組成。文件頭包含一個標識、版本號和一個指向數(shù)據(jù)塊起始的指針；

數(shù)據(jù)塊分成各種類型的子塊。利用聲霸卡提供的軟件可實現(xiàn)VOC和WAV轉換。

?MIDI文件一一樂器數(shù)字接口音頻文件，擴展名：.mid

一種計算機數(shù)字音樂接口生成的數(shù)字描述音頻文件，文件中包含音符、定時和多達16個通道的樂器定義。文件不記載聲音

本身波形數(shù)據(jù)，用數(shù)字形式記錄聲音特征，描述演奏過程中的指令，數(shù)據(jù)量小。適合應用在對資源占用要求苛刻的場合，比如多媒

體光盤、游戲制作、背景音樂等。主要用于計算機聲音的重放和處理。

擴展名為RMI的文件是Microsoft公司的MIDI文件格式，可包括圖片、標記和文本

?MP3文件——壓縮音頻文件，擴展名：.mp3

采用MPEG標準音頻數(shù)據(jù)壓縮編碼中層III技術壓縮之后的數(shù)字音頻文件。壓縮比高、數(shù)據(jù)量小、音質好，壓縮比例有10:

1,17:1,甚至70:1；數(shù)據(jù)率可以是64kbps,也可以是320kbps?

?WMA文件一流式音頻文件，擴展名：.wma

Microsoft研制的一種壓縮離散文件或流式文件，相對于MP3具有較高壓縮率和良好音質。當小于128kbps時最為出色且編

碼后音頻文件很??；當大于128kbps時音質損失過大。

?PCM文件——數(shù)字音頻文件

模擬的音頻信號經(jīng)過模數(shù)轉換（A/D轉換）直接形成的二進制數(shù)字序列，該文件沒有附加的文件頭和文件結束標志。音源信息

完整，但冗余度過大；音源信息保存完整，音質好；信息量大，體積大，冗余度過大。因為能夠達到最高保真水平的就是，所以被

廣泛用于素材保存及音樂欣賞。比如AudioCD（72min/650MB）。

音頻信號可分為兩類：語音信號和非語音信號。

樂音三要素

音調：取決于聲波的基頻。基頻越低聲音越低沉，反之聲音尖銳。音強：響度，取決于聲音波形的幅度（振幅大小）。音色：有混

入基音（基波）的泛音（諧波）所決定。

音頻信號處理的特點

1）音頻信號是時間領帶的連續(xù)媒體。因此音頻處理的時序性要求很高。

2）應有兩個聲道，即理想的合成聲音應是立體聲。

3）對語音信號的處理不僅是信號處理問題，還要抽取語意等其他信息“因此可能會涉及語言學、社會學、聲學等。

從人與計算機交互的角度來看音頻信號相應的處理

1）人與計算機通信（計算機接收音頻信號）：音頻獲取

2）計算機與人通信（計算機輸出音頻）：音頻合成（包括語音合成盒音樂合成）與聲音定位（包括立體聲模擬；音視頻同步）

3）人通過計算機與別人通信（通過網(wǎng)絡與處于異地的人通信）：語音采集、音頻編/解碼、音頻傳輸?shù)取?/p>

★語音信號的冗余度和數(shù)據(jù)壓縮技術的三個重要指標

語音信號存在著多種冗余度，其最主要部分可以分別從時域和頻域來考慮。人們在實施數(shù)據(jù)壓縮時，要在音頻質量、數(shù)據(jù)量、

計算復雜度三方面進行綜合考慮，即數(shù)據(jù)壓縮技術的三個重要指標。

★音頻編碼的分類

1）基于音頻數(shù)據(jù)的統(tǒng)計特性進行編碼。

其典型技術是波形編碼，目標是使重建語音波形保持原形狀。特點：適應性強，音頻質量好，但壓縮比不大，數(shù)據(jù)率較高。

例：PCM（脈沖編碼調制,無壓縮）、DPCM（預測脈沖編碼調制）、APCM（自適應脈沖編碼調制）、ADPCM（自適應預測編碼）

用途：公用網(wǎng)、ISDN、配音。質量為蟲0—4.5。

2）基于音頻的聲學參數(shù)，進行模型參數(shù)編碼（音源編譯碼）.

目標是是重建音頻保持原有音頻的特性。建立聲音信號的產(chǎn)生模型，將聲音信號用模型參數(shù)表示。常用的音頻參數(shù)有共振峰、

線性預測系數(shù)、濾波器組等。特點：數(shù)據(jù)率低，但還原信號的質量差、自然度低。

例：LPC（線性預測編碼）

用途：保密話聲，質量為2.5—3.5。數(shù)據(jù)率為2.4Kb/s

3）混合編譯碼

結合上兩種算法，企圖尋找一種激勵信號，這種信號激勵產(chǎn)生的波形盡可能接近原話音波形。

例：MPLPC（多脈沖線性預測編碼）

CELPC（碼激勵線性預測編碼）用途：移動通信。數(shù)據(jù)率4.8Kb/s。

VSELP（矢量和激勵LPC）用途：語音郵件。數(shù)據(jù)率8Kb/s

RPE-LTP（規(guī)則脈沖激勵編碼）用途：ISDN。數(shù)據(jù)率13.2Kb/s

4）基于人的聽覺特性進行的感知編碼

從人的聽覺系統(tǒng)出發(fā)，利用掩蔽效應，涉及心理聲學模型，實現(xiàn)更高效率的數(shù)字音頻壓縮。

例：MPEG、AC-3

用途：音響，質量5.0

算法名稱數(shù)據(jù)率曷住一應用質量

PCM均勻量化64kb/sG.711

U(A)u(A)

APCM

波自適應量化

形公共網(wǎng)

DPCM差值量化

編ISDN4.0~4.5

碼ADPCM自適應差值量化32kb/sG.721話音

64kb/sG.722

子帶一自適應

SB-ADPCM5.3kb/s

差值量化G.723

6.3kb/s

參數(shù)編碼LPC線性預測編碼2.4kb/s保密話聲2.5?3.5

CELPC激勵碼LPC4.6kb/s移動通信

VSELP矢量和激勵LPC8語kb/s語音郵件

混

合4.0-3.7

RPE-LTP規(guī)則脈沖激勵編碼13.2Kb/sISDN

編

碼G.728

LD-CELP低延時碼激勵LPC16Kbps

G.729

MPEG多子帶感知編碼128KbpsCD5.0

AC-3感知編碼音響5.0

★音源編譯碼音樂合成技術

產(chǎn)生MIDI樂音的方法很多，現(xiàn)在用得較多的方法有兩種：一種是頻率調制（frequencymodulation,FM）合成法，另一種是樂

音樣本合成法，也稱為波形表（Wavetable）合成法。這兩種方法目前主要用來生成音樂。

頻率調制（FM）合成法：把幾種樂音的波形用數(shù)字來表達，并且用數(shù)字計算機而不是用模擬電子器件把它們組合起來，通過數(shù)模

轉換器（digitaltoanalogconvertor,DAC）來生成樂音。但是使用FM合成法來產(chǎn)生各種逼真的樂音是相當困難的，有些樂音幾

乎不能產(chǎn)生。

波形表合成法：把真實樂器發(fā)出的聲音以數(shù)字的形式記錄下來，存在ROM里，播放時改變播放速度，從而改變音調周期，生成

各種音階的音符。樂音樣本的采集相對比較直觀。較好的聲卡均使用波表合成法。PCM波表合成器。

MIDI數(shù)字樂器接口

MIDI是數(shù)字音樂接口（MusicalInstrumentDigitalInterface）的縮寫。MIDI是用來酹電子樂器相互連接，或將MIDI設

備與電腦連接成系統(tǒng)的一種通訊協(xié)議。通過它，各種MIDI設備都可以準確傳送MIDI信息。MIDI協(xié)議提供了一種標準的和有效的

方法，用來把演奏信息轉換成電子數(shù)據(jù)。MIDI信息是以“MIDImessages”傳輸?shù)?，它可以被認為是告訴音樂合成器(music

synthesizer)如何演奏一小段音樂的一?種指令，而合成器把接收到的MIDI數(shù)據(jù)轉換成聲音。

同WAV文件相比，MIDI文件有以下特點：

1.用樂譜指令代替聲音數(shù)據(jù)

2.有效記錄和重現(xiàn)各種樂器聲音

3.占用存儲空間極小

4.適合樂曲創(chuàng)作和遠距離傳輸

聲卡的組成與工作原理

處理音頻信號的PC插卡是聲卡(AudioCard),又稱音頻卡，聲卡處理的音頻媒體有數(shù)字化聲音(Wave)、合成音樂(MIDI)、

CD音頻。采樣頻率中，22.05kHZ是當前音頻卡所支持的。聲卡的功能包括：

(1)音頻錄放(錄制：把聲音轉換為文件；播放：把文件還原為聲音)

(2)編輯與合成(對聲音文件進行各種特殊處理，如倒播、加回音、靜噪音、往返放音、交換聲道等)

(3)MIDI接口和音樂合成(依賴于合成芯片)

(4)文語轉換與語音識別

(5)CD-ROM接口與游戲棒接口

★聲卡主要組成部分：數(shù)字聲音處理器、混合信號處理器、功率放大器、音樂合成器及MIDI控制器、計算機總線接口和控制器。

聲卡的發(fā)展趨勢

(1)改善聲音質量

(2)統(tǒng)一音頻卡標準

(3)簡化安裝的即插即用音頻卡

(4)三維環(huán)繞立體聲

(5)全雙工聲音處理

(6)與通信技術的結合

(7)單一芯片

多媒體數(shù)據(jù)壓縮技術的性能指標：壓縮比(=輸入數(shù)據(jù)和輸出數(shù)據(jù)比)；壓縮和解壓的速度；恢復效果要盡可能恢復原始數(shù)據(jù)。

多媒體數(shù)據(jù)壓縮的可能性

(1)空間冗余：例：圖象中的“A”是一個規(guī)則物體。光的亮度、飽和度及顏色都一樣，因此，數(shù)據(jù)A有很大的冗余。

(2)時間冗余

(3)信息焙冗余

信息量：指從N個相等的可能事件中選出一個事件所需要的信息度量和含量。

信息嫡：指一團數(shù)據(jù)所帶的信息量，平均信息量就是信息牖(entropy)o

(4)結構冗余：圖象有非常強的紋理結構。如草席圖結構上存在冗余。

(5)知識冗余：圖像的理解與某些基礎知識有關。

例:人臉的圖像有同樣的結構：嘴的上方有鼻子，鼻子上方有眼睛，鼻子在中線上……

(6)視覺冗余：視覺冗余是非均勻、非線性的。

(7)其他冗余：空白的非定長性

預測編碼

預測編碼主要是減少數(shù)據(jù)在空間和時間上的相關性。它根據(jù)某一模型利用以往的樣本值對新樣本值進行預測，然后將樣本的

實際值與其預測值相減得到一個誤差值，進而對這一誤差值進行編碼。預測編碼方法中典型的有DPCM和ADPCM方法。

差分脈沖調制(DPCM)預測：是降低每個像素所需平均比特數(shù)最實用的方法。對于絕大多數(shù)圖像來說，在局部空間和時間上

是高度相關的，因而可以在已得到像素的基礎上通過對當前像素的預測來減少圖像的數(shù)據(jù)量。預測器設計是預測編碼系統(tǒng)的核心，

預測器的復雜程度與線性預測中使用以前的樣本數(shù)有關，樣本數(shù)越多，預測器越復雜。在預測編碼系統(tǒng)中，圖像質量下降的主要原

因是①預測誤差的量化，②由圖像傳輸過程中的誤碼在接收端預測器中引起的誤碼傳播。不帶量化器的DPCM線性預測編碼，屬于

無失真編碼系統(tǒng)；帶有量化器的DPCM線性預測編碼，屬于有失真編碼系統(tǒng)。

自適應差分脈沖調制(ADPCM)預測：自適應技術的概念是預測器的預測系數(shù)和量化器的量化參數(shù)，能夠根據(jù)圖像的局部區(qū)

域分布特點自動調整。即定期地重新計算協(xié)方差矩陣和相應的加權因子，充分利用其統(tǒng)計特性重新調整預測參數(shù)，使預測器隨著輸

入數(shù)據(jù)的變化而變化，從而得到較為理想的輸出。自適應預測又可分為線性自適應預測和非線性自適應預測兩種。實踐證明，ADPCM

編、解碼系統(tǒng)與DPCM編、解碼系統(tǒng)相比，不僅能改善恢復圖像的評測質量和視覺效果，同時還能進一步壓縮數(shù)據(jù)。ADPCM系統(tǒng)包

括自適應預測，即預測系數(shù)的自適應調整和自適應量化，即量化器參數(shù)的自適應調整兩部分內容。

變換編碼

變換編碼不是直接對時域圖像信號編碼，而是首先在數(shù)據(jù)壓縮前對原始輸入數(shù)據(jù)作某種正交變換，把圖像信號映射變換到另

外一個正交相量空間，產(chǎn)生一批變換系數(shù)，然后再對這些變換系數(shù)進行編碼處理。利用圖像塊像素值之間的相關性，把圖像變換到

一組新的基上，使得能量集中到少數(shù)幾個變換系數(shù)上，通過存儲這些系數(shù)達到壓縮的目的。本方法采用對整幅的原始圖像分成許多

個矩形區(qū)域子圖像獨立進行變換。常用變換有：卡亨南一洛維變換(KLT)、離散余弦變換(DCT)、沃爾什―哈達瑪變換(WHT),離

散傅里葉變換(DFT)?其中，K-L變換是以圖像的統(tǒng)計特性為基礎的一種正交變換，它是消除數(shù)據(jù)相關性最有效的正交變換，但由

于計算復雜度高，實際應用中很少使用。

統(tǒng)計編碼

1、統(tǒng)計編碼原理——信息量和信息燧

(D信息:是用不確定性的量度定義的。

(2)信息量:從N個相等可能事件中選出一個事件所需要的信息度量或含量。

Shannon信息論把一個事件(字符si)所攜帶的信息量定義為：I(si)=log2(1/p)=-log2p(bit)

其中P為事件發(fā)生(字符出現(xiàn))的概率；I(si)即隨機事件或變量X取值為si時所攜帶的信息量。

(3)焙:如果將信源所有可能事件信息量進行平均就得到信息的炳(燧就是平均信息量)。即：

H(x)=plIl+p2I2+",+piIi=pllog2(l/pl)+,,,.+pilog2(l/pi)

例：有一幅40個像素組成的灰度圖像，灰度共有5級，分別用符號A,B,C,D,E表示，40個像素出現(xiàn)不同灰度的結果如下

表所示。如果用3個位表示5個等級的灰度值，編碼這幅圖像總共需要120位。

按照shannon的理論，這幅圖像的燔為：

H(s)=15/40*log2(40/l5)+7/40*log2(40/7)++(5/40)*Iog2(40/5)=2.196

這就是說每個符號用2.196位表示，共需2.196*40=87.84位。壓縮比約為3/2.196=1.37:1。

2、哈夫曼編碼

Huffman編碼就是利用變字長最佳編碼實現(xiàn)信源符號按概率大小順序排列。讓最頻繁出現(xiàn)的符號具有最短的編碼。Huffman編

碼的過程=生成一棵二叉樹(H樹)

Huffman具體編碼步驟

(1)將符號按概率從大到小順序排列

(2)出現(xiàn)概率最小的兩個符號概率相加合成一個概率。

(3)將合成概率看成一個新組合符號概率，重復上述做法，直到最后只剩下兩個符號概率為止。

(4)反過來逐步向前編碼，每一步有兩個分支各賦予一個二進制碼，可以對概率大的賦編碼為“0”，概率小的賦編碼為“1”。

(反之，也可以大的賦“1”，小的賦“0”)

特點：它屬于不對稱、無損、變碼長的幅編碼。碼長雖然都是可變的，卻不需要另外附加同步代碼(即在譯碼時分割符號的特

Huffman編碼的兩個問題：

(1)沒有錯誤保護功能一在譯碼時，如果碼串中有哪怕

僅僅是1位出現(xiàn)錯誤，則不但這個碼本身譯錯，而且后面的

碼都會跟著錯。稱這種現(xiàn)象為錯誤傳播，計算機對這種錯誤

也無能為力，不能知道錯誤出在哪里，更談不上去糾正它

(2)不能隨機定位——因為是可變長度碼，所以很難在壓

縮文件中直接對指定音頻或圖像位置的內容進行譯碼，這就

需要在存儲代碼之前加以考慮

3、算術編碼

算術編碼方法是將被編碼的一則消息或符號串(序列)表示成0和1之間的一個間隔(Interval),即對一串符號直接編碼成

［0,1］區(qū)間上的一個浮點小數(shù)。符號序列越長，編碼表示它的間隔越小，表示這一間隔所需的位數(shù)就越多。信源中的符號序列仍然

要根據(jù)某種模式生成概率的大小來減少間隔。

例：給消息“state_tree”編碼。初始化時，6個字符被分配的范圍(range)如下表。編碼過程如下:

字符概率范圍

_(space)0.100<0.1

a0.10.1Wr<0.2

e0.30.2Wr<0.5

r0.10.5Wr<0.6

s0.10.6<r<0.7

t0.30.7^r<1.0

初始化Staetr3e

00.60.670.6730.67510.675280.675280.67529890.675302950.675303112

_(space)

0.10.610.6730.67330.675190.675307

a

0.20.620.6760.67360.675280.6753340.6753031120.6753031606

e

0.50.650.6850.67450.675550.675302950.6753033550.6753032335

r

0.60.660.6880.67480.67530376

s

0.70.670.6910.67510.6752989

t

10.70.70.6760.6760.675550.6753070.6753070.675303760.675303112

算術編碼解碼過程：

(1)設編碼初始化子區(qū)間為［0,D,Qe從0算起，則Pe=bQe。隨著被編碼數(shù)據(jù)流符號的輸入，子區(qū)間逐漸縮小。

(2)新子區(qū)間的起始位置=前子區(qū)間的起始位置+當前符號的區(qū)間左端X前子區(qū)間長度；

(3)新子區(qū)間的長度=前子區(qū)間的長度X當前符號的概率(等價于范圍長度)；

(4)最后得到的子區(qū)間的長度決定了表示該區(qū)域內的某一個數(shù)所需的位數(shù)。

在算術編碼中需要注意的幾個問題：

(1)由于實際計算機精度不可能無限長，運算中溢出是明顯的問題，但多數(shù)機器都有16位、32位或者64位的精度，因此可使

用比例縮放法解決。（2）算術編碼器對消息只產(chǎn)生一個碼字，這個碼字是在［0,1］中的一個實數(shù)，因此譯碼器在接受到表示這個實

數(shù)的所有位之前不能進行譯碼。（3）算術編碼也是一種對錯誤很敏感的編碼方法，如果有一位發(fā)生錯誤就會導致整個消息譯錯。

算術編碼可以是靜態(tài)的或者自適應的。在靜態(tài)算術編碼中，信源符號的概率是固定的。在自適應算術編碼中，信源符號的概率

根據(jù)編碼時符號出現(xiàn)的頻繁程度動態(tài)地進行修改，在編碼期間估算信源符號概率的過程叫做建模。需要開開發(fā)態(tài)算術編碼的原因是

因為事先知道精確的信源概率是很難的，而且是不切實際的。當壓縮消息時，我們不能期待一個算術編碼器獲得最大的效率，所能

做的最有效的方法是在編碼過程中估算概率。因此動態(tài)建模就成為確定編碼器壓縮效率的關鍵。

4、RLE/RLC行程編碼或游程長度編碼

RLE視數(shù)字信息為無語義的字符序列（字節(jié)流），對相鄰重復的字符，用一個數(shù)字表示連續(xù)相同字符的數(shù)目（稱為行程長度），可

達到壓縮信息的目的。如未壓縮的數(shù)據(jù)：ABCCCCCCCCDEFFGGG；RLE編碼：AB8CDEFF3G

RLE所能獲得的壓縮比有多大，這主要是取決于圖像本身的特點。如果圖像中具有相同顏色的圖像塊越大，圖像塊數(shù)目越少，

獲得的壓縮比就越高。譯碼時按照與編碼時采用的相同規(guī)則進行，還原后得到的數(shù)據(jù)與壓縮前的數(shù)據(jù)完全相同，是無損壓縮技術。

RLE壓縮編碼尤其適用于計算機生成的圖像，對減少圖像文件的存儲空間非常有效。RLE對顏色豐富的自然圖像就顯得力不從

心。但在自然圖像的壓縮中（如JPEG）還真少不了RLE,只不過是不能單純使用RLE一種編碼方法，需要和其他的壓縮編碼技術聯(lián)

合應用。

靜態(tài)圖像壓縮編碼的國家標準JPEG（JointPhotographicExpertsGroup聯(lián)合圖象專家組標準）

JPEG給出了一個使用于連續(xù)色調圖像的壓縮方法。JPEG主要采用了以DCT為基礎的有損壓縮算法。而JPEG2000則采用的是

性能更優(yōu)秀的小波變換。JPEG使用量化和無損壓縮編碼相結合來去掉視角的冗余信息和數(shù)據(jù)本身的冗余信息。JPEG屬于結合變換

編碼（DCT）與燧編碼（RLE/Huffman）的混合編碼。JPEG算法與彩色空間無關，因此它可以壓縮來自不同彩色空間的數(shù)據(jù)，如RGB,YCbCr

和CMYK?

JPEG要求圖像應達到目的的基本要求：

達到或接近當前壓縮比與圖像保真度的技術水平，能覆蓋?個較寬的圖像質量等級范圍，能達到“很好”到“極好”的評估，

與原始圖像相比，人的視覺難以分辨；JPEG在使用DCT進行有損壓縮時，壓縮比可調整在壓縮10~30倍后，圖像效果仍然不錯。

能適用于任何種類的連續(xù)色調的圖像，且長寬比都不受限制，同時也不受限于景物內容、圖像的復雜程度和統(tǒng)計特性等。

計算的復雜性是可控制的，其軟件可在各種C