多媒體技術(shù)講義第一章概論第一頁(yè)，共三十頁(yè)，2022年，8月28日2003.9內(nèi)容簡(jiǎn)介第一部分 媒體與多媒體數(shù)據(jù)流第二部分 多媒體計(jì)算機(jī)技術(shù)概述本部分介紹多媒體系統(tǒng)的基本概念和多媒體系統(tǒng)的組成要素，首先對(duì)多媒體這個(gè)術(shù)語(yǔ)的含義進(jìn)行界定，然后對(duì)不同的媒體特征進(jìn)行描述，并指出多媒體系統(tǒng)的重要特性，最后介紹多媒體系統(tǒng)中的數(shù)據(jù)流特征和邏輯數(shù)據(jù)單元(LDU,LogicalDataUnit)。概述多媒體計(jì)算機(jī)的定義、分類、現(xiàn)狀及發(fā)展趨勢(shì)。第二頁(yè)，共三十頁(yè)，2022年，8月28日Part1.

媒體與數(shù)據(jù)流

媒體的概念與分類

多媒體系統(tǒng)的主要特征

多媒體的概念

傳統(tǒng)的數(shù)據(jù)流特性

連續(xù)媒體的數(shù)據(jù)流特性

信息單元

本部分介紹多媒體系統(tǒng)的基本概念和多媒體系統(tǒng)的組成要素，首先對(duì)多媒體這個(gè)術(shù)語(yǔ)的含義進(jìn)行界定，然后對(duì)不同的媒體特征進(jìn)行描述，并指出多媒體系統(tǒng)的重要特性，最后介紹多媒體系統(tǒng)中的數(shù)據(jù)流特征和邏輯數(shù)據(jù)單元(LDU,LogicalDataUnit)。第三頁(yè)，共三十頁(yè)，2022年，8月28日200媒體的概念與分類媒體的概念媒體的類型感知媒體(ThePerceptionMedium)表示媒體(TheRepresentationMedium)表現(xiàn)媒體(ThePresentationMedium)存儲(chǔ)媒體(TheStorageMedium)傳輸媒體(TheTransmissionMedium)信息交換媒體(TheInformationExchangeMedium)

一般說(shuō)來(lái)，媒體是一種信息發(fā)布和表現(xiàn)的方法，如文本、圖形、語(yǔ)音、音樂(lè)等，也可以將水和空氣加入媒體范疇。根據(jù)ISOIECJTC1/SC29標(biāo)準(zhǔn)，媒體可以劃分成6種類型。

幫助人來(lái)感知環(huán)境。要解決的主要問(wèn)題是：人在計(jì)算機(jī)環(huán)境中如何感知信息?視、聽(tīng)

……用信息的計(jì)算機(jī)內(nèi)部表示來(lái)刻畫。要解決的主要問(wèn)題是：計(jì)算機(jī)信息如何編碼?PCM,MPEG,……指信息輸入/輸出的工具和設(shè)備。要解決的問(wèn)題是：信息通過(guò)何種媒體輸入到計(jì)算機(jī)中或從計(jì)算機(jī)中輸出?喇叭、攝像機(jī)

……是指能支持信息存儲(chǔ)的數(shù)據(jù)載體，數(shù)據(jù)存儲(chǔ)并不局限于計(jì)算機(jī)的部件，例如，紙也是一種存儲(chǔ)媒體。要解決的問(wèn)題是：信息存儲(chǔ)力：什么地力?縮微膠片、軟盤、CD-ROM……傳輸媒體用于傳輸數(shù)據(jù)信息，它們支持連續(xù)媒體的數(shù)據(jù)傳輸，存儲(chǔ)媒體不屬于傳輸媒體的范圍。要解決的問(wèn)題是：在什么上而傳輸信息?網(wǎng)絡(luò)、光纖、無(wú)線通信……信息交換媒體包括所有用于傳輸和存儲(chǔ)的信息載體。要回答的主要問(wèn)題是：在不同地點(diǎn)之間使用哪種信息載體來(lái)進(jìn)行信息交換?三個(gè)答案：通過(guò)中間存儲(chǔ)媒體、使用計(jì)算機(jī)網(wǎng)絡(luò)、組合使用存儲(chǔ)媒體和傳輸媒體(如電子郵件系統(tǒng))。第四頁(yè)，共三十頁(yè)，2022年，8月28日2003.9媒體的概念與分類(cont.)表示值與描述空間(TheRepresentationValues&Spaces)表示維數(shù)(RepresentationDimensions)

表示值決定：不同媒體的信息表示。它可以是離散型(Discrete)的，也可以是連續(xù)型

(Continuous)的。每種媒體定義了自己的表示值和表示空間某些表示值是自包含(self-contained)的，由接受者作適當(dāng)?shù)慕忉屇承┟襟w需要預(yù)定義符號(hào)集，用戶必須遵守媒體表示方法、手段的多樣性，表示能力的差異性

每個(gè)表示空間由一個(gè)或多個(gè)表示維組成。除空間維外，時(shí)間是一個(gè)重要的表示維。根據(jù)時(shí)間在表示空間中的作用，由可以將媒體劃分成獨(dú)立于時(shí)間的媒體與依賴于時(shí)間的媒體。時(shí)間依賴媒體、離散媒體和連續(xù)媒體這些術(shù)語(yǔ)與信息的計(jì)算機(jī)內(nèi)部表示無(wú)關(guān)，它們與觀察者或聆聽(tīng)者的感覺(jué)有關(guān)。如電影，它由離散的數(shù)值組成，當(dāng)它以15幀/秒顯示時(shí)，人們就有連續(xù)感。第五頁(yè)，共三十頁(yè)，2022年，8月28日200多媒體系統(tǒng)的主要特征多媒體系統(tǒng)的定義多媒體系統(tǒng)的特點(diǎn)媒體的組合(CombinationofMedia)注意：不是所有的媒體任意組合均可稱之為“Multimedia”，我們所談?wù)摰摹岸嗝襟w”應(yīng)該包含連續(xù)型媒體和離散型媒體獨(dú)立性(Independence)媒體的一個(gè)重要的特性是它的獨(dú)立性。一般的應(yīng)用也需要各種媒體具有一定的獨(dú)立性，但是多媒體系統(tǒng)需要的是多個(gè)層次的獨(dú)立性。計(jì)算機(jī)支持的媒體集成(Computer-supportedIntegration)媒體的獨(dú)立性使多種媒體的組合成為可能，而計(jì)算機(jī)是實(shí)現(xiàn)這種組合的理想工具(既有多媒體處理能力，又有二次開(kāi)發(fā)的功能支持)。通信系統(tǒng)(CommunicationSystems)多媒體系統(tǒng)必須具備通信能力(先今的計(jì)算機(jī)大部分是互聯(lián)的、很多有趣的多媒體應(yīng)用是專門為分布式計(jì)算環(huán)境而設(shè)計(jì)的)。

多媒體系統(tǒng)的特征是：用計(jì)算機(jī)對(duì)一些獨(dú)立的信息進(jìn)行一體化的制作、處理、表現(xiàn)、存儲(chǔ)和通信，這些信息必須至少通過(guò)一種連續(xù)(時(shí)間有關(guān))媒體和一種離散(時(shí)間無(wú)關(guān))媒體進(jìn)行編碼。MultimediaSystemischaracterizedbycomputer-controlled,integratedproduction,manipulation,presentation,storageandcommunicationofindependentinformation,whichisencodedatleastthroughacontinuous(time-dependent)andadiscrete(time-independent)medium.任何支持一種以上媒體的系統(tǒng)都可以稱為多媒體系統(tǒng)？??!第六頁(yè)，共三十頁(yè)，2022年，8月28日200多媒體的概念

狹義的“多媒體”廣義的“多媒體”

只要同時(shí)處理了多種媒體、就可以使用“多媒體”這個(gè)提法！！多媒體系統(tǒng)必須包括連續(xù)媒體，同時(shí)為處理離散媒體，引入重要的時(shí)間邊界條件(通過(guò)連續(xù)媒體)，但這些條件直到現(xiàn)在才在計(jì)算機(jī)中得到使用。Multimedia: Multi＋Medium

Multi-:[lat.:much]many;much;multiple

Medium:[lat.:middle]Aninterveningsubstancethroughwhichsomethingistransmittedorcarriedon;Ameansofmasscommunicationsuchasnewspaper,magazine,ortelevision.[fromAmericanHeritageElectronicDictionary,1991]

集成性交互性同步性！第七頁(yè)，共三十頁(yè)，2022年，8月28日200傳統(tǒng)的數(shù)據(jù)流特性在分布式多媒體通信系統(tǒng)中，信息的交換是伴隨著連續(xù)媒體和離散媒體數(shù)據(jù)的傳輸產(chǎn)生的傳輸媒體的信息類型的差異使得數(shù)據(jù)流間的特征差異很大在計(jì)算機(jī)通信相交互領(lǐng)域中有三種傳輸模式異步傳輸模式(ATM,AsynchronousTransmissionMode)

同步傳輸模式(STM,SynchronousTransmissionMode)

等時(shí)傳輸模式(ITM,IsochronousTransmissionMode)信息的傳送不受時(shí)間條件的約束，數(shù)據(jù)包總是盡可能快地被送達(dá)接收端；例子：互聯(lián)網(wǎng)上電了郵件的傳輸協(xié)議、以太網(wǎng)；特點(diǎn)：所有離散媒體信息都可以作為異步數(shù)據(jù)流來(lái)傳輸，而傳輸連續(xù)媒體，則必須使用其他技術(shù)來(lái)提供時(shí)間約束。

等時(shí)傳輸模式對(duì)于每個(gè)包的端到端延時(shí)在規(guī)定一個(gè)最大值之外還規(guī)定一個(gè)最小值。這就意味著單個(gè)包的延時(shí)跳動(dòng)被限定在了一個(gè)更小的范圍內(nèi)。在這種模式下，上例子中的接收端所需緩存就大大減小了，當(dāng)然還要把數(shù)據(jù)路由經(jīng)過(guò)的從起點(diǎn)到終點(diǎn)間所有中間部件中的存儲(chǔ)都考慮在內(nèi)。

同步傳輸模式為數(shù)據(jù)流中的每個(gè)數(shù)據(jù)包規(guī)定了一個(gè)端到端的最大延時(shí)，包可以在早于這個(gè)最大延時(shí)的任意時(shí)刻到達(dá)接收端，但絕對(duì)不能超過(guò)這個(gè)最大延時(shí)，這樣多媒體應(yīng)用的一個(gè)重要要求--端到端(End-to-End)最大延時(shí)就得到了保證。另外在支持同步傳輸模式的局域網(wǎng)上還可以進(jìn)行音頻信號(hào)傳輸。使用檢索方式(RetrievalMode)傳送未壓縮的視頻數(shù)據(jù)的重要特征是具有較高的數(shù)據(jù)速率，相應(yīng)也有較大的端到端延時(shí)。典型的數(shù)據(jù)速率是140Mb/s、最大延時(shí)1秒，所以在極端情況下，包可以提前1秒被送達(dá)，這樣就需要一個(gè)緩沖存儲(chǔ)來(lái)保存這些數(shù)據(jù)．如果按上面的數(shù)據(jù)速率這個(gè)緩沖需要有17.5兆字節(jié)。第八頁(yè)，共三十頁(yè)，2022年，8月28日200連續(xù)媒體的數(shù)據(jù)流特性傳輸中相鄰數(shù)據(jù)包間的時(shí)間間隔如果相鄰包之間的時(shí)間間隔是一個(gè)常量，那么這個(gè)數(shù)據(jù)流就是強(qiáng)周期性的，也就是說(shuō)時(shí)間間隔的變化值為0如果兩個(gè)相鄰包之間的時(shí)間間隔長(zhǎng)度不是常數(shù)(否則就是強(qiáng)周期數(shù)據(jù)流)。但可以用一個(gè)有固定周期的函數(shù)來(lái)描述，那么就稱這種數(shù)據(jù)流為弱周期性的以其他時(shí)間間隔形式傳輸?shù)臄?shù)據(jù)稱為非周期數(shù)據(jù)流第九頁(yè)，共三十頁(yè)，2022年，8月28日2003.9連續(xù)媒體的數(shù)據(jù)流特性(cont.)傳輸中相鄰數(shù)據(jù)包數(shù)量的變化在數(shù)據(jù)流的生命周期中，數(shù)據(jù)包的大小沒(méi)有改變，則稱該數(shù)據(jù)流是強(qiáng)規(guī)則的。未壓縮數(shù)據(jù)的傳的具有這種典型特征，例如以未壓縮形式傳輸?shù)囊曨l數(shù)據(jù)流以及CD中的音頻數(shù)據(jù)流。如果包的數(shù)據(jù)量隨時(shí)間作周期性的變化，就稱這種數(shù)據(jù)流為弱規(guī)則的。按以下壓縮方法進(jìn)行壓縮的視頻數(shù)據(jù)的數(shù)據(jù)流是弱規(guī)則的：對(duì)視頻序列中的某些圖像單獨(dú)壓縮編碼，使之成為數(shù)據(jù)流中相對(duì)較大的包（不考慮網(wǎng)絡(luò)對(duì)包長(zhǎng)度的限制），并使這些包以一定的時(shí)間間隔(如2秒)在數(shù)據(jù)流中周期性地出現(xiàn)，而在這些時(shí)間間隔內(nèi)傳送的是圖像的附加包，它包含兩幅相鄰壓縮的圖像間的差別。如果數(shù)據(jù)包的數(shù)據(jù)量既不恒定也不依某個(gè)周期函數(shù)變化，那么就稱這個(gè)數(shù)據(jù)流為不規(guī)則的，這種情況下的數(shù)據(jù)傳輸與處理就更為復(fù)雜。在對(duì)數(shù)據(jù)流進(jìn)行壓縮時(shí)，數(shù)據(jù)流有一個(gè)可變的位率，從單幅圖像得來(lái)的單個(gè)包的大小取決于前一幅變化圖像的內(nèi)容。這樣產(chǎn)生的信息單元的大小就與視頻序列的內(nèi)容有關(guān)，從而使得數(shù)據(jù)流變成不規(guī)則。第十頁(yè)，共三十頁(yè)，2022年，8月28日2003.9連續(xù)媒體的數(shù)據(jù)流特性(cont.)包的連續(xù)性連續(xù)傳輸：所有的包都緊跟在前一個(gè)包后面?zhèn)鬏?，中間沒(méi)有空隙，必要的附加倍息(如誤差控制代碼)也在其中，這樣就100%地利用了系統(tǒng)資源。以這種連接方式傳輸?shù)臄?shù)據(jù)流可以獲得最大的數(shù)據(jù)吞吐量并最大限度地利用系統(tǒng)資源。ISDN中傳送音頻信息的64kb/s的B通道采用的就是這種傳輸力式。首尾相接的數(shù)據(jù)包在傳輸時(shí)如果通道的容納能力大于數(shù)據(jù)的輸入速率，包與包之間就會(huì)出現(xiàn)空隙，如圖2.8所示。這種在信息單元間有空隙的數(shù)據(jù)流稱為非連續(xù)數(shù)據(jù)流，但空隙是否存在于所有的包之間以及空隙的長(zhǎng)度是否變化并不重要。例如，經(jīng)JPEG編碼平均數(shù)據(jù)傳輸速率為1.2Mb/s的數(shù)據(jù)流，在FDDI網(wǎng)上傳輸時(shí)包之間會(huì)產(chǎn)生空隙。第十一頁(yè)，共三十頁(yè)，2022年，8月28日200信息單元連續(xù)媒體是由與時(shí)間有關(guān)的獨(dú)立信息單元的序列構(gòu)成的，我們稱這樣的信息單元為邏輯數(shù)據(jù)單元(LDU，LogicalDataUnit)例如：

（1） 舉JosephHoydn的交響樂(lè)“TheBear”為例，它分為4個(gè)樂(lè)句：vivaceassai，a11egretto和finatevivace。每一樂(lè)句都是整首交響樂(lè)中獨(dú)立的一個(gè)部分、由各種樂(lè)器的演奏音符組成。在數(shù)字系統(tǒng)中，音符是用一系列的采樣值來(lái)表示的(這里不考慮壓縮)。CD-DA質(zhì)量的聲音每秒有44l00次采樣，每個(gè)采樣值用16位編碼。在CD上，這些采樣值被組織成許多1/75秒的小單元，所以既可以把LDU看做整首交響曲，也可以把它看做獨(dú)立的樂(lè)句、1/75秒的采樣單元或者就是采樣值，這取決于不同的應(yīng)用需要。例如對(duì)于播放整首交響樂(lè)的應(yīng)用，LDU就是整首交響曲。有些應(yīng)用會(huì)把有意義的最小單元作為L(zhǎng)DU(在這里是音符)，數(shù)字系統(tǒng)則把采樣點(diǎn)看成LDU。（2） 再舉視頻圖像為例。未經(jīng)壓縮的視頻序列由表示場(chǎng)景的視頻片斷組成．如圖2.9所示。一個(gè)場(chǎng)景是由一系列國(guó)像組成的，一幅圖像又可以被劃分為16×l6像素的小塊，而每個(gè)像素的信息又是由亮度值和色度值來(lái)表示的。因此，視頻序列的LDU并不局限于是單幅圖像，它可以是場(chǎng)景也可以是像素。使用DVI或MPEG編碼方法可以用幀間壓縮的方法消除視頻序列的冗余，在這個(gè)應(yīng)用中，能自我包含的有意義的最小單元是圖像序列本身。

粒度這個(gè)概念用來(lái)描述音頻和視頻數(shù)據(jù)流層次劃分的細(xì)密程度。在上述例子中，最常見(jiàn)的名字也是最顯而易見(jiàn)的信息單元是交響樂(lè)和影片，但也可根據(jù)時(shí)間長(zhǎng)度做出其他類型的LDU劃分。預(yù)先確定時(shí)間長(zhǎng)度的LDU稱為閉合LDU。計(jì)算機(jī)中的音頻采樣數(shù)據(jù)流就是閉合LDU數(shù)據(jù)流。不能預(yù)先確定時(shí)間長(zhǎng)度的IDU稱為開(kāi)放LDU，由攝像機(jī)或麥克風(fēng)傳向計(jì)算機(jī)的數(shù)據(jù)流就是開(kāi)放LDU數(shù)據(jù)流。第十二頁(yè)，共三十頁(yè)，2022年，8月28日第二部分多媒體計(jì)算機(jī)技術(shù)概述概述多媒體計(jì)算機(jī)的定義、分類、現(xiàn)狀及發(fā)展趨勢(shì)。要點(diǎn)：

1.

多媒體計(jì)算機(jī)的定義、分類和關(guān)鍵技術(shù)

2.從多媒體計(jì)算機(jī)的分類看家電制造廠商研制的電視計(jì)算機(jī)，“靈巧”電視—SmartTV3.從多媒體計(jì)算機(jī)的分類看計(jì)算機(jī)制造廠商研制的計(jì)算機(jī)電視，TV-Killer第十三頁(yè)，共三十頁(yè)，2022年，8月28日2003.9主要講述內(nèi)容

多媒體計(jì)算機(jī)的定義和關(guān)鍵技術(shù)

多媒體技術(shù)促進(jìn)了通訊、娛樂(lè)和計(jì)算機(jī)的融合

多媒體計(jì)算機(jī)技術(shù)的發(fā)展和應(yīng)用第十四頁(yè)，共三十頁(yè)，2022年，8月28日1.2.1多媒體計(jì)算機(jī)的定義和關(guān)鍵技術(shù)多媒體計(jì)算機(jī)技術(shù)定義多媒體計(jì)算機(jī)的分類多媒體計(jì)算機(jī)的關(guān)鍵技術(shù)第十五頁(yè)，共三十頁(yè)，2022年，8月28日2003.9多媒體計(jì)算機(jī)技術(shù)定義多媒體計(jì)算機(jī)技術(shù)

(MultimediaComputing)定義：計(jì)算機(jī)綜合處理多種媒體信息(文本、圖形、圖像、音頻和視頻)，使多種信息建立邏輯連接，集成為一個(gè)系統(tǒng)并具有交互性。計(jì)算機(jī)綜合處理聲、文、圖信息具有集成性和交互性第十六頁(yè)，共三十頁(yè)，2022年，8月28日2003.9多媒體計(jì)算機(jī)的分類

從開(kāi)發(fā)和生產(chǎn)廠商以及應(yīng)用的角度出發(fā)可以分成兩大類：電視計(jì)算機(jī)（Teleputer）家電制造廠商研制的電視計(jì)算機(jī)，是把CPU放到家電中，通過(guò)編程控制管理電視機(jī)、音響，有人稱它為“靈巧/智能”電視——SmartTV；計(jì)算機(jī)電視（Compuvision）計(jì)算機(jī)制造廠商研制的計(jì)算機(jī)電視，采用微處理器（80×86、68×××）作為CPU，其它設(shè)備還有VGA卡、CD-ROM、音響設(shè)備以及擴(kuò)展的多窗口系統(tǒng)，有人說(shuō)它的發(fā)展方向是TV-Killer。第十七頁(yè)，共三十頁(yè)，2022年，8月28日2003.9

節(jié)目流通過(guò)網(wǎng)絡(luò)接口模塊（NIM）進(jìn)入核心處理芯片STB01X0；在STB01X0中，解復(fù)用、解壓縮、再NTSC/PAL編碼；得到的視頻送到電視，得到的音頻流經(jīng)過(guò)D/A轉(zhuǎn)換輸出；控制各存儲(chǔ)器SDRAM(用于視音頻緩存)，F(xiàn)lash/DRAM(用于系統(tǒng)處理)；接收遙控器信號(hào)等的處理由Peripherals外設(shè)部分接收，STB01X0協(xié)調(diào)處理。RedWoodIII機(jī)頂盒平臺(tái)第十八頁(yè)，共三十頁(yè)，2022年，8月28日2003.9

多媒體計(jì)算機(jī)的關(guān)鍵技術(shù)

要把一臺(tái)普通的計(jì)算機(jī)變成多媒體計(jì)算機(jī)要解決的關(guān)鍵技術(shù)是：

視頻音頻信號(hào)獲取技術(shù)；多媒體數(shù)據(jù)壓縮編碼和解碼技術(shù)；視頻音頻數(shù)據(jù)的實(shí)時(shí)處理技術(shù)；視頻音頻數(shù)據(jù)的輸出技術(shù)。第十九頁(yè)，共三十頁(yè)，2022年，8月28日1.2.2多媒體技術(shù)促進(jìn)了通訊、娛樂(lè)和

計(jì)算機(jī)的融合

現(xiàn)代化社會(huì)人的工作方式和特點(diǎn)是：群體性、交互性分布性、協(xié)作性第二十頁(yè)，共三十頁(yè)，2022年，8月28日2003.9TimeUserScaleControlSingleUserMultipleUser(Group)SynchronousAsynchronousDistributedCentralizedGroupDecisionMakingConferenceRoomMeetingFace-to-FaceMeetingGroupCSCWDesktopTeleconferencingTelephoneTele-MentoringElectronicMailBulletinBoardCollaborativeSoftwareDevelopmentCollaborativeDocumentEditingGroupScheduleManagement

多媒體協(xié)同計(jì)算的多維空間表示第二十一頁(yè)，共三十頁(yè)，2022年，8月28日2003.9多