1、第3章 素材,劉士軍 ,數(shù)字媒體資產(chǎn)管理,2,摘要,素材是不同形式和格式內(nèi)容的物理表示，不同用途的素材需要使用大量的用于不同目的的素材格式，一個(gè)理想的內(nèi)容管理系統(tǒng)應(yīng)當(dāng)獨(dú)立于媒體和格式 內(nèi)容管理系統(tǒng)并不僅是一個(gè)存儲(chǔ)文件的倉庫，它還必須理解文件結(jié)構(gòu)、媒體語法、甚至特定部分的語義；提供媒體索引、自動(dòng)信息檢索和流媒體等功能和服務(wù) 內(nèi)容管理系統(tǒng)除了對素材進(jìn)行單純的管理外，還可以通過自動(dòng)檢索來獲得內(nèi)容的附加信息，實(shí)施編輯點(diǎn)檢測，濃縮版本生成，轉(zhuǎn)碼處理等,數(shù)字媒體資產(chǎn)管理,3,本章內(nèi)容,3.1 素材的不同形式 3.2 編碼和壓縮基礎(chǔ) 3.3 視頻 3.4 音頻 3.5 圖片、網(wǎng)頁、文本和其他素材格式 3.6

2、 素材的處理,數(shù)字媒體資產(chǎn)管理,4,1. 素材的不同形式,基本素材元素 結(jié)構(gòu)化素材格式 高碼率和瀏覽格式,數(shù)字媒體資產(chǎn)管理,5,基本素材元素,基本素材元素是素材的基礎(chǔ)組成部分，內(nèi)容一般會(huì)被表示為特定的基礎(chǔ)素材類型，例如音頻、視頻、圖像、圖形和文本等 素材元素可以根據(jù)它們的時(shí)間和表示特征進(jìn)行分類?？偟膩碚f，分為離散型（非時(shí)相關(guān)）和連續(xù)型（時(shí)間相關(guān)）媒體 一個(gè)連續(xù)的媒體流由連續(xù)的、與時(shí)間相關(guān)的信息單元描述，這種與時(shí)間的相關(guān)性是指媒體（或其不同部分）對于用戶的呈現(xiàn)?；镜倪B續(xù)媒體素材元素有視頻、音頻和運(yùn)動(dòng)圖形 離散媒體沒有內(nèi)在的時(shí)間要求，其表示的內(nèi)容也與呈現(xiàn)時(shí)間無關(guān)，如文本、圖像和圖形,數(shù)字媒體資產(chǎn)

3、管理,6,結(jié)構(gòu)化素材格式,在結(jié)構(gòu)化素材格式中，基本素材元素或其他結(jié)構(gòu)化素材元素通過引用和鏈接組合在一起。例如網(wǎng)頁、XML文檔和多媒體文件 結(jié)構(gòu)化素材格式間的關(guān)系不僅由明顯的引用來建立，還可以由不同基本元素相聯(lián)系的時(shí)間約束來建立 管理結(jié)構(gòu)化素材格式的挑戰(zhàn)在于保持它們所表示信息的有效性和連續(xù)性 需要考慮基本模塊可能會(huì)被重新部署和改變；必須明確地管理結(jié)構(gòu)化素材對象的外部鏈接，防止可能導(dǎo)致內(nèi)容對象的不一致操作,數(shù)字媒體資產(chǎn)管理,7,例：基于擴(kuò)展SMIL的多媒體信息展示,數(shù)字博物館中大量的館藏相關(guān)的文字、音頻、視頻、三維模型、全景圖等多媒體資源需要在網(wǎng)絡(luò)中進(jìn)行全方位同步展示 W3C制訂的推薦標(biāo)準(zhǔn)SMIL

4、語言 (Synchronized Multimedia Integration Language)通過基于XML的標(biāo)記語言，表述各種媒體對象之間的同步關(guān)系，目前得到了廣泛的認(rèn)可 基于Java語言自主開發(fā)的支持文本、圖像、音頻、視頻、全景圖、SVG圖形與三維模型等豐富媒體類型的SMIL展示工具 ,數(shù)字媒體資產(chǎn)管理,8,基于擴(kuò)展SMIL的多媒體信息展示,數(shù)字媒體資產(chǎn)管理,9,SMIL示例：全景圖,利用Java編制一個(gè)可以解析和播放全景圖信息的類并融合到整個(gè)系統(tǒng)中，在適當(dāng)?shù)臅r(shí)候調(diào)用這個(gè)類里面的方法對SMIL文件進(jìn)行解析，獲得全景圖元素的信息 在該元素定義的有效時(shí)間段內(nèi)，用全景圖類里面的方法在屏幕上展

5、現(xiàn)出來 可以在 SMIL文件定義中自如的加入需要展示的全景圖元素 例如：“” 這句話的含義是將預(yù)先準(zhǔn)備好的全景圖片“pano/school.jpg”在0.3秒的時(shí)刻在“pano_001”區(qū)域出現(xiàn)，而且默認(rèn)的滾動(dòng)方向是向左，滾動(dòng)速度為1,數(shù)字媒體資產(chǎn)管理,10,高碼率和瀏覽格式,是否選用高碼率格式是由質(zhì)量、制作、廣播和存檔等方面的要求來決定的 對低碼率格式的需求來自于初選、瀏覽等工作 在一典型的處理視音頻材料的工作流中，對視頻內(nèi)容的初選是基于關(guān)鍵幀的。通過對所選視音頻片斷的低碼率副本的瀏覽（聽和看）來具體選擇特定的內(nèi)容 因?yàn)樾枰焖僭L問瀏覽材料，瀏覽信號應(yīng)當(dāng)高度壓縮以節(jié)省網(wǎng)絡(luò)帶寬和存儲(chǔ)空間 需要

6、能夠根據(jù)系統(tǒng)能力提供相應(yīng)質(zhì)量水平的可調(diào)比特率編碼,數(shù)字媒體資產(chǎn)管理,11,瀏覽交換格式瀏覽的基本要求,EBU和SMPTE（Society of Motion Picture and Television Engineers,電影與電視工程師學(xué)會(huì)）發(fā)表了一份瀏覽交換格式(Browsing Interchange Format, BIF) 目標(biāo)是闡明低碼率瀏覽格式所必須滿足的條件 BIF用于媒體專業(yè)人員的瀏覽和選擇，須具備以下基本特征： 視頻（準(zhǔn)確的幀和時(shí)碼以及顏色） 雙聲道音頻 與內(nèi)容有關(guān)的元數(shù)據(jù)（包括訪問權(quán)限、IPR管理和保護(hù)信息） 與材料有關(guān)的元數(shù)據(jù)（時(shí)碼、唯一ID等） BIF應(yīng)當(dāng)支持流和文

7、件傳輸，而且應(yīng)當(dāng)提供技術(shù)功能以支持促進(jìn)至少2種常用的瀏覽模式：編輯決策列表(Edit Decision List，EDL)和非常窄帶瀏覽，64kb/s的數(shù)據(jù)率應(yīng)當(dāng)足以滿足這種應(yīng)用場合,數(shù)字媒體資產(chǎn)管理,12,2. 編碼和壓縮基礎(chǔ),波形和抽樣 壓縮 比特率,數(shù)字媒體資產(chǎn)管理,13,數(shù)字化,什么是信號的數(shù)字化？ 例：音頻信號 聲音信號在空氣、液體和固體中是通過介質(zhì)的振動(dòng)傳播的 音頻信號可以轉(zhuǎn)化為電、磁信號在電路和空間以振動(dòng)方式傳播 數(shù)字化將連續(xù)變化的輸入如聲音信號轉(zhuǎn)化為一串分離的單元，在計(jì)算機(jī)中用0和1表示。通常用模數(shù)轉(zhuǎn)換器執(zhí)行這個(gè)轉(zhuǎn)換,數(shù)字媒體資產(chǎn)管理,14,數(shù)字化的一些特點(diǎn),傳輸、拷貝和存儲(chǔ)時(shí)

8、信號不易劣化 易于與其它數(shù)字進(jìn)行復(fù)用 易于進(jìn)行處理和管理 信號壓縮 數(shù)據(jù)糾錯(cuò) 內(nèi)容管理 加密,數(shù)字媒體資產(chǎn)管理,15,舉例：膠片電影與數(shù)字電影,膠片電影是將感光乳劑涂在片基上，通過感光、顯影，將形成的影像放映到銀幕上；膠片的工作方式與我們眼睛很相像，它可容納更廣泛的反差、色彩范圍以及高光和暗部的細(xì)節(jié) 膠片解像力一般可達(dá)100cycles/mm，柯達(dá)50D能到200cycles /mm，而數(shù)字影片2K的像素是20481556，相當(dāng)于40cycles /mm 數(shù)字影片 掃描器規(guī)格像素解像力 2K2048155640cycles/mm 3K3072233460cycles/mm 4K40963112

9、80cycles/mm 8K81966224160cycles /mm 目前大量使用的是2K以下的掃描器，解像力遠(yuǎn)不如膠片，不能準(zhǔn)確還原膠片上的細(xì)節(jié)，使膠片上的細(xì)部層次、質(zhì)感受到損失，而這種損失是不可挽回的,數(shù)字媒體資產(chǎn)管理,16,舉例：膠片電影與數(shù)字電影,數(shù)字電影的發(fā)行不再需要洗印大量的拷貝，即避免了從原始素材到拷貝多次翻制的損失，也免除了運(yùn)輸過程，節(jié)約了成本又利于了環(huán)保 使用膠片儲(chǔ)存，數(shù)據(jù)的密度高，可靠性強(qiáng)，效率高，壽命長，滌綸片的概率壽命在500年以上 現(xiàn)階段數(shù)字電影的存儲(chǔ)介質(zhì)多為硬盤，數(shù)字媒介廠商明確建議其用戶每57年，必須轉(zhuǎn)錄一次海量數(shù)據(jù)以防數(shù)據(jù)出現(xiàn)問題；海量的數(shù)據(jù)復(fù)制也面臨困難。一

10、部2K制作的故事片大概需要2.7TB存儲(chǔ)空間，我國數(shù)字電影年產(chǎn)量2008年已經(jīng)達(dá)到260部，其數(shù)據(jù)量幾乎就是一個(gè)天文數(shù)字,數(shù)字媒體資產(chǎn)管理,17,數(shù)字化的缺點(diǎn),數(shù)字化處理會(huì)造成圖像質(zhì)量、聲音質(zhì)量的損傷 數(shù)字信號經(jīng)過處理器時(shí)，一般會(huì)產(chǎn)生延時(shí) 數(shù)字信號在過載時(shí)，將徹底丟失信息 誤碼率高于糾錯(cuò)能力時(shí)，信息也將丟失,數(shù)字媒體資產(chǎn)管理,18,數(shù)字化的意義,當(dāng)所有的媒體都數(shù)字化以后，我們會(huì)觀察到兩個(gè)有意義的結(jié)果 第一，比特會(huì)毫不費(fèi)力地相互混合，可以同時(shí)或分別地被重復(fù)使用。聲音、圖像和數(shù)據(jù)的混合被稱作“多媒體” ，即混合的比特 第二，一種新形態(tài)的比特誕生了，這種比特會(huì)告訴你關(guān)于其他比特的事情。它通常是一種“

11、信息標(biāo)題”（header）能說明后面的信息的內(nèi)容和特征。在你的CD上，也可以找到簡單的標(biāo)題，讓你能直接從一首歌跳到另一首歌，有時(shí)候，還可以從中獲取關(guān)于音樂的更多的材料。這些比特看不見，聽不到，但卻能夠告訴你、你的電腦或上臺(tái)特別的娛樂設(shè)備一些與信號相關(guān)的事情,數(shù)字媒體資產(chǎn)管理,19,數(shù)字化的意義,這兩個(gè)現(xiàn)象，混合的比特和關(guān)于比特的比特，使媒體世界完全改觀 數(shù)據(jù)電視節(jié)目中包含了電腦可以讀懂的關(guān)于節(jié)目的自我描述，這將意味對內(nèi)容的強(qiáng)大控制能力 更進(jìn)一步，這種數(shù)字化的描述能夠讓你在接收端任意選擇節(jié)目的形式無論是聲音、影像還是文字。相比而言，目前的視頻點(diǎn)播就是小兒科了 這些都是數(shù)字化可能引發(fā) 的情況。它開

12、創(chuàng)了無窮可 能性，前所未有的節(jié)目將 從全新的資源組合中脫穎 而出,數(shù)字媒體資產(chǎn)管理,20,數(shù)字化的實(shí)現(xiàn)過程,數(shù)字化的歷史 1937年ALEC REEVES提出PCM編碼 通訊業(yè)用于傳輸 廣播界用于儲(chǔ)存 數(shù)字島：數(shù)字錄音機(jī)，CD機(jī)，音頻工作站 全面數(shù)字化：交換矩陣，調(diào)音臺(tái)，周邊設(shè)備 網(wǎng)絡(luò)化：音頻工作站聯(lián)網(wǎng)，矩陣和調(diào)音臺(tái)聯(lián)網(wǎng),PCM 脈沖編碼調(diào)制是Pulse Code Modulation的縮寫。主要過程是將話音、圖像等模擬信號每隔一定時(shí)間進(jìn)行取樣，使其離散化，同時(shí)將抽樣值按分層單位四舍五入取整量化，同時(shí)按二進(jìn)制碼來表示抽樣脈沖的幅值,數(shù)字媒體資產(chǎn)管理,21,數(shù)字化的實(shí)現(xiàn)過程,數(shù)字化的歷史 數(shù)字化

13、過程 采用個(gè)別數(shù)字設(shè)備（CD機(jī)、錄音機(jī)，調(diào)音臺(tái)等） 音頻工作站系統(tǒng) 控制和傳輸系統(tǒng)數(shù)字化 內(nèi)容數(shù)字化 系統(tǒng)數(shù)字化 系統(tǒng)網(wǎng)絡(luò)化,數(shù)字媒體資產(chǎn)管理,22,采樣和量化,信號的數(shù)字化 對連續(xù)的信號（模擬信號）進(jìn)行：1、采樣；2、量化，即可得到數(shù)字信號 采樣就是每隔一定時(shí)間就讀一次音頻信號的幅度 量化則是將采樣得到的聲音信號幅度轉(zhuǎn)換為數(shù)字值 從本質(zhì)上講，采樣是時(shí)間上的數(shù)字化，而量化則是幅度上的數(shù)字化 選擇采樣頻率應(yīng)遵循奈奎斯特（Nyquist）采樣理論： 如果對某一模擬信號進(jìn)行采樣，則采樣后可還原的最高信號頻率只有采樣頻率的一半，或者說只要采樣頻率高于輸入信號最高頻率的兩倍，就能從采樣信號系列重構(gòu)原始信

14、號 正常人聽覺的頻率范圍大約在20Hz-20kHz之間，根據(jù)奈奎斯特采樣理論，為了保證聲音不失真，采樣頻率應(yīng)該大于40kHz。高保真的音頻采樣頻率有44.1kHz、48kHz、96kHz以及192kHz等,數(shù)字媒體資產(chǎn)管理,23,采樣和量化,高采樣頻率和高量化位數(shù)，可以獲得高音質(zhì)，同時(shí)也增加了系統(tǒng)的開銷，包括存儲(chǔ)容量、運(yùn)算速度、傳輸速率和效率等；另一方面，人耳的分辨率是有限的，所以，可以選擇適當(dāng)?shù)牟蓸宇l率和量化位數(shù)。專業(yè)的數(shù)字音頻系統(tǒng)一般為44.1kHz或48kHz的采樣頻率，16位的量化,1983年CD面世,數(shù)字媒體資產(chǎn)管理,24,壓縮：縮小比特率,壓縮的目的：減少系統(tǒng)資源消耗 數(shù)字化會(huì)產(chǎn)生

15、相當(dāng)高的數(shù)據(jù)率，數(shù)據(jù)量很大。應(yīng)用ITU-R BT601 5標(biāo)準(zhǔn)的4：3電視視頻信號的比特率是270Mb/s，每小時(shí)的視頻就有121. 5GB 壓縮的手段：降低或剔除冗余信息 壓縮的種類：無損壓縮、有損壓縮 無損壓縮：降低或剔除物理冗余信息，信號可完全恢復(fù),如zip、rar等 有損壓縮：降低或剔除生理和心理冗余信息，信號不可完全恢復(fù)，如mp3、 wma等 多數(shù)壓縮標(biāo)準(zhǔn)采用混合編碼技術(shù)，例如，結(jié)合熵編碼和源編碼的JPEG、H261、MPEG -1、MPEG- 2和MPEG 4等,數(shù)字媒體資產(chǎn)管理,25,數(shù)字信號的糾錯(cuò),數(shù)字信號就是一系列按一定規(guī)則排列的數(shù)位（二進(jìn)制時(shí)，bit比特） 數(shù)字信號傳輸時(shí)，

16、當(dāng)將附加的數(shù)據(jù)(規(guī)則)加于數(shù)據(jù)流之中，在接收端就可通過對附加的數(shù)據(jù)(規(guī)則)進(jìn)行鑒別來識(shí)別出有誤碼的數(shù)位，并給以糾正,數(shù)字媒體資產(chǎn)管理,26,3.視頻,視頻編碼 MPEG DV 視頻格式,數(shù)字媒體資產(chǎn)管理,27,視頻編碼：基礎(chǔ)和原理,視頻圖像是用像素（圖片元素）表示的，它們是圖片中的最小單元 圖像比例給出了圖片的寬度與高度的比例，一般寬高比是4:3 彩色影像由紅、綠、藍(lán)3種信號(RGB)組成。在傳輸信號的過程中采用了由1個(gè)亮度信號和2色度信號(YUV)表示的方法 連續(xù)移動(dòng)的圖像，如果幀頻在每秒15幀以上，人類眼睛是無法區(qū)分單個(gè)幀的，這種特征被應(yīng)用于表示運(yùn)動(dòng)圖像；歐洲PAL制式使用25Hz的復(fù)制率

17、，美國NTSC制式使用29. 97Hz,數(shù)字媒體資產(chǎn)管理,28,視頻編碼：基礎(chǔ)和原理,要從模擬制轉(zhuǎn)為數(shù)字制?；镜牟襟E是抽樣、量化和編碼。對于視頻，灰度或彩色級在這個(gè)過程中被抽樣到一個(gè)MxN的點(diǎn)陣數(shù)組內(nèi)。接下來，連續(xù)的值根據(jù)點(diǎn)陣數(shù)組映射到表示量化區(qū)間的離散值（如分成256個(gè)區(qū)間） 對于更為重要的亮度信號可以用更高的抽樣率（如13. 5MHz），2個(gè)色度信號只需要用亮度信號抽樣率的一半來抽樣(6. 75MHz)即可，4：2：2抽樣 在8比特量化和亮度抽樣值每行864、色度抽樣值每行432的情況下，除去空白區(qū)間間隔后的累加率為261Mb/s,數(shù)字媒體資產(chǎn)管理,29,基于MPEG的格式,ISO/IE

18、C JTCI/SC29/WGlI中的運(yùn)動(dòng)圖像專家組(Moving Pictures Expert Group，MPEG)自1988年以來一直在發(fā)展關(guān)于視頻編碼的標(biāo)準(zhǔn)。相關(guān)的視頻標(biāo)準(zhǔn)有MPEG 1、MPEG 2和MPEG 4。不同的標(biāo)準(zhǔn)制定的時(shí)間不同，針對的應(yīng)用范圍不同。但是它們有很多共同的基本原理，屬于同一個(gè)格式家族,數(shù)字媒體資產(chǎn)管理,30,MPEG家族,MPEG致力于運(yùn)動(dòng)圖像及其伴音的壓縮編碼標(biāo)準(zhǔn)化工作，原計(jì)劃開發(fā)MPEG14四個(gè)版本，以適用于不同帶寬和數(shù)字影像質(zhì)量的要求。 目前，MPEG1技術(shù)被廣泛的應(yīng)用于VCD，而MPEG2標(biāo)準(zhǔn)則用于廣播電視和DVD等。MPEG3最初是為HDTV開發(fā)的編碼和壓縮標(biāo)準(zhǔn)，但由于MPEG2的出色性