《多媒體計算機技術》學習筆記============================課程:7167多媒體計算機技術教材:《多媒體計算機技術第1版》魯宏偉汪厚祥電子工業(yè)出版社第一章多媒體技術概述一、主要內(nèi)容1、什么是媒體?1)一是指用以存儲信息的實體,如磁盤、磁帶、光盤和半導體存儲器;2)一是指信息的載體,如數(shù)字、文本、聲音、圖形圖像和視頻等。2、CCITT給媒體做的分類1)感覺媒體:指能直接作用于人的感官,使人能直接產(chǎn)生感覺的一類媒體2)表示媒體:為了加工、處理和傳輸感覺媒體而人為地研究、構(gòu)造出來的一種媒體。其目的是將感覺媒體從一個地方向另一個地方傳送,以便于加工和處理。表示媒體包括各種編碼方式。3)顯示媒體:指感覺媒體與用于通信的電信號之間轉(zhuǎn)換用的一類媒體。包括輸入顯示媒體和輸出顯示媒體4)存儲媒體:用來存放表示媒體,以方便計算機處理加工和調(diào)用,主要指與計算機想著的外部存儲設備。5)傳輸媒體:用來將媒體從一個地方傳送到另一個地方的物理載體,是通信的信息載體。3、多媒體定義所謂多媒體,是指信息表示媒體的多樣化,常見的多媒體有文字、圖形、圖像、聲音、音樂、視頻、動畫等多種形式。4、多媒體技術就是利用計算機技術把文本、聲音、視頻、動畫、圖形和圖像等多種媒體進行綜合處理,使多種信息之間建立邏輯連接,集成為一個完整的系統(tǒng)。5、多媒體的特征1)多維化:信息媒體的多樣化。2)集成性:不僅指多媒體設備集成,也包含多媒體信息集成或表現(xiàn)集成。3)交互性:是使人們獲取和使信息變被動為主動的最為重要的特征。4)實時性:主要指類似聲音和視頻這樣的媒體,與時間密切相關,要求多媒體技術必須支持實時處理。6、多媒體計算機技術及發(fā)展1)MPC1:1990年2)MPC2:1993年3)MPC3:1995年7、多媒體技術主要內(nèi)容:1)多媒體軟硬件平臺2)專用芯片:DSP3)數(shù)據(jù)壓縮及編碼技術4)多媒體同步:(集成模式:制約式、交互式和協(xié)作式。)5)多媒體網(wǎng)絡與分布式處理技術6)信息的組織與管理7)多媒體數(shù)據(jù)存儲8)虛擬現(xiàn)實技術8、多媒體技術的應用1)視頻點播2)電子出版物3)CAI4)游戲與娛樂5)計算機視頻會議6)多媒體展示和信息查詢系統(tǒng)7)MIS與OA8)傳媒、廣告9)講演輔助10)聯(lián)機服務二、學習心得基本上每本書的第一章都是提綱挈領地介紹整本書的主要內(nèi)容,并提出一些基本的理論和概念。第一章的學習是比較重要的,其內(nèi)容是后面章節(jié)的概要性介紹。估計會有10分左右的出題。第二章多媒體計算機系統(tǒng)的組成一、主要內(nèi)容1、多媒體I/O設備分類輸入設備、輸出設備、用于網(wǎng)絡通信的通信設備。2、輸入設備除了基本的鍵盤、鼠標等以外,還包括手寫板、磁卡設備、IC卡設備、條碼設備、圖像掃描儀、數(shù)字化儀、觸摸屏、視頻卡和視頻捕獲卡等。3、圖像掃描儀主要性能指標1)分辨率:以每英寸上掃描象素點數(shù)(DPI)表示,通常在300DPI到1200DPI之間。2)灰度,指圖像亮度層次范圍,目前可達2503)色彩度,指彩色掃描儀支持的色彩范圍,用象素的數(shù)據(jù)位表示,如24位支持16M色。4)速度,在指定的分辨率和圖像尺寸下的掃描時間。5)幅面:支持的幅面大小,如A4、A3掃描儀按幅面大小份為臺式和手持式,按圖像類型分為灰度和彩色掃描儀。4、觸摸屏一般由兩部分組成:觸摸屏控制卡和觸摸檢測裝置。按介質(zhì)及工作原理,可分為電阻式、電容式、紅外線式和聲表面波式。5、視頻捕獲卡將模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號的轉(zhuǎn)換卡。選擇時要考慮的問題:1)是否有Overlay(疊加)功能,可直接把視頻信號送到VGA顯示器。2)支持的輸入視頻標準、視頻源和圖形文件格式。NTSC、PAL和S-Video。3)與VGA卡的兼容性4)是否采用了硬件壓縮5)“錄像”質(zhì)量:圖像尺寸、支持的顏色數(shù)、丟幀。6、輸出設備1)CRT:兩大類:圖像顯示、矢量圖形方式。種類:存儲型、隨機掃描型、隨機掃描彩色CRT。2)液晶顯示器(LCD):低電壓、低功耗。按技術性質(zhì)分單純矩陣驅(qū)動和主動矩陣驅(qū)動,TFT是主要發(fā)展方向。3)等離子體顯示器(PDP)4)顯示卡:主要作用是對圖形函數(shù)進行加速。5)打印機:擊打式和非擊打式,點陣針擊、激光、噴墨。7、通信設備1)調(diào)制解調(diào)器:Modem2)網(wǎng)卡,局域網(wǎng)最基本的部件之一,又稱網(wǎng)絡卡或網(wǎng)絡接口卡,簡稱NIC。主要工作是整理計算機上發(fā)往網(wǎng)線上的數(shù)據(jù),并將數(shù)據(jù)分解為適當大小的數(shù)據(jù)包之后向網(wǎng)絡上發(fā)送出去,還負責網(wǎng)線上傳過來的數(shù)據(jù)。3)傳真/通訊卡9、USB設備通用串行總線,主要特點:即插即用、可熱插拔,并具有自動配置能力。1.1版12Mb/s,2.0版480Mb/s。USB采用四線電纜,其中兩根是用來傳遞數(shù)據(jù)的串行通道,另兩根為下游設備提供電源。USB支持4種基本的數(shù)據(jù)傳輸模式:控制傳輸、等時傳輸、中斷傳輸及數(shù)據(jù)塊傳輸。10、多媒體與CPU芯片MMX技術:重要特色是使用了單指令多數(shù)據(jù)流技術(SIMD),即一條指令并行處理多個數(shù)據(jù),從而成倍地提高了機器計算速度。二、學習心得這一章有不少常識性的內(nèi)容,估計會有一些選擇、填空、名詞解釋、簡答的送分題。第三章數(shù)字圖像處理技術***該章內(nèi)容為重點內(nèi)容***一、主要內(nèi)容1、彩色空間及變換圖像處理技術中最基本的問題是對顏色的處理。顏色模式主要有:1)RGB:紅、綠、藍2)Lab:是由RGB轉(zhuǎn)為HSB或CMYK模式的橋梁,發(fā)光率、顏色A、B。4)YUV:電視系統(tǒng)常用模式,亮度Y和色差U、V組成。Y與U、V獨立變化,可用于壓縮。5)CMYK:彩色印刷使用。3、壓縮算法評價1)壓縮比2)算法的復雜性和運算速度3)失真度:無損編碼、有損編碼4、行程長度編碼(重點掌握并應用)RLE,又稱游程編碼,就是把一系列的重復值用一個單獨的值加上一個計數(shù)值來取代。6、預測編碼可分為線性預測和非線性預測編碼。前者常被稱為差分脈沖編碼調(diào)制,即DPCM。其基本原理是基于圖像中相鄰象素之間的相關性,每個象素可通過與之相關的幾個象素來進行預測。7、變換編碼就是將時域信號變換到頻域信號上進行處理的方法。常用有K-L和DCT(離散余弦變換)。8、模型法編碼預測編碼、矢量量化編碼以及變換編碼都屬于波形編碼。其理論基礎是信號理論和信息論,其出發(fā)點是將圖像信號看作不規(guī)則的統(tǒng)計信息,從象素之間的相關性這一圖像信號統(tǒng)計模型出發(fā)設計編碼器。而模型編碼則是利用計算機視覺和計算機圖形學的知識對圖像信號的分析與合成。模型編碼的關鍵是對特定的圖像建立模型,并根據(jù)這個模型確定圖像中景物的特征參數(shù),如運動參數(shù),形狀參數(shù)等。解碼時則根據(jù)參數(shù)和已知模型用圖像合成技術重建圖像。9、混合編碼以兩種或兩種以上方法對圖像進行編碼稱為混合編碼。11、BMP格式位圖文件格式,三部分組成:位圖文件頭數(shù)據(jù)結(jié)構(gòu)、位圖信息數(shù)據(jù)結(jié)構(gòu)和位圖陣列。位圖陣列數(shù)據(jù)支持RLE4和RLE8壓縮格式。12、GIF格式CompuServe公司開發(fā)的格式,稱為圖形交換格式。以數(shù)據(jù)塊為單位來存儲圖像的相關信息,使用LZW壓縮算法來存儲,支持透明屬性,可以在一個文件中存放多幅圖像。13、TIF格式TIFF格式,與硬件無關,可以用幾種不同的壓縮方法壓縮。文件組成:文件頭、參數(shù)指針表、參數(shù)數(shù)據(jù)表。14、PNG格式便攜網(wǎng)絡圖形格式,使用LZ77派生的無損數(shù)據(jù)壓縮算法,目的是替換GIF和TIFF。15、PNGvsGIFvsJPEG(掌握)1)PNG兼有GIF和JPEG的色彩模式,GIF用256索引色,JPEG用真彩色,PNG都支持。2)PNG能把圖像壓縮到極限,但又保留圖像品質(zhì)。文字線條類圖形用類GIF方式,相片類用類JPEG方式處理,但采用非破壞性壓縮。3)PNG更優(yōu)化的傳輸顯示。支持類GIF的交錯模式。4)GIF只支持0/1透明,JPEG不支持透明,PNG支持“a”頻段0-255的透明信息。5)GIF在不同系統(tǒng)上顯示的畫面可能不同,PNG則可完全相同。6)GIF支持一個文件多圖像,PNG不支持。7)PNG用無損壓縮,雖然壓縮比高于JPEG,但是JPEG可以犧牲品質(zhì)換尺寸。8)PNG不支持CMYK模式。(后三個是PNG的缺點)16、JPEG格式ISO和CCITT靜止圖像編碼聯(lián)合專家組。用于連續(xù)色調(diào)的靜止圖像壓縮編碼的通用算法的國際標準。兩種工作方式:順序方式和漸進方式。順序方式中,圖像被分割成行成列的四方小塊,編碼時由左而右,由上而下地逐行逐列對每個小塊進行運算,直到所有小塊都被編碼為止。漸進方式下,先以一種低于最終質(zhì)量要求的標準進行編碼,完成后再以較上次高一級的質(zhì)量要求再進行一次編譯,但僅傳送為改善質(zhì)量所需增加的那部分信息。重復若干次直至達到所需的最終質(zhì)量要求。三種級別編碼算法:基本系統(tǒng)、擴展系統(tǒng)、無失真系統(tǒng)?；鞠到y(tǒng)編碼以離散余弦變換為核心,采用順序工作方式,適用于一般精度(8bit)的圖像,有良好的壓縮效果,壓縮比可調(diào)。將基本系統(tǒng)在若干方面增強并減少一些限制條件后就稱為擴展系統(tǒng),支持(4bit-12bit),可采用漸進方式,可選哈夫曼或算法碼對離散余弦變換產(chǎn)生的統(tǒng)計事件進行壓縮編碼。無失真系統(tǒng)采用二維DPCM技術,實現(xiàn)無失真壓縮,壓縮比較低。17、JPEG基本系統(tǒng)編碼過程(重點掌握)1)二維DCT正變換,減少圖像數(shù)據(jù)的相關性2)系數(shù)量化,根據(jù)壓縮精度將變換系數(shù)用較少的比特數(shù)表示3)編碼模型與統(tǒng)計事件,壓縮系數(shù)矩陣中的零數(shù)據(jù),從量化后的系數(shù)矩陣生成供熵編碼的統(tǒng)計事件。直流分量使用DPCM編碼。4)熵編碼:基本系統(tǒng)中用哈夫曼編碼,擴展系統(tǒng)中可用算術編碼。5)數(shù)據(jù)結(jié)構(gòu),增加一些附加信息18、JPEG漸進方式1)譜選擇法,對DCT變換后的系數(shù),先低頻后高頻按級編碼。2)逐次逼近,第一級只送系數(shù)的近似值(如舍棄系數(shù)的幾個低比特位),后面各級補上。3)階梯方式,先用小尺寸編碼,再編碼原圖像與它的差值。19、JPEG的壓縮效果0.15b/p,可識別,0.25有用,0.75極佳,1.5時基本與原圖無區(qū)別。21、MPEG系統(tǒng)運動圖像專家組,下分三個小組:MPEG-Video(視頻組)負責視頻壓縮、MPEG-Audio(音頻組)負責音頻壓縮、MPEG-System(系統(tǒng)組)解決多信道壓縮視頻音頻和同步及合成問題。22、MPEG-1標準運動圖像和伴隨聲音的編碼-用于速率約在1.5Mb/s以下的數(shù)字存儲媒體。采用CIF視頻格式(352x288),幀速率為25或30fps,碼率為1.5Mb/s(其中視頻約1.2Mb/s,音頻約0.3Mb/s)。1992年正式通過,由5部分組成:1)MPEG-1System,規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其它相關數(shù)據(jù)的同步。2)MPEG-1Video,規(guī)定視頻數(shù)據(jù)的編碼和解碼。3)MPEG-1Audio,規(guī)定音頻數(shù)據(jù)的編碼和解碼。4)MPEG-1Conformancetesting,規(guī)定如何測試比特數(shù)據(jù)流和解碼器是否滿足前3部分中所規(guī)定的要求。5)MPEG-1SoftwaresimulationMPEG-2標準適于高于2Mb/s的視頻壓縮,基本算法也是運動補償?shù)念A測和帶有DCT的幀間內(nèi)變長編碼,與MPEG-1的主要區(qū)別:1)能夠有效地支持電視的隔行掃描格式。2)支持可分級的可調(diào)視頻編碼,適用于需要同時提供多種質(zhì)量的視頻業(yè)務的情況。系統(tǒng)分為9組,除了MPEG-1的五組,還有:6)MPEG-2數(shù)字存儲媒體命令和控制擴展協(xié)議7)MPEG-2先進聲音編碼(AAC),多聲道聲音編碼算法標準。8)MPEG-2系統(tǒng)解碼器實時接口擴展標準9)MPEG-2DSM-CC一致性擴展測試GOP-15:IBBPBBPBBPBBPBBI,允許GOP-1到GOP-15甚至更多,支持變比特率(VBR)編碼方案。25、H.261標準CCITT制定的國際上第一個視頻壓縮標準,主要用于電視電話和會議電視,1990年批準。又稱為Px64Kb/s標準,P=1,2時支持QCIF(172x144)。P=6時支持CIF(352x288)。核心是運算估值預測和DCT編碼。26、H.263標準關于低于64Kb/s比特率的窄帶通道視頻編碼建議,其目的是能在現(xiàn)有的電話網(wǎng)上傳輸活動圖像。提供兩種編碼模式:幀內(nèi)編碼、幀間編碼。QCIF每幀分為若干宏塊,每個宏塊由4個8x8的亮度塊、1個8x8的Cb塊和1個8x8的Cr塊組成,由若干個宏塊行組成的塊組稱為1個GOB,行的數(shù)量取決于圖像幀的分辨率。QCIF格式中,1個GOB由一行(11個)宏塊組成,每幀圖像由9個GOB組成。二、學習心得本章內(nèi)容很重要,估計會有20分以上的題目,特別是幾種簡單壓縮算法可能會出應用題。JPEG、MPEG的算法和概念也可能出名詞解釋和簡答題。第四章音頻信號和聲卡一、主要內(nèi)容1、聲音分類:波形聲音、語音、音樂2、聲音的3要素:1)音調(diào):與聲音的頻率有關。人耳對頻率的感覺范圍:20Hz-18000Hz。2)音強:描述聲音的強弱,體現(xiàn)在聲音的幅度3)音色:由混入基音的泛音所決定3、采樣和量化聲音信號是連續(xù)的模擬信號,為了使計算機能夠進行處理,必須首先對聲音在時間軸和幅度兩個方面進行離散化。時間軸上的離散化稱為采樣,采樣頻率高于信號最高頻率的2倍。而對幅度的離散化稱為量化,可采用線性量化和非線性量化兩種方式。對聲音波形的采樣,就是按采樣的頻率間隔、不斷地獲取幅度的量值,使離散的聲音波形轉(zhuǎn)變?yōu)殡x散的數(shù)字量。4、常見音頻文件格式wav、au、aiff、snd、rm、mp3等。wav稱為波形文件格式,是一種資源交換文件格式(RIFF)。5、聲音質(zhì)量客觀質(zhì)量主要用信噪比SNR。主觀質(zhì)量常用的有平均意見得分(MOS)。數(shù)據(jù)語音通信中,分為:廣播質(zhì)量、網(wǎng)絡質(zhì)量、通信質(zhì)量和合成質(zhì)量。6、心理聲學模型一個基本概念就是聽覺系統(tǒng)中存在一個聽覺閾值電平,低于這個電平的聲音信號就聽不到,因此可以把這部分信號去掉。聽覺閾值的大小隨聲音頻率的改變而改變,各人也不同。另一個概念是聽覺掩飾特性,意思是聽覺閾值電平是自適應的,即聽覺閾值電平會隨聽到的不同頻率的聲音而發(fā)生變化。7、脈沖編碼調(diào)制(PCM)概念上最簡單、理論上最完善、最早研制成功、使用最為廣泛的編碼系統(tǒng),但也是數(shù)據(jù)量最大的編碼系統(tǒng)。8、非線性量化對輸入信號進行量化時,大的輸入信號采用大的量化間隔,小的輸入信號采用小的量化間隔,這樣就可以在滿足精度要求的情況下用較少的位數(shù)。聲音數(shù)據(jù)還原時,采用相同的規(guī)則9、增量調(diào)制(DM)是一種預測編碼技術。DM是PCM編碼的一種變形。PCM是對每個采樣信號的整個幅度進行量化編碼,因此它具有對任意波形進行編碼的能力。DM堅實際的采樣信號與預測的采樣信號之差的極性進行編碼,將極性變成“0”和“1”這兩種可能的取值之一。有兩個缺點:1)斜率過載:增量調(diào)制器的輸出不能保持跟蹤輸入信號的快速變化的現(xiàn)象。2)粒狀噪聲:在輸入信號緩慢變化部分,即輸入信號與預測信號的差值接近零的區(qū)域,增量調(diào)制器的輸出會出現(xiàn)隨機交變的“0”和“1”。解決方法:自適應增量調(diào)制ADM。10、自適應脈沖編碼調(diào)制(APCM)根據(jù)輸入信號幅度的均方根值的變化來改變量化增量的一種編碼技術。11、差分脈沖編碼調(diào)制(DPCM)利用樣本與樣本之間存在的信息冗余度來進行編碼的一種數(shù)據(jù)壓縮技術。主要思想:根據(jù)過去的樣本去估算下一個樣本信號的幅度大小,這個值稱為預測值,然后對實際信號值與預測值之差進行量化編碼,從而就減少了表示每個樣本信號的位數(shù)。12、自適應差分脈沖編碼調(diào)制(ADPCM)綜合了APCM的自適應特性和DPCM系統(tǒng)的差分特性,是一種比較好的波形編碼。核心思想:1)利用自適應的思想改變量化增量的大小,即用小的量化增量去編碼小的差值,使用大的量化增量去編碼大的差值。2)使用過去的樣本值估算下一個輸入樣本的預測值,使實際樣本值和預測值之間的差值總是最小。13、音頻編碼標準1)G.711:1972年通過,速率64Kb/s,使用u律或A律的非線性量化技術,主要用于公共電話網(wǎng)中。2)G.722:1988年通過,使用子帶編碼(SBC)方案,分為高低兩個子帶信號,然后用ADPCM編碼。3)G.723:1996年通過,“用于多媒體傳輸?shù)?.3kb/s或6.3kb/s雙速率話音編碼”,多脈沖激勵最大似然量化算法。4)G.728:1992年制定,使用基于低時延碼本激勵線性預測編碼算法,16kb/s,公共電話網(wǎng)。5)G.729:1996年通過,8kb/s共軛結(jié)構(gòu)代數(shù)激勵線性預測算法。14、MP3是MPEGaudioLayer3音頻文件的縮寫,它是一超級聲音文件的壓縮方法,具有文件小、音質(zhì)佳的特點。采用“感官編碼技術”,是一種有損壓縮方式,但它以極小的聲音失真換來較高的壓縮比。15、樂器數(shù)字接口MIDIMIDI是樂器數(shù)字接口的英文縮寫,是數(shù)字音樂/電子合成樂器的統(tǒng)一國際標準。16、聲卡的功能1)錄制、編輯和回放數(shù)字聲音文件2)控制各聲源的音量,并混合在一起,以便數(shù)字化3)在記錄和回放數(shù)字文件時進行壓縮和解壓縮,以節(jié)省存儲空間4)采用語音合成技術,能讓電腦朗讀文件5)MIDI接口17、語音合成技術主要包括特征提取技術、模式匹配準則和模型訓練技術3個方面,另外還涉及到語音識別單元的選取。18、二、學習心得本章內(nèi)容較為重要,估計會有15分以上的出題。第五章光盤存儲原理及相關標準一、主要內(nèi)容1、幾種光盤格式和標準CD-DA:數(shù)字激光唱盤,即“紅皮書標