第5章數(shù)字視頻(1)2022/11/221南京大學(xué)多媒體研究所內(nèi)容1.視頻基本知識2.數(shù)字視頻3.數(shù)字視頻的輸入和輸出2022/11/222南京大學(xué)多媒體研究所一、視頻的基本知識2022/11/223南京大學(xué)多媒體研究所1什么是視頻視頻(video)：隨時間變化其內(nèi)容的一組圖象(24,25,30幀/秒)，又叫運動圖象或活動圖象(motionpicture)。常見視頻信號：電視，電影，動畫等.視頻信號的特點：內(nèi)容隨時間而變化,伴隨有與畫面動作同步的聲音(伴音),人類接受的信息70%來自視覺,其中活動圖象是信息量最豐富、直觀、生動、具體的一種承載信息的媒體。視頻信息的處理是多媒體技術(shù)的核心。2022/11/224南京大學(xué)多媒體研究所電視電視是當代最有影響力的信息傳播工具!3種彩色電視制式:NTSC制(正交平衡調(diào)幅制),美國、加拿大，臺灣、日本、韓國、菲律賓等采用PAL制(逐行倒相正交平衡調(diào)幅制),德國、英國，中國、朝鮮等采用SECAM制(順序傳送彩色與存儲制),法國、蘇聯(lián)及東歐國家采用.2022/11/225南京大學(xué)多媒體研究所電視圖象攝取,傳輸和重現(xiàn)的過程

拍攝圖像和播放圖像都采用“光柵掃描”(rasterscan)的原理。攝象機攝取景物時，把自然景物的顏色分解為R,G,B三個分量在彩電信號傳輸中，用Y,C1,C2分別表示亮度信號和兩個色差信號，C1,C2的含義與彩電的制式有關(guān)。電視接收機把Y,C1,C2信號重新轉(zhuǎn)換為R,G,B進行顯示.2022/11/226南京大學(xué)多媒體研究所光柵掃描(rasterscan)隔行掃描(interlaced,電視圖象采用)奇數(shù)場偶數(shù)場1幀圖像逐行掃描(progressive,計算機顯示圖象時采用)2022/11/227南京大學(xué)多媒體研究所2視頻信號的空間特性575625垂直回掃水平回掃(PAL)485525垂直回掃水平回掃(NTSC)verticalresolutionaspectratio(4:3or16:9)2022/11/228南京大學(xué)多媒體研究所視頻信號的時間特性（1）動作連貫性感覺的要求：幀頻>=15f/s；無閃爍感覺的要求：畫面刷新速率必須>=每秒50次。

PAL制式：幀頻為25幀/s,場頻50場/s；NTSC制式：幀頻是30幀/s,場頻是60場/s電視掃描信號的行頻：PAL：625x25=15.625kHz，周期為64μs;NTSC：525x30=15.75kHz，周期為63.5μs2022/11/229南京大學(xué)多媒體研究所575625(4/3)*575視頻信號的時間特性（2）模擬信號傳輸電視節(jié)目時的帶寬：PAL制式是8.0MHz（亮度信號為5.5MHz，2個色度信號均為1.8MHz），NTSC制式是6.0MHz（亮度信號為4.2MHz，2個色度信號均為1.0MHz）。全屏光點總數(shù):575*(4/3)*575=440kb(P)484*(4/3)*484=310kb(N)視頻信號最高頻率:440k*25/2=5.5MHz(P)310k*30/2=4.65MHz(N)2022/11/2210南京大學(xué)多媒體研究所3電視信號的彩色空間（1）在彩色電視中，用Y、C1,C2彩色表示法分別表示亮度信號（Luminance或Luma）和兩個色度信號（Chrominance或Chroma）。C1，C2的含義與具體的電視制式有關(guān):電視制式C1的含義C2的含義NTSCIQPALUVCCIR601數(shù)字電視CrCb2022/11/2211南京大學(xué)多媒體研究所電視信號的彩色空間（2）YUV空間(PAL)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量

U=(B-Y)*0.493色度分量

V=(R-Y)*0.877YIQ空間(NTSC)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量I=0.6*R-0.28*G-0.32*B色度分量

Q=0.21*R-0.52*G+0.31*B(優(yōu)點：與黑白電視兼容；有利于壓縮信號帶寬)2022/11/2212南京大學(xué)多媒體研究所電視信號的彩色空間（3）YCrCb是國際通用的CCIR601數(shù)字電視信號中使用的彩色空間，它由YUV彩色空間經(jīng)過縮放和平移得到。Y值的額定范圍在16-235之間，Cr和Cb在16-240之間，具體的轉(zhuǎn)換公式如下：Y=(77/256)*R+(150/256)*G+(29/256)*BCr=(131/256)*R-(110/256)*G-21/256)*B+128Cb=-(44/256)*R-(87/256)*G+(131/256)*B+1282022/11/2213南京大學(xué)多媒體研究所電視信號的彩色空間（4）使用Y、C1，C2彩色空間的優(yōu)點：①Y和C1，C2是獨立的，因此彩色電視和黑白電視都可以使用，Y分量可由黑白電視接收機直接使用而不需做任何進一步的處理；②可以利用人的視覺特性來節(jié)省信號的帶寬和功率，通過選擇合適的顏色模型，可以使C1，C2的帶寬明顯低于Y的帶寬，而又不明顯影響彩色圖像的質(zhì)量。2022/11/2214南京大學(xué)多媒體研究所4彩色電視信號的若干形式模擬形式：模擬復(fù)合信號模擬分量信號模擬S-video信號數(shù)字形式：數(shù)字復(fù)合信號數(shù)字分量信號2022/11/2215南京大學(xué)多媒體研究所（1）復(fù)合電視信號復(fù)合電視信號(compositevideosignal)：由亮度、色度信號及同步信號復(fù)合而成的單一信號，也稱為全電視信號.復(fù)合電視信號適合于進行遠距傳輸，其質(zhì)量稱為VHS（家用級)。彩色空間轉(zhuǎn)換RGB=>YUV圖象信號編碼信號復(fù)合RGBYUVCVBSVSyncHSync復(fù)合電視信號（模擬電視信號的編碼）2022/11/2216南京大學(xué)多媒體研究所復(fù)合電視信號為便于電視信號遠距傳輸，必須把三個分量信號以及同步信號復(fù)合成一個信號，然后才進行傳輸。CVBS=Y+a*U*Sin(Wsc*t)+b*V*Cos(Wsc*t)

(Wsc

為副載波頻率)伴音信號與視頻信號也復(fù)合在一起傳輸。亮度色度6MHz(NTSC)-1.00.01.02.03.04.05.0圖象載波聲音載波色度副載波音頻2022/11/2217南京大學(xué)多媒體研究所（2）分量電視信號為保證視頻信號質(zhì)量，近距離時可用分量視頻信號(componentvideosignal)傳輸,分量信號是指每個基色分量(R,G,B或Y,U,V)作為獨立的電視信號傳輸。(Betacam，廣播級或?qū)I(yè)級).視頻節(jié)目制作時使用的是分量視頻信號計算機輸出的視頻信號，是分量形式的視頻信號。2022/11/2218南京大學(xué)多媒體研究所（3）S-Video信號

S-Video是亮度(包含同步信號)和色度(2個色度信號復(fù)合在一起)互相分離的一種電視信號，優(yōu)點：①減少亮度信號和色度信號之間的交叉干擾；②不需要使用梳狀濾波器來分離亮度信號和色度信號，這樣可提高亮度信號的帶寬。信號電平=1V阻抗=75ohms信號電平=0.3V阻抗=75ohms

S-Video使用單獨的兩條信號線分別傳輸亮度信號和色度信號，這兩個信號稱為Y/C信號。

S-Video使用4針連接器2022/11/2219南京大學(xué)多媒體研究所二、數(shù)字視頻2022/11/2220南京大學(xué)多媒體研究所1為什么使用數(shù)字視頻？易于編輯、修改等操作處理用戶接收的圖像質(zhì)量更好(可達演播室水平)有利于存儲，信息復(fù)制不會失真有利于傳輸(抗干擾能力強)節(jié)省頻率資源(占用頻道較窄)可以通過公共電信網(wǎng)和計算機網(wǎng)傳輸可以與其它媒體組合使用可以生成描述信息（bitsaboutbits）,便于信息的檢索和使用2022/11/2221南京大學(xué)多媒體研究所2視頻信號的數(shù)字化視頻信號數(shù)字化過程:(8-10bits)濾波取樣量化PCM編碼數(shù)字視頻信息模擬視頻信號VUYUVY亮度信號的取樣頻率:13.5MHzU,V色度信號的取樣方式有多種不同格式2022/11/2222南京大學(xué)多媒體研究所亮度信號的取樣（CCIR601）ITU-RBT.601標準(CCIR601,美國稱為D1標準)，對3種制式電視的取樣頻率和有效分辨率都作了統(tǒng)一規(guī)定。每一行的像素數(shù)目:PAL:13.5MHz=625×25×N=15625×N,

N=864NTSC:

13.5MHz=525×30×N=15734×N,

N=858

有效（可顯示）像素均統(tǒng)一為：720720pel(有效取樣樣本)12/16

pel

132/122

pel水平掃描線(64us)藍色為NTSC藍色為NTSC2022/11/2223南京大學(xué)多媒體研究所色度信號的取樣（CCIR601）人對顏色的敏感程度遠不如對亮度信號那么靈敏，所以色度信號的取樣頻率可以比亮度信號的取樣頻率低，以減少數(shù)字視頻的數(shù)據(jù)量。色度信號的取樣頻率有4種:

格式取樣頻率平均每個像素的樣本數(shù)4:4:4同亮度信號取樣頻率3樣本/像素4:2:2亮度信號取樣頻率的一半2樣本/像素

4:1:1亮度信號取樣頻率的1/41.5樣本/像素

4:2:0亮度信號取樣頻率的一半,1.5樣本/像素但隔行處理2022/11/2224南京大學(xué)多媒體研究所色度信號的4種取樣格式4:2:2亮度信號色度信號4:4:44:2:04:1:12022/11/2225南京大學(xué)多媒體研究所

名稱

亮度(Y)

色度(Cb,Cr)

(行數(shù)/幀)

(像素/行)(行數(shù)/幀)

(像素/行)取樣格式CCIR6015767205763604:2:2CIF288360 144 1804:2:0QCIF144180 72904:2:0SQCIF96 12848644:2:0常用數(shù)字視頻信號的規(guī)格(CCIR601＝ITU-R601)

亮度的取值范圍:16(黑)-235(白)色度的取值范圍:16-2402022/11/2226南京大學(xué)多媒體研究所3視頻信號的數(shù)字化視頻信號數(shù)字化有2種情況:1模擬復(fù)合視頻信號的數(shù)字化視頻信號數(shù)字化芯片復(fù)合視頻信號Y／C信號(S-video)CCIR601數(shù)字視頻24位RGB數(shù)字視頻視頻信號數(shù)字化芯片RGB分量模擬視頻信號CCIR601數(shù)字視頻2模擬分量視頻信號的數(shù)字化.2022/11/2227南京大學(xué)多媒體研究所模擬復(fù)合視頻信號的數(shù)字化把復(fù)合視頻信號或Y／C信號進行模數(shù)轉(zhuǎn)換。例如使用8位A／D轉(zhuǎn)換器，得到8位數(shù)字化的值把亮度(Y)和2個色度(C)信號分開。分離后Y的數(shù)值范圍為4-200，仍包含同步和消隱信息；色度信號是經(jīng)調(diào)制的色度信號，取值范圍為0±82(NTSC)或0±87(PAL)。接收調(diào)制的數(shù)字色度信息，經(jīng)過解調(diào)，輸出基帶I,Q(NTSC)或U,V(PAL)色度信號，即恢復(fù)出NTSC或PAL制的色度信號按需要對對比度、亮度和飽和度進行調(diào)節(jié)完成從YIQ或YUV顏色空間到RGB和YCrCb顏色空間的轉(zhuǎn)換模數(shù)轉(zhuǎn)換Y/C分離色度信號解調(diào)信號調(diào)節(jié)顏色空間轉(zhuǎn)換復(fù)合視頻信號數(shù)字視頻信號S-Video信號2022/11/2228南京大學(xué)多媒體研究所分量視頻信號的數(shù)字化(方案1)5.75MHz低通濾波器5.75MHz低通濾波器查找表A/D13.5MHz時鐘A/D13.5MHz時鐘A/D13.5MHz時鐘查找表查找表5.75MHz低通濾波器5.75MHz低通濾波器2.75MHz低通和篩選濾波器RGB到Y(jié)crCb轉(zhuǎn)換矩陣2.75MHz低通和篩選濾波器MUXMUX視頻時序插入控制RGBCbCrY輔助數(shù)據(jù)數(shù)字RGB輸入4:2:2數(shù)字視頻信號GAMMA校正模擬分量電視信號進行低通濾波,防止走樣現(xiàn)象的發(fā)生進行取樣和8位A/D轉(zhuǎn)換(配置成能產(chǎn)生16-240/235范圍內(nèi)的數(shù)據(jù)輸出)使用ROM(RAM)組成的查色表實現(xiàn)必要的γ校正把采樣頻率從13.5MHz降到6.75MHz，產(chǎn)生4:2:2YCrCb數(shù)據(jù)輸出2022/11/2229南京大學(xué)多媒體研究所分量視頻信號的數(shù)字化(方案2)5.75MHz低通濾波器2.75MHz低通濾波器查找表A/D13.5MHz時鐘A/D6.75MHz時鐘A/D6.75MHz時鐘查找表查找表2.75MHz低通濾波器模擬RGB到Y(jié)UV轉(zhuǎn)換矩陣MUXMUX視頻時序插入控制RGBCbCrY輔助數(shù)據(jù)4:2:2數(shù)字視頻信號GAMMA校正YUV模擬分量視頻信號進行低通濾波彩色空間轉(zhuǎn)換輸出范圍為16-235(Y)和16-240(Cr和Cb)2022/11/2230南京大學(xué)多媒體研究所4常見數(shù)字視頻格式AVIRM，RMVBASF和WMV文件MOV文件MPEG文件DAT文件2022/11/2231南京大學(xué)多媒體研究所3計算機中視頻信息的I/O2022/11/2232南京大學(xué)多媒體研究所1PC機視頻應(yīng)用舉例視頻幫助窗口（Videohelpwindows）；電子文檔中的視頻標注(Videonoteswithinadocument)；遠程視頻會議（Videoteleconferencing）；CD-ROM及網(wǎng)絡(luò)服務(wù)器上的視頻播放（CD-ROMandnetworkservers）；視頻編輯和教學(xué)等（Videoediting）；收看電視（Videoviewing）；視頻輔導(dǎo)/交互式教學(xué)(Videotutorials/interactiveteaching)2022/11/2233南京大學(xué)多媒體研究所視頻信號I/O的復(fù)雜性(1)計算機圖形顯示技術(shù)發(fā)展迅速,使模擬視頻信號的圖像分辨率和畫面刷新速率與計算機圖形顯示器有很大差別。(2)計算機顯示器是逐行掃描方式，顯示質(zhì)量很高。這就需要在視頻輸入時進行掃描方式由隔行到逐行的轉(zhuǎn)換(又稱逐行化)，而在視頻輸出時再進行逐行到隔行的轉(zhuǎn)換。(3)視頻信息應(yīng)納入到圖形用戶界面(GUI),與圖像/圖形進行統(tǒng)一的操作;反之，計算機屏幕上任意位置任意窗口的顯示內(nèi)容也應(yīng)該能轉(zhuǎn)換成為視頻信號輸出。2022/11/2234南京大學(xué)多媒體研究所PC中音/視頻信息I/O的概念結(jié)構(gòu)模擬音頻R模擬和數(shù)字音頻輸出RAMDAC隔行化/縮放/幀速率轉(zhuǎn)換模擬NTSC/PAL/SECAM編碼器模擬音頻R數(shù)字分量視頻編碼器數(shù)字復(fù)合視頻編碼器圖形控制器&幀存儲器模擬和數(shù)字音頻輸入數(shù)字分量視頻解碼器數(shù)字復(fù)合視頻解碼器模擬NTSC/PAL/SECAM解碼器音頻編碼視頻編碼音頻解碼視頻解碼模擬音頻L數(shù)字音頻數(shù)字分量視頻數(shù)字復(fù)合視頻模擬視頻信號模擬音頻L數(shù)字音頻數(shù)字分量視頻數(shù)字復(fù)合視頻模擬視頻信號CRT顯示器(模擬RGB）逐行化/縮放/幀速率轉(zhuǎn)換波表合成器FM合成器網(wǎng)絡(luò)接口網(wǎng)絡(luò)接口2022/11/2235南京大學(xué)多媒體研究所2視頻獲取設(shè)備2022/11/2236南京大學(xué)多媒體研究所視頻卡視頻卡的產(chǎn)品類型:1視頻采集(捕獲)卡。將模擬視頻信號轉(zhuǎn)換為數(shù)字視頻并存入硬盤,采集的視頻數(shù)據(jù)可以壓縮或不經(jīng)壓縮存儲2視頻輸出卡。將計算機輸出的視頻信息轉(zhuǎn)換成標準的模擬電視信號,供錄像帶記錄或用電視機收看，具有這種編碼功能的接口卡叫視頻輸出(編碼)卡(TVCoder)3電視接收卡。視頻采集卡缺少高頻電視信號的接收、調(diào)諧電路，電視接收卡即用來完成這一任務(wù)4視頻壓縮卡。目的是壓縮數(shù)字視頻的數(shù)據(jù)量，需遵循國際標準,分成實時處理和非實時處理兩種。2022/11/2237南京大學(xué)多媒體研究所視頻捕獲(采集)卡的功能從多種視頻源中選擇一種作為視頻輸入;支持不同的電視制式;能同時處理圖像信號的伴音;可在顯示器上監(jiān)看輸入的視頻信號,其位置及大小可調(diào);能將計算機生成的圖像/圖形/文本與視頻圖像迭加處理;可隨時凍結(jié)(定格)一幅畫面,并按指定格式保存;可實時壓縮與存儲視頻及其伴音信息;可實時解壓縮并播放視頻及其伴音信息,輸出設(shè)備可選(VGA監(jiān)視器、電視機、錄相機等)2022/11/2238南京大學(xué)多媒體研究所視頻采集(捕獲)卡的結(jié)構(gòu)videograbbervideobufferoverlayconversionTVcoderVGAgraphicsVGAVRAMMMCPUDSPCodecPCIbusvideoRGBmonitorTVsetdisc2022/11/2239南京大學(xué)多媒體研究所數(shù)字攝像頭最高分辨率為640×480，一般都是352×288，速度一般在30fps（每秒30幀）以下，鏡頭的視角可達到45-60度,支持USB接口或FireWire（火線）接口。2022/11/2240南京大學(xué)多媒體研究所數(shù)碼攝像機

提供480線以上的分辨率，清晰度高，自動對焦(Autofocus)，自動曝光(AutoExpose)，使用M-JPEG或MPEG-2進行壓縮編碼，然后記錄在磁帶或磁盤上，提供錄音功能，數(shù)據(jù)量很大，采用USB接口或IEEE1394（FireWire）接口，后者傳輸速率可以達到200-800MB/s。2022/11/2241南京大學(xué)多媒體研究所3視頻信息在圖形顯示器上的顯示圖形控制卡也稱顯示卡、視頻卡等，作用是：存儲正在屏幕上顯示的圖像數(shù)據(jù)；將RGB三基色的數(shù)字信號轉(zhuǎn)換為模擬信號，協(xié)助CPU完成圖像的生成和修改(更新)圖形卡及CRT顯示器的分辨率、幀頻、掃描方式、彩色空間等與視頻信號差異較大，為了在圖形/圖像顯示設(shè)備上監(jiān)看輸入的視頻信息,圖形控制卡的結(jié)構(gòu)必須進行修改和擴展;2022/11/2242南京大學(xué)多媒體研究所(1)圖形/視頻簡單疊加方案要求視頻的時序必須與計算機圖形數(shù)據(jù)的時序相同。如果輸入視頻信號是50Hz或60Hz隔行掃描方式，那么圖形控制器必須也能以50Hz或60Hz隔行掃描方式操作。處理像素數(shù)據(jù),完成γ校正,生成模擬RGB視頻信號控制視頻和圖形數(shù)據(jù)之間的切換把輸入視頻的時序信號(HSYNC,VSYNC和像素時鐘)來控制圖形控制器的時序RAMDAC

MUX圖形幀存儲器視頻解碼器CRT顯示器(模擬RGB）圖形控制器時序發(fā)生器色鍵檢測模擬或數(shù)字視頻信號同步和時鐘信號2022/11/2243南京大學(xué)多媒體研究所(2)分離的圖形幀存儲器

與視頻幀存儲器結(jié)構(gòu)RAMDACMUX視頻解碼器CRT顯示器(模擬RGB）圖形控制器時序發(fā)生器色鍵檢測模擬或數(shù)字視頻信號1模擬或數(shù)字視頻信號2模擬或數(shù)字視頻信號3視頻幀存儲器逐行化處理縮放處理視頻解碼器逐行化處理縮放處理視頻解碼器逐行化處理縮放處理圖形幀存儲器視頻幀存儲器與圖形幀存儲器的大小一樣切換或按優(yōu)先權(quán)疊加定義視頻窗口以雙緩沖存儲器方式工作,實現(xiàn)幀速率轉(zhuǎn)換2022/11/2244南京大學(xué)多媒體研究所分離的圖形幀存儲器

與視頻幀存儲器結(jié)構(gòu)功能:輸入的視頻信號可以與圖形/圖像同時進行顯示;視頻顯示窗口可任意大小,任意位置;視頻信號的幀頻容易與圖形顯示器的幀頻同步;缺點:使用額外的存儲器