1、媒體及媒體技術(shù)第1頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二常見的媒體元素文本（Text）圖形（Graphic）音頻（Audio 、 Speech ） 音頻參數(shù)：采樣頻率、采樣精度和通道數(shù) 靜止圖像（Image）： 關(guān)鍵技術(shù):圖像的掃描、編輯、壓縮、解壓縮和一致性再現(xiàn)。 三個(gè)因素：分辨率、圖像灰度和圖像文件大小。 視頻（Video） 在視頻中幾個(gè)重要的參數(shù)（幀率、數(shù)據(jù)量、圖像質(zhì)量）動(dòng)畫（Animation）第2頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二媒體的種類人類的感覺：視覺、聽覺、觸覺、味覺和嗅覺。媒體可以分為：聽覺類媒體 （波形聲音、語(yǔ)音和音樂(lè)）視覺類媒體

2、 （包括位圖圖像、矢量圖形、動(dòng)畫視頻、文本等） 觸覺類媒體 （環(huán)境媒體）味覺類媒體 嗅覺類媒體第3頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二人類對(duì)信息理解途徑第4頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二聽覺媒體技術(shù) 聲音心理學(xué) 音頻的數(shù)字化和符號(hào)化 采樣量化編碼第5頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二聲音的量綱 聲音的物理量：頻率（變化的速度）振幅（變化的強(qiáng)度）相位（開始的時(shí)刻）聲音的強(qiáng)度相差很大，1kHz正弦波所能察覺的最弱音為 2.8310-4 （達(dá)因/平方厘米），這個(gè)最弱音作為參照聲的國(guó)際標(biāo)準(zhǔn)。采用分貝作為量綱。分貝是指兩個(gè)波峰幅度

3、A和B的比： dB 20log10(A/B) 人耳朵感覺最弱的聲音到產(chǎn)生痛感的聲音的強(qiáng)度相差約一萬(wàn)倍。對(duì)于大多數(shù)人來(lái)說(shuō)，感覺痛苦的限為 100-120dB 人的聽覺頻率范圍是20-20kHz。第6頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二聲音的心理學(xué)量綱：響度音調(diào)其它還有音色、和諧、不和諧以及樂(lè)音等等強(qiáng)度增加，響度增加；頻率增加，音調(diào)增高。心理學(xué)量綱和物理學(xué)量綱不能混淆：這些關(guān)系不是線性的，強(qiáng)度加倍不等于響度加倍這些關(guān)系不是孤立的，聲音頻率的變化既影響音調(diào)也影響響度這些關(guān)系不是完全固定的，對(duì)于一個(gè)音的響度和音調(diào)有什么樣的知覺取決于出現(xiàn)的情景第7頁(yè)，共68頁(yè)，2022年，5月20

4、日，15點(diǎn)57分，星期二聽覺心理變量和物理變量的關(guān)系聽覺心理變量首要的物理變量次要的物理變量響度音調(diào)音色音量密度和諧（流暢或粗糙）噪聲騷擾聲聲強(qiáng)度聲波頻率（Hz）聲波復(fù)合頻率和強(qiáng)度頻率和強(qiáng)度諧波結(jié)構(gòu)強(qiáng)度強(qiáng)度聲波頻率聲強(qiáng)聲樂(lè)技巧頻率組合，各種時(shí)間參量頻率組合第8頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二聽覺特性 （1）等響曲線 等響曲線描述的是響度與頻率、強(qiáng)度的關(guān)系。響度是與頻率和強(qiáng)度有關(guān)的，在不同的頻率上的強(qiáng)度是不同的。從聲音心理學(xué)考慮，對(duì)同一響度的聲音在頻率上的強(qiáng)度上可以有很大的差別，這對(duì)于多媒體系統(tǒng)的聲音表現(xiàn)有重要的意義。 （2）掩蔽 聲音的響度不僅取決于自身的強(qiáng)度和頻率，

5、而且依賴于同時(shí)出現(xiàn)的其他聲音。聲音之間可以互相掩蔽，一種聲音的出現(xiàn)可能使另一種聲音難于辨別。由于聲音的掩蔽效果，可以欺騙人的聽覺。聲音的掩蔽特性常用于聲音的壓縮。 第9頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二（3）臨界頻帶 在頻率的某一臨界區(qū)里，這種聲音強(qiáng)度是相互作用的，合成聲音的響度由這些頻率共同決定。如果超出臨界區(qū)，聲音的響度不再相互作用，隨頻率而變。這個(gè)臨界區(qū)就是臨界頻帶，其寬度視其中心頻率而定。 對(duì)于臨界頻帶的確認(rèn)，使得對(duì)聲音響度的處理能夠有的放矢。 （4）相位 從聲音的波形來(lái)看，聲音的起點(diǎn)和方向也反映聲音的特性，這就是聲音的相位。當(dāng)兩個(gè)聲音同方向但相位相反時(shí)，它們相

6、互抵消；當(dāng)兩個(gè)聲音同方向且相位也相同時(shí)，聲音就會(huì)得到加強(qiáng)。 相位的確定在多聲道系統(tǒng)的設(shè)計(jì)中非常重要，它可以應(yīng)用在回聲抵消、會(huì)議系統(tǒng)的聲音設(shè)計(jì)上等。 第10頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二（5） 自然聲音的時(shí)變現(xiàn)象聲音的音調(diào)分成3個(gè)區(qū)域：起始區(qū)、穩(wěn)定狀態(tài)區(qū)和延遲區(qū) 研究表明，音調(diào)的頻譜分量隨時(shí)間改變。在穩(wěn)定狀態(tài)區(qū)，頻譜保持固定。在起始區(qū)，頻譜隨時(shí)間變化。因此自然聲音的起始部分是非常難識(shí)別的。對(duì)于語(yǔ)音（人的說(shuō)話，Speech），具有短時(shí)平穩(wěn)性，一般認(rèn)為5-50ms左右語(yǔ)音信號(hào)保持相對(duì)穩(wěn)定一致的特征。對(duì)于語(yǔ)音信號(hào)的分析和處理是建立的“短時(shí)”的基礎(chǔ)上。第11頁(yè)，共68頁(yè)，20

7、22年，5月20日，15點(diǎn)57分，星期二（6） 聽覺空間 人耳可聽到來(lái)自各個(gè)方向的聲音，并用不同的因素來(lái)決定聲源，包括強(qiáng)度、時(shí)間和頻譜。確定聲源的位置無(wú)論對(duì)于增進(jìn)人們的感受還是增進(jìn)對(duì)聲音的理解都是非常重要的。方位的線索是各種聲音到達(dá)兩耳的精確時(shí)間和強(qiáng)度。聲音先到達(dá)離聲源較近的一耳而且強(qiáng)度較大。聲音的定位要靠雙重機(jī)制，一般低頻率主要依靠時(shí)差，高頻率依靠強(qiáng)度。1-5kHz的頻率范圍是轉(zhuǎn)換點(diǎn)，在轉(zhuǎn)換點(diǎn)附件定位誤差最大 通過(guò)聲音的精確再現(xiàn)，就可以構(gòu)造出聽覺空間，對(duì)于聽覺空間的再現(xiàn)在虛擬現(xiàn)實(shí)系統(tǒng)中必不可少。 第12頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二（7）聽覺的頻譜特性 聲音是時(shí)間

8、函數(shù)，通過(guò)傅里葉變換可做出其頻譜圖。人耳對(duì)頻譜成分的波峰和波谷是非常敏感的。在語(yǔ)言中，元音很少有頻譜快速變換的區(qū)域?；l改變，人耳是很敏感的 （8）聲音的心理模擬 通過(guò)仿真的方法，可以對(duì)視覺空間的景物進(jìn)行再造或虛構(gòu)，也可以對(duì)聽覺空間的聲音進(jìn)行心理的模擬，就是所謂的可聽化（audiolization）。 用聲音可以表達(dá)出一些特殊效果 。例如：對(duì)于虛擬的流體，用聲音的高低可以表示流體的粘度，低音表示流體很粘，高音則不粘；用聲音的單一頻率可表示流體的密度小，而多種頻率復(fù)合則表示密度大；用冷音色（如笛聲）可以表示流體的溫度低，而暖音色表示流體的溫度較高；用聲音脈沖的速度可表示流體的流動(dòng)速度等等 第13

9、頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二音頻的數(shù)字化和符號(hào)化 （采樣、量化和編碼） 聲音在真實(shí)世界是模擬的，時(shí)間和幅度上是連續(xù)的。數(shù)字信號(hào)只在特定的位置取有限的值，數(shù)字表示的聲音是一個(gè)數(shù)據(jù)序列，在時(shí)間上是不連續(xù)的。因此把模擬聲音變成數(shù)字聲音時(shí)，需要每隔一個(gè)時(shí)間間隔在模擬聲音波形上取一個(gè)幅度值，這稱為采樣，這個(gè)時(shí)間間隔稱為采樣周期。量化是將具有連續(xù)幅度值的輸入信號(hào)轉(zhuǎn)換到只有有限個(gè)幅度值的輸出信號(hào)的過(guò)程。對(duì)聲音進(jìn)行采樣用奈奎斯特采樣定理來(lái)決定采樣頻率。 采樣頻率高于信號(hào)中最高頻率的兩倍，就可以從采樣中完全恢復(fù)原始信號(hào)的波形。 第14頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57

10、分，星期二討論某數(shù)字語(yǔ)音系統(tǒng)的AD、DA（輸入、輸出）為寬帶音頻（48K采樣），即每秒有48000個(gè)樣點(diǎn)；但是在做信號(hào)處理的時(shí)候(如用G.723.1算法編解碼）需要按照電話質(zhì)量來(lái)處理（8K采樣頻率），即每秒8000個(gè)樣點(diǎn)，應(yīng)該如何做轉(zhuǎn)換？第15頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二模擬音頻信號(hào)的采樣和重建 第16頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二低通信號(hào)的采樣定理 x(t)頻帶限制(0,fH) 在內(nèi)，若采樣頻率fS大于或等于fH的兩倍，則可以從采樣后的序列x(nTS)無(wú)失真地恢復(fù)x(t) 。 采樣后的信號(hào)可看成是理想采樣序列同x(t)的乘積 ：第17

11、頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二第18頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二采樣脈沖序列付氏變換為由頻域卷積定理，有：第19頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二第20頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二由采樣后信號(hào)恢復(fù)原模擬信號(hào)-內(nèi)差公式 當(dāng)采樣頻率大于或等于的兩倍時(shí)，對(duì)進(jìn)行理想低通濾波，可以恢復(fù)原始信號(hào)。理想低通頻域特性為： 時(shí)域沖激響應(yīng)為：第21頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二由時(shí)域卷積定理，有：選:第22頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二可看出在 t

12、 = nTs 各點(diǎn)上，其它各點(diǎn)由這些點(diǎn)插值得到。說(shuō)明連續(xù)信號(hào) x(t) 可以展成正交抽樣函數(shù)（Sa函數(shù)）的無(wú)窮數(shù)級(jí)，級(jí)數(shù)的系數(shù)等于抽樣值 x(nTs)。也就是說(shuō)若在抽樣信號(hào) xs(t) 的每個(gè)抽樣值上畫一個(gè)峰值為 x(nTs) 的Sa波形，則合稱的波形就是 x(t) 。第23頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二帶通信號(hào)采樣 設(shè)帶通信號(hào)最高頻率和最低頻率分別為 fH 和 fL，如果以兩倍的 fH 采樣當(dāng)然不會(huì)產(chǎn)生混疊，但并不一定效率最高的。 若-fL fL在之間可以容納 個(gè)信號(hào)頻譜 那么在 - fH fH在之間可以容納個(gè)信號(hào)頻譜，最小采樣頻率可取 第24頁(yè)，共68頁(yè)，202

13、2年，5月20日，15點(diǎn)57分，星期二在2B到4B之間變化，當(dāng) fL 是 B 的整數(shù)倍時(shí) ： 子帶編碼分帶滿足這種條件可使采樣率最小，稱為整數(shù)帶分割第25頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二第26頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二視覺媒體技術(shù) 視覺心理學(xué) 視頻信號(hào)的數(shù)字化視頻信號(hào)的采樣彩色空間的線性變換標(biāo)準(zhǔn)彩色電視制式及電視圖像數(shù)字化圖像子采樣第27頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二視覺心理特征 光學(xué)物理變量：光強(qiáng)、波長(zhǎng)和光譜成分等視覺心理變量： 亮度、彩色、濃度和對(duì)比度等同聲音心理學(xué)相仿，與視覺相對(duì)應(yīng)的光學(xué)物理性質(zhì)與心理知

14、覺也是不同的。雖然光的物理特性與心理知覺有關(guān)，但不是線性的。把物理波的強(qiáng)度加倍，感覺到的亮度并不是加倍。對(duì)光的色調(diào)和亮度的感覺不僅和它的頻率和強(qiáng)度有關(guān)，而且還和它出現(xiàn)的背景有關(guān)，和同時(shí)出現(xiàn)的周圍光有關(guān)。將物理性質(zhì)和心理知覺區(qū)分開來(lái)，十分重要。 第28頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二視覺的心理變量和物理變量對(duì)應(yīng)表視覺心理變量主要物理變量次要物理變量亮度色調(diào)（彩色）飽和度（彩色的濃度）對(duì)比度光強(qiáng)波長(zhǎng)光譜成分光強(qiáng)、波長(zhǎng)、周圍光光的波長(zhǎng)、眼的適應(yīng)光譜成分，周圍光的強(qiáng)度亮度和色調(diào)周圍光第29頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二視覺特性 （1）亮度亮度是人眼

15、對(duì)光強(qiáng)的感受 （2）彩色 考慮三種心理屬性：色調(diào)、飽和度（濃度）和亮度 色調(diào)就是通常意義下的彩色，它隨波長(zhǎng)的變化而變化，放映顏色的基本特性 飽和度表示了產(chǎn)生所感知到的彩色在白光中必須混入的純單色光的相對(duì)數(shù)量，或者說(shuō)是顏色的深淺程度。對(duì)同一色調(diào)的彩色光，飽和度越深顏色越鮮艷。色調(diào)和飽和度通稱為色度。 可見光的波長(zhǎng)從380-780nm。不同波長(zhǎng)呈現(xiàn)不同顏色，隨著波長(zhǎng)的減小，可見光顏色依次為紅、橙、黃、綠、青、藍(lán)、紫 自然界中的任何一種顏色都可以由紅綠藍(lán)三種顏色混合而成的。它們構(gòu)成了一個(gè)3維的RGB矢量空間 第30頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二（3）視覺的時(shí)間特性（視覺惰

16、性）人眼的視覺是有惰性的，這種惰性現(xiàn)象也稱為視像暫留。當(dāng)眼前實(shí)際的景物已經(jīng)消失后，所看到的影響卻不立即消失 。視覺惰性被人們巧妙地運(yùn)用到電影和電視中，使得本來(lái)在時(shí)間上和空間上都不連續(xù)的圖像，給人以真實(shí)的、連續(xù)的感覺。在通常的電影銀幕的亮度下，人眼的臨界閃爍頻率約為46Hz。電影中，普遍采用每秒向銀幕投射24副畫面的標(biāo)準(zhǔn)，而在每副畫面停留的時(shí)間中，用一個(gè)機(jī)械遮蓋閥將投射光遮擋一次，得到每秒48次的重復(fù)頻率，使觀眾產(chǎn)生亮度是連續(xù)、不閃爍的感覺。對(duì)于高亮度的顯像管而言，臨界閃爍頻率可能達(dá)到60-70Hz。第31頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二（4）圖像的對(duì)比度對(duì)比度表示圖像

17、相鄰面積或者相鄰點(diǎn)之間的亮度差別。對(duì)比度C定義如下： Imax , Imin 分別代表圖像中的最大最小光強(qiáng)。 在自然景物中，對(duì)比度經(jīng)?？梢赃_(dá)到200:1，甚至更高，而多數(shù)電視機(jī)和顯示器給出50:1的對(duì)比度都很困難。第32頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二（5）時(shí)間域的掩蔽效應(yīng) 實(shí)驗(yàn)表明，當(dāng)相鄰的畫面發(fā)生劇烈變化（如場(chǎng)景切換）時(shí)，人眼的分辨率會(huì)突然下降（下降到原來(lái)的1/10）。也就是說(shuō)當(dāng)新場(chǎng)景突然出現(xiàn)時(shí)，人基本上看不清新景物，大約0.5秒之后，視力才恢復(fù)到正常水平。 影響時(shí)域掩蔽效應(yīng)的因素比較復(fù)雜，對(duì)于它的研究還處于初試階級(jí)。（6）彩色的掩蔽效應(yīng) 在亮度劇烈變化的背景上（

18、如黑白跳變的邊沿上），人眼對(duì)色彩變化的敏感程度明顯降低。第33頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二視頻信號(hào)的采樣 靜止圖像的采樣： 亮度是x, y坐標(biāo)的函數(shù)，其值總大于等于零設(shè)x, y方向亮度變化的最高空間頻率分別是采樣間隔分別是那么由采樣定理有： 采樣后的信號(hào)為：第34頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二采樣前后頻域關(guān)系為: 是原始圖像信號(hào)的付氏變換。采用截止頻率分別為 的矩形低通濾波器可以從采樣后的信號(hào)中濾出原始圖像信號(hào)。 通常圖像尺寸有限，設(shè)為 采樣點(diǎn)數(shù)為 那么應(yīng)該有： 第35頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二采樣方式有

19、正交結(jié)構(gòu)和斜交結(jié)構(gòu)，如圖所示 第36頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二各樣點(diǎn)值可以用矩陣表示圖像尺寸和采樣點(diǎn)數(shù)確定后，要對(duì)原始圖像信號(hào)進(jìn)行合適的空間濾波，保證采樣后不產(chǎn)生混疊。通過(guò)掃描方法實(shí)現(xiàn)采樣，每樣點(diǎn)用812bit量化。第37頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二 活動(dòng)圖像采樣:活動(dòng)圖像可以表示成： 按t 間隔對(duì)活動(dòng)圖像進(jìn)行抽取，再進(jìn)行空間采樣，從而得到活動(dòng)圖像的采樣序列?；顒?dòng)圖像可以看成是靜止圖像系列，一幅圖像稱為一幀圖像。 理論上t 的取值應(yīng)該滿足采樣定理的要求。實(shí)際上考慮人眼視覺特性和應(yīng)用需求。約每秒30幀以上無(wú)閃爍感，為節(jié)省帶寬，可采用隔

20、行掃描。彩色圖形的采樣：根據(jù)三基色原理，彩色圖像可以用紅、綠、蘭（RGB）合成。攝像機(jī)輸出是經(jīng)過(guò)校正的RGB信號(hào)，需要對(duì)RGB分別采樣，每個(gè)信號(hào)分別用812bit量化。第38頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二彩色空間的線性變換標(biāo)準(zhǔn)： 為了使用人的視角特性以降低數(shù)據(jù)量，通常把RGB空間表示的彩色圖像變換到其他彩色空間。目前采用的彩色空間變換有三種：YIQ, YUV和YCbCr。每一種彩色空間都產(chǎn)生一種亮度分量信號(hào)和兩種色度分量信號(hào)，而每一種變換使用的參數(shù)都是為了適應(yīng)某種類型的顯示設(shè)備。 YIQ適用于NTSC彩色電視制式 YUV適用于PAL和SECAM彩色電視制式 YCbC

21、r適用于計(jì)算機(jī)用的顯示器。 第39頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二在彩色電視制式中，使用YUV和YIQ模型來(lái)表示彩色圖像。在PAL彩色電視制式中使用YUV模型（YUV不是那幾個(gè)英文單詞的組合詞，而是符號(hào)，Y表示亮度，UV用來(lái)表示色差，U、V是構(gòu)成彩色的兩個(gè)分量）；在NTSC彩色電視制式中使用YIQ模型，其中的Y表示亮度，I、Q是兩個(gè)彩色分量 YUV表示法的重要性是它的亮度信號(hào)(Y)和色度信號(hào)(U、V)是相互獨(dú)立的，也就是Y信號(hào)分量構(gòu)成的黑白灰度圖與用U、V信號(hào)構(gòu)成的另外兩幅單色圖是相互獨(dú)立的。由于Y、U、V是獨(dú)立的，所以可以對(duì)這些單色圖分別進(jìn)行編碼。此外，黑白電視能接

22、收彩色電視信號(hào)也就是利用了YUV分量之間的獨(dú)立性。第40頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二YUV表示法的可以利用人眼的特性來(lái)降低數(shù)字彩色圖像所需要的存儲(chǔ)容量。人眼對(duì)彩色細(xì)節(jié)的分辨能力比對(duì)亮度細(xì)節(jié)的分辨能力低。若把人眼剛能分辨出的黑白相間的條紋換成不同顏色的彩色條紋，那末眼睛就不再能分辨出條紋來(lái)。由于這個(gè)原因，就可以把彩色分量的分辨率降低而不明顯影響圖像的質(zhì)量，因而就可以把幾個(gè)相鄰像素不同的彩色值當(dāng)作相同的彩色值來(lái)處理，從而減少所需的存儲(chǔ)容量。 無(wú)論是用YIQ、YUV和YCbCr還是用HSL模型來(lái)表示彩色圖像，由于現(xiàn)在所有的顯示器都采用RGB值來(lái)驅(qū)動(dòng)，這就要求在顯示每個(gè)像

23、素之前，須要把彩色分量值轉(zhuǎn)換成RGB值。這種轉(zhuǎn)換需要花費(fèi)大量的計(jì)算時(shí)間。這是一個(gè)要在軟硬件設(shè)計(jì)中需要考慮的因素。第41頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二YUV與RGB彩色空間變換：第42頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二YIQ與RGB彩色空間變換 第43頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二YIQ 和YUV的關(guān)系在NTSC制式中使用YIQ，Y與前面的Y相同，IQ是由UV坐標(biāo)旋轉(zhuǎn)33度得到 第44頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二YCbCr與RGB彩色空間變換當(dāng)R，G，B的取值范圍為0，1，與RGB空間的

24、轉(zhuǎn)換關(guān)系如下： 當(dāng)R，G，B的取值范圍為8位二進(jìn)制的0，219，與RGB空間的轉(zhuǎn)換關(guān)系如下：第45頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二彩色電視制式 目前世界上現(xiàn)行的彩色電視制式有三種：NTSC制、PAL制和SECAM制。 NTSC(National Television Systems Committee)彩色電視制是1952年美國(guó)國(guó)家電視標(biāo)準(zhǔn)委員會(huì)定義的彩色電視廣播標(biāo)準(zhǔn)，稱為正交平衡調(diào)幅制。美國(guó)、加拿大等大部分西半球國(guó)家，以及日本、韓國(guó)、菲律賓等國(guó)和中國(guó)臺(tái)灣采用這種制式。 第46頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二PAL(Phase-Alterna

25、tive Line)制彩色電視廣播標(biāo)準(zhǔn)，德國(guó)(當(dāng)時(shí)的西德)于1962年制定的，稱為逐行倒相正交平衡調(diào)幅制 。它彌補(bǔ)了NTSC制存在相位敏感造成彩色失真的缺點(diǎn) 。德國(guó)、英國(guó)等一些西歐國(guó)家，以及中國(guó)、朝鮮等國(guó)家采用這種制式。SECAM (法文：Sequential Coleur Avec Memoire) 是法國(guó)制定的彩色電視廣播標(biāo)準(zhǔn)，稱為順序傳送彩色與存儲(chǔ)制。法國(guó)、蘇聯(lián)及東歐國(guó)家采用這種制式。世界上約有65個(gè)地區(qū)和國(guó)家試驗(yàn)這種制式。 第47頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二NTSC制、PAL制和SECAM制都是兼容制制式。這里說(shuō)的“兼容”有兩層意思：一是指黑白電視機(jī)能接收

26、彩色電視廣播，顯示的是黑白圖像，另一層意思是彩色電視機(jī)能接收黑白電視廣播，顯示的也是黑白圖像，這叫逆兼容性。為了既能實(shí)現(xiàn)兼容性而又要有彩色特性，因此彩色電視系統(tǒng)應(yīng)滿足下列幾方面的要求： (1) 必需采用與黑白電視相同的一些基本參數(shù)，如掃描方式、掃描行頻、場(chǎng)頻、幀頻、同步信號(hào)、圖像載頻、伴音載頻等等。 (2) 需要將攝像機(jī)輸出的三基色信號(hào)轉(zhuǎn)換成一個(gè)亮度信號(hào)，以及代表色度的兩個(gè)色差信號(hào)，并將它們組合成一個(gè)彩色全電視信號(hào)進(jìn)行傳送。在接收端，彩色電視機(jī)將彩色全電視信號(hào)重新轉(zhuǎn)換成三個(gè)基色信號(hào)，在顯象管上重現(xiàn)發(fā)送端的彩色圖像。 第48頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二PAL電視制的

27、主要掃描特性(1) 625行(掃描線)/幀，25幀/秒(40 ms/幀) (2) 長(zhǎng)寬比： 4:3 (3) 隔行掃描，2場(chǎng)/幀，312.5行/場(chǎng)(4) 顏色模型：YUV 一幀圖像的總行數(shù)為625，分兩場(chǎng)掃描。行掃描頻率是15625 Hz，周期為64s；場(chǎng)掃描頻率是50 Hz,周期為20 ms；幀頻是25 Hz，是場(chǎng)頻的一半，周期為40 ms。在發(fā)送電視信號(hào)時(shí)，每一行中傳送圖像的時(shí)間是52.2s，其余的11.8s不傳送圖像，是行掃描的逆程時(shí)間，同時(shí)用作行同步。每一場(chǎng)的掃描行數(shù)為625/2=312.5行，其中25行作場(chǎng)回掃，不傳送圖像，傳送圖像的行數(shù)每場(chǎng)只有287.5行，因此每幀只有575行有圖像

28、顯示。 第49頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二NTSC彩色電視制的主要特性(1) 525行/幀, 30幀/秒(29.97 fps, 33.37 ms/frame)(2) 長(zhǎng)寬比：電視為4:3，電影為3:2，高清晰度電視為16:9(3) 隔行掃描，一幀分成2場(chǎng)(field)，262.5線/場(chǎng)(4) 在每場(chǎng)的開始部分保留20掃描線作為控制信息，因此只有485條線的可視數(shù)據(jù)。 (5) 每行63.5微秒，水平回掃時(shí)間10微秒(包含5微秒的水平同步脈沖)，所以顯示時(shí)間是53.5微秒。(6) 顏色模型：YIQ 一幀圖像的總行數(shù)為525行，分兩場(chǎng)掃描。行掃描頻率為15750 Hz，

29、 周期為63.5s；場(chǎng)掃描頻率是60 Hz，周期為16.67 ms；幀頻是30 Hz，周期33.33 ms。每一場(chǎng)的掃描行數(shù)為525/2=262.5行。除了兩場(chǎng)的場(chǎng)回掃外，實(shí)際傳送圖像的行數(shù)為480行。 第50頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二 SECAM彩色電視制的主要特點(diǎn)這種制式與PAL制類似，其差別是SECAM中的色度信號(hào)是頻率調(diào)制(FM)，而且它的兩個(gè)色差信號(hào)：紅色差(R-Y)和藍(lán)色差(B-Y)信號(hào)是按行的順序傳輸?shù)摹?圖像格式為4:3，625線，50 Hz。6 MHz電視信號(hào)帶寬，總帶寬8MHz。 第51頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期

30、二電視圖像數(shù)字化 數(shù)字電視圖像有很多優(yōu)點(diǎn)： 例如，可直接進(jìn)行隨機(jī)存儲(chǔ)使電視圖像的檢索變得很方便，復(fù)制數(shù)字電視圖像和在網(wǎng)絡(luò)上傳輸數(shù)字電視圖像都不會(huì)造成質(zhì)量下降，很容易進(jìn)行非線性電視編輯。 數(shù)字電視系統(tǒng)都希望用彩色分量來(lái)表示圖像數(shù)據(jù)，如用YCbCr，YUV，YIQ或RGB彩色分量。因此，電視圖像數(shù)字化常用“分量初始化(component digitization)”這個(gè)術(shù)語(yǔ)，它表示對(duì)彩色空間的每一個(gè)分量進(jìn)行初始化 電視圖像數(shù)字化常用的方法有兩種 ：（1）先從復(fù)合彩色電視圖像中分離出彩色分量，然后數(shù)字化。通常的做法是首先把模擬的全彩色電視信號(hào)分離成YCbCr，YUV，YIQ或RGB彩色空間中的分量信

31、號(hào)，然后用三個(gè)A/D轉(zhuǎn)換器分別對(duì)它們數(shù)字化。（2）用一個(gè)高速A/D轉(zhuǎn)換器對(duì)彩色全電視信號(hào)進(jìn)行數(shù)字化，然后在數(shù)字域中進(jìn)行分離，以獲得所希望的YCbCr，YUV，YIQ或RGB分量數(shù)據(jù)。 第52頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二電視圖像數(shù)字化的標(biāo)準(zhǔn)在20世紀(jì)80年代初，國(guó)際無(wú)線電咨詢委員會(huì)CCIR(International Radio Consultative Committee)就制定了彩色電視圖像數(shù)字化標(biāo)準(zhǔn)，稱為CCIR 601標(biāo)準(zhǔn)，現(xiàn)改為ITU-R BT.601標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)規(guī)定了彩色電視圖像轉(zhuǎn)換成數(shù)字圖像時(shí)使用的采樣頻率，RGB和YCbCr兩個(gè)彩色空間之間的轉(zhuǎn)換關(guān)系

32、等。第53頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二ITU-R BT.601標(biāo)準(zhǔn)摘要ITU-R BT.601用于對(duì)隔行掃描電視圖像進(jìn)行數(shù)字化，對(duì)NTSC和PAL制彩色電視的采樣頻率和有效顯示分辨率都作了規(guī)定。ITU-R BT.601推薦使用422的彩色電視圖像采樣格式。使用這種采樣格式時(shí)，Y用13.5 MHz的采樣頻率， Cb 、Cr用6.75 MHz的采樣頻率。采樣時(shí)，采樣頻率信號(hào)要與場(chǎng)同步和行同步信號(hào)同步。 第54頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二彩色電視數(shù)字化參數(shù)摘要 采樣格式信號(hào)形式采樣頻率樣本數(shù)/掃描行數(shù)字信號(hào)取值范圍（A/D）（MHz）NTS

33、CPAL4:2:2Y13.5858(720)864(720)220級(jí)（16235）Cr6.75429(360)432(360)225級(jí)（16240）（128112）Cb6.75429(360)429(360)4:4:4Y13.5858(720)858(720)220級(jí)（16235）Cr13.5858(720)858(720)225級(jí)（16240）（128112）Cb13.5858(720)858(720)第55頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二CIF、QCIF和SQCIF為了既可用625行的電視圖像又可用525行的電視圖像，CCITT規(guī)定了稱為公用中分辨率格式CIF(C

34、ommon Intermediate Format)，1/4公用中分辨率格式(Quarter-CIF，QCIF)和(Sub-Quarter Common Intermediate Format，SQCIF)格式CIF格式具有如下特性：(1) 電視圖像的空間分辨率為家用錄像系統(tǒng)(Video Home System，VHS)的分辨率，即352288。 (2) 使用非隔行掃描(non-interlaced scan)。 (3) 使用NTSC幀速率，電視圖像的最大幀速率為 30000/100129.97幅/秒。 (4) 使用1/2的PAL水平分辨率，即288線。(5) 對(duì)亮度和兩個(gè)色差信號(hào)(Y、Cb和

35、Cr)分量分別進(jìn)行編碼，它們的取值范圍同ITU-R BT.601。即黑色=16，白色=235，色差的最大值等于240，最小值等于16。第56頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二CIF和QCIF格式參數(shù)表CIFQCIFSQCIF行數(shù)/幀像素/行行數(shù)/幀像素/行行數(shù)/幀像素/行亮度（Y）288360（352）144180（176）96128色差（Cb）144180（176）7290（88）4864色差（Cr）144180（176）7290（88）4864第57頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二圖像子采樣 對(duì)彩色電視圖像進(jìn)行采樣時(shí)，可以采用兩種采樣方法。

36、一種是使用相同的采樣頻率對(duì)圖像的亮度信號(hào)和色差信號(hào)進(jìn)行采樣，另一種是對(duì)亮度信號(hào)和色差信號(hào)分別采用不同的采樣頻率進(jìn)行采樣。如果對(duì)色差信號(hào)使用的采樣頻率比對(duì)亮度信號(hào)使用的采樣頻率低，這種采樣就稱為圖像子采樣(SubSampling)第58頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二圖像子采樣在數(shù)字圖像壓縮技術(shù)中得到廣泛的應(yīng)用最簡(jiǎn)便的圖像壓縮技術(shù)就要算圖像子采樣了。這種壓縮方法的基本根據(jù)是人的視覺系統(tǒng)所具有的兩條特性:1. 人眼對(duì)色度信號(hào)的敏感程度比對(duì)亮度信號(hào)的敏感程度低，利用這個(gè)特性可以把圖像中表達(dá)顏色的信號(hào)去掉一些而使人不察覺；2.利用人眼對(duì)圖像細(xì)節(jié)分辨能力有一定的限度的特性，可以把圖像中的高頻信號(hào)去掉而使人不易察覺。子采樣是利用人的視覺系統(tǒng)這兩個(gè)特性來(lái)達(dá)到壓縮彩色電視信號(hào) 第59頁(yè)，共68頁(yè)，2022年，5月20日，15點(diǎn)57分，星期二試驗(yàn)表明人的視覺系統(tǒng)對(duì)采樣前后顯示的圖像質(zhì)量沒有感到有明顯差別。 目前使用的子采樣格式有如下幾種 ：4:4:4 采樣格式（不屬于子采樣格式