相關(guān)信源編碼第一頁，共98頁。3.1預測編碼預測編碼(PredictiveCoding)是數(shù)據(jù)壓縮三大經(jīng)典技術(shù)(統(tǒng)計編碼、預測編碼、變換編碼)之一。預測編碼是建立在信號(語音、圖像等)數(shù)據(jù)的相關(guān)性之上，較早用于信源編碼的一種技術(shù)。它根據(jù)某一模型，利用以往的樣本值對新樣本進行預測，以減少數(shù)據(jù)在時間和空間上的相關(guān)性，達到壓縮數(shù)據(jù)的目的。第二頁，共98頁。但實際利用預測器時，并不是利用信源的某種數(shù)學模型，而是基于估計理論、現(xiàn)代統(tǒng)計學理論設(shè)計預測器，這是因為信源的數(shù)學模型的建立是十分困難的，有時無法得到其數(shù)學模型，例如,時變隨機系統(tǒng)。利用信源輸出產(chǎn)生的任何影響，并不直接涉及到信源本身，所以預測器可以獨立進行工作。利用現(xiàn)代統(tǒng)計學和控制論的“時間序列分析”理論，可以較好地解決復雜系統(tǒng)的輸出狀態(tài)問題。預測器對樣本的預測，通常是利用樣值的線性或非線性函數(shù)關(guān)系預測現(xiàn)時的系統(tǒng)輸出。

第三頁，共98頁。由于非線性的復雜性，大部分預測器均采用線性預測函數(shù)?？茽柲炅_夫(Kolmogorov)、維納(Wiener)、卡爾曼(Kalman)等人在20世紀40年代對線性預測理論就作出了杰出貢獻，他們建立了以最小均方量化誤差為準則的最優(yōu)預測理論與方法，廣泛應(yīng)用于通信工程和航天航空飛行器的控制等方面，促進了數(shù)字技術(shù)的迅速發(fā)展，形成了用于數(shù)據(jù)壓縮的預測編碼理論。第四頁，共98頁。3.1.1預測編碼的基本原理對于有記憶信源，信源輸出的各個分量之間是有統(tǒng)計關(guān)聯(lián)的，這種統(tǒng)計關(guān)聯(lián)性可以加以充分利用，預測編碼就是基于這一思想的技術(shù)。它不直接對信源輸出的信號進行編碼，而是將信源輸出信號通過預測變換后再對信源輸出與被預測值的差值進行編碼，其原理圖如圖3-1所示。第五頁，共98頁。圖3―1預測編碼原理圖第六頁，共98頁。設(shè)信源第i瞬間的輸出值為ui，而根據(jù)信源ui的前k(k<i)個樣值，給出的預測值為(3―1)式中：f（·）——預測函數(shù)。f可以是線性也可以是非線性函數(shù)。線性預測函數(shù)的實現(xiàn)比較簡單，這時預測值為（3―2）第七頁，共98頁。式中：aj——預測系數(shù)。則第i個樣值的預測誤差值為（3―3）根據(jù)信源編碼定理，若直接對信源輸出ui進行編碼，則其平均碼長應(yīng)趨于信源熵：(3―4)第八頁，共98頁。若對預測變換后的誤差值e進行編碼，其平均碼長應(yīng)趨于誤差信號熵：(3―5)顯然，從信息論觀點，預測編碼能壓縮信源數(shù)碼率的必要條件為(3―6)第九頁，共98頁。由于信息熵是概率分布的泛函數(shù)，故概率分布越均勻，熵越大；概率分布越不均勻，熵就越小，可以證明預測差值的概率分布比原始信號的概率分布要集中，所以H(E)≤H(U)，則式（3―6）成立。信源通過預測以后數(shù)據(jù)壓縮(或連續(xù)時的頻帶壓縮)倍數(shù)就越大。從預測編碼原理可以看出，實現(xiàn)預測編碼要進一步考慮三個方面的問題。首先是預測誤差準則的選取，這個問題決定預測質(zhì)量標準；其次是預測函數(shù)的選??；最后一個問題是預測器輸入數(shù)據(jù)的選取。

第十頁，共98頁。后兩個問題決定預測質(zhì)量的好壞。關(guān)于預測函數(shù)的選取，一般是采用工程上比較容易實現(xiàn)的線性預測，一旦線性方程確定下來以后，預測的精度與k值大小有直接關(guān)系。k愈大，預測愈精確，但設(shè)備愈復雜；k愈小，精度愈差，但設(shè)備愈簡化，所以k值大小要根據(jù)設(shè)計要求和實際效果而確定。關(guān)于預測器輸入數(shù)據(jù)的選取，是指選取何處的原始數(shù)據(jù)作為預測器的輸入依據(jù)。一般可分為開環(huán)、閉環(huán)和開環(huán)閉環(huán)兩者的混合三類。開環(huán)直接從信源輸出選取待測瞬間i的前k位，即i-1，i-2，…，i-k位作為預測器的輸入依據(jù)，閉環(huán)則取誤差函數(shù)的輸出端反饋到預測器中的i位以前的k位作為預測器的主要輸入依據(jù)。

第十一頁，共98頁。關(guān)于預測誤差準則的選取，是指預測誤差所依據(jù)的標準。目前大致可采用四種類型準則，它們分別是最小均方誤差(MMSE)準則、功率包絡(luò)匹配(PSEM)準則、預測系數(shù)不變性(PCIV)準則和最大誤差(ME)準則。其中最小均方誤差準則是最基本、最常用的準則；而預測系數(shù)不變性的主要特點是，它預測系數(shù)與輸入信號統(tǒng)計特性無關(guān)，因而能對多種混合信號進行有效的預測；最大誤差準則主要用于遙測數(shù)據(jù)壓縮。可以證明，在均方誤差準則下，按條件期望值進行預測是最佳預測。

第十二頁，共98頁。然而它必須已知ui的聯(lián)合概率密度函數(shù)，這一般是很困難的。但是對于廣義平穩(wěn)正態(tài)過程，只要已知二階矩相關(guān)函數(shù)就等效于已知ui的聯(lián)合概率密度函數(shù)。這時，線性預測與最佳預測是等效的。因為對正態(tài)信源，線性無關(guān)與統(tǒng)計獨立是完全等效的。所以，能完全解除線性相關(guān)性的信源，即是符合統(tǒng)計獨立的無記憶信源。第十三頁，共98頁。3.1.2預測方法預測就是從已收到的符號來提取關(guān)于未收到的符號信息，從而預測其最可能的值作為預測值；并對它與實際值之差進行編碼，達到進一步壓縮碼率的目的。由此可見，預測編碼是利用信源的相關(guān)性來壓縮碼率的；對于獨立信源，預測就沒有可能，因而預測編碼也就無用了。預測的理論基礎(chǔ)主要是估計理論。估計就是用實驗數(shù)據(jù)組成一個統(tǒng)計量，作為某一物理量的估值或預測值。第十四頁，共98頁。最常見的估計是利用某一物理量在干擾下測定的實驗值，這些值是隨機變量的樣值，可根據(jù)隨機量的概率分布得到一個統(tǒng)計量作為估值。若估值的數(shù)學期望等于原來的物理量，就稱這種估計為無偏估計；若估值與原物理量之間的均方誤差最小，就稱之為最佳估計。用來預測時，這種估計就成為最小均方誤差的預測，所以也就認為這種預測是最佳的。利用預測值編碼的方法可分為兩類。一類是對實際值與預測值之差進行編碼。在連續(xù)信源的情況下，就是對此差值量化或取一組差值進行矢量量化。第十五頁，共98頁。由于相關(guān)性很強的信源可較精確地預測待編碼的值，該差值的方差將遠小于原來的值，在同樣失真要求下，量化級數(shù)可明顯地減小，從而較顯著地壓縮碼率。對于離散信源也有類似的情況。另一類方法是根據(jù)差值的大小，決定是否需傳送該信源符號。例如可規(guī)定某一可容許值，當差值小于它時可不傳送。對于連續(xù)函數(shù)或相關(guān)性很強的信源序列，常有很長一串符號可以不傳送而只需傳送這串符號的個數(shù)，第十六頁，共98頁。這樣,能大量壓縮碼率。在用外推法預測時，也可根據(jù)已知符號，通過預測規(guī)定一扇形區(qū)，在該扇形區(qū)內(nèi)的實際值都可不傳送。這類方法尚可提出一些其他形式，一般是按信宿要求設(shè)計的，也就是失真應(yīng)能滿足信宿需求。第十七頁，共98頁。1.線性預測若樣值和預測值之間呈線性關(guān)系,這種預測稱為線性預測,否則稱為非線性預測。常用的幾種線性預測方案有：（1）前值預測，即。（2）一維預測，即用ur的前面已知的k個已知樣值預測ur的值，預測公式如式（3―2）所示。（3）二維預測，也稱為非線性預測，即預測值與樣值之間為非線性關(guān)系。第十八頁，共98頁。在圖像數(shù)據(jù)壓縮中，一維預測就是用同一掃描行中的前幾個已知的樣值預測一個新值，而二維預測就是不但要用ur的同一掃描行以前的幾個已知的采樣值，還要用ur的前幾行中的采樣值來預測ur。第十九頁，共98頁。

2.最優(yōu)預測最優(yōu)線性預測就是按照某種準則,選擇線性預測系數(shù)使得預測誤差為最小。最基本、最常用的準則是均方誤差(MSE,MeanSquareError），換句話說就是使σ2e=E［e2r］為最小。假如信源u是平穩(wěn)隨機過程，預測系數(shù)am,m＝1，2，…,k就是σ2e的變量,求σ2e

=E［e2r］對各個am的偏導數(shù),并令其為零,就可求出E［e2r］為極小值時的各個線性預測系數(shù)am。第二十頁，共98頁。（3―7）于是得：(3―8)第二十一頁，共98頁。由式(3―8)得:（3―9）式中:E［ur－jum］為ur－j和um的協(xié)方差,記作

Rr－j,m,m,j＝1,2,…,k。由式(3―9)得:Rr,m＝E［a1ur－1um＋a2ur－2um＋…＋akur－kum］＝a1Rr－1,m＋a2Rr－2,m＋…＋akRr－k,m(3―10)第二十二頁，共98頁。3.自適應(yīng)預測當信源是一個平穩(wěn)隨機過程，可以使用固定參數(shù)預測器進行預測。當信源為非平穩(wěn)過程，或總體平穩(wěn)，但局部不平穩(wěn)時，利用固定參數(shù)設(shè)計預測器，顯然就不合理了。對這種信源應(yīng)采用自適應(yīng)預測編碼的方法。所謂自適應(yīng)預測就是預測器的預測系數(shù)不固定，隨信源特性而有所變化。如果充分利用信源的統(tǒng)計特性及其變化，重新調(diào)整預測系數(shù)，第二十三頁，共98頁。這樣就使得預測器隨著輸入數(shù)據(jù)的變化而變化，從而得到較為理想的輸出。有些信源的統(tǒng)計特性從整體上看是非平穩(wěn)過程，但在一定的時間（或范圍）內(nèi)把它看作平穩(wěn)過程，還是合理的，例如，圖像的平坦區(qū)，語音信源的基音段。因此，可以把信源看成由多個平穩(wěn)子過程構(gòu)成的組合信源?？梢宰C明組合信源模型的熵低于把非平穩(wěn)信源作為單一平穩(wěn)信源的熵，這樣采用自適應(yīng)預測可進一步減小預測誤差和降低數(shù)碼率。自適應(yīng)預測方法很多，一般可分為線性自適應(yīng)預測和非線性自適應(yīng)預測兩大類。

第二十四頁，共98頁。3.1.3預測編碼的基本類型預測編碼，特別是線性預測編碼已在信息與通信系統(tǒng)的信息處理中被廣泛地采用，吳偉陵總結(jié)出了其中最常用的四種。第二十五頁，共98頁。1．DPCM型DPCM即差分脈碼調(diào)制，其工作原理如圖3―2所示。

圖3―2中，信源輸出序列ui即為DPCM輸入序列。ui與預測值相減得誤差值ei，再將ei量化成數(shù)字序列xi。經(jīng)信道傳輸后變成yi序列。在接收端將接收到的yi與在接收端形成的預測值相加，可得恢復后的信源序列,同時又將反饋到接收端線性預測器,以求得下一瞬間的預測值。由于預測誤差ei的熵(或者方差)遠遠低于輸入序列ui的熵(或者差值)，所以經(jīng)預測后可以很大程度地提高壓縮信源的數(shù)碼率。DPCM型編、譯碼原理及誤差在3.1.4節(jié)中介紹。第二十六頁，共98頁。圖3―2DPCM型原理圖第二十七頁，共98頁。2．ΔPCM型ΔPCM的工作原理如圖3―3所示。ΔPMC與DPCM主要區(qū)別有兩點。一是，線性預測器輸入的原始數(shù)據(jù)的選取不一樣。ΔPCM直接從輸入序列即信源輸出ui中選取，而DPCM則從量化器輸出的xi中選取。另一個不同點是，量化器的位置不同，ΔPCM在反饋環(huán)外，屬開環(huán)型，DPCM則在環(huán)內(nèi)，屬閉環(huán)型。若僅從預測角度看，基本原理是一樣的，都是由線性預測濾波器構(gòu)成的。由于它沒有DPCM的反饋預測環(huán)路，因而其實現(xiàn)比較簡單。若將ΔPCM型中的量化器改成一種霍夫曼編碼器，則可更好地完成信源的數(shù)據(jù)壓縮功能。第二十八頁，共98頁。圖3―3ΔPCM型原理圖第二十九頁，共98頁。3．NFC型噪聲反饋編碼(NFC)是ΔPCM的改進型，其原理如圖3―4所示。由于ΔPCM型的量化器位于反饋環(huán)外，量化誤差不能像DPCM那樣進行反饋壓減，那就不妨在ΔPCM型的基礎(chǔ)上加以改進。即把xi與ei相減后的量化誤差q

i，通過一加權(quán)濾波器再與di＝ui－相減，這樣通過增加一個反饋閉合環(huán)路可以將量化誤差(噪聲)納入閉合環(huán)路內(nèi)以達到壓減量化誤差的目的。第三十頁，共98頁。所以噪聲反饋型實質(zhì)上是上述DPCM與ΔPCM的混合型，它采用類似于ΔPCM的開環(huán)線性預測，同時又采用類似于DPCM型的閉環(huán)來壓減量化誤差。第三十一頁，共98頁。圖3―4噪聲反饋編碼原理圖第三十二頁，共98頁。

4．預測誤差門限型設(shè)信源輸出序列為u0u1u2…uiui＋1…,若使用前值預測，計算預測誤差：|ei|＝|ui-ui－1|(3―11)若|ei|≤K，則不傳送；若|ei|>K，則傳送。其中K為最大誤差的門限值，它是誤差容限值，即信宿可接受的最大誤差值。信號間相關(guān)性越強，在一定的誤差容限值K之下，傳送的數(shù)據(jù)就越少；反之信號相關(guān)性越弱，傳送的數(shù)據(jù)就越多。若選擇的預測值不僅僅是前一個樣值，

第三十三頁，共98頁。而是前N個樣值的線性加權(quán)和，則可構(gòu)成高階預測誤差門限型，其原理與上述零階預測一致，但是由于這樣引入了非線性的門限比較器，所以它實質(zhì)上是一種非線性預測器。第三十四頁，共98頁。

3.1.4DPCM編譯碼原理在3.1.2節(jié)討論的預測方法，力求從理論上達到預測誤差最小或接近最小。這樣往往使計算復雜，因而實現(xiàn)起來較困難，而且一般還需有精確的統(tǒng)計特性。所以實際上，常采用差值編碼或前值預測編碼來解除相關(guān)性以壓縮碼率。這在信源序列相關(guān)性很強和鄰值間的相關(guān)系數(shù)接近1時是很有效的，也是最常被應(yīng)用的方法。此時預測值是相鄰兩個符號值之差或者就是前一個符號的值，并對此預測值進行編碼。這種方法不但可用于連續(xù)信源，也可用于離散信源。第三十五頁，共98頁。差分脈碼調(diào)制和增量調(diào)制這兩種方法常用于語音編碼，當然也能用于圖像編碼。語言和圖像這兩種常見的信源，鄰值間的相關(guān)性一般都是相當強的，因為采樣頻率必須較高，才能保證質(zhì)量。從采樣定理可知，采樣頻率必須大于信號頻帶的兩倍。對于語音信號，若頻帶過小，會丟失高頻分量而影響音質(zhì)。對于圖像信號，頻帶意味著水平清晰度，頻帶不夠就使圖像模糊。采樣頻率足夠高，相鄰樣值的時間間隔就小，相關(guān)系數(shù)就會接近1，適宜用差值編碼。第三十六頁，共98頁。差值編碼中的差分脈碼調(diào)制的工作原理已在3.1.3節(jié)中介紹過,下面介紹DPCM的編譯碼原理。最簡單的DPCM是增量調(diào)制，又稱為ΔM。這時差值的量化級定為2。也就是當差值為正時，用“1”表示；差值為負時，用“0”代表。每個差值只需1比特。一般地說，要減少量化失真，則必須增加取樣頻率fm，即不能再采用常用的2fm，其中fm為信源上限頻率。在譯碼時，為相反變換，即規(guī)定一個增量值Δ，當收到“1”時在前一個值中加上一個Δ值作譯碼輸出；

第三十七頁，共98頁。收到“0”時，則在前一個值中減去一個Δ值作為譯碼輸出。其原理圖如圖3―5所示，編、譯碼器的輸入、輸出波形如圖3―6所示。如果在信道中不傳送預測誤差ei，而是傳送線性預測器中的各項系數(shù)(參量)ai，往往傳送參數(shù)ai所需的數(shù)碼率遠遠低于傳送原始信源數(shù)據(jù)ui的數(shù)碼率。在接收端可以采用一隨機噪聲序列代替原來接收到的序列yi，則在一定條件下也可再現(xiàn)原始信源輸出序列ui。顯然，它也是一種變型線性預測編碼。在語音壓縮中，稱它為線性預測聲碼器(Vocoder)，可見，它是DPCM的一個特例。由于在DPCM型中，量化器位于反饋環(huán)內(nèi)，故又稱為閉環(huán)型，它可以使環(huán)內(nèi)殘存量化誤差大為減少。第三十八頁，共98頁。圖3―5DPCM增量調(diào)制編、譯碼原理第三十九頁，共98頁。圖3―6DPCM增量調(diào)制編、譯碼器的輸入、輸出波形（a）編碼器輸入及編碼輸出;（b）譯碼器的恢復波形第四十頁，共98頁。由上述分析可見,估值和實際值之間存在著兩類誤差,一類是量化誤差,另一類是過載誤差。一般情況下，量化誤差的絕對值小于Δ。當階梯曲線跟不上連續(xù)曲線的上升斜率（或下降斜率）時而產(chǎn)生的誤差稱為過載誤差（或失真）。當所選的級差Δ小時，易產(chǎn)生過載失真，此時的量化誤差可較??；反之，Δ大時，量化誤差將增大，而過載誤差就減少。過載誤差與信號的斜率有關(guān)，斜率越大，越容易出現(xiàn)過載。下面討論量化誤差對系統(tǒng)的影響。由式(3―2)可知,線性預測器的響應(yīng)為第四十一頁，共98頁。其Z變換為可見，線性預測器的響應(yīng)為（3―12）（3―13）（3―14）式中：aj——第j項加權(quán)系數(shù)；k——預測階次。第四十二頁，共98頁。由圖3―2中接收部分的框圖可知：（3―15）（3―16）第四十三頁，共98頁。式(3―16)表明，線性預測器為一全極點濾波器，故又稱為全極點模型。DPCM預測誤差信號為(3―17)(3―18)式中：q

i——量化誤差(或量化噪聲)。第四十四頁，共98頁。在接收端恢復后的重建信號為(無傳輸差錯時)：將式(3―17)、(3―18)代入式(3―19)得：（3―19）（3―20）第四十五頁，共98頁。

3.2變換編碼眾所周知，信源序列往往具有很強的相關(guān)性，要提高信源的效率首先要解除信源的相關(guān)性。解除相關(guān)性可以在時域上進行(這就是上節(jié)中介紹的預測編碼)，也可以在頻域，甚至在廣義頻域內(nèi)進行，這就是要在本節(jié)中介紹的域變換編碼。第四十六頁，共98頁。在信號分析中，對連續(xù)的模擬信號，如果它是周期性的,則可采用傅氏級數(shù)展開，若是非周期性的,則可采用傅氏積分(變換)來表示，但無論是級數(shù)還是積分,都屬于一類正交變換，是從時域展開成頻域的變換。同理,對離散的數(shù)據(jù)序列信號也可引入同樣的離散傅氏變換。而且，還可以進一步將其推廣為廣義的頻域變換。第四十七頁，共98頁。在這一節(jié)中，首先從解除相關(guān)性的需求入手，尋求最佳的域變換。上一節(jié)討論的在空間和時間域上壓縮信源數(shù)據(jù)冗余量的預測編碼的最大特點是直觀、簡潔、易于實現(xiàn)，特別是容易設(shè)計出具有實時性的硬件結(jié)構(gòu)。但是預測編碼的不足在于壓縮能力有限。具有更高壓縮能力的方法和目前最為成熟的方法是變換編碼，特別是正交變換編碼方法和目前尚處于研究階段的小波變換編碼，這兩種方法都具有很強的數(shù)據(jù)壓縮能力。第四十八頁，共98頁。變換編碼的基本原理就是將原來在空間域上描述的信號，通過一種數(shù)學變換(例如，傅里葉變換、正交變換等)變換到變換域(如頻率域、正交矢量空間)中進行描述。簡單地講，即把信號由空間域變換到變換域中，用變換系數(shù)來描述。這些變換系數(shù)之間的相關(guān)性明顯下降，并且能量常常集中于低頻或低序系數(shù)區(qū)域中，這樣就容易實現(xiàn)碼率的壓縮，而且還大大降低了實現(xiàn)的難度。

第四十九頁，共98頁。3.2.1變換編碼的基本原理設(shè)信源輸出為一個一維消息U＝(u1，u2，…，un)，經(jīng)變換后輸出為X＝(x1，x2，…，xn)，故有：X＝PU(3―21)由正交性

AT

A＝A－1A＝I，則有：U＝P

－1X＝P

TX(3―22)式中：

P——實正交變換矩陣；P

T——

矩陣P的轉(zhuǎn)置矩陣；P

－1——矩陣P的逆矩陣；I——單位矩陣。第五十頁，共98頁。如果經(jīng)正交變換后，只傳送M（M<n）個樣值，而將余下的n-M個較小的樣值丟棄。這時接收端恢復的信號為(3―23)式中：第五十一頁，共98頁。如何選擇正交矩陣P，使M值較小，且使被丟棄的n－M個取值足夠地小，以至于既能得到最大的信源壓縮率，同時又使丟棄掉n－M個取值以后，所產(chǎn)生的誤差不超過允許的失真范圍是我們關(guān)心的問題。因此，正交變換的主要問題可歸結(jié)為在一定的誤差準則下，尋找最佳或準最佳的正交變換，以達到最大限度地消除原消息源之間的相關(guān)性。正交變換為什么能解除相關(guān)性呢？下面討論這個問題。第五十二頁，共98頁。由矩陣代數(shù)理論可知：對于任意兩個隨機變量x,y間的相關(guān)性可以用x,y的協(xié)方差(相關(guān)距)表示。一個信源U的各分量間的相關(guān)性可以用信源各分量間協(xié)方差矩陣ΦU表示，其定義為（3―24）第五十三頁，共98頁。式中：ΦU——信源輸出U的協(xié)方差矩陣；E［·］——數(shù)學期望；φij——ui、uj協(xié)方差。可以證明U的協(xié)方差矩陣ΦU是一個實對稱矩陣，它能反映矢量U各分量間的相關(guān)性。若各分量之間互不相關(guān)，則協(xié)方差矩陣ΦU只在主對角線上有非零元素。主對角線上的非零元素代表各分量間的方差，即自相關(guān)性；非對角線上的元素表示各分量之間的協(xié)方差，即互相關(guān)性。

第五十四頁，共98頁。由矩陣代數(shù)可知，對于一個實對稱矩陣

A(A＝AT的矩陣)，必存在一個正交矩陣P，使得：（3―25）式中：λ1,λ2,…,λn——實對稱矩陣

A的n個特征根。第五十五頁，共98頁?？梢娬蛔儞Q能解除相關(guān)性。信源U經(jīng)正交變換后的輸出X協(xié)方差矩陣可定義為ΦX

＝E

［(X-E［X］)(X-E

［X］)T］＝E［(PU-E［PU］)(PU-E［PU］)T］=PE［(U-E［U］)(U-E［U］)T］P

T=PΦUP

T（3―26）第五十六頁，共98頁。式中：ΦX——信源U正交變換后的信號X的協(xié)方差矩陣；

X——信源U經(jīng)正交變換后的矢量；P——正交變換矩陣；P

T——正交變換矩陣P的轉(zhuǎn)置矩陣。第五十七頁，共98頁。為了達到信源壓縮的目的，希望通過矩陣P的正交變換后，ΦX只保留主對角線上的部分自相關(guān)值，即希望其值隨i與j值的增大而迅速減小，從而只需取M（M<n）個數(shù)值。同時希望各互相關(guān)分量均為0，即最大限度地消除原來信源間的相關(guān)性。這也就是研究正交變換的主要指導思想。下面給出最佳正交變換和準最佳正交變換的概念。第五十八頁，共98頁。所謂最佳是指在一定的條件（即準則）下的最佳，而這些準則有客觀的也有主觀的。這里是按照客觀統(tǒng)計上的最小均方誤差準則(MMSE)尋求最佳的正交變換。最佳變換是指變換后的協(xié)方差矩陣ΦX為理想對角線矩陣,這表明經(jīng)正交交換后完全消除了互相關(guān)性。所謂準最佳變換,是指變換后的協(xié)方差矩陣ΦX是近似對角形矩陣。由矩陣代數(shù)的相似變換理論可知，任何矩陣都可相似于約旦(Jordan)標準型所構(gòu)成的矩陣。第五十九頁，共98頁。而約旦標準型就是準對角形矩陣，即矩陣的主對角線上均為特征值λi,i＝1，2，…，n，而在對角線下僅有若干個不為0的1值。所謂相似變換，是指總能找到一非奇異矩陣P使得P－1AP＝B，這時稱A與B相似，如果P為正交矩陣，則有：P－1AP＝P

T

AP＝B(3―27)式(3―27)從理論上說明，總能找到對角化或準對角化的正交變換矩陣。根據(jù)矩陣代數(shù)理論，正交矩陣P不是惟一的。下面介紹幾種常用的正交變換方法。第六十頁，共98頁。3.2.2卡胡南―列夫變換(KLT)

設(shè)X是一個n×1的隨機矢量，則X的每個分量xi都是隨機變量。X的平均矢量（均值）可以由L個樣本矢量來估計：(3―28)MX協(xié)方差矩陣估計值為(3―29)第六十一頁，共98頁。協(xié)方差矩陣是實對稱的，對角元素是單個隨機變量的方差，非對角元素是它們的協(xié)方差。X向量經(jīng)線性變換后產(chǎn)生一個新向量Ｙ：Y＝P(X-MX)（3―30）式中：P的各行是ΦX的特征矢量。為了方便起見，以相應(yīng)的特征值由大到小遞減的順序來排列各行，得到的Y是期望值為零的隨機向量，Y的協(xié)方差矩陣：第六十二頁，共98頁。因為P的各行是ΦX的特征矢量，故ΦY是一個對角陣，對角元素是ΦX特征值，也是ΦY的特征值。這就是說，隨機矢量ΦY是由互不相關(guān)的隨機變量組成的，因此線性變換P起到了消除變量間相關(guān)性的作用。換言之，每個特征值都是變換后第i個變量yi的方差。(3―31)第六十三頁，共98頁。通過變換向量Y可以重構(gòu)向量X：X＝P－1

Y＝PTY(3―32)由此可知，要實現(xiàn)KLT變換，首先要求出矢量X的協(xié)方差矩陣ΦX,再求協(xié)方差矩陣ΦX的特征值λi，然后求λi對應(yīng)的ΦX的特征向量，用ΦX特征向量構(gòu)成正交矩陣P?？梢娪商卣魇噶克鶚?gòu)成的正交變換是最優(yōu)的正交變換，又稱它為卡胡南―列夫(Karhunan―Loeve)變換，簡稱為KLT變換。KLT變換不但可解除相關(guān)性，對正態(tài)過程還能使分量獨立，以利于信源的壓縮，而且還可以忽略一些高階項，即從M＋1到n的項，而不至于過分影響誤差，下面討論這個問題。第六十四頁，共98頁。由于KLT變換前后的向量分量個數(shù)是相同的，但變換后的各分量與變換前的各分量的值是不一樣的，變換后出現(xiàn)了許多很小的值。若要壓縮數(shù)據(jù)，就必須刪除一些能量較小的分量。下面討論這樣做產(chǎn)生的誤差。刪除一些能量較小的分量后，對剩下的M個分量進行編碼，譯碼也只能恢復M個分量，誤差可表示為第六十五頁，共98頁。其均方誤差為歸一化正交得:(3―33)(3―34)(3―35)第六十六頁，共98頁。若求σ2e的最小值,令得:(3―36)因正交矩陣(3―37)第六十七頁，共98頁。式(3―36)變?yōu)?3―38)代入式(3―35)得:(3―39)(3―40)所以最小均方誤差值為第六十八頁，共98頁。通過改變λi次序可得：λ1≥…≥λM≥λM+1≥…≥λn（3―41）即丟棄的高階項λM+1至λn是一些最小的項，故誤差值最小。第六十九頁，共98頁。KLT變換在均方誤差準則下是最佳的正交變換，但是由于以下兩個主要原因，實際很少被采用。首先，在KLT變換中，特征矢量與信源統(tǒng)計特性密切相關(guān)，即對不同的信源統(tǒng)計特性，協(xié)方差矩陣應(yīng)該對應(yīng)不同的特征值才能達到最佳化，這顯然是不大現(xiàn)實的。其次，KLT變換運算很復雜，而且目前尚無快速算法，所以很少實際應(yīng)用，通常僅作為理論上的參考。第七十頁，共98頁。正因為KLT變換的實現(xiàn)比較困難，實用意義不大，因而人們將眼光逐步轉(zhuǎn)向?qū)ふ覝首罴训挠袑嵱脙r值的正交變換。目前人們已尋找到不少這類準最佳正交變換，它們分別是離散傅里葉變換（DFT）、哈爾變換(HRT)、WalshHadamard變換(WHT)、斜變換(SLT)、離散余弦變換(DCT)、離散正弦變換(DST)等。相比較發(fā)現(xiàn)DCT和DST雖然在理論上不是最優(yōu)，但是它們在去相關(guān)與能量集中性上僅次于KLT變換，而且均具有快速算法。第七十一頁，共98頁。3.2.3離散余弦(DCT)變換使用KLT變換需要知道信源的協(xié)方差矩陣，再求出協(xié)方差矩陣的特征值和特征矢量，然后據(jù)此構(gòu)造正交變換矩陣；但求特征值和特征矢量是相當困難的，特別是在高維信源情況下，甚至求不出來。即使借助于計算機求解，也難于滿足實時處理的要求。DCT變換在壓縮效率上略遜于KLT變換，但由于其算法的高效性及結(jié)構(gòu)上的規(guī)律性，且有快速算法,它已經(jīng)成為H.261、JPEG及MPEG等國際標準的主要環(huán)節(jié)。

第七十二頁，共98頁。下面介紹一維DCT定義及其算法。以求和形式表示的一維DCT定義為(3―42)式中（3―43）其矢量形式為第七十三頁，共98頁。式中：離散余弦變換（DCT）形式為第七十四頁，共98頁。離散余弦的反變換(IDCT)的求和形式為(3―45)式中:其矢量形式為(3―46)第七十五頁，共98頁。離散余弦的反變換(IDCT)的形式為(3―47)第七十六頁，共98頁。3.2.4變換編碼方法的特性下面以圖像信源為例，說明變換編碼的特性。正交變換方法最重要的特點是能量主要集中分布在信號的低頻或低序區(qū)域，使大多數(shù)變換系數(shù)為零或很小的數(shù)值。若在信源質(zhì)量允許的條件下，可以舍棄能量較小的系數(shù)，或者分配其很少的比特，這就是正交變換能實現(xiàn)高壓縮率的根本原因所在。雖然DPCM方法也能使變換系數(shù)出現(xiàn)很多的零或小幅值系數(shù)，但是它的這些幅值分布在全空間范圍內(nèi)，對每個系數(shù)均需要編碼。正交變換方法按統(tǒng)計規(guī)律集中分布在一定的區(qū)域上，無需對每個系數(shù)編碼。

第七十七頁，共98頁?？梢宰C明二維Passevel定理成立，即對于二維酉變換下式成立：(3―48)式中：Ｘ——變換前的信號；Ｙ——變換后的信號。第七十八頁，共98頁。也就是說變換域中的能量與原來空間域中的信號能量保持不變。式(3―48)對于數(shù)據(jù)壓縮的指導意義在于：只有當空間域信號能量全部轉(zhuǎn)換到某個變換域后，有限個空間取樣值才能完全由有限個變換系數(shù)對基矢量加權(quán)來恢復。正交變換可以使相關(guān)的空間樣值變?yōu)椴幌嚓P(guān)或弱相關(guān)的變換系數(shù)，即正交變換能消除存在相關(guān)性中的冗余度。實踐已經(jīng)證明正交變換能使矢量信號的各個分量互不相關(guān)，即變換域信號的協(xié)方差矩陣為對角線型；在一定條件下甚至可以使這些系數(shù)相互獨立，這樣就使有記憶信源變成了無記憶信源。第七十九頁，共98頁。因為歸一化正交變換的雅可比(Jacobin)行列式的值等于1，這說明經(jīng)過正交變換不丟失信息，因此可以用傳輸變換系數(shù)來達到傳輸信息的目的。由于歸一化正交變換具有熵不變性，因此可得到圖像原始數(shù)據(jù)塊的極限熵H∞，或接近于Ｈ∞。這就保證了用正交變換對原圖像作霍夫曼編碼、DPCM編碼將有更大的壓縮能力。事實上，DPCM方法由于受到圖像掃描因果關(guān)系的限制，采用m階預測器一般得不到Hm＋1，這是因為圖像并不是理想的馬爾可夫鏈，只會與前幾個像素或與周圍的部分像素有關(guān)。若用正交變換，可對塊內(nèi)的全部數(shù)據(jù)進行變換(去相關(guān)性)，因此，可使變換域內(nèi)的像素出現(xiàn)高階熵，該高階熵由數(shù)據(jù)塊內(nèi)的相關(guān)性決定。第八十頁，共98頁。根據(jù)信息熵知識：lbM＝H0≥H1≥H2≥…≥HM>H∞可知，高階熵總是低于一階熵，根據(jù)信息的率失真函數(shù)R(D)理論，數(shù)碼率可降低。前面介紹的KLT算法在理論上是最佳的，因此可作為其他離散正交變換好壞的參照點。另外對KLT算法人們一直在尋找其特征值與特征矢量的快速算法，但進展不大。另一方面人們不斷地探求一些其他變換方法，雖然它們不是“最佳”的方法，但是也有很好的去相關(guān)性與能量集中性，且實現(xiàn)方法方便、快速。下面簡單介紹這些方法的優(yōu)缺點。第八十一頁，共98頁。離散傅里葉變換(DFT)不對信源本身編碼，只對變換系數(shù)進行編碼和傳輸，具有蝶形快速算法，但是DFT是一種復數(shù)變換，運算量大，實用困難大。WHT變換與DFT相比，運算量明顯減少，這是因為WHT具有DFT的快速算法結(jié)構(gòu)，且只有加、減運算而無乘法，但是實踐證明經(jīng)WHT變換后，其能量集中程度不如DFT。HRT變換具有比WHT更快的運算速度，但其能量集中的程度比WHT更差。DCT／DST既具有運算速度較快(具有快速算法)，而且經(jīng)DCT／DST后的能量集中性僅次于KLT。

第八十二頁，共98頁。DCT的變換矩陣的基矢量近似于托伯利茲(Toeplitz)矩陣的特征矢量。由于托伯利茲矩陣能體現(xiàn)人類語音和圖像信號的相關(guān)特性，因此，對于大多數(shù)相關(guān)性很強的圖像數(shù)據(jù)，DCT是KLT目前最好的替代，所以稱DCT為次最優(yōu)正交變換。從變換后的能量集中程度的優(yōu)劣來看，各種正交變換的由優(yōu)至劣的順序為KLT→DCT→SLT→DFT→WHT→HRT若從運算量的大小，它們由小到大的順序依次為HRT→WHT→SLT→DCT→DFT→KLT第八十三頁，共98頁。下面介紹變換矩陣階數(shù)的選擇。在圖像變換編碼中，通常把圖像數(shù)據(jù)分成若干個子數(shù)據(jù)塊，然后對子數(shù)據(jù)塊實施某種正交變換。因為若變換矩陣階數(shù)取小，雖然便于自適應(yīng)，計算速度快，實現(xiàn)簡單，但方塊效應(yīng)嚴重。嚴重時會使恢復的圖像出現(xiàn)“波紋”。若變換矩陣階數(shù)取大，雖然去相關(guān)效果好(因為DFT、DCT、DST等正弦型變換均具有漸近最佳性，即當變換點數(shù)趨于無窮大時，其去相關(guān)性能將趨于KLT的，可把圖像等數(shù)據(jù)的協(xié)方差矩陣對角化，但HRT，WHT等除外)，但漸趨飽和。若階數(shù)太大，由于圖像本身的相關(guān)性將很小，反而使其壓縮效果不明顯，卻使運算的復雜性增加，造成變換的實時性差。因此子數(shù)據(jù)塊取4×4，8×8，16×16為好。第八十四頁，共98頁。對變換后的系數(shù),保留哪些用作編碼和傳輸將直接影響信號恢復的質(zhì)量。變換系數(shù)的選擇原則是保留能量集中的、方差大的系數(shù)。系數(shù)選擇方法通常有區(qū)域法和閾值控制系數(shù)選擇法兩種方法。區(qū)域法就是對設(shè)定形狀區(qū)域內(nèi)的變換系數(shù)進行量化編碼，區(qū)域外的系數(shù)就被舍去。一般來說，變換后的系數(shù)值較大的都會集中在區(qū)域的左上部，低頻率分量都集中在此部分，需要保留這一部分。其他部分的系數(shù)將被舍去，恢復信號時再對它們補以零。這樣，由于保留了大部分信號能量，在恢復信號后，其質(zhì)量不會產(chǎn)生顯著變化。

第八十五頁，共98頁。研究表明，以均方誤差為準則的最佳區(qū)域是所謂的最大方差區(qū)域。區(qū)域法編碼的明顯缺陷是高頻分量完全丟失，由其恢復的圖像的輪廓及細節(jié)模糊?？朔@一缺陷的方法是,可以預先設(shè)定幾個區(qū)域，根據(jù)實際系數(shù)分布的情況自動選取能量最大的區(qū)域。閾值控制系數(shù)選擇法根據(jù)系數(shù)分布的實際情況設(shè)定閾值的大小，若變換系數(shù)超過該閾值，則保留這些系數(shù)進行編碼傳輸，對于小于閾值的則補以零。這樣，多數(shù)低頻成分被編碼輸出，而且少數(shù)超過閾值的高頻成分也將被保留下來進行編碼輸出，這在一定程度上彌補了區(qū)域法的不足。

第八十六頁，共98頁。但這種選擇系數(shù)的方法有兩個問題需要解決：一個是被保留下來進行編碼的系數(shù)在矩陣中的位置是不確定的，因此，尚需增加“地址”編碼比特數(shù)，其碼率相對地要高一些；另一個問題是“閾值”需要通過實驗來確定，當然也可以根據(jù)總比特數(shù)，進行自適應(yīng)閾值選擇，但這樣做需要一定的技術(shù)，并且將增加編碼的復雜程度。第八十七頁，共98頁。3.2.5子帶編碼子帶編碼(SBC，SubbandCoding)的基本概念是在1976年由R．E．Crochiere等人作為語音編碼算法提出來的。此后，這一方法在中比特率語音編碼中得到了廣泛的應(yīng)用。子帶編碼的基本思想就是將信號的頻帶劃分為不同的子帶，對于每一個子帶，可以選擇適合其統(tǒng)計特性的編碼器。子帶編碼有兩個重要的優(yōu)點：一是,一個子帶編碼