《信息論與編碼》課程自學(xué)報(bào)告題目：基于matlab的香農(nóng)編碼的實(shí)現(xiàn)學(xué)號(hào)：姓名：任課教師：聯(lián)系方式：二零二零年三月十日一、自學(xué)內(nèi)容與小結(jié)1.1基本概念由信道編碼定理可知信道不可能完全實(shí)現(xiàn)對(duì)消息的無(wú)失真?zhèn)鬏敗，F(xiàn)實(shí)生活中，人們一般不要求獲得完全無(wú)失真的消息，即允許一定的失真存在。所以我們可以適當(dāng)壓縮信源輸出的信息率。1.1.1失真函數(shù)與平均失真度為了定量地描述信息率與失真的關(guān)系，必須要先規(guī)定失真的測(cè)度。設(shè)離散無(wú)記憶信源XPX=a1,a2,…pa1常用的失真函數(shù)有以下形式（1）dai，(2)da為了在平均意義上表示信道每傳遞一個(gè)符號(hào)所引起的失真，定義了平均失真度，即daD一般情況下，人們所允許的失真指的是平均意義上的失真。保真度準(zhǔn)則：平均失真度D≤D,D就是允許失真的上界。對(duì)于離散無(wú)記憶信道的N此擴(kuò)展信道，其平均失真度：DN1.1.2信息率失真函數(shù)的定義信源固定，單個(gè)符號(hào)失真度也給定時(shí)，選擇信道使其滿足D≤D，而滿足這樣要求信道稱為試驗(yàn)信道，其集合用PD表示。允許一定失真的情況下，傳送信源所需要的信息率越小越好。從接收端來(lái)看，就是在滿足保真度準(zhǔn)則D≤D的條件下，尋找再現(xiàn)信源消息所必須的最低年均信息量，即平均互信息量的最小值。又I(X；Y1.1.3信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)主要有以下幾點(diǎn)性質(zhì)RD的定義域?yàn)?0,Dmax),當(dāng)D≥DmaxRD是非負(fù)的實(shí)數(shù)，即RDRD1.2離散信源信息率失真函數(shù)1.2.1離散信源信息率失真函數(shù)的參量表達(dá)式為了便于求I(X；Y)的極值，我們引入拉格朗日乘數(shù)S和μi(i=1,2,…,n)DR可以證明S就是RD函數(shù)的斜率：dRdD=S。1.2.2二元及等概率離散信源的信息率失真函數(shù)設(shè)二元信源XP(X)=a1aR上式第一項(xiàng)為信源熵，第二項(xiàng)是容忍一定的失真而可能壓縮的信息率。2.1基本概念由于連續(xù)信源的取值無(wú)窮多，不可能做到一一對(duì)應(yīng)編碼，必然產(chǎn)生失真。但只要失真限定在一定范圍內(nèi)，既滿足保真度準(zhǔn)則，就能保證通信質(zhì)量，這就是所謂的限失真信源編碼。2.2保真度準(zhǔn)則下的信源編碼定理設(shè)一離散平穩(wěn)無(wú)記憶信源的輸出隨機(jī)變量序列為X=(X1X2…XL),若該信源的信息率失真函數(shù)為RD，并選定有限的失真函數(shù)，即譯碼平均失真度必大于允許失真度。這就是保真度準(zhǔn)則下的離散信源編碼定理，也稱為限失真信源編碼定理。二、基于matlab的香農(nóng)編碼的實(shí)現(xiàn)香農(nóng)編碼是信源編碼的一種。香濃第一定理指出了平均碼長(zhǎng)與信源之間的關(guān)系，同時(shí)指出了可以通過(guò)編碼使平均碼長(zhǎng)達(dá)到極限值。雖然香農(nóng)編碼的效率不高，實(shí)用性不大，但對(duì)其他編碼方法有很好的理論指導(dǎo)意義。編碼步驟如下：（1）將信源符號(hào)按概率從大到小的順序排列，令p（2）令pa0=0，令pap（3）確定滿足下列不等式的整數(shù)ki,并令ki為第-（4）將paaj用二進(jìn)制表示，并取小數(shù)點(diǎn)后k結(jié)果如下：【參考文獻(xiàn)】[1].陳運(yùn)，周亮，陳新，陳偉健.信息論與編碼（第3版）北京：電子工業(yè)出版社.2016[2].傅祖蕓，趙建中.信息論與編碼[M].北京：電子工業(yè)出版社，2006.[3]馮桂，林其偉，陳東華.信息論與編碼技術(shù)[M].北京：清華大學(xué)出版社，2007附錄代碼pa=input('請(qǐng)輸入信源分布:')

k=length(pa);

%計(jì)算信源符號(hào)個(gè)數(shù)

ifmin(pa)<0||max(pa)>1

%判斷信源概率值是否介于0到1之間

disp('概率值必須介于0到1之間，請(qǐng)重新輸入信源分布');

return

elseifsum(pa)~=1

%判斷信源累加和是否為1

disp('概率累加和必須等于1，請(qǐng)重新輸入信源分布');

return

else

fori=1:k-1

%for循環(huán)進(jìn)行降序排列

forn=i+1:k

if(pa(i)<pa(n))

t=pa(i);

pa(i)=pa(n);

pa(n)=t;

end

end

end

end

disp('信源分布概率從大到小為：'),disp(pa)

y=0;%給y賦初值，用來(lái)求概率和

f=0;%給f賦初值，用來(lái)得到子程序最大循環(huán)次數(shù)

s=zeros(k,1);

%對(duì)求和結(jié)果進(jìn)行矩陣初始化

b=zeros(k,1);

%對(duì)編碼位數(shù)矩陣初始化

w=zeros(k,1);

%對(duì)二進(jìn)制矩陣初始化

form=1:k;

%進(jìn)行香農(nóng)編碼

s(m)=y;

y=y+pa(m);

b(m)=ceil(-log2(pa(m)));%求得的自信息量向上取整，得到碼字長(zhǎng)度

z=zeros(b(m),1);

%對(duì)碼字矩陣初始化

x=s(m);

f=max(b(m));

%把碼字最大長(zhǎng)度賦給f，用于進(jìn)行十進(jìn)制轉(zhuǎn)二進(jìn)制

w=dtob(x,f);

%調(diào)用子程序?qū)⑹M(jìn)制轉(zhuǎn)換為二進(jìn)制

forr=1:b(m)

z(r)=w(r);

end

disp('編碼位數(shù)'),disp(b(m))

disp('最終編碼'),disp(z')

end

sum0=0;

sum1=0;

fori=1:k

%使用for循環(huán)進(jìn)行信息熵、平均碼長(zhǎng)求解

a(i)=-log2(pa(i));

%a(i)表示單個(gè)信源的自信息量

K(i)=ceil(a(i));

%K(i)表示對(duì)自信息量向上取整

R(i)=pa(i)*K(i);

sum0=sum0+R(i);

%求平均碼長(zhǎng)

c(i)=a(i)*pa(i);

sum1=sum1+c(i);

%信息熵

end

K1=sum0;

H=sum1;

Y=H/K1;

%用Y來(lái)表示編碼效率

disp(['信息熵H(X)=',num2str(H),'(bit/sign)']);

disp(['平均碼長(zhǎng)K=',num2str(K1),'(bit/sign)']);disp(['編碼效率=',num2str(Y)]);

%%%%%%%%%子程序進(jìn)行十進(jìn)制轉(zhuǎn)換成二進(jìn)制的%%%%%%%%