1、信息論基礎(chǔ)實(shí)驗(yàn)報告專業(yè)：電子信息工程姓名： 班級/學(xué)號：電信1002/ 指導(dǎo)老師：李紅蓮實(shí)驗(yàn)一：信息熵、信道容量的計(jì)算一、實(shí)驗(yàn)?zāi)康恼莆帐褂糜?jì)算機(jī)計(jì)算信息熵、信道容量的方法。二、實(shí)驗(yàn)原理1參照教材（焦瑞莉等編著信息論基礎(chǔ)教程）第14頁式（2-16）理解信息熵的定義2參照教材（焦瑞莉等編著信息論基礎(chǔ)教程）第68頁式（3-15）理解信道容量的定義三、實(shí)驗(yàn)方法與實(shí)驗(yàn)步驟（一）參照教材第215頁信源熵程序建立文件entropy.m（二）建立文件exercise2_3_1.m通過調(diào)用entropy.m計(jì)算教材第69頁練習(xí)2.3（1）（參考答案：0.81比特）（三）參照教材第215頁離散無記憶信道容量的迭代

2、計(jì)算程序建立文件channelcap.m（四）建立文件exercise3_2_b.m通過調(diào)用channelcap.m計(jì)算教材第92頁練習(xí)3.2（b）（參考答案：0.0817比特）四源程序代碼1）function h=entropy(p,r)if(isempty(find(p10e-10) error(not aprob vetor,component do not add up to 1);endh=(sum(-p.*log2(p)/(log2(r)+eps);clc;h=entropy(1/4,3/4,22）function cc,paa=channelcap(p,k)% 提示錯誤信息 if

3、 (isempty(find(p10e-10 error(not a prob.vector,components do not add up to 1) % 判斷是否符合概率和為1end % 1)初始化par,s=size(p);pa=(1/(r+eps)*ones(1,r);pba=p;% 2)進(jìn)行迭代計(jì)算n=0;c=0; cc=1;while abs(cc-c)=k % 迭代開始 n=n+1;% (1)先求pb pb=zeros(1,s); for j=1:s for i=1:r pb(j)=pb(j)+pa(i)*pba(i,j); endend% (2)再求pabsuma=zeros

4、(1,s);pab=zeros(s,r);for j=1:s for i=1:r pab(j,i)=pa(i)*pba(i,j)/(pb(j)+eps); suma(j)=suma(j)+pa(i)*pba(i,j)*log2(pab(j,i)+eps)/(pa(i)+eps); endend% 3)求信道容量cc=sum(suma);% 4)求下一次pa,即paal=zeros(1,r);a=zeros(1,r);for i=1:r for j=1:s l(i)=l(i)+pba(i,j)*log(pab(j,i)+eps); end a(i)=exp( l(i); end paa=a./(

5、sum(a)+eps); % 5)求下一次c,即cccc=log2(sum(a)+eps);pa=paa;end % 迭代結(jié)束% 打印輸出結(jié)果s0=很好！輸入正確，迭代結(jié)果如下：;s1=最佳輸入概率分布pa:;s2=信道容量c:;s3=迭代次數(shù)n:;s4=輸入符號數(shù)r:;s5=輸出符號數(shù)s:;s6=迭代計(jì)算精度k:; i=1:r;b=i;disp(s0);disp(s1),disp(b),disp(paa);disp(s4),disp(r);disp(s5),disp(s);disp(s2),disp(cc);disp(s6),disp(k); disp(s3),disp(n);clc,clearclose allp=1/3,1/6,1/3,1/6;1/6,1/3,1/6,1/3k=10e-9cc,paa=channelcap(p,k)五、實(shí)驗(yàn)結(jié)果1）