1、 實(shí)驗(yàn)名稱繪制信源熵函數(shù)曲線課程名稱信息論與編碼姓名*指導(dǎo)教師*專業(yè)、班級(jí)*學(xué)號(hào)L實(shí)驗(yàn)時(shí)間實(shí)驗(yàn)地點(diǎn)121實(shí)驗(yàn)?zāi)康恼莆针x散信源熵的原理和計(jì)算方法。熟悉matlab軟件的基本操作，練習(xí)應(yīng)用matlab軟件進(jìn)行信源熵函數(shù)曲線的繪制。理解信源熵的物理意義，并能從信源熵函數(shù)曲線圖上進(jìn)行解釋其物理意義。 1.離散信源相關(guān)的基本概念、原理和計(jì)算公式產(chǎn)生離散信息的信源稱為離散信源。離散信源只能產(chǎn)生有限種符號(hào)。假定X是一個(gè)離散隨機(jī)變量，即它的取值范圍R=X,x2,x3，是有限或可數(shù)的。設(shè)第i個(gè)變量x.發(fā)生的概率為p.=PX=x.。貝U：定義一個(gè)隨機(jī)事件的自信息量I(x.)為其對(duì)應(yīng)的隨機(jī)變量x.出現(xiàn)ii概率對(duì)數(shù)的

2、負(fù)值。即：I(X.)=-log2p(xi)定義隨機(jī)事件X的平均不確定度H(X)為離散隨機(jī)變量x.出現(xiàn)概i率的數(shù)學(xué)期望，即：H(X)p(x)I(x)p(x)logp(x)iiiiii實(shí)驗(yàn)條件單位為比特/符號(hào)或比特/符號(hào)序列。平均不確定度H(X)的定義公式與熱力學(xué)中熵的表示形式相同，所以又把平均不確定度H(X)稱為信源X的信源熵。必須注意一下幾點(diǎn)：某一信源，不管它是否輸出符號(hào)，只有這些符號(hào)具有某些概率特性，必有信源的熵值；這熵值是在總體平均上才有意義,因而是個(gè)確定值，一般寫成H(X),X是指隨機(jī)變量的整體(包括概率分布)。信息量則只有當(dāng)信源輸出符號(hào)而被接收者收到后，才有意義,這就是給與信息者的信息

3、度量，這值本身也可以是隨機(jī)量，也可以與接收者的情況有關(guān)。熵是在平均意義上來表征信源的總體特征的，信源熵是表征信源的平均不確定度，平均自信息量是消除信源不確定度時(shí)所需要的信息的量度，即收到一個(gè)信源符號(hào)，全部解除了這個(gè)符號(hào)的不確定度?；蛘哒f獲得這么大的信息量后，信源不確定度就被消除了。信源熵和平均自信息量?jī)烧咴跀?shù)值上相等，但含義不同。當(dāng)某一符號(hào)x.的概率p(x.)為零時(shí),p(x.)logp(x.)在熵公式中無意義，為此規(guī)定這時(shí)的p(x.)logp(x.)也為零。當(dāng)信源X中只含有一個(gè)符號(hào)x時(shí)，必有p(x)=1，此時(shí)信源熵H(X)為零。例1-1,設(shè)信源符號(hào)集X=0，1，每個(gè)符號(hào)發(fā)生的概率分別為p(0)

4、=p，p(l)=q，p+q=1，即信源的概率空間為X1q則該二元信源的信源熵為：H(X)-logpqlogq=plogp(1p)log(1p)即：H(p)=plogp(1p)log(1p)其中WpW1P=0時(shí)，H(0)=0P=1時(shí)，H(1)=02.MATLAB二維繪圖例對(duì)函數(shù)y=fx)進(jìn)行繪圖，則用matlab中的命令plot(x,y)就可以自動(dòng)繪制出二維圖來。如果打開過圖形窗口，則在最近打開的圖形窗口上繪制此圖；如果未打開圖形窗口，則開一個(gè)新的圖形窗口繪圖。例1-2,在matlab上繪制余弦曲線圖，,=cosx,其中WxW21生成橫坐標(biāo)向量，使其為0,，yos計(jì)算余弦向量1o繪制圖形實(shí)驗(yàn)內(nèi)容止步驟用matlab軟件繪制二源信源熵函數(shù)曲線。根據(jù)曲線說明信源熵的物理意義。 Maltab代碼：p=0.0000001:0.0001:l;h=-p.*log2(p)-(l-p).*log2(l-p);plot(p,h)holdon;stem(0.5,1,-.)