1、回答問題： (1)通信系統(tǒng)中信源編碼和信道編碼的功能是什么？(2)什么是總概率公式？第二章信息源和信息熵第一節(jié)信息源的描述和分類第三節(jié)信息源的分類和數(shù)學(xué)模型。根據(jù)信息源發(fā)送的符號在時間和幅度上的分布，信息源可以分為離散源和連續(xù)源。信息源，離散源和連續(xù)源，1。香農(nóng)信息論的基本觀點，2 .概率論知識，2。連續(xù)源(4)連續(xù)源在時間和幅度上被發(fā)送。數(shù)學(xué)模型是一個連續(xù)的隨機變量或隨機過程。1.離散信息源離散信息源是指以離散的時間和幅度分布發(fā)出離散信息的信息源，例如，字符、數(shù)字、數(shù)據(jù)和其他符號都是離散信息。離散源、無記憶(2)、單符號離散源、記憶(3)馬爾可夫源、離散序列源和單符號離散源的數(shù)學(xué)模型是離散隨

2、機變量。要建立一個數(shù)學(xué)模型，我們應(yīng)該寫出它的分布列表。(1)單符號離散源：包中有100個球、80個紅球和20個黑球。拿出一個球，看看它的顏色。如果a1=“紅球”和a2=“黑球”，則源可以描述為：無記憶離散序列源X=(x1x2xn)。數(shù)學(xué)模型是離散隨機向量p (x)=p (x1，x2，xn)=p (x1) p (x2)。p (xn)。(2)無記憶離散序列源：的布袋中有100個球、80個紅球和20個黑球。拿出一個球，放回去，再拿一次，觀察顏色。假設(shè)a1=紅球和a2=黑球，那么信息源可以描述如下：記憶離散序列信息源X=(x1x2xn)數(shù)學(xué)模型是離散隨機向量p (x)=p (x1，x2，xn=p(x1

3、)p(x2 | x1)p(x3 | x1x 2)(3)內(nèi)存離散序列源：的布袋中有100個球、80個紅色球和20個黑色球。拿出一個球，不要把它放回去。再拿一次，觀察出現(xiàn)的顏色。讓a1=“紅球”，a2=“黑球”，那么聲源可以描述為：觀察麥克風輸出的原始語音信號。(連續(xù)振幅和時間)，(4)連續(xù)電源：使用電池并測量其電壓。(連續(xù)振幅)，連續(xù)源的數(shù)學(xué)模型是連續(xù)隨機變量或隨機過程。建立數(shù)學(xué)模型時應(yīng)編寫一維概率密度函數(shù)。1:符號的信息量，1。符號的自我信息量，2。條件自信息量，傳輸過程中I(xi/yj):符號丟失的信息量。I(yj/xi):噪音產(chǎn)生的信息量。第二節(jié)，單符號離散源，1:符號信息量，3:兩個消息

4、xi和yj同時出現(xiàn)的聯(lián)合自信息量，4:相互信息量，第二節(jié)，單符號離散源，傳輸信息量，例1(2-3)，英文字母中出現(xiàn)“E”的概率為0.105，“C”出現(xiàn)的概率為0.023。他們的自我信息量是單獨計算的?！癳”的自我信息I(e)=-log 20.105=3.25位“c”=-log 20.023=5.44位“o”=-log 20.0019.97位，含義：Yj=I(xi)-I(xi/Yj):接收端獲得的信息量(系統(tǒng)發(fā)送的信息量)、符號Xi提供的信息量、符號Xi和Yj同時提供的信息量、信息量(接收端角度)I(Xi/yj)=I(Xi)I(yj/Xi)=I(yj)；一(Xi；Yj)=0，它是非負的；是一個單

5、調(diào)遞減函數(shù)，2-5:某一地區(qū)25%的女生是大學(xué)生，75%的女大學(xué)生身高超過1.6米，一半的女生身高超過1.6米。如果你知道一個身高超過1.6米的女孩是大學(xué)生，問問你得到了多少信息。2:源的平均信息量，1。信息熵，第二部分：單個符號離散源，源中每個符號的平均信息量x。單位比特/符號，1:符號的信息量。在示例2-5:中，假設(shè)源符號集x=x1、x2和x3，并且每個符號的出現(xiàn)概率分別為p(x1)=1/2、p(x2)l4和p(x3)14。h(x)=1/2 log 22 1/4 log 24 1/4 log 24=1.5位/符號。如果每個符號的概率相等，那么它的熵是多少？考慮到每個點有10個不同的灰度級，

6、電視屏幕2-6上大約有500 600=3 105個網(wǎng)格點。根據(jù)等概率計算，每張圖片可以提供的平均信息量為：I=3 105 3.32比特/圖片=9.96 105比特/圖片，有一個千字章節(jié)。假設(shè)每個單詞都可以從萬字符表中選擇，并且仍然按照相等的概率計算，那么每個千字符文本可以提供的平均信息量是13.28位。一篇文章的總信息量是I=1000 H，定義：給定Y，條件熵H(X/Y)=，2，X的條件熵；因此，給定X，Y的條件熵H(Y/X)被定義為H(Y/X)=H(Y/X):即由噪聲產(chǎn)生的平均信號，這被稱為噪聲熵。H(X/Y):符號傳輸過程中丟失的平均信息量，稱為懷疑度。3。聯(lián)合熵H(XY)=聯(lián)合熵H(XY

7、)表示X和Y同時提供的平均信息，4。平均互信息表示當發(fā)送符號時由通信系統(tǒng)發(fā)送的平均信息。每個參數(shù)： H(X)的含義摘要是符號集中每個符號所包含的平均信息量。y)是信道上可傳輸?shù)钠骄畔⒘?，而H(XY)稱為懷疑度，即信道中每個符號丟失的信息量。H(YX)被稱為噪聲熵。H(XY)聯(lián)合熵，I(x；y)=H(X)-H(xy)I(X；Y)=H(Y)-H(yx)3)I(x；Y)=I(Y；X)4)I(X；y=h(x)h(y)-h(xy)，h (x) h (yx) h (xy) h (y) h (xy)，2-10把5個黑球和10個白球放在一個袋子里，拿一個球作為實驗找出：(1)實驗x所包含的不確定度；(2)第

8、一個實驗X發(fā)現(xiàn)了黑球，第二個實驗Y給出了不確定度；(3)第一個實驗X發(fā)現(xiàn)了白球，第二個實驗Y給出了不確定度；(4)第二個實驗y中包含的不確定性。例2-9:二進制通信系統(tǒng)使用符號0和1，由于失真，在傳輸中會有誤差。Set: u0 -發(fā)出0；U1發(fā)出一聲1；V0收到一個0；V1得到1分。P (u0)=1/2，p (v0/u0)=3/4，p (v0/u1)=1/2。(1)當發(fā)送0時，計算接收符號后的信息量。(2)知道一個符號被發(fā)送出去，在接收到該符號后找到信息量；(3)了解發(fā)送和接收的符號，并計算可獲得的信息量；(4)了解接收到的符號，找出通過被告知發(fā)送的符號可以獲得的信息量。工單： 2-3(3)(4)，2-6，2-9，2-12，什么是總損耗離散通道？分析： I(x；如果X和y相互獨立，I(X；Y)=0 .信源發(fā)送的所有信息都在信道上丟失，這就是所謂的全損離散信道。什么是不受干擾的離散通道？因為沒有噪聲，所以信道不會丟失信息，懷疑度為零，噪聲熵也為零。這時：我(x；此時的通道稱為無擾動離散通道。數(shù)據(jù)處理定理(1) :當消息通過多級處理器時，輸入消息和輸出消息之間的平均互信息會隨著處理器數(shù)量的增加而減少。第三，數(shù)據(jù)處理中信息的變化。z)=1(X；y)I(X；z)=1(Y；如果你想從測量值Y中得到關(guān)于X的信息，測量次數(shù)越多越好。一(十)；Y1)=1(X；Y1Y2)，4。熵的性質(zhì)，1。非負氫