1、2020/8/3,1,No Chance Stay For You !,孫子兵法曰：“激水之疾，至于漂石者，勢也”速度決定了石頭能否漂起來 早起的鳥兒有蟲吃，趕在別人前頭，不要停下來，這是競爭者的狀態(tài)，也是勝者的狀態(tài)。如果成功有捷徑的話，那就是飛，時刻準備飛！,沒有機會為你停留 !,2020/8/3,2,第二章總結,(1) 單符號離散信源 信息量 自信息、條件自信息概念、性質、計算 互信息、條件互信息概念、性質、計算 互信息的三種表達方式（輸入端、輸出端、系統總體） 熵 信息熵的概念、性質、計算 無條件熵、條件熵（信道疑義度、噪聲熵） 平均互信息概念、性質、計算 平均互信息的三種表達方式 平均

2、互信息的凸函數性 I(X;Y)是p(xi)的上凸函數 I(X;Y)是p(yj/xi)的上凸函數 數據處理定理概念 理解各種熵之間的關系,2020/8/3,3,(2) 多符號離散信源 離散平穩(wěn)無記憶信源概念、計算 離散平穩(wěn)有記憶信源概念、簡單計算 條件熵、極限熵概念、簡單計算 馬爾可夫信源概念、極限熵計算 信源冗余度概念、通信效率與可靠性的關系 (3) 連續(xù)信源 概念、與離散信源的比較和區(qū)別、簡單計算 理解最大連續(xù)熵定理 熵功率的概念 (4) 離散無失真信源編碼定理 定長編碼定理 變長編碼定理,2020/8/3,4,作業(yè)題1,2.1.設有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣

3、的重量不同，但不知究竟是重還是輕?，F采用天平比較左右兩邊輕重的方法來測量（因無砝碼）。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？,2020/8/3,5,作業(yè)題1,解答：在12枚同值硬幣中，哪一枚是假幣，假幣的重量是比真幣的重量重還是輕，都是“無知”、“不確定的”。而用天平比較左右兩邊輕重的測量方法，每測一次，能獲得一定的信息量，能消除部分不確定性，則就能確定出其中一枚假幣及其重量。因此， 設“在12枚同值硬幣中，某一枚為假幣”這事件為 ,其出現的概率為 又設“假幣的重量比真幣的重量是重或輕”這事件為 ，其出現的概率為 事件 的不確定性為 事件 的不確定性為,2020/8/3,6,作業(yè)

4、題1,要發(fā)現某假幣并知其比真幣重還是輕所需的信息量就是要消除這兩個事件的不確定性。因為這兩個事件是統計獨立事件，所以需要獲得的信息量為 而在天平上稱一次能判斷出三種情況：重、輕和相等，這事件為 。這三種情況是等概率的。其概率為 。 所以，天平測一次能獲得的信息量（即消除的不確定性）為 則至少必須稱的次數為 因此至少必須稱三次。,2020/8/3,7,作業(yè)題2,2.2. 同時扔一對均勻的骰子，當得知“兩骰子面朝上點數之和為2”或“面朝上點數之和為8”或“骰子面朝上點數是3和4時”，試問這三種情況分別獲得多少信息量？,2020/8/3,8,作業(yè)題2,解答：骰子一共有六面，某一骰子扔得某一點數面朝上

5、的概率是相等的，均為1/6。兩骰子面朝上點數的狀態(tài)共有36種，其中任一狀態(tài)出現都是等概率的，出現概率為1/36。 (1)設“兩骰子面朝上點數之和為2”是事件A,點數之和為2的只有一種(1+1)，故有 (2)設“兩骰子面朝上點數之和為8”是事件B,點數之和為8的有5種(2+6， 6+2 ， 4+4， 3+5， 5+3),2020/8/3,9,作業(yè)題2,(3)設“骰子面朝上點數是3和4時”是事件C,點數為3和4的狀態(tài)只有兩種，即3、4和4、3,2020/8/3,10,作業(yè)題3,2.5.一幅充分洗亂了的牌（含52張牌），試問 (1) 任一特定排列所給出的信息量是多少？ (2) 若從中抽取13張牌，所

6、給出的點數都不相同能得到多少信息量？,2020/8/3,11,作業(yè)題3,解答： (1)任意排列共有 種，則任一排列的自信息量為： (2)應將點數相同花色不同的牌看作一類，則任意抽取的13張牌應在13類種分別進行。其概率為 信息量為：,2020/8/3,12,作業(yè)題4,2020/8/3,13,作業(yè)題4,2020/8/3,14,作業(yè)題5,2.13. (1) 為了使電視圖像獲得良好的清晰度和規(guī)定的適當的對比度，需要用5105個象素和10個不同亮度電平，求傳遞此圖像所需的信息率（比特/秒）。并設每秒要傳送30幀圖像，所有象素是獨立變化的，且所有亮度電平等概率出現？ (2) 設某彩色電視系統，除了滿足對

7、于黑白電視系統的上述要求外，還必須有30個不同的色彩度，試證明傳輸該彩色系統的信息率要比黑白系統的信息率約大2.5倍？,2020/8/3,15,作業(yè)題5,解答. (1)每個象素亮度信源的概率空間為 每個象素亮度含有的信息量 每幀圖像信源就是離散亮度信源的無記憶N次擴展信源，可得每幀圖像含有的信息量為 每秒30幀，則傳遞此圖像所需的信息率為,2020/8/3,16,作業(yè)題5,解答. (2)色彩度信源的概率空間為 每個色彩度含有的信息量 亮度和色彩度是獨立同時出現的，每個象素含有的信息量為 在每幀所用象素數和每秒傳送幀數相同時，信息率之比為,2020/8/3,17,作業(yè)題6,2.18.設有一個信源

8、，它產生0,1序列的信息。它在任意時間而且不論以前發(fā)生過什么符號，均按P(0)=0.4，P(1)=0.6的概率發(fā)出符號。 (1)試問這個信源是否是平穩(wěn)的？ (2)試計算 (3)試計算 H(x4)并寫出x4信源中可能有的所有符號。,2020/8/3,18,作業(yè)題6,解答： (1)信源發(fā)出符號的概率分布與時間平移無關，而且信源發(fā)出的序列之間也是彼此無依賴的，因此該信源是平穩(wěn)的，而且是離散無記憶信源。 (2),2020/8/3,19,作業(yè)題6,(3),2020/8/3,20,作業(yè)題7,2.22.一階馬爾可夫信源的狀態(tài)圖如圖2.8所示。信源X的符號集為0,1,2。 (1)求信源平穩(wěn)后的概率分布P(0)

9、,P(1),P(2)； (2)求信源的熵H。 (3)近似認為此信源為無記憶時， 符號的概率分布為平穩(wěn)分布， 求近似信源的熵H(X), 并與H進行比較。 (4)對一階馬爾可夫信源p取何值時H最大， 當p=0和p=1時結果又如何。,2020/8/3,21,作業(yè)題7,2020/8/3,22,作業(yè)題7,2020/8/3,23,作業(yè)題7,2020/8/3,24,作業(yè)題7,2020/8/3,25,作業(yè)題8,2.23.一階馬爾可夫信源的狀態(tài)圖如圖2.9所示。信源X的符號集為0,1,2。 (1)求平穩(wěn)后信源的概率分布； (2)求信源的熵H。 (3)求當p=0和p=1時信源的熵， 并說明理由。,2020/8/3

10、,26,作業(yè)題8,2020/8/3,27,作業(yè)題8,2020/8/3,28,作業(yè)題9,2.25.一黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X=黑,白。設黑色出現的概率為P(黑)=0.3，白色的出現概率P(白)=0.7。 (1) 假設圖上黑白消息出現前后沒有關聯，求熵H(X)； (2) 假設消息前后有關聯，其依賴關系為P(白/白)=0.9，P(黑/白)=0.1， P(白/黑)=0.2，P(黑/黑)=0.8，求此一階馬爾可夫信源的熵H2 (X)； (3) 分別求上述兩種信源的剩余度，比較和的大小，并說明其物理意義。,2020/8/3,29,作業(yè)題9,2020/8/3,30,作業(yè)題9,(2),2020/8/3,31,作業(yè)題9,(3),2020/8/3,32,練習題1,1.設有一非均勻骰子，若其任一面出現的概率與該面上的點數成正比，試求各點出現時所給出的信息量，并求扔一次平均得到的信息量。,2020/8/3,33,練習題2,2.證明離散平穩(wěn)信源有,2020/8/3,34,3.每幀電視圖像可以認為是由3105個像素組成的，所有像素均是獨立變化，且每像素又取128個不同的亮度電平，并設亮度電平是等概率出現，問每幀圖像含有多少