1、第二章是信息論的基本概念，第一節(jié)是信息源的描述和分類，第二節(jié)是離散源的信息論概念，第三節(jié)是離散源的熵，1。學(xué)習(xí)PPT，第一節(jié)是信息源的描述和分類，1 .香農(nóng)信息論的基本觀點(diǎn)是，信息源用隨機(jī)變量或隨機(jī)向量來表示，信息是用概率論和隨機(jī)過程理論來研究的。信息源分類：根據(jù)信息源發(fā)送信息的時(shí)間和幅度分布，信息源可分為兩類：離散信息源和連續(xù)信息源。2.學(xué)會(huì)交流。連續(xù)信息源是指發(fā)出連續(xù)信息(模擬信息)的信息源，這些信息在時(shí)間和幅度上連續(xù)分布，例如語言、圖像和圖形。離散信息源離散信息源是指在時(shí)間和幅度上發(fā)出離散信息的信息源，如字符、數(shù)字、數(shù)據(jù)等符號都是離散信息。離散源，離散無記憶源，離散無記憶源，發(fā)射單個(gè)符號

2、的無記憶源，發(fā)射符號序列的無記憶源，發(fā)射符號序列的無記憶源，發(fā)射符號序列的馬爾可夫源，3。學(xué)會(huì)交流。由離散的無記憶源發(fā)射的符號彼此獨(dú)立，并且在發(fā)射的符號序列中的符號之間沒有統(tǒng)計(jì)相關(guān)性。每個(gè)符號的出現(xiàn)概率是它自己的先驗(yàn)概率。離散存儲(chǔ)源發(fā)出的每個(gè)符號的概率是相關(guān)的。發(fā)送單個(gè)符號的源意味著源一次僅發(fā)送一個(gè)符號來表示一條消息；發(fā)送符號序列的信源意味著信源每次發(fā)送一組包含兩個(gè)以上符號的符號序列來表示一條消息。4。學(xué)習(xí)進(jìn)行PPT通信時(shí)，符號序列的記憶源是指源發(fā)送的符號序列的整體概率(即聯(lián)合概率)，以反映記憶源的特征。符號序列的馬爾可夫源意味著某個(gè)符號的概率只與前一個(gè)或有限個(gè)符號相關(guān)，而不依賴于前一個(gè)符號。

3、這樣的信源可以使用信源發(fā)送的符號序列中的符號之間的條件概率來反映存儲(chǔ)特性。5。學(xué)會(huì)交流PPT3.先驗(yàn)概率與概率空間的形式。由離散源發(fā)送的每個(gè)符號消息的集合是：它們的概率是：這是符號的先驗(yàn)概率。一般信息源可以用概率空間來描述，而信息源的不確定性可以用概率空間中可能狀態(tài)的數(shù)目及其概率來描述。狀態(tài)空間，6。學(xué)習(xí)如何與PPT溝通。信息論關(guān)注隨機(jī)變量的不確定性，它驅(qū)使我們觀察和測量隨機(jī)變量并從中獲取信息。7.學(xué)會(huì)交流。問：什么是自我信息？什么是不確定性？什么是相互信息？平均自我信息量是多少？什么是條件熵？什么是聯(lián)合熵？聯(lián)合熵、條件熵和熵之間有什么關(guān)系？熵的性質(zhì)是什么？什么是平均相互信息？什么是信息源熵？

4、如何計(jì)算離散源的熵？在第二節(jié)中，離散源信息論的概念，8，學(xué)習(xí)交流PPT，(1)自我信息量，1。信息量？2。因?yàn)樾畔⒘看螅?.不確定性？4。聯(lián)合自我信息量？5。有條件的自我信息量？本節(jié)的主要內(nèi)容：9，學(xué)習(xí)交流PPT，I(信息量)不確定性減少量，(1)自我信息量，1。信息量，定義：隨機(jī)事件的自身信息量定義為其發(fā)生概率對數(shù)3360，2的負(fù)值。自我信息量，即接收者收到消息后，獲得的信息量等于接收消息前后不確定性的減少量。因?yàn)楦怕试叫。霈F(xiàn)的幾率就越小，一旦出現(xiàn)，獲得的信息量就越大。因?yàn)樗请S機(jī)出現(xiàn)的，所以它是x的一個(gè)樣本，所以它是一個(gè)隨機(jī)量。并且是的函數(shù)，它也必須是隨機(jī)的q對于離散的無記憶信息源，符號

5、串中的每個(gè)符號在統(tǒng)計(jì)上是獨(dú)立的，符號串的自信息量是可加的。學(xué)習(xí)交換PPT，d。確定自我信息量的單位。信息論中常用的對數(shù)基數(shù)是2，信息量的單位是比特，用log2或lb表示；(比特/符號)如果取自然對數(shù)，信息的單位是自然對數(shù)，用對數(shù)或?qū)?shù)表示；(自然/符號)如果對數(shù)基數(shù)是10，信息的單位是哈特利，用log10或lg表示；(哈特利/符號)如果對數(shù)的基數(shù)是R，信息的單位是R-十進(jìn)制單位/符號。這三個(gè)信息單元之間的轉(zhuǎn)換關(guān)系如下：1 natlog2e l.433 bit，l Hartley log210 3.322 bit，12，學(xué)習(xí)交流PPT，定義：隨機(jī)事件的不確定性在數(shù)量上等于其自身信息，表明這兩個(gè)單

6、元是相同的，但它們的含義是不同的。具有一定概率分布的隨機(jī)事件是否發(fā)生，存在不確定性，不確定性表征了事件的特征，自信息量是事件發(fā)生后給予觀察者的信息量。3.不確定性，13。學(xué)習(xí)交流PPT，概率接近1的隨機(jī)事件，發(fā)生的可能性很大，所以它包含的不確定性很??；相反，一個(gè)發(fā)生概率很小的隨機(jī)事件很難猜測它是否會(huì)在某個(gè)時(shí)刻發(fā)生，因此它包含很大的不確定性；如果它是一個(gè)確定性事件，它的發(fā)生概率是1，那么它的不確定性是0。14，學(xué)習(xí)交流PPT，并給出一些關(guān)于自我信息量的例子：(1)包含在二進(jìn)制符號(0，1)中的自我信息量具有相等的概率是：I (0)=I (1)=-log2 (1/2)=log22=1比特/符號，(

7、2)如果它是m比特，因此，I=-log2(1/2m)=m比特/符號，這意味著需要m比特的信息來指示這樣的二進(jìn)制數(shù)。15，學(xué)會(huì)交流PPT，(3)具有四個(gè)值符號的隨機(jī)變量每個(gè)符號的概率相同，為1/4，每個(gè)符號的自信息量為：注意：位表示二進(jìn)制數(shù)(0，1)，自信息量為2(位/符號)，這意味著其不確定度可以用2位二進(jìn)制數(shù)(00，01，10)來度量，如果以4為對數(shù)基數(shù)，自信息量為1(四進(jìn)制單位/符號)，這意味著其不確定度可以用1位四進(jìn)制數(shù)來度量(4)英語字母中“e”、“c”和“o”的概率分別為0.105、0.023和0.001。他們的自我信息量是單獨(dú)計(jì)算的。“e”的自我信息I(e)=-lb0.105=3.

8、25(位/符號)“c”=-lb0.023=5.44(位/符號)“o”=-lb0.0019。離散無記憶源)的概率空間為202 120 130 213 001 203 210 110 321 010 021 032 011 223 210。找到消息的自我信息量和消息中每個(gè)符號的平均自我信息量？18，學(xué)會(huì)交換PPT，求解：源符號的自信息量：單位為比特/符號，源沒有記憶，符號串中的每個(gè)符號在統(tǒng)計(jì)上是獨(dú)立的，符號串的自信息量等于每個(gè)符號的自信息量之和：一個(gè)符號的平均自信息量：19，學(xué)會(huì)交換PPT，(6)同時(shí)擲出一對質(zhì)地均勻的骰子，每個(gè)骰子互相面對(b)事件“兩個(gè)1同時(shí)發(fā)生”的自信息量(c)事件的自我信息

9、量“兩點(diǎn)中至少有一點(diǎn)是1”？解決方案： (a)中有兩種情況：A 3 B 5、A 5 B 3。P(A)=1/362=1/18，I(A)=-lbP(A)=4.17(位)。有一種情況：A 1 B 1。P(B)=1/36，I(B)=-lbP(B)=5.17(位).(c) P(C)=15/65/6=11/36，I(C)=-lbP(C)=1.17(位)。20，學(xué)會(huì)交流PPT，(7)把81個(gè)硬幣放在布袋里，它們的形狀完全一樣。眾所周知，一枚硬幣的重量不同于其他80枚硬幣，但不知道這枚硬幣比其他硬幣重還是輕。問：通過確定隨機(jī)取出的硬幣碰巧是不同重量的硬幣，可以獲得多少信息？并進(jìn)一步確定它比其他硬幣重還是輕。解

10、是： (a) P(A)=1/81，I(A)=-lbP(A)=6.34(位)。(乙)丙(乙)=1/2，丙(甲)丙(乙)1/162；I=-lbP=7.34(位).21歲，學(xué)會(huì)交流PPT，4歲。聯(lián)合自信息量，位/二進(jìn)制碼元，隨機(jī)變量Z是兩個(gè)隨機(jī)變量X和Y的組合，即Z=XY，其概率空間：二進(jìn)制聯(lián)合碼元的自信息量稱為聯(lián)合自信息量：同樣，三進(jìn)制聯(lián)合碼元的聯(lián)合自信息量：位/三進(jìn)制碼元，22，學(xué)會(huì)交流PPT，注意：yj)所包含的不確定性也等于它們的自信息量。23，學(xué)習(xí)與交流PPT，定義：注：在給定的yj條件下，隨機(jī)事件xi中包含的不確定性在數(shù)值上與條件自我信息相同，但它們的含義不同。5。條件自我信息，位/符號

11、，定義兩種條件自我信息：位/符號，24，學(xué)會(huì)交流PPT，學(xué)會(huì)交流PPT，條件自我信息的幾個(gè)例子：26，學(xué)會(huì)交流PPT，(1)因?yàn)槠遄勇淙肴魏握叫蔚目赡苄远际且粯拥?，所以棋子落入正方形是不確定的。學(xué)習(xí)交流PPT，解決方法：讓A代表“大學(xué)生”事件，B代表“身高1.6米以上”事件，那么P(A)0.25；磷(硼)0.5；p(B | A)=0.75；因此：p(a | b)p(ab)/p(b)=p(a)p(b | a)/p(b)=0.750.25/0.5=0.375；I(A|B)-lbP(A|B)=1.42(位).在某一地區(qū)的女生中，有25人是大學(xué)生，而在女大學(xué)生中，有75人身高超過1.6米，其中身高超

12、過1.6米的女生占女生總數(shù)的一半。如果我們知道“身高超過1.6米的女孩是大學(xué)生”，我們會(huì)得到多少信息？28，學(xué)習(xí)傳達(dá)PPT，(2)相互信息，29，學(xué)習(xí)傳達(dá)PPT，相互信息，讓觀察輸入為：讓觀察結(jié)果為：并且從yj獲得的關(guān)于輸入符號xi的信息被稱為xi和yj之間的相互信息(事件信息)(注意，它不同于聯(lián)合自我信息符號)。信息的先驗(yàn)不確定性，后驗(yàn)不確定性，xi在觀察yj之前的不確定性，xi在觀察yj之后的不確定性，30，學(xué)會(huì)交流PPT，(1) yj的互信息I(Xi；(Xi；Yj)=I(xi)-I(xi/yj)相互信息I(Xi；Yj)=自我信息I(xi)-條件自我信息I(xi/Yj)I(Xi)-在接收器

13、接收yj之前將Xi發(fā)送到源的不確定性I(Xi/yj)-在接收器接收yj之后將Xi發(fā)送到源的不確定性I(Xi)；Yj)-通過接收yj獲得的互信息(關(guān)于xi )=不確定性的減少，p(xi)先驗(yàn)概率：信源發(fā)送xi p(xi/yj)后驗(yàn)概率：接收yj后，信宿推測信源發(fā)送Xi的概率，即互信息是后驗(yàn)概率與先驗(yàn)概率之比的對數(shù)3360，31，學(xué)習(xí)通信。xi)意味著在信源發(fā)送Xi之前和之后，由信宿接收的yj的不確定性被減少(3)I(Xi；Yj)=I(xi) I(Yj) -I(xi，yj)注意I(Xi；Yj)不同于我(xi，yj)！32，學(xué)會(huì)交換PPT，(4)真實(shí)信息：后驗(yàn)概率p(xi|yj)1，即當(dāng)yj被接收時(shí)

14、，可以完全確定此時(shí)的輸入一定是xi，而xi的后驗(yàn)不確定性被完全消除。即從輸出結(jié)果中獲得輸入的所有真實(shí)信息：注1 .輸入的先驗(yàn)不確定性在數(shù)值上等于其本身包含的真實(shí)信息。信息和不確定性是兩個(gè)不同的物理概念，不是信息，而是不確定性。相互信息就是信息，把它當(dāng)作信息來對待只能說明一種數(shù)量上的平等關(guān)系。廢話，33，學(xué)習(xí)交流PPT，(4)互信息定義擴(kuò)展：符號xi和符號對yj zk之間的互信息定義為，34，學(xué)習(xí)交流PPT，2?；バ畔⒌谋举|(zhì)(具體的演繹可參見教材p24) (1)對稱性一(Xi；yj)=I(yj；Xi(2)當(dāng)x和y獨(dú)立時(shí)，我(Xi；yj)=0(3)I(Xi；Yj)可以是正、負(fù)或0。當(dāng)事件xi和yj

15、在統(tǒng)計(jì)上獨(dú)立時(shí)，相互信息為零；互信息為正，表明yj有助于降低xi的不確定性；相反，負(fù)互信息表明yj的出現(xiàn)增加了xi的不確定性(如信道干擾)。(4)任何兩個(gè)事件之間的相互信息不能大于任何事件的自我信息。學(xué)會(huì)交流PPT，我(Xi；Yj)可以是正、負(fù)或0。讓yj代表“閃電”，那么當(dāng)xi代表“雷聲”時(shí)，I(xi/yj)=0，I(Xi；當(dāng)xi代表“雨”時(shí)，yj=I(Xi)0，I(xi/yj) I(xi)，I(Xi；Yj) 0當(dāng)xi代表“霧天”時(shí)，I(xi/yj)=I(xi)，I(Xi；Yj)=0 I (xi/yj) I(xi)，I(Xi；Yj) 0，36，學(xué)習(xí)交流PPT，3。條件互信息給定zk，xi和YJ之間的互信息是，此外，xi和yjzk之間也有互信息：0，37，學(xué)習(xí)交流PPT(這個(gè)公式的推導(dǎo)見p25-26)，這是從上面兩個(gè)公式中得到的。說明：關(guān)于xi的信息是在一次聯(lián)合活動(dòng)之后提供的。學(xué)習(xí)交換PPT，4。相互信息的例子：兩種消息由已知的信源發(fā)送，消息在二進(jìn)制對稱信道上傳輸。渠道傳播的特點(diǎn)是：尋求相互的信息，解決方案：根據(jù)結(jié)果，39，學(xué)會(huì)溝通PPT，并把100個(gè)球放在一個(gè)布袋里，其中80個(gè)球是紅色的，20個(gè)球是白色的。如果你隨機(jī)觸摸一個(gè)球，猜猜它的顏色，平均一下你能得到的自我信息量。根據(jù)問題的含義，該隨機(jī)事件的概率空間為：(3