信息論基礎信息量、熵和互信息量信息論_舉例講解(信息量、熵及互信息量)

在上一次課中我們提到香農對信息定性的定義——事物運動狀態(tài)或存在方式的不確定性的描述。事實上，香農對信息不僅作了定性描述，而且還進行了定量分析。

信源發(fā)出的消息常常是隨機的，具有不確定性。如果信源中某一消息的不確定性越大，一旦發(fā)生，并為收信者收到，消除的不確定性就越大，獲得的信息也就越大。同時事件發(fā)生的不確定性與事件發(fā)生的概率有關，概率越小，不確定性就越大。

研究通信系統的目的就是要找到信息傳輸過程的共同規(guī)律，以提高信息傳輸的可靠性、有效性、保密性和認證性，以達到信息傳輸系統最優(yōu)化。信息論_舉例講解(信息量、熵及互信息量)離散集自信息量的性質

因此，某事件x發(fā)生所提供的信息量I(x)應該是該事件發(fā)生的先驗概率p(x)的函數:I(x)=f(p(x))(4)當p(x)=0時，I(x)=∞:表示不可能事件一旦發(fā)生，信息量將無窮大。且應滿足以下四點：(1)I(x)應該是事件概率p(x)的單調遞減函數；(2)信息量應具有可加性：對于兩個獨立事件，其信息量應等于各自信息量之和；(3)當p(x)=1時，I(x)=0：表示確定事件發(fā)生得不到任何信息；信息論_舉例講解(信息量、熵及互信息量)自信息量的計算公式

綜合上述條件，在概率上已經嚴格證明了

自信息量的單位：若這里的對數底取2，則單位為比特bit，由于在計算機上是二進制，我們一般都采用比特。其他單位以及相互之間轉換關系查閱教材。其中p(x)為消息的先驗概率。信息論_舉例講解(信息量、熵及互信息量)計算自信息量的例子例1：信源消息X={0,1,2}的概率模型如下：xi012P(xi)1/31/61/2xi012P(xi)1/31/61/2I(xi)log3log6log2則該信源各消息的自信息量分別為：單位：比特信息論_舉例講解(信息量、熵及互信息量)自信息量的涵義自信息量代表兩種含義：二、當事件x發(fā)生以后，I(x)表示事件x所提供的信息量（在無噪情況下)。

在通信系統模型中，不僅可以用自信息量來研究信源中的每個消息，對信宿也可同樣可以。一、事件x發(fā)生以前，I(x)表示事件x發(fā)生的不確定性；信息論_舉例講解(信息量、熵及互信息量)自信息量計算的應用例2：假設一條電線上串聯了8個燈泡x1,x2,…,x8,這8個燈泡損壞的可能性是等概率的,假設有也只有一個燈泡損壞,用萬用表去測量,獲得足夠的信息量,才能獲知和確定哪個燈泡xi損壞。下面就來看我們最少需要獲得多少信息量才能判斷出。信息論_舉例講解(信息量、熵及互信息量)第三次測量獲得的信息量：故共需要3bit信息量.第二次測量獲得的信息量：[解]第一次測量獲得的信息量：信息論_舉例講解(信息量、熵及互信息量)信源熵

前面我們根據信源或信宿的概率模型，通過自信息量的計算，能得到信源以及信宿中每個消息的不確定性。然而，事實上，人們往往關注的并不緊緊是每個消息的不確定性，而是整個系統的不確定性的統計特性即整個信源自信息量的統計平均值——熵。xi01P(xi)0.50.5yi01P(yi)0.990.01我們先來看一個例子：例3有兩個信源X和Y：

在現實中，能找到很多類似的模型，我們想知道這兩個信源本質的區(qū)別在哪里？信息論_舉例講解(信息量、熵及互信息量)平均自信息量——熵的定義

設X是一個集合（即信息系統如信源或信道），其概率模型為{xi,p(xi)}，則定義系統X的平均自信息量——熵為：熵的單位是比特/符號.

我們知道，I(xi)是唯一確定xi所需要的信息量，那么H(X)就是唯一確定X中任一事件所需的平均信息量。它反映了X中事件xi出現的平均不確定性。信息論_舉例講解(信息量、熵及互信息量)熵的幾條性質（4）極值性——最大離散熵定理:設|X|為信源消息的個數,則有H(X)小于等于log|X|，等號當且僅當信源X中各消息等概率時成立，即各消息等概率分布時(p=1/|X|),信源熵最大.(3)確定性:若離散事件是確定事件,則H(X)＝0(2)非負性：H(X)≥0；(1)對稱性：熵只和分布有關，不關心某一具體事件對應哪個概率；信息論_舉例講解(信息量、熵及互信息量)計算熵的例子例4計算下面一個信源的熵：xi000001010011100101110111q(xi)1/41/41/81/81/161/161/161/16[解]由定義有：(比特/符號)

我們再回過頭來看一下例3中兩個信源熵分別是多少，結果反映了一個怎樣的事實？[例3解答]由定義有：

顯然,H(X)>>H(Y),這表示信源X的平均不穩(wěn)定性遠遠大于信源Y的平均不穩(wěn)定性。信息論_舉例講解(信息量、熵及互信息量)條件自信息量

前面我們引入自信息量以及熵的概念，用以描述信源或信宿，事實上，信宿收到的消息是與信源發(fā)出的消息密切相關。并且接受信息與發(fā)送信息之間的關系往往是判定一個信道的好壞的最佳標準。所以，我們需要引入互信息量。在學習互信息量之前我們先來了解條件信息量的概念。

設消息x發(fā)出的先驗概率為p(x)，收到消息y是由x發(fā)出的條件概率為p(x|y),則在收到y是由x發(fā)出的條件自信息量I(x|y)定義為：（比特）信息論_舉例講解(信息量、熵及互信息量)計算條件自信息量的例子例5在二進制對稱信道BSC中，若信道轉移概率矩陣為：

計算下列條件自信息量(若p(0)=p(1)=1)：[解答]由已知條件可得：

量的定義得由條件自信息單位為比特信息論_舉例講解(信息量、熵及互信息量)

我們知道,在通信之前,消息x具有不確定性p(x),其大小為x的自信息量:

兩者之間的差就是我們通過這一次通信所獲得到的信息量的大小。I(x|y)=-logp(x|y)I(x)=-logp(x)當我們收到消息y，它是否由x發(fā)出也有一定的不確定性p(x|y)，其大小為條件自信息量:信息論_舉例講解(信息量、熵及互信息量)同樣，收到的消息為y具有不確定性p(y)，其大小為y的自信息量：

兩者之間的差也是我們通過這一次通信所獲得到的信息量的大小。I(y|x)=-logp(y|x)I(y)=-logp(y)當我們發(fā)出消息x,它是否收到y也有一定的不確定性p(y|x)，其大小為條件自信息量:信息論_舉例講解(信息量、熵及互信息量)互信息量

很顯然，從通信的角度來看，上述兩個差值應該相等，即：事實上，由概率論概率的乘積公式有：

這樣，用I（x;y）或I（y;x）記該差式，稱為x與y之間的互信息量，單位也為比特。故：信息論_舉例講解(信息量、熵及互信息量)互信息量的性質一、對稱性：I(x;y)=I(y;x),其通信意義表示發(fā)出x收到y所能提供給我們的信息量的大??；二、當x與y統計獨立時,I(x;y)=I(y;x)=0,表示這樣一次通信不能為我們提供任何信息.

上述兩條性質與我們實際情況非常吻合.信息論_舉例講解(信息量、熵及互信息量)計算互信息量的例子信源消息碼字先驗概率消息后驗概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000X61101/16000x71111/16000例5設信源中含有8個消息，其先驗概率如下圖,試求當我們收到011所能獲取到的信息量,即計算互信息量I(x3;011).信息論_舉例講解(信息量、熵及互信息量)信源消息碼字先驗概率消息后驗概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000X61101/16000x71111/16000[解法一]由互信息量的含義得：單位為比特信息論_舉例講解(信息量、熵及互信息量)信源消息碼字先驗概率消息后驗概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000X61101/16000x71111/16000[解法二]直接計算得：單位為比特信息論_舉例講解(信息量、熵及互信息量)

熵是信源平均不確定性的度量,一般情況下,它并不等于信宿所獲得的平均信息量,只有在無噪情況下,二者才相等.為此我們需要學習條件熵.同時我們由條件熵引出平均互信息量的概念,其可以用來衡量一個信道的好壞.信息論_舉例講解(信息量、熵及互信息量)條件熵的定義

設X是信源的消息集,Y是信宿消息集,對條件自信息量I(x|y)取統計平均值得到條件熵H(X|Y),即：

其中p（x,y）為聯合概率,p（x|y）為條件概率.信息論_舉例講解(信息量、熵及互信息量)平均互信息量的定義

很顯然,信源X的熵H(X)與條件熵H(X|Y)的差值和信宿Y的熵H(Y)與條件熵H(Y|X)的差值相等,我們稱為X與Y的平均互信息量,記為：I(X;Y)是一個用來衡量信道好壞的非常好的工具。信息論_舉例講解(信息量