1、第一章緒論,趙永斌 石家莊鐵道大學(xué)信息科學(xué)與技術(shù)學(xué)院 2020年9月4日,第一章：引論（簡(jiǎn)介）,一、通信系統(tǒng)模型 二、Shannon信息論的中心問(wèn)題 三、Shannon信息的概念 四、概率復(fù)習(xí)內(nèi)容,一、通信系統(tǒng)模型,信源、信道、信宿 信源是消息的來(lái)源， 信道是消息傳送媒介， 信宿是消息的目的地。,通信系統(tǒng)模型進(jìn)一步細(xì)分,等效離散信道,等效 離散信源,等效信宿,信道 編碼器,信道譯碼器,產(chǎn)生消息的源，消息可以是文字，語(yǔ)言，圖像?？梢噪x散，可以連續(xù)。隨機(jī)發(fā)生。 研究的主要問(wèn)題是消息的統(tǒng)計(jì)特性和產(chǎn)生信息的速率,對(duì)信源輸出進(jìn)行變換，求得有效性,對(duì)信源編碼輸出變換，提高抗干擾性,將信道編碼輸出變成適合信

2、道傳輸?shù)姆绞?信號(hào)從發(fā)端傳到收端的介質(zhì) 信道的中心問(wèn)題是研究信道的統(tǒng)計(jì)特性和傳信能力，即信道容量,系統(tǒng)各部分引入的干擾，包括衰落，多徑，碼間干擾，非線性失真，加性噪聲，主要是統(tǒng)計(jì)特性,譯碼器： 編碼器的逆變換 中心問(wèn)題是研究各種可實(shí)現(xiàn)的解調(diào)和譯碼方法,信息的接收者,信息,一個(gè)抽象的概念，可以定量的描述。信息、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素 辭海：通信系統(tǒng)傳輸和處理的對(duì)象。泛指消息和信號(hào)的具體內(nèi)容和意義。（通常需要分析和處理）,信息,定義1： 信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。（人們從對(duì)周圍世界的觀察得到數(shù)據(jù)中獲取信息） 定義2： 信息是認(rèn)識(shí)主體（人、生物或機(jī)器）所感受的或表達(dá)的事

3、物運(yùn)動(dòng)的狀態(tài)和運(yùn)動(dòng)狀態(tài)變化的方式，是人們?cè)谶m應(yīng)外部世界和控制中，從外部交換的信息。,信息定義,鐘義信：信息就是事物運(yùn)動(dòng)的狀態(tài)和方式，就是關(guān)于事物運(yùn)動(dòng)的千差萬(wàn)別的狀態(tài)和方式的知識(shí)。,信息的特征,接受者在受到信息之前，對(duì)它的內(nèi)容不知道，所以信息是新知識(shí)、新內(nèi)容。 信息是能使認(rèn)識(shí)某一事物的未知性和不確定性減少的有用知識(shí)。 信息可以產(chǎn)生，也可以消失，可以攜帶存儲(chǔ)及處理 信息是可以度量的，信息量有多少的差別,消息和信號(hào),消息： 是信息的載體，相對(duì)具體的概念，指包含消息的語(yǔ)言，文字，數(shù)字，圖像等。 在通信系統(tǒng)中消息是指擔(dān)負(fù)著傳送信息任務(wù)的單個(gè)符號(hào)或符號(hào)序列。,可用不同消息（如語(yǔ)言、文字、圖像）傳遞同一信息

4、。如球賽進(jìn)展情況的信息可用電視圖像、廣播語(yǔ)言、報(bào)紙文字等不同消息來(lái)表達(dá)。,信號(hào),信號(hào)： 是消息的物理體現(xiàn)，為了在信道上傳輸信息必須把消息加載到具有某種特征的信號(hào)上去。如：電信號(hào)的幅度，頻率，相位等等。,可用不同類型的信號(hào)（如聲、光、電）傳遞同一消息，如“母病愈”這種關(guān)于母親身體狀況的信息，用漢文“母病愈”的消息來(lái)表述，然后用電報(bào)系統(tǒng)把漢字轉(zhuǎn)化為莫爾斯碼，再轉(zhuǎn)化，調(diào)制成電信號(hào)進(jìn)行傳輸。此時(shí)電信號(hào)里載荷有漢文消息“母病愈”。,信息、消息和信號(hào),通信系統(tǒng)傳輸?shù)谋举|(zhì)是信息， 發(fā)送端需要將信息表示成具體的消息， 再將消息載至信號(hào)上，在通信系統(tǒng)中傳輸。,“信息論”，又稱為“通信的數(shù)學(xué)理論”，是研究信息的傳

5、輸、存儲(chǔ)、處理的科學(xué)。 信息論的中心問(wèn)題：為設(shè)計(jì)有效而可靠的通信系統(tǒng)提供理論依據(jù)。 可靠是要使信源發(fā)出的消息經(jīng)過(guò)傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端 有效是用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳輸一定量的消息,二、Shannon信息論的中心問(wèn)題,二、Shannon信息論的中心問(wèn)題,具體地說(shuō)，就是信源編碼和信道編碼。以下來(lái)看所要解決的具體問(wèn)題。 問(wèn)題一：信源消息常常不能夠完全發(fā)送。（否則發(fā)送量巨大，比如：信源消息是一片無(wú)盡的天空。因此優(yōu)先撿有用的發(fā)送。什么是有用的？就是信息量大的。什么是信息量大的？） 問(wèn)題二：信道因干擾而出現(xiàn)差錯(cuò)，必須進(jìn)行檢錯(cuò)和糾錯(cuò)。（否則所收到的消息無(wú)法識(shí)別。）,信息論的

6、研究?jī)?nèi)容,狹義信息論（經(jīng)典信息論）即Shannon信息論 研究信息測(cè)度，信道容量以及信源和信道編碼理論 一般信息論 研究信息傳輸和處理問(wèn)題，除經(jīng)典信息論外還包括噪聲理論，信號(hào)濾波和預(yù)測(cè)，統(tǒng)計(jì)檢測(cè)和估值理論，調(diào)制理論，信息處理理論和保密理論 廣義信息論 除上述內(nèi)容外，還包括自然和社會(huì)領(lǐng)域有關(guān)信息的內(nèi)容，如模式識(shí)別，計(jì)算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué),狹義信息論體系結(jié)構(gòu),Shannon信息論,壓縮理論,有失真編碼,無(wú)失真編碼,等長(zhǎng)編碼 定理 Shannon 1948 McMillan 1953,變長(zhǎng)編碼 定理 Shannon 1948 McMillan 1956,Huffman碼(1952)、

7、Fano碼 算術(shù)碼(1976,1982) LZ碼(1977,1978),率失真理論 Shannon Gallager Berger,壓縮編碼 JPEG MPEG,傳輸理論,信道編碼定理,網(wǎng)絡(luò)信息理論,糾錯(cuò)碼 編碼調(diào)制理論,網(wǎng)絡(luò)最佳碼,三、Shannon信息的概念,第一個(gè)重要概念：信道上傳送的是隨機(jī)變量的值。這就是說(shuō)： （1）我們?cè)谑盏较⒅?，并不知道將要收到的是什么消息。否則消息是沒(méi)有必要發(fā)送的。 （2）我們?cè)谑盏较⒅?，知道將要收到的可能是哪些消息，以及收到每個(gè)消息的可能性大小。換句話說(shuō)，消息隨機(jī)變量有一個(gè)已知的概率分布。 （3）消息隨機(jī)變量的一個(gè)可能取值就稱為一個(gè)事件。,三、 Shan

8、non信息的概念,第二個(gè)重要概念：事件的信息量。事件發(fā)生的概率越小，此事件含有的信息量就越大。（直觀含義：越是不太可能發(fā)生的事件竟然發(fā)生了，越是令人震驚） 例 事件A=“中國(guó)足球隊(duì)3：0力克韓國(guó)足球隊(duì)”，則事件A含有的信息量大。（小概率事件發(fā)生了，事件信息量大） 例 事件B=“中國(guó)足球隊(duì)0：1負(fù)于韓國(guó)足球隊(duì)” ，則事件B含有的信息量小。（大概率事件發(fā)生了，事件信息量?。?三、 Shannon信息的概念,第三個(gè)重要概念：消息隨機(jī)變量的信息量。消息隨機(jī)變量的隨機(jī)性越大，此消息隨機(jī)變量含有的信息量就越大。（直觀含義：這種信息量的大小代表了不可預(yù)見(jiàn)性的大?。?例 消息隨機(jī)變量X=“中國(guó)足球隊(duì)與韓國(guó)足球

9、隊(duì)比賽的結(jié)果”，則消息隨機(jī)變量X含有的信息量小。 （隨機(jī)性小，可預(yù)見(jiàn)性大，因此該消息隨機(jī)變量含有的信息量小。） 例 消息隨機(jī)變量Y=“意大利足球隊(duì)與德國(guó)足球隊(duì)比賽的結(jié)果”，則消息隨機(jī)變量Y含有的信息量大。 （隨機(jī)性大，可預(yù)見(jiàn)性小，因此該消息隨機(jī)變量含有的信息量大。）,三、 Shannon信息的概念,第四個(gè)重要概念：兩個(gè)事件的互信息量。兩個(gè)事件越是互相肯定，它們的互信息量就越大。兩個(gè)事件越是互相否定，它們的互信息量就越小。 如果兩個(gè)事件既不互相肯定，也不互相否定，它們的互信息量就為0。 （直觀含義：這種信息量的大小代表了相互肯定性的大?。?例 A=西安明日有雨, B=咸陽(yáng)明日有雨，BC=咸陽(yáng)明日

10、無(wú)雨， C=北京明日有雨，D=紐約明日有雨。則 A與B互信息量大， A與C互信息量小得多， A與D互信息量幾乎為0， A與BC互信息量小。,三、 Shannon信息的概念,第五個(gè)重要概念：兩個(gè)消息隨機(jī)變量的互信息量。兩個(gè)消息隨機(jī)變量的互相關(guān)性越大，它們的互信息量就越大。（直觀含義：這種信息量的大小代表了相互依賴性的大?。?例 X=西安明日平均氣溫, Y=咸陽(yáng)明日平均氣溫，Z=北京明日平均氣溫，W=紐約明日平均氣溫。則 X與Y互信息量大， X與Z互信息量小得多， X與W互信息量幾乎為0。,四、概率復(fù)習(xí)內(nèi)容,記號(hào) P(A)表示事件A發(fā)生的概率。P(A|B)表示在事件B發(fā)生的條件下，事件A發(fā)生的條件

11、概率。EX表示隨機(jī)變量X的數(shù)學(xué)期望。 離散型隨機(jī)變量 離散型隨機(jī)變量X的所有事件為x1, x2, , xK，對(duì)應(yīng)的概率為P(X=xk)=qk，k=1, 2, , K。通常將此隨機(jī)變量記為X, xk, qk, k=1K。又X的分布列（分布矩陣）記為：,四、概率復(fù)習(xí)內(nèi)容,另一個(gè)離散型隨機(jī)變量Y的所有事件為y1, y2, , yJ，對(duì)應(yīng)的概率為P(Y=yj)=wj，j=1, 2, , J。通常將此隨機(jī)變量記為Y, yj, wj, j=1J。又Y的分布列（分布矩陣）記為：,四、概率復(fù)習(xí)內(nèi)容,兩個(gè)離散型隨機(jī)變量X與Y聯(lián)立，得到了二維離散型隨機(jī)變量(X, Y)。(X, Y)的所有事件為(xk, yj),

12、k=1, 2, , K; j=1, 2, , J。對(duì)應(yīng)的概率為P(X, Y)= (xk, yj)=rkj，k=1, 2, , K; j=1, 2, , J。通常將此二維隨機(jī)變量記為(X, Y), (xk, yj), rkj, k=1K; j=1J。(X, Y)的聯(lián)合分布列（聯(lián)合分布矩陣）為：,四、概率復(fù)習(xí)內(nèi)容,聯(lián)合分布、邊際分布、條件分布的關(guān)系：,四、概率復(fù)習(xí)內(nèi)容,rkj=qkP(Y=yj| X=xk)=wjP(X=xk| Y=yj)。 如果X與Y相互獨(dú)立，則對(duì)任何k=1K，j=1J ，都成立 rkj=qkwj。 換句話說(shuō)，對(duì)任何k=1K，j=1J ，都成立 P(Y=yj| X=xk)=wj。 P(X=xk| Y=yj)=qk。 數(shù)學(xué)期望（均值）：,四、概率復(fù)習(xí)內(nèi)容,連續(xù)型隨機(jī)變量 連續(xù)型隨機(jī)變量X的所有事件x有不可列無(wú)窮多個(gè)，對(duì)應(yīng)的密度函數(shù)為fX(x)，-x+。通常將此隨機(jī)變量記為X, fX(x)。 連續(xù)型隨機(jī)變量Y的所有事件y有不可列無(wú)窮多個(gè)，對(duì)應(yīng)的密度函數(shù)為fY(y)，-y+。通常將