1、信息論與編碼Information Theory 語言的統(tǒng)計(jì)特性：語音的統(tǒng)計(jì)特性及可壓縮性; 圖象的統(tǒng)計(jì)特性：圖象的處理,圖象的壓縮格式; 二元信源的統(tǒng)計(jì)特性：二元信息的壓縮算法。,有效性編碼：壓縮信源的冗余,從而提高信息 的傳輸效率,主要是針對信源的 統(tǒng)計(jì)性進(jìn)行編碼,故也稱為信源 編碼。,2、 編碼理論與技術(shù),抗干擾編碼：一般增加信源的冗余,有以提高信 息傳輸?shù)目煽啃? 主要是針對信道 的統(tǒng)計(jì)性進(jìn)行編碼,故也稱為信道編碼;,安全性編碼：將信源的明文編碼成密文，提高通 信的安全性。,另: 3、信息的傳輸效率和利用率，擴(kuò)頻、頻帶壓縮、 碼分復(fù)用、寬帶高速信道； 4、抗干擾理論及相關(guān)技術(shù)調(diào)幅、調(diào)頻

2、； 5、噪聲中信號檢測理論及技術(shù)； 6、生物感官特性，聽覺特性，視覺特性 腦思維特性的研究； 7、與其它學(xué)科有關(guān)的，研究生物醫(yī)學(xué)的關(guān) 系、光學(xué)的關(guān)系等。,五、 信息、消息、信號、數(shù)據(jù)及其區(qū)別,1）信息：（香農(nóng)）信息是事物運(yùn)動狀態(tài)或存在方式 的不確定性的描述。 2）消息：用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖象等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動和主觀思維活動的狀態(tài)表達(dá)出來就成為消息。消息是信息的載體 。但不是物理的。,3）信號：把消息換成適合信道傳輸?shù)奈锢砹浚ㄈ纾弘娦盘枺庑盘?，聲信號，生物信?等）。這種物理量稱為信號。是消息的載 體。 4）數(shù)據(jù)：載有信息的可觀測、可傳輸、可存

3、儲、 可處理的信號。,六、信息的特征,1、它的內(nèi)容是不知道的；,2、信息是能使認(rèn)識主體對某一事物的未知性或 不確定性減少的有用知識；,3、信息可以產(chǎn)生，也可以消失；同時(shí)信息也可以 被攜帶，儲存及處理；,4、信息可以度量。,按信息的性質(zhì)分類：語法信息，語義信息和語 用信息;,七、信息的分類,按觀察過程分類：實(shí)在信息，先驗(yàn)信息和實(shí)得信息,按信息的地位分類：客觀信息（效果信息、環(huán) 境 信息）和主觀信息（決策信 息，指令、控制和目標(biāo)信息）,按信息的作用分類：有用信息、無用信息和干擾信息；,按信息的邏輯意義分類：真實(shí)信息、虛假信息和不定信息；,按信息的傳遞方向分類：前饋信息和反饋信息；,按信息的生成領(lǐng)域

4、分類：宇宙信息、自然信息、 思維信息和社會信息；,按信息的信息源性質(zhì)分類:語言信息、圖像信息、數(shù) 據(jù)信息、計(jì)算信息和文字信息；,按信息的信號形成分類：連續(xù)信息、離散信息和半連 續(xù)信息。,還可以按按信息的應(yīng)用部門、載體性質(zhì)等分類。,1.2通信系統(tǒng)的模型,1）基本的通信系統(tǒng)模型,1.1信息論的形成和發(fā)展,2）一般的通信系統(tǒng)模型,通信系統(tǒng)各部分的作用 信源：信源是產(chǎn)生消息的源，消息是信息的載體； 信源輸出的消息要多于一種，何時(shí)輸出何種 消息是不確定的、隨機(jī)的，但卻是有規(guī)律 的。 信宿：信宿是消息傳送的對象。 信道：信道是信號從信源傳送到信宿的通路。 干擾源：整個(gè)通信系統(tǒng)中各種干擾的集中反映 （理想化

5、的干擾源）。,信源編碼：將信源的原始信息按一定的理論或工程要 求編成另一種消息形態(tài)（代碼）。其作用是壓縮 冗余度，提高通信系統(tǒng)傳輸消息的效率。 信道編碼：在信源的代碼上有目的地增加一些監(jiān)督碼 元，以達(dá)到檢查或糾正信息傳輸過程中產(chǎn)生的錯 誤，提高信息傳輸?shù)目煽啃浴?加密編碼：并將信源的明文編碼成密文，提高通信的 安全性。 解碼（譯碼）：是編碼的逆過程，譯碼有信源譯碼、 信道譯碼、解密譯碼。,3)信息論與編碼與其他學(xué)科的關(guān)系：,信息論和編碼所須的基礎(chǔ)知識: 概率論、數(shù)理統(tǒng)計(jì)、隨機(jī)過程、矩陣論、近世代數(shù)、數(shù)論、電子、計(jì)算機(jī)基礎(chǔ)知識. 需要信息論和編碼知識的課程 通信原理、數(shù)字移動通信、計(jì)算機(jī)技術(shù)、計(jì)

6、算機(jī)網(wǎng)絡(luò)通信、數(shù)字圖像處理,第二章 信 源 及 信 源 熵,第二章信源及信源熵,2.1信源的描述和分類,一、信源的描述,信源：是發(fā)出消息的源，是信息的來源。,1、連續(xù)信源指發(fā)出在時(shí)間和幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源。,二、信源的分類,如：語言、圖像、視頻等。,第二章信源及信源熵,按信源發(fā)出的消息在時(shí)間上和幅度上的分布情況分為兩大類：,其又分為離散無記憶信源,離散有記憶信源,離散無記憶信源：發(fā)出單個(gè)符號的無記憶信 源（只發(fā)出一個(gè)符號代表一個(gè)消息） 發(fā)出符號序列的無記憶信源 （每次發(fā)出一組含量個(gè)以上的符 號序列代表一個(gè)消息）,2、離散信源指發(fā)出在時(shí)間和幅度上都是 離散分布的離散消息

7、的信源。,如：文字、數(shù)字、數(shù)據(jù)、字母等。,離散有記憶信源：發(fā)出單個(gè)符號的有記憶信源 發(fā)出符號序列的馬爾可夫信源,第二章信源及信源熵,無記憶：發(fā)出的各個(gè)符號是相互獨(dú)立的；各符 號序列中的各個(gè)符號之間是沒有統(tǒng)計(jì) 關(guān)聯(lián)的關(guān)系。各個(gè)符號的出現(xiàn)概率是 它自身的先驗(yàn)概率。,有記憶：發(fā)出的各個(gè)符號是相關(guān)聯(lián)的。表述起 來很困難。,當(dāng)記憶長度為m+1時(shí)稱這種記憶信源為m階馬爾可夫信源，即信源每次發(fā)出的符號與前m個(gè)符號有關(guān)，與更前面的符號無關(guān)。假設(shè)m階馬爾可夫信源輸出的隨機(jī)序列為X=X1 X2Xi-1Xi XN。在這序列中某i時(shí)刻的隨機(jī)變量X取什么符號只與前m個(gè)隨機(jī)變量Xi-1 Xi-2 Xi-m取什么符號有關(guān)，

8、與其更前面的隨機(jī)變量以及后面的隨機(jī)變量取什么符號都無關(guān)。這樣就可以用馬爾可夫鏈來描述此信源。,第二章信源及信源熵,定義一個(gè)離散無記憶信源是由n個(gè)符號消息組成的集合: X= x1，x2 xn ，,從概率的角度看，可以將符號消息xi 看一個(gè)隨機(jī)事 件。因此xi 具有不確定性。,這n個(gè)符號消息的概率分布是：,稱為符號xi 的先驗(yàn)概率,散信源數(shù)學(xué)模型表示為：,三、信源的數(shù)學(xué)模型,例：擲一顆質(zhì)地均勻的色子研究其下落后朝上一面的點(diǎn)數(shù)，每次實(shí)驗(yàn)結(jié)果必然是1，2，6點(diǎn)中的某一個(gè)面朝上。這種信源輸出的消息是“朝上面是一點(diǎn)”，“朝上面是兩點(diǎn)”，“朝上面是六點(diǎn)”，六個(gè)不同的消息。每次實(shí)驗(yàn)只能出現(xiàn)一種消息，出現(xiàn)哪一種

9、是隨機(jī)的，但必是六種情況中的一種。用符號表示為ai,i=1,6來表示這些消息，得到這信源的樣本空間為符號集 A=a1,a2,a3,a4,a5,a6.,第二章信源及信源熵,實(shí)驗(yàn)證明各消息都是等概率出現(xiàn)的，都等于1/6，因此可用一個(gè)離散型隨機(jī)變量X來描述這個(gè)信源的輸出的消息。這個(gè)隨機(jī)量X的樣本空間就是符號集A，而X的概率分布就是各消息出現(xiàn)的先驗(yàn)概率為： p(a1)=p(a2)=p(a3)=p(a4)=p(a5)=p(a6)=1/6, 信源的數(shù)學(xué)模型為：,并滿足： =1 上式表示信源的概率空間必定是一個(gè)完備集。信源輸出的消息只可能是符號集 A=a1,a2,a3,a4,a5,a6中的任何一個(gè)，且每次必定選取其中一個(gè)。我們稱由信源空間 A,P(a)描述的信源A為離散無記憶信源，此信源在不同時(shí)刻發(fā)出的符號之間是無依賴的，彼此統(tǒng)計(jì)獨(dú)立。,三、信息的定義,一、信息論的形成和發(fā)展,二、研究信息的目的,四、信息工程的研究范疇,五、 信息、消息、信號、數(shù)據(jù)及其區(qū)別,六、信