第七講西電通院考研復(fù)試資料試題課件優(yōu)選第七講西電通院考研復(fù)試資料試題課件2023/5/162§3.1信源及其分類離散信源信源每隔一個(gè)定長時(shí)間段就發(fā)出一個(gè)隨機(jī)變量；隨著時(shí)間的延續(xù)，信源發(fā)出的是隨機(jī)變量序列…U-2U-1U0U1U2…，其中Uk為第k個(gè)時(shí)間段發(fā)出的隨機(jī)變量；每個(gè)Uk都是一個(gè)離散型的隨機(jī)變量。離散無記憶信源離散無記憶信源是這樣的離散信源：隨機(jī)變量…、U-2、U-1、U0、U1、U2、…相互獨(dú)立。離散無記憶簡單信源離散無記憶簡單信源是這樣的離散無記憶信源：隨機(jī)變量…、U-2、U-1、U0、U1、U2、…具有相同的概率分布?！?.1信源及其分類（總結(jié)：離散無記憶簡單信源就是時(shí)間離散、事件離散、各隨機(jī)變量獨(dú)立同分布的信源。課程學(xué)習(xí)所面對的信源將主要是離散無記憶簡單信源）一般的信源

連續(xù)信源：有時(shí)間連續(xù)的信源，也有事件連續(xù)的信源；有記憶信源：信源在不同時(shí)刻發(fā)出的隨機(jī)變量相互依賴；有限記憶信源：在有限時(shí)間差內(nèi)的信源隨機(jī)變量相互依賴；非簡單信源：信源在不同時(shí)刻發(fā)出的隨機(jī)變量具有不同的概率分布。馬爾可夫信源：信源隨機(jī)過程是馬爾可夫過程?！?.2離散無記憶（簡單）信源的等長編碼（順序地?cái)⑹鲆韵碌母拍睿?）設(shè)有一個(gè)離散無記憶簡單信源，信源發(fā)出的隨機(jī)變量序列為：…U-2U-1U0U1U2…。設(shè)信源隨機(jī)變量U1的事件有K個(gè)：{a1,a2,…,aK}，則L維信源隨機(jī)向量(U1U2…UL)的事件有KL個(gè)：{(u1u2…uL)|其中每個(gè)分量ul跑遍{a1,a2,…,aK}}。（2）設(shè)有一個(gè)含D個(gè)字母的字母表{b1,b2,…,bD}。需要用字母串來表示(U1U2…UL)的事件，每一個(gè)事件都要用一個(gè)字母串來表示。這種表示方法稱為D元編碼；每一個(gè)事件所對應(yīng)的字母串稱為一個(gè)碼字。

§3.2離散無記憶（簡單）信源的等長編碼例：離散無記憶簡單信源發(fā)出的隨機(jī)變量序列為：…U-2U-1U0U1U2…。其中U1的事件有3個(gè)：{晴,云,陰}。(U1U2)有9個(gè)事件{（晴晴），（晴云），（晴陰），（云晴），（云云），（云陰），（陰晴），（陰云），（陰陰）}。用字母表{0,1}對(U1U2)的事件進(jìn)行2元編碼如下：（晴晴）→0000，（晴云）→0001，（晴陰）→0011，（云晴）→0100，（云云）→0101，（云陰）→0111，（陰晴）→1100，（陰云）→1101，（陰陰）→1111。§3.2離散無記憶（簡單）信源的等長編碼（3）如果限定碼字的長度為N（即每個(gè)碼字都是一個(gè)N維向量），則稱此編碼為等長編碼，能夠選擇的不同碼字的個(gè)數(shù)為DN。（4）如果限定碼字的長度為≤N（即每個(gè)碼字都是一個(gè)≤N維的向量），則稱此編碼為不等長編碼，能夠選擇的不同碼字的個(gè)數(shù)為D1+D2+…+DN=D(DN-1)/(D-1)。（注意：在不等長編碼中，并不能同時(shí)使用D(DN-1)/(D-1)個(gè)不同的碼字。一個(gè)長度為2的字母串究竟是兩個(gè)長度為1的碼字相連，還是一個(gè)長度為2的碼字？無法識(shí)別。在等長編碼中不存在這樣的識(shí)別問題）§3.2離散無記憶（簡單）信源的等長編碼（9）在無錯(cuò)編碼的前提下，編碼的最低代價(jià)當(dāng)R≥logK時(shí)，能夠?qū)崿F(xiàn)無錯(cuò)編碼。當(dāng)R<H(U1)時(shí)，無論怎樣編碼都是有錯(cuò)編碼。這是因?yàn)镽<H(U1)≤logK。（如果H(U1)=logK，則以上兩種情形已經(jīng)概括了全部情形。但如果H(U1)<logK，則還有一種情形）當(dāng)logK>R>H(U1)時(shí)，雖然無論怎樣編碼都是有錯(cuò)編碼，但可以適當(dāng)?shù)鼐幋a和譯碼使譯碼錯(cuò)誤的概率pe任意小。這就是所謂“漸進(jìn)無錯(cuò)編碼”?！?.2離散無記憶（簡單）信源的等長編碼（10）漸進(jìn)無錯(cuò)編碼（簡單地說就是：當(dāng)R>H(U1)時(shí)，可以適當(dāng)?shù)鼐幋a和譯碼使得譯碼錯(cuò)誤的概率pe任意小。嚴(yán)格地說就是：）設(shè)給定了編碼設(shè)備的編碼速率R0，R0>H(U1)。則對任意的ε>0，總存在一個(gè)L0，使得對任意的L>L0，都有對(U1U2…UL)的等長編碼和對應(yīng)的譯碼方法，滿足①實(shí)際的編碼速率R=NlogD/L≤R0，②譯碼錯(cuò)誤的概率pe<ε。（11）漸進(jìn)無錯(cuò)編碼的原理大數(shù)定律。隨著L的增加，(U1U2…UL)的所有事件中，某些事件所占的比例越來越?。ā?），其發(fā)生的概率卻越來越大（→1）?！?.2離散無記憶（簡單）信源的等長編碼（12）不能漸進(jìn)無錯(cuò)的編碼（簡單地說就是：當(dāng)R<H(U1)時(shí)，無論怎樣編碼和譯碼都不能使譯碼錯(cuò)誤的概率pe任意小。嚴(yán)格地說就是：）設(shè)給定了編碼設(shè)備的編碼速率R0，R0<H(U1)。則無論怎樣編碼和譯碼都不能同時(shí)滿足①實(shí)際的編碼速率R≤R0，②譯碼錯(cuò)誤的概率pe任意小?！?.2離散無記憶（簡單）信源的等長編碼設(shè)…U-2U-1U0U1U2…是離散無記憶（簡單）信源