XnI

(一)7、某二元信源=1,其失真矩陣

_P(X)J[1/21/2

一、判斷題共10小題，滿分20分.

D=a,則該信源的Rnax二

i.當(dāng)隨機變量x和y互相獨立時，條件燧H(XI丫)等a0ax-----

于信源端”(X).()三、本題共4小題，滿分50分.

2.由于構(gòu)成同一空間的基底不是唯一的，因此不一樣的1、某信源發(fā)送端有2種符號王。=1,2),p(xj=。；接受端

基底或生成矩陣有也許生成同一碼集.有3種符號y(/=1,2,3)，轉(zhuǎn)移概率矩陣為

()1/21/20

3.一般狀況下，用變長編碼得到的平均碼長比定長編碼

1/21/41/4

大得多.()

(1)計算接受端的平均不確

4.只要信息傳播率不小于信道容展，總存在一種信道編

定度”(y)：

譯碼，可以以所規(guī)定的任意小的誤差概率實現(xiàn)可靠的

(2)計算由于噪聲產(chǎn)生的不

通信.

確定度”(y|x)；

()

(3)計算信道容量以及最佳

5.各碼字的長度符合克拉夫特不等式，是唯一可譯碼存入口分布.

在的充足和必要條件.()2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移

6.持續(xù)信源和離散信源的烯都具有非負(fù)性.

()圖如右圖所示,信源X的符號集為{0,1,2}.

7.信源的消息通過信道傳播后的誤差或失真越大，信宿

收到消息后對信源存在的不確

(1)求信源平穩(wěn)后的概率分布；

定性就越小，獲得的信息量就越小.(2)求此信源的端；

8.漢明碼是一種線性分組碼.(3)近似地認(rèn)為此信源為無記憶時，符號的概率分布為

()

9.率失真函數(shù)的最小值是0.

()穩(wěn)分布.求近似信源的端H(X)并與H工進(jìn)行比較.

1o.必然事件和不也許事件的自信息量都是o.

()4、設(shè)二元(7,4)線性分組碼的生成矩陣為

二、填空題共6小題，滿分20分.110100()■

0110100

1、碼的檢、糾錯能力取決G=

于.1110010

2、信源編碼的目的是：信道編碼1010001

的目的是.(1)給出該碼的一致校驗矩陣，寫出所有的陪集首和與

3、把信息組原封不動地搬到碼字前k位的(〃,A)碼就叫之相對應(yīng)的伴隨式；

做.(2)若接受矢量^二(0001011),試計算出其對應(yīng)的伴

4、香農(nóng)信息論中的三大極限定理隨式S井按照最小距離譯碼準(zhǔn)則

是、、試著對其譯碼.

5、飛信道的輸入與輸出隨機序列分別為X和丫，則

/(xOy”=N/(x,y)成立的(二)

條件.一、填空題(共15分，每空1分)

6、對于香農(nóng)-費諾編碼、原始香農(nóng)-費諾編碼和哈夫曼編碼，1、信源編碼的重要目的是，信道編碼的重要目的

編碼措施惟一的是.是O

2、信源的剩余度重要來自兩個方面，一是，二

是O

3、三進(jìn)制信源的最小炳為,最大炳為o

4、無失真信源編碼的平均碼長最小理論極限制

為O

5、當(dāng)時，信源與信道到達(dá)匹配。

6、根據(jù)信道特性與否隨時間變化，信道可以分為

和。

7、根據(jù)與否容許失真，信源編碼可分為

和O

8、若持續(xù)信源輸出信號的平均功率為則輸出信號幅度七、（16分）設(shè)X、Y是兩個互相獨立的二元隨機變量，其取

的概率密度是時，信源具有最大燧，具值為。或1的概率相等。定義另一種二元隨機變量Z=XY（一般乘

值。積）。試計算

9、在下面空格中選擇填入數(shù)學(xué)符號K=,>,<,）”或“〈”

（I）H（X）,H（Z）;

（1）當(dāng)X和Y互相獨立時，H（XY）H（X）+H（X/Y）

H（Y）+H（X）o

（2）H（XY）,H（XZ）;

（2）HJX）:型件=皆9

（3）W（X|K）,H（Z|X）;

（3）假設(shè)信道輸入用X表達(dá)，信道輸出用Y表達(dá)。在無噪有

損信道中，1KX/Y）_0,

（4）/（x；y）,/（x；z）；

H（￥/X）_0,I（X;Y）_H（X）o

八、（10分）設(shè)離散無記憶信源的概率空間為

三、（16分）已知信源

*”,通過干擾信道，信道輸出端的接受符號

0.80.2

[pJ-|_0.20.20.20.20.10.1

集m為y=信道傳播概率如下圖所示。

（1）用霍夫曼編碼法編成二進(jìn)制變長碼；（6分）

5/6

（2）計算平均碼長Z;（4分）

（3）計算編碼信息率（2分）

（4）計算編碼后信息傳播率R;（2分）

（5）計算編碼效率〃。（2分）

四、（10分）某信源輸出A、B、C、I）、E五種符號，每一種

符號獨立出現(xiàn),出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。

假如符號的碼元寬度為0.5計算：

（1）計算信源X中事件內(nèi)包括的自信息量；

（1）信息傳播速率凡。（5分）

（2）計算信源X的信息端；

（3）計算信道疑義度H（X|y）；

五、（16分）一種一階馬爾可夫信源，轉(zhuǎn)移概率為

P（S,|S1）=1,P（S2|S1）=1P（S,|S2）=l,P（S2|S2）=0o（4）計算噪聲燧H（y|X）：

nJ

（1）畫出狀態(tài)轉(zhuǎn)移圖。（4分）（5）計算收到消息y后獲得的平均互信息量。

（2）計算穩(wěn)態(tài)概率。（4分）

《信息論基礎(chǔ)》參照答案

（3）計算馬爾可夫信源的極限燃。（4分）2

一、填空題（共15分，每空1分）

（4）計算穩(wěn)態(tài)下"2及其對應(yīng)的剩余度。（4分）

1、信源編碼的重要目的是提高有效性,信道編碼的重要目的

六、設(shè)有擾信道的傳播狀況分別如圖所示。試求這種信道的是提高可靠性。

信道容量。2、信源的剩余度重要來自兩個方面，?是信源符號間的有關(guān)

性，二是信源符號的記錄不均勻性。

工=￡加=0.4x2+0.6x3=2.6碼/；號

3、三進(jìn)制信源的最小端為。，最大王為logz'it/符號。

4、無失真信源編碼的平均碼長最小理論極限制為信源燧(或

H(S)/logr=H「(S))。

5、當(dāng)R=C或(信道剩余度為0)時,信源與信道到達(dá)匹配。

(4)元其中，

6、根據(jù)信道特性與否隨時間變化，信道可以分為恒參信道和

隨參信道。/7(S)=77(0.2,0.2,0.2,0,2,0.1,0.1)Z53崛號

7、根據(jù)與否容許失真，信源編碼可分為無失真信源編碼和限

失真信源編碼。H⑸H⑸

(5)=0.973

8、若持續(xù)信源輸出信號的平均功率為則輸出信號幅度”如「I

的概率密度是高斯分布或正態(tài)分布或為時，評分：其他對的的編碼方案：1,規(guī)定為即時碼2,平均碼長

最短

四、(10分)某信源輸出A、B、C、D、E五種符號，每一種

信源具有最大端，其值為值LogZw/。

符號獨立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。

假如符號的碼元寬度為0.5〃s。計算：

9、在下面空格中選擇填入數(shù)學(xué)符號"=,>￡〉”或“〈”

(1)當(dāng)X和Y互相獨立時，H互相三H(X)+H(X/Y)三H(Y)+H(X)。(1)信息傳播速率凡。(5分)

(2)&(X)=/<&(X)=I3一⑴用斗⑻一川%)

!」

(3)假設(shè)信道輸入用X表達(dá)，信道輸出用Y表達(dá)。在無噪有

損信道中,H(X/Y)>0,H(Y/X)=0,I(X;Y)<H(X)o

三、(16分)已知信源=—Iog8H——log2

*$2XX*$6=-log2H—log2

[pJ-|_0.20.20.20.20.10.1

=2log2

=2bit

(1)用霍夫曼編碼法編成二進(jìn)制變長碼；(6分)

R,=2bM=4x10'、bps

(2)計算平均碼長Z;(4分)0.5〃s

五、(16分)一種一階馬爾可夫信源，轉(zhuǎn)移概率為

(3)計算編碼信息率(2分)

2I

(4)計算編碼后信息傳播率R;(2分)P^\Sl)=-,P(S2\Sl)=-,P(S[\S2)=tP(S2\S2)=^

(5)計算編碼效率〃。(2分)

(1)畫出狀態(tài)轉(zhuǎn)移圖。(4分)

(2)計算穩(wěn)態(tài)概率。(4分)

(1)

(3)計算馬爾可夫信源的極限端。(4分)

S]0.2―—。

(4)計算穩(wěn)態(tài)下”2及其對應(yīng)的剩余度?！斗?

S20.2---

§c30….2---0-----010解：⑴

540.2一1

5So.i3

5_____1

$60.1_d

編碼成果為：

s,=0()(2)由公式P(S,)=ZP(S，IS/)P(SJ

j=l

S2=01

邑=100有

S4=101

S5=11()

56=HI

(4)/(x,y)="(y)—H(y|x)=〃(y)—H(y)=oH(X|y)=H(Xr)-H(y)=O：717施/符號=0497皿“符號=0.216碗/符號

/（X,Z）=H（Z）-H（Z|X）=0.8113-0.5=0.3113/?/7(4)

H(y|X)=//(Xrp/(X)=0.682應(yīng)用號=0473詞符號=0.205%橢號

八、（10分）設(shè)離散無記憶信源的概率空間為

(5)

X=%%,通過干擾信道，信道輸出端的接受符號

pj[0.80.2/(X;牛耳Xp/(X|y)=0.0050吸僭號=0.00349詞符號=0.00152則例

集為y=[y,%]，信道傳播概率如下圖所示。

（三）

選擇題（共10分，每題2分）

1、有一離散無記憶信源X,其概率空間為

X

,則其無記憶二

P0.50.250.1250.125

次擴(kuò)展信源的炳11（片）二（）

(6)計算信源X中事件陽包括的自信息量:

A、1.75比特/符號；B、3.5比特/符號;

⑺計算信源X的信息燃；C、9比特/符號；D.18比特/符號。

2、信道轉(zhuǎn)移矩陣為

(8)計算信道疑義度”（X|Y）；

HMMp（）y』）0000

⑼計算噪聲隔”（WX）；00戶(丹/&)x)00

0000P（型/）P(券/&)

（10）計算收到消息y后獲得的平均互信息量。

解：其中尸（匕/茗）兩兩不相等，則該信道為

（1）/（%）=—log0.8=0.32247=0.0969/m〃=（）.223〃3

3、A、---對應(yīng)的無噪信道

B、具有并歸性能的無噪信道

（2）H（X）=H（0.&0.2）=0.722。"/符號=0.5，刈符號=0.217例〃/符號

C、對稱信道

（3）轉(zhuǎn)移概率：D、具有擴(kuò)展性能的無噪信道

y23、設(shè)信道容量為C,下列說法對的的是：（）

Xi5/61/6A、互信息量一定不不小于C

X23/41/4B、交互嫡一定不不不小于C

聯(lián)合分布:C、有效信息量一定不不小于C

y2D、條件烯一定不不小于C

4、在串聯(lián)絡(luò)統(tǒng)中，有效信息量的值（）

X|2/312/154/5

A、趨于變大

X|3/201/201/5

B、趨于變小

49/6011/601/5

C、不變

D、不確定

5、若BSC信道的差錯率為P,則其信道容量為:

=1.404。〃/符號（）

=0.973符號A、"（〃）

=0.423癡/符號

//(+//(49/60,11/60)=0.687珈灣=0.476詞符號=0.207加M符號log?（1—p）p＞。

B、

、

c1-"(p)XjXxX]

X56

1111111

[P(X)

D、-Plog(P)1248T6326464

二、填空題（20分，每空2分）

對其進(jìn)行費諾編碼，寫出編碼過程，求出信源

1、（7,4）線性分組碼中，接受端收到分組R的位

數(shù)為，伴隨式S也許的值有種,

麻平均碼長和編碼效率。

差錯圖案e的長度為,系統(tǒng)生成矩

陣Gs為行的矩陣，系統(tǒng)校驗矩陣七、信道編碼（21分）

Hs為行的矩陣，G$和Hs滿足的關(guān)■|000111

系式是O...-0100110

既有生成矩陣Gs=八八1八八11

2、香農(nóng)編碼中,概率為尸（刈的信源符號士對應(yīng)0010011

0001101

的碼字Ci的長度K應(yīng)滿足不等

式___________________________________

1.求對應(yīng)的系統(tǒng)校驗矩陣H,。（2分）

、設(shè)有一種信道，其信道矩陣為2求該碼字集合的最小碼字距離d、最大檢錯能

-0.250.50.25-力/max、最大糾錯能力Imax。（3分）

0.250.250.5，則它是________信道（填

2.填寫下面的es表（8分）

().5().250.25

eS

時稱，準(zhǔn)對稱），其信道容量是___________比0000000

特/信道符號。0000001

0000010

()000100

三、(20分)*=1*&1通過一種干擾信

_P(X)J[0.50.5]0001000

0010000

道，接受符號集為丫={凹％},信道轉(zhuǎn)移矩陣為0100000

1000000

Jg4.既有接受序列為一=（1100100）,求糾錯譯碼輸

44出e。（4分）

3J_5.畫出該碼的編碼電路（4分）

_44.

（四）

試求(1)H(X),H(Y),H(XY);(7分)

(2)H(Y|X),H(X|Y);(5分)四、簡答題（共20分，每題10分

(3)I(Y;X)o(3分)1.運月公式簡介無條件牖、條件端、聯(lián)合燧和平均互信息

（4）該信道的容量C（3分）量之間的關(guān)系。

（5）當(dāng)平均互信息量到達(dá)信道容量時，接受端2.簡樸簡介哈夫曼編碼的環(huán)節(jié)

Y的懶H（Y）o（2分）五、計算題（共40分）

計算成果保留小數(shù)點后2位，單位為比特/符1.某信源具有三個消息，概率分別為〃（。尸02p（l）=0.3,

號。-42r

p（2）=0.5,失真矩陣為。=032。

四、（9分）簡述平均互信息量的物理意義，并寫出

201

應(yīng)公式。求Dm*、。加“和R（DQ（10分）

六、（10分）設(shè)有離散無記憶信源，其概率分布如下:

（7）

3366

2.設(shè)對稱離散信道矩陣為。=，求信道容（5）信源剩余度用來衡量信源的有關(guān)性程度，信源剩余度

_L_LJ.!大闡明信源符號間的依賴關(guān)系較小。

.6633.

（x）

量C（10分）

3.有一穩(wěn)態(tài)馬爾可夫信源，已知轉(zhuǎn)移概率為〃（$/$）=2/3,（6）對于固定的信源分布，平均互信息量是信道傳遞概率

p{S\!S2）=1o求:

的下凸函數(shù)。（q）

（1）畫出狀態(tài)轉(zhuǎn)移圖和狀態(tài)轉(zhuǎn)移概率矩陣。

（2）求出各狀態(tài)的穩(wěn)態(tài)概率。（7）非奇異碼一定是唯一可譯碼，唯一可譯碼不一定是非

（3）求出信源的極限端。

奇異碼。（x）

（20分）

（8）信源變長編碼的關(guān)鍵問題是尋找緊致碼（或最佳碼）,

（五）霍夫曼編碼措施構(gòu)造的是最佳碼。

一、（ir）填空題（7）

（9）信息率失真函數(shù)R（D）是有關(guān)平均失真度D的上凸函數(shù).

（I）1948年，美國數(shù)學(xué)家香農(nóng)刊登了題為

“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。（x）

（2）必然事件的自信息是0。

五、（180.黑白氣象傳真圖的消息只有黑色和白色兩種,

（3）離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的嫡等于離

求：

散信源X的輸?shù)腘倍。

1）黑色出現(xiàn)的概率為0.3,白色出現(xiàn)的概率為0.7。給山這

（4）對于離散無記憶信源，當(dāng)信源牖有最大值時，滿足條

個只有兩個符號的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出

件為信源符號等概分布。

現(xiàn)前后沒有關(guān)聯(lián)，求烯”（X）；

（5）對于香農(nóng)編碼、費諾編碼和霍夫曼編碼，編碼措施惟

一的是一香農(nóng)編碼o3）分別求上述兩種信源的冗余度，比較它們的大小并闡明其

（6）已知某線性分組碼的最小漢明距離為3,那么這組碼物理意義。

最多能檢測出，_個碼元錯誤，最多能糾正

解：1）信源模型為卜］=黑見二白］（1

_1_個碼兀錯誤。

分）0.30.7

（7）設(shè)有一離散無記憶平穩(wěn)信道，其信道容量為C,只要

待傳送的信息傳播率R_不不小于.C（不小于、不

2

不小于或者等于），

HQC）=-2尸（%）1。82尸（4）=0.881所〃符號

則存在一種編碼，當(dāng)輸入序列長度n足夠大，使譯碼（2分，

錯誤概率任意小。

2）由題意可知該信源為一階馬爾科夫信源。

（8）平均錯誤概率不僅與信道自身的記錄特性有關(guān)，還與

（2分）

—一碼規(guī)則____和一編碼措施有關(guān)

由卜依）=￡尸（%）產(chǎn)（％/勺），1=1,2

二、（90判斷題

⑴信息就是一種消息。［2（%）+尸（％）=1

（X）4分）

（2）信息論研究的重要問題是在通信系統(tǒng)設(shè)計中怎樣實得極限狀態(tài)概率

現(xiàn)信息傳播、存儲和處理的有效性和可靠性。

尸比4

（4）

（3）概率大的事件自信息量大。2分）卜（黑）弓

（x）

（4）互信息量可正、可負(fù)亦可為零。孫X）=-ft%,）?0⑷log產(chǎn)回〃廠0.5533旅/符號

0

0.200.20.0.260.35A39/⑹一…

,0.20/0.26/0.35^1/0.391^-1

3分)0.190.19

0.19；0.200.26-L

/1=1,^)=0,1190.180.18.

。.叫0.19^

(分)

1°&210.170.17

0.15。.叫0.17J

0.。.11/

信源符號概胡助碼字碼長L

0.01±%0.20102

闡明：當(dāng)信源的符號之間有依賴時，信源輸出消息

ai().19112

L=XfMll=2.72

的不確定性減弱。而信源冗余度正是反應(yīng)信源符號依賴關(guān)系%0.180(H)3

科元/符號

0.170013

的強弱，冗余度越大，依賴關(guān)系就越大。（2分）4

0.150103

六、（180.信源空間為上鱉二晅0.96

0.1001104

L2.72

(1-0.0101114

"xi=rx,/占毛七及與比特/符號

P（X）J-[o.20.190.180.170.15（）.10.01

2）（3分）最大后驗概率準(zhǔn)則下，有，

,試分別構(gòu)造二元香農(nóng)碼和二元霍夫曼碼，計算其平均碼長

）1（109.二元對稱信道如圖。

和編碼效率（規(guī)定有編碼過程）。

1）若p（o）=-,〃⑴=L求"（x）、”（x?y）和/（x；y）；

44

信源消息符號概累加概現(xiàn)州）碼字長碼字2）求該信道的信道容量。

勺"°、"3%=0

符號《率（4率P,典

0.2002.323000

小0.190.22.393001=12/3y?=1

/M??一?,/?

與0.180.392.473011H⑶=0.8113施f符號

小0.170.572.563100

"（X|y）=0.749b〃/符號

氏0.150.742.743101

/（X;?）=0.0616加〃符號

〃60.100.893.3241110

(1-0.010.996.6471111110

=等第=0.83]2）,C=0.082米/符號（3分）此時輸入概率分布為等

概率分布。（1分）

九、（18'）設(shè)一線性分組碼具有一致監(jiān)督矩陣

-000111

H=0I1001

101011

1）求此分組碼n=?,k=?共有多少碼字？

2）求此分組碼的生成矩陣G。5.寫出百農(nóng)公式，并闡明其物理意義。當(dāng)信道帶寬為5000Hz,

3）寫出此分組碼的所有碼字。信噪比為30dB時求信道容量。

4）若接受到碼字（101001）,求出伴隨式并給出翻譯成果。

6.解樣無失真變長信源編碼定理。

解：1）n=6,k=3,共有8個碼字。（3分）7.解釋有噪信道編碼定理。

2）設(shè)碼字°=（GC4GGGC0）由HC'=得

8.什么是保真度準(zhǔn)則？對二元信源

G十G十C。=0u01