本文格式為Word版，下載可任意編輯——作業(yè)參考答案2.3一副充分洗亂的牌（含52張），試問(wèn)：

（1）任一特定排列所給出的不確定性是多少？

（2）隨機(jī)抽取13張牌，13張牌的點(diǎn)數(shù)互不一致時(shí)的不確定性是多少？解：（1）52張撲克牌可以按不同的順序排列，所有可能的不同排列數(shù)就是全排列種數(shù)，為

5267P52?52??8.066?10

由于撲克牌充分洗亂，任一特定排列出現(xiàn)的概率相等，設(shè)事件A為任一特定排列，則其發(fā)

生概率為

P?A??可得，該排列發(fā)生所給出的信息量為I?A???log2P?A??log252??225.58bit?67.91dit

（2）設(shè)事件B為從中抽取13張牌，所給出的點(diǎn)數(shù)互不一致。

撲克牌52張中抽取13張，不考慮排列順序，共有C52種可能的組合。13張牌點(diǎn)數(shù)互不一致意味著點(diǎn)數(shù)包括A，2，?，K，而每一種點(diǎn)數(shù)有4種不同的花色意味著每個(gè)點(diǎn)數(shù)可以取4中花色。所以13張牌中所有的點(diǎn)數(shù)都不一致的組合數(shù)為4。由于每種組合都是等概率發(fā)生的，所以

131?1.24?10?6852?13413413?1339??P?B??13??1.0568?10?4

C5252?則發(fā)生事件B所得到的信息量為

413I?B???logP?B???log213?13.208bit

C52?3.976dit

2.5設(shè)在一只布袋中裝有100只對(duì)人手的感覺完全一致的木球，每只上涂有1種顏色。100只球的顏色有以下三種狀況：

(1)紅色球和白色球各50只；(2)紅色球99只，白色球1只；(3)紅，黃，藍(lán)，白色各25只。

求從布袋中隨意取出一只球時(shí)，猜測(cè)其顏色所需要的信息量。解：猜測(cè)木球顏色所需要的信息量等于木球顏色的不確定性。令

R——“取到的是紅球〞，W——“取到的是白球〞，Y——“取到的是黃球〞，B——“取到的是藍(lán)球〞。（1）若布袋中有紅色球和白色球各50只，即

501?10021則I?R??I?W???log2?log22?1bit

2P?R??P?W??（2）若布袋中紅色球99只，白色球1只，即P?R??991?0.99P?W???0.01100100則I?R???log2P?R???log20.99?0.0145bitI?W???log2P?W???log20.01?6.644bit

（3）若布袋中有紅，黃，藍(lán)，白色各25只，即

251?10041則I?R??I?Y??I?B??I?W???log2?2bit

4P?R??P?Y??P?B??P?W??2.7設(shè)信源為

x2x3x4x5x6??X??x1??P??0.20.190.180.170.160.17?

??X??求??P?x?logP?x?，井解釋為什么??P?x?logP?x??logi2ii2iii6626，不滿足信源熵的

極值性。

解：??P?x?logP?x?

i2ii6???0.2log20.2?0.19log20.19?0.18log20.18?0.17log20.17?0.16log20.16?0.17log20.17?

?2.657bit/symbol

??P?xi?log2P?xi??log26?2.585

i6不滿足極值性的原因是

?P?x??1.07?1，不滿足概率的完備性。

ii62.8大量統(tǒng)計(jì)說(shuō)明，男性紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，假使你問(wèn)一位

男同志是否為紅綠色盲，他回復(fù)“是〞或“否〞。

（1）這二個(gè)回復(fù)中各含多少信息量?（2）平均每個(gè)回復(fù)中含有多少信息量?

（3）假使你問(wèn)一位女同志，則答案中含有的平均信息量是多少?

解：對(duì)于男性，是紅綠色盲的概率記作P?a1??7%，不是紅綠色盲的概率記作

P?a2??93%，這兩種狀況各含的信息量為

100I?a1??log2?1Pa?log?3.83bit???1?2?7100I?a2??log2?1Pa?log?0.105bit???2?2?93平均每個(gè)回復(fù)中含有的信息量為

H?A??P?a1?I(a1)?P?a2?I(a2)

793?3.83??0.105100100?0.366bit/回復(fù)

?對(duì)于女性，是紅綠色盲的概率記作P?b1??0.5%，不是紅綠色盲的記作

P?b2??99.5%，則平均每個(gè)回復(fù)中含有的信息量為

H?B??P?b1?I(b1)?P?b2?I(b2)

510009951000?log2??log2100051000995?0.045bit/回復(fù)H?A??H?B?

?聯(lián)合熵和條件熵

2.9任意三個(gè)離散隨機(jī)變量X、Y和Z，求證：

H(XYZ)?H(XY)?H(XZ)?H(X)。

證明：

方法一：要證明不等式H價(jià)證明下式成立：H?X,Y,Z??H?X,Y??H?X,Z??H?X??0根據(jù)熵函數(shù)的定義

?X,Y,Z??H?X,Y??H?Z,X??H?X?成立，等

H?X,Y,Z??H?X,Y??H?X,Z??H?X??????p?xiyjzk?logp?xiyjzk?????p?xiyjzk?logp?xiyj?XYZXYZ????p?xiyjzk?logp?xizk?????p?xiyjzk?logp?xi?XYZXYZ?????p?xiyjzk?logXYZp?xiyjzk?p?xi?p?xiyj?p?xizk??p?xiyj?p?xizk????loge?????p?xiyjzk???1?(信息論不等式)pxyzpxXYZ???ijk??i?????p?xiyj?p?xizk???loge??????????p?xiyjzk??p?xi?XYZ???XYZ?????loge??????p?yj|xi?p?xizk?????p?xiyjzk???XYZXYZ???loge???1?1??0所以H?X,Y,Z??H?X,Y??H?X,Z??H?X?等號(hào)成立的條件為p?xiyj?p?xizk??p?xi?p?xiyjzk?得證

方法二：由于

H(XYZ)?H(XY)?H(Z|XY)

H(XZ)?H(X)?H(Z|X)

所以，求證不等式等價(jià)于

H(Z|XY)?H(Z|X)

由于條件多的熵不大于條件少的熵，上式成立，原式得證。

2.11設(shè)隨機(jī)變量X?{x1,x2}?{0,1}和Y?{y1,y2}?{0,1}的聯(lián)合概率空間為

?XY??(x1,y1)(x1,y2)(x2,y1)(x2,y2)??P???18?

383818??XY??定義一個(gè)新隨機(jī)變量Z?X?Y（普通乘積）。

（1）計(jì)算熵H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ)；

（2）計(jì)算條件熵H(X|Y)、H(Y|X)、H(X|Z)、H(Z|X)、H(Y|Z)、H(Z|Y)、H(X|YZ)、H(Y|XZ)以及H(Z|XY)；

（3）計(jì)算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y|Z)、I(Y;Z|X)以及I(X;Z|Y)；

131解（1）p?x?0??p?x?0,y?0??p?x?0,y?1????

8821p?x?1??1?p?x?0??

2H?X????P?xi?logP?xi??1bit/symbol

ip?y?0??p?x?0,y?0??p?x?1,y?0??p?y?1??1?p?y?0??131??88212H?Y????pyjlogpyj?1bit/symbol

j????1337P(z?0)?P(xy?00)?P(xy?01)?P(xy?10)????

888871P(z?1)?1?P(z?0)?1??

88可得Z?XY的概率空間如下

?z?0z?1??Z??1??P(Z)???7???8??8711??7H(Z)???p(zk)???log?log)??0.544bit/symbol

888??8K由p(xz)?p(x)p(zx)得

211p(x?0,z?0)?p(x?0)p(z?0x?0)??1?

221p(x?0,z?1)?p(x?0)p(z?1x?0)??0?023p(x?1,z?0)?p(x?1)p(z?0x?1)?p(x?1)p(y?0x?1)?p(x?1,y?0)?

81p(x?1,z?1)?p(x?1)p(z?1x?1)?p(x?1)p(y?1x?1)?p(x?1,y?1)?813311??1H(XZ)????p(xizk)???log?log?log??1.406bit/symbol

28888??2ik由對(duì)稱性可得

H(YZ)??1.406bt/symbol

由p(xyz)?p(xy)p(zxy),又p(zxy)或者等于，或者等于10.

1p(x?0,y?0,z?0)?p(x?0,y?0)p(z?0x?0,y?0)?p(x?0,y?0)?1?

81p(x?0,y?0,z?1)?p(x?0,y?0)p(z?1x?0,y?0)??0?08p(x?0,y?1,z?0)?p(x?0,y?1)p(z?0x?0,y?1)?p(x?0,y?1)?1?3p(x?0,y?1,z?1)?p(x?0,y?1)p(z?1x?0,y?1)??0?08p(x?1,y?0,z?0)?p(x?1,y?0)p(z?0x?1,y?0)?p(x?1,y?0)?1?3p(x?1,y?0,z?1)?p(x?1,y?0)p(z?1x?1,y?0)??0?081p(x?1,y?1,z?0)?p(x?1,y?1)p(z?0x?1,y?1)??0?08p(x?1,y?1,z?1)?p(x?1,y?1)p(z?1x?1,y?1)?p(x?1,y?1)?1??H(XYZ)?????p(xiyjzk)?log2p(xiyjzk)ijk3838181333311??1???log?log?log?log??1.811bit/symbol8888888??8（2）

H?XY??-?log?log?log?log??1.811bit/symbolH?X/Y?=H?XY?-H?Y??1.811?1?0.811bit/symbol根據(jù)對(duì)稱性，

?1?81388338831881?8?

11log4?ea2?log3?ea22214?log23?0.208bit?4.1設(shè)DMS的概率空間為

?U??u1u2u3u4??P???12141818?

??U??對(duì)其單個(gè)符號(hào)進(jìn)行二進(jìn)制編碼，即碼元集合為X?{0,1}。定義編碼f為

f2(u1)?w1?0,l1?1f2(u2)?w2?10,l2?2f2(u3)?w3?110,l3?3

f2(u4)?w4?111,l4?4試計(jì)算（1）該信源的熵H(U)；（2）由碼字構(gòu)成的新信源W的熵H(W)；（3）由碼元{0,1}構(gòu)成的新信源X的熵H(X)；（4）信息率R；（5）編碼效率?c；（6）碼的冗余度?c

解：

11111111log-log-log-log=1.75bits/symbol22448888（2）H(W)=H(U)=1.75bits/symbol

1111?1?0=0.875碼元（3）l(0)=1?248111l?1??0?1??2??3??0.875碼元

4881111l?1??2??3??3??1.75bits/碼字

2488p?0??l?0?/l?0.875/1.75?0.5；p?1??l?1?/l?0.875/1.75?0.5

（1）H(U)=-H?X??H?0.5,0.5??1比特/碼元

1111（4）l?1??2??3??3??1.75bits/碼字

2488H(U)1.75R===1bit/碼元

l1.75H(U)1.75==100%（5）hc=llog21.75′1（6）?c?1??c?1?1?0

4.3對(duì)信源U編出了六種不同的碼，如下表所示。P(ui)W1W2W3W4Uu112000000u2u3W5W601011001101110011110100101110111011141800101001110001011011101111101101110111101011011101011u4u5116132132101011111111110110（1）這六種碼分別是什么碼？哪些碼是UDC？（2）分別求出各碼的平均碼長(zhǎng)。解：（1）W1:定碼長(zhǎng)，非奇異碼，是UDC

u6W2:變碼長(zhǎng)，非奇異嗎，最短碼字為〞0〞，是其他碼字的前綴

但是這些尾隨后綴都不是碼字。同理，對(duì)于其他碼字，其尾隨后綴都不是碼

字，所以是UDCW3:變碼長(zhǎng)，非奇異嗎，無(wú)碼字是其他碼字的前綴，它們都不存在尾隨后綴，所

以是UDC

W4:變長(zhǎng)，奇異碼，最短碼字“0〞，不是其他碼字前綴，而碼字“10〞是碼字“1011〞

的前綴，其尾隨后綴11是碼字“110〞的前綴，得尾隨后綴為0，它是最短

碼字，不是UDC

W5:有一致碼字，是奇異碼W6:計(jì)算

?r?li?2?1?5?2?3?i?1?6q9?1，所以不是UDC8（2）平均碼長(zhǎng)計(jì)算公式為

l??P(si)li

i?1lw1?3碼元／信源符號(hào)

lw2?1.969碼元／信源符號(hào)lw3?1.969碼元／信源符號(hào)

111111?1??2??3??4??4??4=1.875碼元／信源符號(hào)248163232111111lw5??1??2??4??4??4??4=2碼元／信源符號(hào)

248163232111111lw5??1??3??3??3??3??3=2碼元／信源符號(hào)

248163232lw4?4.7設(shè)DMS為

u2u3u4u5u6??U??u1?P???0.370.250.180.100.070.03?

??U??用二元符號(hào)表X?{x1?0,x2?1}對(duì)其進(jìn)行定長(zhǎng)編碼。

（1）求無(wú)失真定長(zhǎng)編碼的最小碼長(zhǎng)和編碼效率；（2）將編碼器輸出視為新信源X，求H(X)；

（3）若所編的碼為{000,001,010,011,100,101}，求編碼器輸出碼元的一維概率分布

P(x1)和P(x2)；

（4）H(X)?H[P(x1),P(x2)]嗎？為什么？解：（1）

111111?0.25log?0.18log?0.1log?0.07log?0.03log0.370.250.180.10.070.03?0.37?1.43?0.25?2?0.18?2.47?0.1?3.32?0.07?3.83?0.03?5.06?0.53?0.54?0.44?0.33?0.27?0.15?2.22H(U)?0.37log取定長(zhǎng)碼長(zhǎng)l?3,碼元個(gè)數(shù)為r?2

?c?(2)無(wú)失真編碼是保熵編碼

H(u)2.22??74%llogr3H(W)?H(U)?2.22bit/碼

由于l?3,

所以H(X)?2.22?0.74bit/碼元3（3）W?{000,001,010,011,100,101}

設(shè)平均每個(gè)碼字所含碼元“0〞和“1〞的個(gè)數(shù)為l(0),l(1)

??l?0??3*0.37?2*0.25?2*0.18?1*0.1?2*0.07?1*0.03?2.24P?x1??P(0)?2.24/3?0.747；P?x2??P(1)?1?P(0)?0.253H?0.747,0.263??0.8211bit/碼元

（4）H(X)?H[P(x1),P(x2)]

由于前者為算術(shù)平均，后者為統(tǒng)計(jì)平均

4.9信源同4.7題。

（1）進(jìn)行二進(jìn)制霍夫曼編碼，求平均碼長(zhǎng)和編碼效率；（2）將編碼器輸出視為新信源X，求H(X)；

（3）求編碼器輸出碼元的一維概率分布P(x1)和P(x2)；

（4）H(X)?H[P(x1),P(x2)]嗎？為什么？

（5）從編碼方法的角度考慮，怎么才能使H(X)?H[P(x1),P(x2)]？

解：（1）

u10.370.250.180.100.070.03110.62023.3810.200.10000011.0u2u3u4u5u6編碼結(jié)果：

u1?11,u2?10,u3?01,u4?001,u5?0001,u6?0000

l=?p(ui)lil?16?0.37?2?0.25?2?0.18?2?0.1?3?0.07?4

?0.03?4?0.10?3?2.3?c?H(U)2.22??0.96522.3llogrH(U)2.22??0.9652bit/碼元2.3l（2）H(X)?（3）W?{11,10,00,011,0101,0100}

設(shè)平均每個(gè)碼字所含碼元“0〞“1〞的個(gè)數(shù)為l(0)和l(1)

l(0)=0.?251+?0.18?2+0.1?1+0.?07l(1)=2.3-0.94=1.360.94p(x?0)??0.4112+0.033=0.94

2.31.36p(x2?0)??0.592.3H[p(x1),p(x2)]?H(0.41,0.59)?0.41?1.29?0.59?0.76?0.977

（4）

H[X]?H[p(x1),p(x2)]但是比較接近

左邊是對(duì)碼長(zhǎng)的算術(shù)平均，右邊是對(duì)碼長(zhǎng)做了統(tǒng)計(jì)平均。

（5）設(shè)計(jì)適合的編碼方法，使得壓縮效率達(dá)到100%，可以使二者相等

4.10設(shè)信源為

u2u3u4u5u6u7u8??U??u1?P???0.220.200.180.150.100.080.050.02?

??U??（1）進(jìn)行二進(jìn)制霍夫曼編碼，求平均碼長(zhǎng)和編碼效率；

（2）進(jìn)行三進(jìn)制霍夫曼編碼，求平均碼長(zhǎng)和編碼效率。解：（1）

U1U2U3U4U50.220.200.180.150.1010.330000.25U60.081000.0710.15U70.05U8101100.4211.00.580.02u1?11,u2?10,u3?011,u4?010,u5?000,u6?0011u7?00101,u8?00100l=0.22?2+0.2?2+0.18?3+0.15?3+0.1?3+0.08?4+0.05?5+0.02?5=2.8碼元

符號(hào)

H(U)?0.22?2.18?0.2?2.32?0.18?2.47?0.15?2.74?0.1?3.32?0.08?3.64?0.05?4.32?0.02?5.64?2.7512bit/符號(hào)2.75?98%2.8

??（2）q?(r?1)??r,r?3,當(dāng)??3時(shí)，q?9,增加一個(gè)uq,p(uq)?0

U1U20.222100.53200.200.180.15U3U41.0U5U60.100.0822110.25U7U8U90.050.020230.070u1?0,u2?22,u3?21,u4?20,u5?12,u6?11u7?102,u8?101

l=0.22?1+0.2?2+0.18?2+0.15?2+0.1?2+0.08?2+0.05?3+0.02?3=1.85

H3(U)?2.752.75??1.74三進(jìn)制單位/信源符號(hào)log31.58??1.74?94%1.85

4.14信源同題4.13，進(jìn)行二進(jìn)制費(fèi)諾編碼，求平均碼長(zhǎng)和編碼效率，并分析編碼的冗余壓縮效果。信源符號(hào)u1u2u3u4u5u6概率0.250.250.20.150.10.05001011碼字000110011001110111111碼長(zhǎng)222344l?0.25?2?0.25?2?0.2?2?0.15?3?0.10?4?0.05?4?2.45比特/符號(hào)

H(U)2.4232????98.91%

llogr2.45?14.15信源同題4.13，進(jìn)行二進(jìn)制香農(nóng)編碼，求平均碼長(zhǎng)和編碼效率，并分析編碼的冗余壓縮效果。

解：信源符號(hào)u1概率0.25碼長(zhǎng)2累積概率0碼字00u20.2520.2501u30.230.5100u40.1530.7101u50.140.851101u60.0550.9511110l?0.25?2?0.25?2?0.2?3?0.15?3?0.10?4?0.05?5?2.7比特/符號(hào)H(U)2.4232????89.75%

llogr2.7?14.18某一頁(yè)傳真文件的一掃描行的像素分布如下:

|←85白→∣←7黑→∣←33白→∣←728黑→∣←875白→∣試確定:

(1)該掃描行的MH碼；(2)本行編碼的壓縮比。

解：（1）110110010111000110001001000000010010110000001011101101001000101100000000000001

（2）壓縮比=原始數(shù)據(jù)量/壓縮后數(shù)據(jù)量=1728比特/78比特=22.15

5.1已知信道矩陣P和兩種不同的譯碼函數(shù)F1和F2，求相應(yīng)于F1和F2的平均錯(cuò)誤概率Pe。

?F?b1??a1?0.50.30.2????P??0.20.30.5?，F(xiàn)1：?F?b2??a3?F?b??a??0.30.30.42?3??1解：設(shè)輸入符號(hào)為等概率分布p?ai??

3對(duì)于F1有

?F?b1??a1?Fb?a2

，F(xiàn)2：??2??F?b??a33?Pe?11pba??[?0.2?0.3???0.3?0.3???0.2?0.4?]??3Y,X?a?3=0.567

對(duì)于F2有

Pe??1p?ba??3Y,X?a?1?[?0.2?0.3???0.3?0.3???0.2?0.5?]?0.6003可見Pe?Pe?，即得以下結(jié)論：

（1）平均錯(cuò)誤概率Pe與譯碼規(guī)則有關(guān)；（2）極大似然譯碼準(zhǔn)則F1優(yōu)于F2。5.2設(shè)碼為C??c1,c2,c3,c4???111,010,100,001?，用2元對(duì)稱信道傳送（錯(cuò)誤

概率

p?0.1）。假使碼字概率為?Pc???0.50.1250.1250.25?，試找出一種

譯碼規(guī)則，使平均過(guò)錯(cuò)率Pe最小。

解：對(duì)于3次2元擴(kuò)展信道的轉(zhuǎn)移矩陣為PY|X

000001010011100101110111111?p3?010?pp2?100?pp2?001?pp2p2pp2pp2pp3p2pp3p2pp2ppp2pp2p3pp2p2pp2pp3p2ppp2p3pp2pp2pp2pp2pp2p3p3??pp2?p2p??p2p?PY|X?0.001?0.081???0.081??0.0810.0090.0090.0090.7290.0090.7290.0090.0090.0810.0810.0010.0810.0090.0090.7290.0090.0810.0010.0810.0810.0810.0810.0810.0010.729?0.081??0.009??0.009?用0.5乘以PY|X的第1行；用0.125乘以第2、3行；用0.25乘以第4行得到聯(lián)合概率矩陣為PXY

?0.0005?0.0101PXY???0.0101??0.02030.00450.00110.00110.18230.00450.09110.00110.00220.04050.01010.00010.02030.00450.00110.09110.00220.04050.00010.01010.02030.04050.01010.01010.00030.3645?0.0101??0.0011??0.0022?比較聯(lián)合概率矩陣的各列概率，得出訪平均過(guò)錯(cuò)概率

pe最低的譯碼函數(shù)為：

F?000??001;F?100??100F?001??001;F?101??111F?010??010;F?110??111F?011??111;F?111??111兩種典型的譯碼規(guī)則

5.3設(shè)有DMC其轉(zhuǎn)移矩陣如下

?P?YX?121316????161213??

??131612??若信道輸入概率為

?PX???0.50.250.25?，試確定最正確譯碼規(guī)則和極大似然譯碼規(guī)

則并計(jì)算出相應(yīng)的平均過(guò)錯(cuò)率。

解：

11?P(b1)?,P(b2)?P(b3)?，

24用1/2乘以轉(zhuǎn)移矩陣的第1行；用1/4乘以轉(zhuǎn)移矩陣的第2、3行得到信道的聯(lián)合概率矩陣

為

?1?4??1?24?1??1211?612??11?812?11??248?根據(jù)最正確譯碼準(zhǔn)則，在聯(lián)合概率矩陣中，每列選一最大值（矩陣中帶下劃線的值），譯為

?b1?a1??b2?a1?b?a3?3平均錯(cuò)誤概率

11111111Pe???????

2412824121224若根據(jù)最大似然概率譯碼準(zhǔn)則

?1?2?1?P??6?1???3在矩陣每列中選一最大值，譯為

1312161?6??1?3?，1??2???b1?a1??b2?a2?b?a3?3平均錯(cuò)誤概率

1?11?1?11?1?11?1Pe?????????????

2?63?4?36?4?36?25.7碼為C?{11100,01001,10010,00111}。（1）求該碼的最小漢明距離；

（2）假設(shè)碼字等概率分布，該碼的碼率；

（3）若采用最小距離譯碼規(guī)則，那么，當(dāng)接收到“10000〞、“01100〞以及“00100〞時(shí)，別譯為什么碼字。

（4）該碼能檢出幾位錯(cuò)誤？能改正幾位錯(cuò)誤？解：（1）D(11100,01001)=3;D(11100,10010)=3;D(11100,00111)=4;D(01001,10010)=4;D(01001,00111)=3;D(10010,00111)=3，所以

(2)此二元碼的碼字個(gè)數(shù)Mdmin?3

?4，碼長(zhǎng)n?5，所以，碼率

R?log42?bit/碼元55

（3）采用最小距離譯碼準(zhǔn)則（即將接收序列譯成與其碼距為最小的碼字），接收序列10000

與碼字10010距離為1，與其碼字的距離都大于1，所以10000譯成10010同理01100譯成11100

00100譯成11100或00111任一個(gè)

（4）該碼dmin錯(cuò)誤。

5.9若有一信源??3?2?1?1?2，，所以，此碼能改正1位錯(cuò)誤；能檢出2位

?S??s1，s2?每秒鐘發(fā)出3個(gè)信源符號(hào)。將此信源的輸出符號(hào)?????P?s???0.5，0.5?送入某二元無(wú)噪無(wú)損信道中進(jìn)行傳輸，而信道每秒鐘只傳遞兩個(gè)二元符號(hào)，試問(wèn)信源能否在此信道中進(jìn)行無(wú)過(guò)錯(cuò)的傳輸。

解：信源熵為

H?S??H(0.5,0.5)?1bit/symbol

信源輸出的信息速率

Rt=3?H?S?=3bit/s

將此信源輸出符號(hào)送入二元無(wú)噪無(wú)損信道進(jìn)行傳輸，此信道每秒鐘只傳送兩個(gè)二元符號(hào)。此信道的最大信息傳輸速率

Ct=2log2=2bit/s

由于

Rt?Ct

根據(jù)信道編碼