《信息論—基礎(chǔ)理論與應(yīng)用（第五版）》傅祖蕓課后答案第一章緒論課后答案一、核心概念題信息、情報(bào)、知識(shí)、消息及信號(hào)的區(qū)別與聯(lián)系區(qū)別：①信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的消除，是最本質(zhì)、最廣泛的概念；②情報(bào)是針對(duì)特定對(duì)象的、具有決策價(jià)值的特定信息，范圍較窄；③知識(shí)是對(duì)信息整理、概括后形成的高層次、具有普遍性的信息；④消息是信息的載體（如文字、語(yǔ)言、圖像等），能被感知和傳遞，同一信息可通過(guò)不同消息承載；⑤信號(hào)是消息的物理體現(xiàn)（如電信號(hào)、光信號(hào)），是適合信道傳輸?shù)奈锢砹俊Ｂ?lián)系：信號(hào)承載消息，消息載荷信息，情報(bào)和知識(shí)是信息的特定形態(tài)，四者層層遞進(jìn)、相互關(guān)聯(lián)。香農(nóng)信息定義的優(yōu)點(diǎn)和缺點(diǎn)優(yōu)點(diǎn)：①科學(xué)量化：有明確的數(shù)學(xué)模型（概率模型）和定量計(jì)算方法；②貼合日常：與日常用語(yǔ)中信息的核心含義一致；③客觀中立：排除主觀因素，同一消息對(duì)所有收信者的互信息量一致，形式化程度高。缺點(diǎn)：①模型局限：僅基于經(jīng)典集合論的概率模型，無(wú)法覆蓋模糊性等非概率不確定性；②忽略主觀：未考慮收信者的主觀特性、信息的實(shí)際用途和重要程度，與實(shí)際應(yīng)用存在偏差。信息的核心特性①普遍性與無(wú)限性：存在于一切事物運(yùn)動(dòng)過(guò)程中，總量無(wú)限；②動(dòng)態(tài)性與時(shí)效性：隨事物變化而更新，價(jià)值隨時(shí)間衰減；③可傳遞性與可轉(zhuǎn)換性：可通過(guò)多種渠道傳遞，能在不同形式（消息、信號(hào)）間轉(zhuǎn)換；④可共享性與可復(fù)制性：傳遞后不消失，可多人同時(shí)獲?。虎菘啥攘啃裕嚎赏ㄟ^(guò)熵、互信息等指標(biāo)定量描述；⑥相對(duì)獨(dú)立性：與物質(zhì)、能量并列，但不依賴(lài)特定載體獨(dú)立存在。通信系統(tǒng)模型的核心組成部分及功能①信源：產(chǎn)生隨機(jī)消息的源頭（人、機(jī)器等），輸出狀態(tài)具有不確定性但有規(guī)律；②編碼器：將消息轉(zhuǎn)換為適合信道傳輸?shù)男盘?hào)，含信源編碼（提高傳輸效率）和信道編碼（提高可靠性）；③信道：傳輸信號(hào)的媒介（如電纜、光纖、無(wú)線電波空間），會(huì)引入干擾；④譯碼器：將受干擾的信號(hào)反變換為消息，是編碼的逆過(guò)程；⑤信宿：接收消息的對(duì)象（人、機(jī)器等），與信源可處于不同時(shí)空。信息論的研究目的找到信息傳輸?shù)钠毡橐?guī)律，實(shí)現(xiàn)信息傳輸?shù)摹八男詢(xún)?yōu)化”：①可靠性：消息傳輸盡可能準(zhǔn)確、不失真；②有效性：用最少的時(shí)間、設(shè)備傳遞最多信息；③保密性：僅授權(quán)接收者可獲取消息；④認(rèn)證性：接收者能驗(yàn)證消息的真實(shí)性和完整性，防止偽造或篡改。二、簡(jiǎn)答題為什么說(shuō)信息與物質(zhì)、能量是構(gòu)成世界的三大要素？物質(zhì)是世界的客觀載體，能量是物質(zhì)運(yùn)動(dòng)的動(dòng)力，而信息是物質(zhì)運(yùn)動(dòng)狀態(tài)的描述和規(guī)律的體現(xiàn)。三者不可分割：任何物質(zhì)運(yùn)動(dòng)都伴隨能量轉(zhuǎn)換和信息產(chǎn)生，人類(lèi)通過(guò)獲取信息認(rèn)識(shí)物質(zhì)、利用能量，信息是連接物質(zhì)與能量的核心紐帶，共同構(gòu)成世界的基礎(chǔ)。廣義通信系統(tǒng)與狹義通信系統(tǒng)的區(qū)別狹義通信系統(tǒng)：僅指以電磁波為傳輸媒介的傳統(tǒng)通信（如電話、廣播），核心是信號(hào)的傳輸與轉(zhuǎn)換；廣義通信系統(tǒng)：涵蓋所有信息傳遞過(guò)程（如生物神經(jīng)傳導(dǎo)、計(jì)算機(jī)網(wǎng)絡(luò)、衛(wèi)星通信），強(qiáng)調(diào)信息從信源到信宿的完整流動(dòng)，包括加密、認(rèn)證、存儲(chǔ)等延伸功能。第二章離散信源及其信息測(cè)度課后答案一、計(jì)算題假幣稱(chēng)重問(wèn)題：12枚同值硬幣，1枚假幣（輕重未知），用天平稱(chēng)重，至少稱(chēng)多少次可確定假幣？解題思路：利用信息熵量化不確定性，確定最少測(cè)量次數(shù)。步驟：①總可能情況：12枚硬幣中每枚可能是假幣（12種），且假幣可能重或輕（2種），總不確定性為\log_2(12\times2)=\log_224\approx4.58比特；②每次天平稱(chēng)重有3種結(jié)果（左重、右重、平衡），每次測(cè)量最多獲取\log_23\approx1.58比特信息；③最少測(cè)量次數(shù)n滿足n\times\log_23\geq\log_224，解得n\geq3。結(jié)論：至少稱(chēng)3次可確定假幣。骰子點(diǎn)數(shù)信息量計(jì)算：同時(shí)扔一對(duì)均勻骰子，求以下情況的信息量：（1）點(diǎn)數(shù)之和為2；（2）點(diǎn)數(shù)之和為8；（3）點(diǎn)數(shù)為3和4。解題基礎(chǔ)：一對(duì)骰子總可能結(jié)果數(shù)為6\times6=36種，每種結(jié)果概率相等（p=1/36），信息量公式I=-\log_2p。計(jì)算過(guò)程：①點(diǎn)數(shù)之和為2：僅（1,1）一種結(jié)果，p=1/36，I=-\log_2(1/36)=\log_236\approx5.17比特；②點(diǎn)數(shù)之和為8：含（2,6）（3,5）（4,4）（5,3）（6,2）共5種結(jié)果，p=5/36，I=-\log_2(5/36)\approx2.85比特；③點(diǎn)數(shù)為3和4：含（3,4）（4,3）共2種結(jié)果，p=2/36=1/18，I=-\log_2(1/18)\approx4.17比特。星期幾咨詢(xún)的信息量計(jì)算：（1）未知今天是星期幾時(shí)，問(wèn)“明天是星期幾？”的信息量；（2）已知今天是星期四時(shí)，問(wèn)同一問(wèn)題的信息量。解答：①未知今天是星期幾：明天可能是7天中的任意一天，概率p=1/7，信息量I=-\log_2(1/7)\approx2.81比特；②已知今天是星期四：明天必然是星期五，概率p=1，信息量I=-\log_21=0比特（確定事件無(wú)信息）。二、概念應(yīng)用題信源熵的物理意義是什么？為什么信源熵最大時(shí)信源最不確定？物理意義：信源熵H(X)=-\sump(x_i)\log_2p(x_i)是信源輸出消息的平均不確定性的度量，也是平均每個(gè)消息攜帶的信息量。熵最大原理：當(dāng)信源所有輸出消息的概率相等（均勻分布）時(shí)，不確定性達(dá)到最大，此時(shí)熵值最大。例如，二元信源（0,1）中，當(dāng)p(0)=p(1)=0.5時(shí)，H(X)=1比特，是二元信源的最大熵；若概率偏離均勻分布，不確定性降低，熵值減小。聯(lián)合熵、條件熵與互信息的關(guān)系核心公式：I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)物理意義：①聯(lián)合熵H(XY)：描述信源X和Y聯(lián)合輸出消息的平均不確定性；②條件熵H(X|Y)：已知Y后，X仍存在的平均不確定性；③互信息I(X;Y)：通過(guò)觀測(cè)Y獲得的關(guān)于X的平均信息量，即X的不確定性減少的程度。第三章信道與信道容量課后答案（核心要點(diǎn)）一、基礎(chǔ)概念題信道容量的定義及物理意義定義：信道容量C是信道能夠可靠傳輸?shù)淖畲笮畔⑺俾剩▎挝唬罕忍?符號(hào)或比特/秒）。物理意義：信道傳輸信息的理論上限，香農(nóng)信道編碼定理證明：當(dāng)信息傳輸率R\leqC時(shí)，存在一種編碼方式使傳輸錯(cuò)誤概率任意小；當(dāng)R>C時(shí)，錯(cuò)誤概率無(wú)法趨近于零。離散無(wú)記憶信道（DMC）容量的計(jì)算思路核心公式：C=\max_{p(x)}I(X;Y)（在信源分布p(x)上最大化互信息）。計(jì)算步驟：①確定信道轉(zhuǎn)移概率矩陣P(y|x)；②構(gòu)造信源分布p(x)，計(jì)算聯(lián)合分布p(xy)=p(x)P(y|x)；③計(jì)算邊際分布p(y)=\sum_xp(xy)；④計(jì)算互信息I(X;Y)=\sum_x\sum_yp(xy)\log_2\frac{p(y|x)}{p(y)}；⑤遍歷所有可能的p(x)，找到使I(X;Y)最大的值，即為信道容量。二、典型計(jì)算題二元對(duì)稱(chēng)信道（BSC）的容量計(jì)算信道模型：輸入X=\{0,1\}，輸出Y=\{0,1\}，轉(zhuǎn)移概率P(0|1)=P(1|0)=p（錯(cuò)誤概率），P(0|0)=P(1|1)=1-p（正確概率）。容量推導(dǎo)：當(dāng)信源均勻分布p(0)=p(1)=0.5時(shí)，互信息最大，此時(shí)：C=1-H_b(p)，其中H_b(p)=-p\log_2p-(1-p)\log_2(1-p)是二元熵函數(shù)。示例：若p=0.1，則H_b(0.1)\approx0.469比特，信道容量C\approx1-0.469=0.531比特/符號(hào)。第四章信源編碼課后答案（核心要點(diǎn)）一、核心概念信源編碼的目的和分類(lèi)目的：提高信息傳輸?shù)挠行?，通過(guò)壓縮冗余信息，用最少的碼元傳輸最多的信息。分類(lèi)：①無(wú)損編碼：壓縮后可完全恢復(fù)原始信息（如霍夫曼編碼、算術(shù)編碼）；②有損編碼：允許少量失真，追求更高壓縮比（如音頻/視頻編碼）?；舴蚵幋a的基本步驟及特點(diǎn)步驟：①將信源符號(hào)按概率從大到小排序；②合并概率最小的兩個(gè)符號(hào)，生成新符號(hào)，其概率為兩符號(hào)概率之和；③重復(fù)步驟②，直到合并為一個(gè)概率為1的符號(hào)；④從最終節(jié)點(diǎn)回溯，為每個(gè)信源符號(hào)分配二進(jìn)制碼（左支路為0，右支路為1）。特點(diǎn)：①是最優(yōu)前綴碼（無(wú)歧義）；②概率越大的符號(hào)編碼越短，平均碼長(zhǎng)接近信源熵，壓縮效率高。二、計(jì)算題霍夫曼編碼示例：信源，概率，求霍夫曼編碼及平均碼長(zhǎng)。編碼過(guò)程：①排序：x_1(0.4),x_2(0.3),x_3(0.2),x_4(0.1)；②合并x_3(0.2)+x_4(0.1)=0.3，新符號(hào)A(0.3)；③排序：x_1(0.4),x_2(0.3),A(0.3)，合并x_2(0.3)+A(0.3)=0.6，新符號(hào)B(0.6)；④合并x_1(0.4)+B(0.6)=1.0；⑤回溯編碼：x_1=0，x_2=10，x_3=110，x_4=111（或等價(jià)編碼，如x_3=111,x_4=110）。平均碼長(zhǎng)：\bar{L}=0.4\times1+0.3\times2+0.2\times3+0.1\times3=1.9比特/符號(hào)。信源熵：H(X)=-0.4\log_20.4-0.3\log_20.3-0.2\log_20.2-0.1\log_20.1\approx1.846比特/符號(hào)，編碼效率\eta=H(X)/\bar{L}\approx97.2\%。第五章信道編碼課后答案（核心要點(diǎn)）一、基礎(chǔ)概念信道編碼的目的和核心思想目的：提高信息傳輸?shù)目煽啃?，通過(guò)在信息碼中加入冗余碼（監(jiān)督碼），實(shí)現(xiàn)錯(cuò)誤檢測(cè)和糾正。核心思想：利用冗余碼建立信息碼元之間的約束關(guān)系，接收端通過(guò)檢驗(yàn)該約束關(guān)系判斷是否出錯(cuò)，并定位錯(cuò)誤位置進(jìn)行糾正。漢明碼的基本特性屬于線性分組碼，參數(shù)滿足：n=2^r-1，k=n-r，d_{\text{min}}=3（n為碼長(zhǎng)，k為信息位長(zhǎng)，r為監(jiān)督位長(zhǎng)）。糾錯(cuò)能力：能糾正1位隨機(jī)錯(cuò)誤，檢測(cè)2位隨機(jī)錯(cuò)誤。示例：r=3時(shí)，漢明碼參數(shù)為n=7,k=4,d_{\text{min}}=3（7,4）漢明碼。二、應(yīng)用題（7,4）漢明碼的編碼與譯碼示例監(jiān)督方程（一致校驗(yàn)方程）：設(shè)信息位a_6a_5a_4a_3，監(jiān)督位a_2a_1a_0，監(jiān)督方程為：a_2=a_6\oplusa_5\oplusa_4a_1=a_6\oplusa_5\oplusa_3a_0=a_6\oplusa_4\oplusa_3（\oplus為異或運(yùn)算）。編碼：若信息位為1010，則a_2=1\oplus0\oplus1=0，a_1=1\oplus0\oplus0=1，a_0=1\oplus1\oplus0=0，編碼輸出為1010010。譯碼：接收端計(jì)算校正子S=[S_2S_1S_0]，S_2=a_6\oplusa_5\oplusa_4\oplusa_2，S_1=a_6\oplusa_5\oplusa_3\oplusa_1，S_0=a_6\oplusa_4\oplusa_3\oplusa_0。若S=000無(wú)錯(cuò)誤，否則S的十進(jìn)制值即為錯(cuò)誤位位置（如S=010表示a_1位出錯(cuò)，取反糾正）。第六章網(wǎng)絡(luò)信息論課后答案（核心要點(diǎn)）網(wǎng)絡(luò)信息論與經(jīng)典信息論的區(qū)別經(jīng)典信息論：研究單信源、單信道、單信宿的點(diǎn)對(duì)點(diǎn)通信；網(wǎng)絡(luò)信息論：研究多信源、多信道、多信宿的通信網(wǎng)絡(luò)（如廣播信道、多址接入信道、中繼信道），核心是解決網(wǎng)絡(luò)中信息的分配、協(xié)作與優(yōu)化問(wèn)題。多址接入信道（MAC）的容量區(qū)域定義：所有可達(dá)速率對(duì)(R_1,R_2)的集合，滿足：R_1\leqI(X_1;Y|X_2)R_2\leqI(X_2;Y|X_1)R_1+R_2\leqI(X_1,X_2;Y)物理意義：兩個(gè)信源同時(shí)向同一信宿傳輸信息時(shí)，速率對(duì)需落在容量區(qū)域內(nèi)才能可靠傳輸。第七章信息論的應(yīng)用課后答案（核心要