5、香農公式為5、香農公式為為保證足夠大的信道容量，可采用(1)用頻帶換信噪比；(2)用信噪比換頻帶?？陀^信息和主觀信息。信息的可度量性是建立信息論的基礎。。熵是香農信息論最基本最重要的概念。。10、單符號離散信源一般用隨機變量描述，而多符號離散信源一般用隨機矢量描述。11、一個隨機事件發(fā)生某一結果后所帶來的信息量稱為自信息量，定義為其發(fā)。1log2eP21、平均功率為P的高斯分布的連續(xù)信源，其信源熵，Hc(X)=22。少為3。ii源，則其信源熵為log26。28、同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為28、同時擲兩個正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時出現(xiàn)”這件事的自信息量是log218(1+2log23)。g32、信道的輸出僅與信道當前輸入有關，而與過去輸入無關的信道稱為無記憶34、強對稱信道的信道容量C=log2n-Hni。35、對稱信道的信道容量C=log2m-Hmi。C1P1P42、高斯加性信道的信道容量C=22PN。件是信息率小于信道容量。44、信道矩陣L001」代表的信道的信道容量C=1?！?0]道的信道容量C=1。最大信息傳輸速率Ct=10kHz。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率也(0i=j〈54、漢明失真函數(shù)d(xi，yj)=l1i豐j。概率空間P(XY)中的統(tǒng)計平均值。ji。度是單調遞減和連續(xù)的。函數(shù)的最大值是log2n。Inf67、連續(xù)信源X的率失真函數(shù)R(D)=p(y/x)=PDI(X;Y)。68、當D共G2時，高斯信源在均方差失真度下的信息率失真函數(shù)為R(D)=22D(D)。HDa。73、按照不同的編碼目的，編碼可以分為三類：分別是信源編碼、信道編碼和75、一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關信源礎是限失真信源編碼定理。x2x3x4x5x6x7x)1/16J進行二進制和哈夫曼編碼，編碼方法惟一的是香農編碼。度L(0)的概率為p[L(0)]=p0L(0)-1p1。87、在多符號的消息序列中，大量的重復出現(xiàn)的，只起占時作用的符號稱為冗高信號傳輸?shù)目煽啃?。奇?shù)位錯和部分的偶數(shù)位錯。mind(c,c')dmin=c豐c'。98、若檢錯碼的最小距離為dmin，則可以檢測出任意小于等于l=dmin-1個差性特性的糾錯碼。的一類線性分組碼。必然事件和不可能事件的自信息量都是0。錯自信息量是p(xi)的單調遞減函數(shù)。對單符號離散信源的自信息和信源熵都具有非負性。對單符號離散信源的自信息和信源熵都是一個確定值。錯自信息量都是非負的和單調遞減的。對I(xy)=I(x)+I(y/x)=I(y)+I(x/y)ijijijij對自信息量、條件自信息量和互信息量之間有如下關系：I(x;y)=I(x)I(x/y)=I(y)I(y/x)ijiijjji對當隨即變量X和Y相互獨立時，條件熵等于信源熵。對10、信源熵具有嚴格的下凸性。錯對20、若對一離散信源(熵為H(X))進行二進制無失真編碼，設定長碼子長度為i1p(y)=23、對于準對稱信道，當jm時，可達到信道容量C。錯28、最大信息傳輸速率，即：選擇某一信源的概率分布(p(xi))，使信道所能29、對于具有歸并性能的無燥信道，當信源等概率分布時(p(xi)=1/n)，達到對錯42、游程序列的熵(“0”游程序列的熵與“1”游程序列的熵的和)大于等于原1．設X的取值受限于有限區(qū)間[a,b]，則X服從均勻分布時，其熵達到最g 22 22 2101}，則編碼器輸出碼元的一維概率P(x)=0.747,P(x)=0.253。2二、簡答題(30分)設信源為=1/42/4，試求(1)信源的熵、信息含量效率以及冗余度；X(1)(2)二次擴展信源的概率空間為：答：將H(X|Y)稱為信道{X,P,Y}的疑義度或損失熵，損失熵為零的信道就Y|X將H(Y|X)稱為信道{X,P,Y}的噪聲熵，噪聲熵為零的信道就是確定信道，Y|X(1)符號變換：使信源的輸出符號與信道的輸入符號相匹配； (2)冗余度壓縮：是編碼之后的新信源概率均勻化，信息含量效率等于或接近三、綜合題(20+15+15)設隨機變量X={x,x}={0,1}和Y={y,y}={0,1}的聯(lián)合概率空間為1212定義一個新的隨機變量Z=XY(普通乘積)H(Y|XZ)以及H(Z|XY)；X\Y011/3/1/0882(2)3/1/1/(3)882設二元對稱信道的輸入概率1/1/PPX求信道的輸入熵，輸出熵，平均互信息量；求信道容量和最佳輸入分布；解：(1)信道的輸入熵222)最佳輸入分布為[P]=[1/21/2]，此時信道的XX\Z0