第3章信道與信道容量3.1 信道的基本概念3.2 離散單個(gè)符號(hào)信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配第3章信道與信道容量3.1 信道的基本概念信道模型和信道容量信道傳送信息的載體，信號(hào)通過(guò)的通道。任務(wù)是以信號(hào)方式傳輸信息、存儲(chǔ)信息。研究信道就是研究信道中理論上能夠傳輸或存儲(chǔ)的最大信息量，即信道的容量問(wèn)題。信息論不研究信號(hào)在信道中傳輸?shù)奈锢磉^(guò)程。信道研究方法抽象地將信道問(wèn)題歸結(jié)為輸入、輸出和轉(zhuǎn)移概率矩陣三個(gè)要素來(lái)描述。輸入X輸出YP(Y/X)信道信源信宿信道模型和信道容量信道輸入X輸出YP(Y/X)信道信信道分類(lèi)按信道的用戶(hù)數(shù)量來(lái)劃分單用戶(hù)信道：即只有一個(gè)輸入端和一個(gè)輸出端的單向通信信道。多用戶(hù)信道：即在輸入端或輸出端中至少有一端存在兩個(gè)以上的用戶(hù)，并且還可以雙向通信的信道。按輸入/輸出之間的關(guān)系來(lái)劃分無(wú)反饋信道：信道的輸出端信號(hào)不反饋到輸入端，即輸出信號(hào)對(duì)輸入信號(hào)沒(méi)有影響。反饋信道：信道的輸出信號(hào)通過(guò)一定途徑反饋到輸入端，使輸入端的信號(hào)發(fā)生變化。信道分類(lèi)按信道的用戶(hù)數(shù)量來(lái)劃分信道分類(lèi)按信道參數(shù)與時(shí)間的關(guān)系來(lái)劃分固定參數(shù)信道：即信道的統(tǒng)計(jì)特性不隨時(shí)間而變化，如光纖、電纜信道。時(shí)變參數(shù)信道：即信道的統(tǒng)計(jì)特性隨時(shí)間而變化，如無(wú)線(xiàn)信道。按信道中的噪聲種類(lèi)來(lái)劃分隨機(jī)差錯(cuò)信道：指噪聲隨機(jī)地影響每個(gè)傳輸碼元，如以高斯白噪聲為主體的信道。突發(fā)差錯(cuò)信道：指噪聲、干擾的影響是前后相關(guān)的，錯(cuò)誤成串出現(xiàn)，如脈沖干擾或閃電等。信道分類(lèi)按信道參數(shù)與時(shí)間的關(guān)系來(lái)劃分信道分類(lèi)按輸入/輸出信號(hào)在幅度和時(shí)間上的取值劃分離散信道：輸入和輸出的信號(hào)在時(shí)間和幅度上均為離散的信道。連續(xù)信道：信號(hào)的幅度連續(xù)，時(shí)間離散。半離散半連續(xù)信道：輸入變量取值離散而輸出變量取值連續(xù)。輸入變量取值連續(xù)而輸出變量取值離散。波形信道：信道的輸入和輸出信號(hào)在時(shí)間和幅度上均連續(xù)，一般可用隨機(jī)過(guò)程來(lái)描述。單用戶(hù)、無(wú)反饋、固定參數(shù)的離散信道信道分類(lèi)按輸入/輸出信號(hào)在幅度和時(shí)間上的取值劃分單用戶(hù)、無(wú)反信道模型信道的輸入X=(X1,X2,…,Xi,…)輸入符號(hào)集：Xi={a1,a2,…,an}信道的輸出Y=(Y1,Y2,…,Yj,…)輸出符號(hào)集：Yj={b1,b2,…,bm}信道轉(zhuǎn)移概率矩陣p(Y/X)描述輸入/輸出的統(tǒng)計(jì)依賴(lài)關(guān)系，反映信道統(tǒng)計(jì)關(guān)系。信道輸入X輸出Yp(Y/X)信道模型信道的輸入X=(X1,X2,…,Xi,…)信根據(jù)干擾和記憶性分類(lèi)無(wú)干擾（無(wú)噪聲）信道信道的輸出信號(hào)Y與輸入信號(hào)X之間有確定的關(guān)系Y=f(X)有干擾無(wú)記憶信道每個(gè)輸出信號(hào)只與當(dāng)前輸入信號(hào)之間有轉(zhuǎn)移概率關(guān)系，與其他時(shí)刻的輸入（出）信號(hào)無(wú)關(guān)。有干擾有記憶信道一般情況下，信道存在碼間干擾，輸出信號(hào)不但與當(dāng)前輸入信號(hào)有關(guān)，還與以前的輸入信號(hào)有關(guān)。將記憶很強(qiáng)的L個(gè)符號(hào)當(dāng)作矢量符號(hào)，各矢量符號(hào)之間認(rèn)為是無(wú)記憶的。將轉(zhuǎn)移概率看成馬爾可夫鏈的形式。根據(jù)干擾和記憶性分類(lèi)無(wú)干擾（無(wú)噪聲）信道信道模型二進(jìn)制離散信道：BSC信道輸入符號(hào)X取值{0,1}輸出符號(hào)Y取值{0,1}信道轉(zhuǎn)移概率

p(0/0)=1－p p(0/1)=p

p(1/1)=1－p

p(1/0)=p0101pp1-p1-p輸入輸出無(wú)錯(cuò)傳輸概率有錯(cuò)傳輸概率信道模型二進(jìn)制離散信道：BSC信道0101pp1-p1-p輸信道模型離散無(wú)記憶信道：DMC信道輸入符號(hào)集：X={a1,a2,…,an}輸出符號(hào)集：Y={b1,b2,…,bm}輸入－輸出特性p(Y=bj/X=ai)≡p(bj/ai)=pij轉(zhuǎn)移概率矩陣各行概率之和為1信道模型離散無(wú)記憶信道：DMC信道轉(zhuǎn)移概率矩陣各行概率之和為信道模型離散輸入、連續(xù)輸出信道輸入符號(hào)集：X={a1,a2,…,an}輸出未經(jīng)量化，即Y={-∞,∞}輸出特性由離散輸入X、連續(xù)輸出Y以及一組條件概率密度函數(shù)p(y/X=ai)來(lái)決定。加性高斯白噪聲（AWGN）信道式中，G是均值為零、方差為σ2的高斯隨機(jī)變量當(dāng)X給定，Y是一個(gè)均值為ai、方差為σ2的高斯隨機(jī)變量有限、離散Y＝X＋G無(wú)限、連續(xù)信道模型離散輸入、連續(xù)輸出信道有限、離散Y＝X＋G無(wú)限、連續(xù)信道模型波形信道輸入是模擬波形，輸出也是模擬波形連續(xù)無(wú)記憶信道和連續(xù)有記憶信道任一時(shí)刻輸出變量與以前時(shí)刻的輸入輸出是否有關(guān)根據(jù)噪聲對(duì)信道中信號(hào)的作用不同，可將噪聲分為：加性噪聲和乘性噪聲假設(shè)輸入該信道的帶限信號(hào)x(t)，相應(yīng)的輸出是y(t)，n(t)代表加性噪聲過(guò)程的一個(gè)樣本函數(shù)，則y(t)＝x(t)＋n(t)加性高斯白噪聲信道模型波形信道加性高斯白噪聲信道容量的定義信道傳輸率R信道中平均每個(gè)符號(hào)能傳送的信息量R＝I(X;Y)bit/符號(hào)信息傳輸速率Rt若平均傳輸一個(gè)符號(hào)所需時(shí)間為t則Rt＝I(X;Y)/t

bit/s當(dāng)信道確定時(shí)，p(bj/ai)確定?；バ畔⑹顷P(guān)于p(ai)的函數(shù)。信道容量的定義信道傳輸率R當(dāng)信道確定時(shí)，p(bj/ai)確定信道容量的定義定理：給定轉(zhuǎn)移概率矩陣P后，平均互信息I(X;Y)是概率矢量Px的上凸函數(shù)。概率矢量Px＝[p(a1),p(a2),…p(an)]用I(Px)表示I是Px的函數(shù)，則在I(Px)曲線(xiàn)的上凸點(diǎn)對(duì)應(yīng)的輸入符號(hào)概率矢量Px上，I(Px)取得極大值。這個(gè)值就是信道容量。信道容量的定義定理：給定轉(zhuǎn)移概率矩陣P后，平均互信息I(X;信道容量的定義信道容量信道容量C的單位是信道上每傳送一個(gè)符號(hào)所能攜帶的比特?cái)?shù)，即比特/符號(hào)。如果以e為底，即取自然對(duì)數(shù)時(shí)，信道容量的單位是奈特/符號(hào)。如果已知符號(hào)傳送周期是T秒，信道容量Ct=C/T，單位為bit/s或nat/s。信道容量的定義信道容量第3章信道與信道容量3.1 信道的基本概念3.2 離散單個(gè)符號(hào)信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配第3章信道與信道容量3.1 信道的基本概念離散單符號(hào)信道離散單個(gè)符號(hào)信道無(wú)干擾離散信道有擾離散信道對(duì)稱(chēng)DMC信道準(zhǔn)對(duì)稱(chēng)DMC信道一般DMC信道無(wú)噪無(wú)損信道無(wú)噪有損信道有噪無(wú)損信道離散單符號(hào)信道離散單個(gè)符號(hào)信道無(wú)干擾離散信道有擾離散信道對(duì)稱(chēng)無(wú)干擾離散信道信道輸入X={a1,a2,…,an}，信道輸出Y={b1,b2,…,bm}無(wú)噪無(wú)損信道輸入和輸出符號(hào)之間有確定的一一對(duì)應(yīng)關(guān)系。H(Y/X)=0，H(X/Y)=0，I(X;Y)=H(X)=H(Y)C=maxI(X;Y)=logn輸入符號(hào)等概率分布=logm無(wú)干擾離散信道信道輸入X={a1,a2,…,an}，信道無(wú)干擾離散信道無(wú)噪有損信道多個(gè)輸入變成一個(gè)輸出。H(Y/X)=0，H(X/Y)≠0，H(X)＞H(Y)C=maxI(X;Y)=maxH(Y)無(wú)干擾離散信道無(wú)噪有損信道無(wú)干擾離散信道有噪無(wú)損信道一個(gè)輸入對(duì)應(yīng)多個(gè)輸出。H(Y/X)≠0，H(X/Y)=0，H(X)＜H(Y)C=maxI(X;Y)=maxH(X)無(wú)干擾離散信道有噪無(wú)損信道對(duì)稱(chēng)DMC信道對(duì)稱(chēng)DMC信道的定義輸入對(duì)稱(chēng)矩陣：轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換（包含同樣元素）。輸出對(duì)稱(chēng)矩陣：轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換（包含同樣元素）。如果輸入、輸出都對(duì)稱(chēng)，則稱(chēng)該DMC為對(duì)稱(chēng)DMC信道對(duì)稱(chēng)DMC信道對(duì)稱(chēng)DMC信道的定義對(duì)稱(chēng)DMC信道有擾對(duì)稱(chēng)DMC信道具有如下性質(zhì)：對(duì)稱(chēng)信道的條件熵H(Y/X)與信道輸入符號(hào)的概率分布無(wú)關(guān)。如果信道輸入符號(hào)等概率分布，則信道輸出符號(hào)也等概率分布；反之，若信道輸出符號(hào)等概率分布時(shí)，信道輸入符號(hào)也是等概率分布。對(duì)稱(chēng)DMC信道有擾對(duì)稱(chēng)DMC信道具有如下性質(zhì)：對(duì)稱(chēng)DMC信道當(dāng)信道輸入符號(hào)等概率分布時(shí)，對(duì)稱(chēng)DMC信道達(dá)到其信道容量。對(duì)稱(chēng)DMC信道當(dāng)信道輸入符號(hào)等概率分布時(shí)，對(duì)稱(chēng)DMC信道達(dá)到對(duì)稱(chēng)DMC信道例：信道轉(zhuǎn)移概率矩陣為求：信道容量解：n=2時(shí)，為BSC信道ε=0時(shí)無(wú)差錯(cuò)，信道容量最大ε=1/2時(shí)，信道容量為0對(duì)稱(chēng)DMC信道例：信道轉(zhuǎn)移概率矩陣為n=2時(shí)，為BSC信道ε對(duì)稱(chēng)DMC信道實(shí)際通信系統(tǒng)中，信號(hào)往往要通過(guò)幾個(gè)環(huán)節(jié)的傳輸或多步的處理。若將這些傳輸和處理看成信道，則串接成為一個(gè)串聯(lián)信道。信道1信道2信道m(xù)…XYZW根據(jù)信息不增性：串接的信道越多，其信道容量可能會(huì)越??；串接信道數(shù)量無(wú)限多時(shí)，信道容量趨于零。對(duì)稱(chēng)DMC信道實(shí)際通信系統(tǒng)中，信號(hào)往往要通過(guò)幾個(gè)環(huán)節(jié)的傳輸或?qū)ΨQ(chēng)DMC信道例：設(shè)有兩個(gè)離散BSC信道，其轉(zhuǎn)移矩陣為串聯(lián)信道的轉(zhuǎn)移矩陣為：m為串接信道的個(gè)數(shù)對(duì)稱(chēng)DMC信道例：設(shè)有兩個(gè)離散BSC信道，其轉(zhuǎn)移矩陣為串聯(lián)信準(zhǔn)對(duì)稱(chēng)DMC信道如果轉(zhuǎn)移概率矩陣P的輸入對(duì)稱(chēng)而輸出不對(duì)稱(chēng)，即P的每一行都包含相同的元素而各列的元素不同，則稱(chēng)該信道是準(zhǔn)對(duì)稱(chēng)DMC信道。準(zhǔn)對(duì)稱(chēng)DMC信道的容量準(zhǔn)對(duì)稱(chēng)DMC信道如果轉(zhuǎn)移概率矩陣P的輸入對(duì)稱(chēng)而輸出不對(duì)稱(chēng)，即準(zhǔn)對(duì)稱(chēng)DMC信道例：已知信道轉(zhuǎn)移矩陣為求該信道容量。解：設(shè)輸入符號(hào)概率為p(a1)=α，p(a2)=1－α

聯(lián)合概率矩陣輸入符號(hào)等概率分布時(shí)，準(zhǔn)對(duì)稱(chēng)DMC信道達(dá)到其信道容量C準(zhǔn)對(duì)稱(chēng)DMC信道例：已知信道轉(zhuǎn)移矩陣為輸入符號(hào)等概率分布時(shí)，準(zhǔn)對(duì)稱(chēng)DMC信道例：設(shè)信道轉(zhuǎn)移概率矩陣為： 求該信道的容量。解：當(dāng)輸入符號(hào)等概率分布時(shí)， 達(dá)到信道的容量，即準(zhǔn)對(duì)稱(chēng)DMC信道例：設(shè)信道轉(zhuǎn)移概率矩陣為：準(zhǔn)對(duì)稱(chēng)DMC信道矩陣分解法將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對(duì)稱(chēng)子矩陣。當(dāng)輸入分布為等概率時(shí)，達(dá)到信道容量為n為輸入符號(hào)集個(gè)數(shù)p1′…

ps′是轉(zhuǎn)移概率矩陣中一行的元素Nk是第k個(gè)子矩陣中行元素之和Mk是第k個(gè)子矩陣中列元素之和準(zhǔn)對(duì)稱(chēng)DMC信道矩陣分解法n為輸入符號(hào)集個(gè)數(shù)p1′…ps′一般DMC信道以輸入符號(hào)概率矢量Px為自變量的函數(shù)I(Px)的極大值，即信道容量。為了使I(X;Y)最大化，即求取信道容量的值，輸入符號(hào)概率集{p(ai)}必須滿(mǎn)足的充分必要條件是：I(ai;Y)＝C，對(duì)于所有滿(mǎn)足p(ai)＞0條件的iI(ai;Y)≤C，對(duì)于所有滿(mǎn)足p(ai)＝0條件的i此結(jié)論只給出了達(dá)到信道容量C時(shí)輸入符號(hào)概率分布的充要條件，并未給出具體值，所以C沒(méi)有具體可求的公式。一般DMC信道以輸入符號(hào)概率矢量Px為自變量的函數(shù)I(Px)第3章信道與信道容量3.1 信道的基本概念3.2 離散單個(gè)符號(hào)信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配第3章信道與信道容量3.1 信道的基本概念離散序列信道及其容量信道輸入X輸出Yp(Y/X)X=(X1,X2,…,XL)Xl={a1,a2,…,an}Y=(Y1,Y2,…,YL)Yl={b1,b2,…,bm}無(wú)記憶離散序列信道的轉(zhuǎn)移概率為：若信道是平穩(wěn)的，則：離散序列信道及其容量信道輸入X輸出Yp(Y/X)X=(X離散序列信道及其容量平均互信息的兩個(gè)性質(zhì)：如果信道無(wú)記憶如果輸入矢量X中 各個(gè)分量相互獨(dú)立獨(dú)立、無(wú)記憶且平穩(wěn)離散序列信道及其容量平均互信息的兩個(gè)性質(zhì)：獨(dú)立、無(wú)記憶且平穩(wěn)離散序列信道及其容量例：求BSC二次擴(kuò)展信道的信道容量。解：0101pp1-p1-p輸入輸出p=0.1時(shí)，C1=0.53bit/符號(hào) C2=1.06bit/序列C2=2C1離散序列信道及其容量例：求BSC二次擴(kuò)展信道的信道容量。01離散序列信道及其容量獨(dú)立并聯(lián)信道L個(gè)相互獨(dú)立的信道，每個(gè)信道的輸出只與本信道的輸入有關(guān)。信道XYp(Y/X)離散序列信道及其容量獨(dú)立并聯(lián)信道信道XYp(Y/X)第3章信道與信道容量3.1 信道的基本概念3.2 離散單個(gè)符號(hào)信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配第3章信道與信道容量3.1 信道的基本概念連續(xù)信道及其容量連續(xù)單符號(hào)加性信道信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，加入信道的噪聲是均值為零、方差為σ2的加性高斯噪聲。非高斯噪聲信道的容量要大于高斯噪聲信道的容量連續(xù)信道及其容量連續(xù)單符號(hào)加性信道非高斯噪聲信道的容量要大于連續(xù)信道及其容量多維無(wú)記憶加性連續(xù)信道多維無(wú)記憶加性連續(xù)信道可等價(jià)成L個(gè)獨(dú)立的并聯(lián)高斯加性信道連續(xù)信道及其容量多維無(wú)記憶加性連續(xù)信道多維無(wú)記憶加性連續(xù)信道連續(xù)信道及其容量注水法某些單元時(shí)刻的噪聲太大，使子信道信號(hào)功率pl出現(xiàn)負(fù)值。置pl=0，重新調(diào)整信號(hào)功率的分配，直至pl不再出現(xiàn)負(fù)值。噪聲小的子信道分配到的輸入功率大，傳輸?shù)谋忍財(cái)?shù)多。連續(xù)信道及其容量注水法連續(xù)信道及其容量受加性高斯白噪聲干擾的帶限波形信道輸入x(t)、輸出y(t)和噪聲n(t)：模擬波形帶限AWGN波形信道在平均功率受限條件下信道容量的基本公式為W：頻帶寬度，簡(jiǎn)稱(chēng)帶寬SNR(信噪比)：表示信號(hào)功率與噪聲功率的比值PS：信號(hào)的平均功率加性白噪聲的功率譜密度為N0/2香農(nóng)公式bit/s連續(xù)信道及其容量受加性高斯白噪聲干擾的帶限波形信道香農(nóng)公式b連續(xù)信道及其容量香農(nóng)公式的討論帶寬W一定時(shí)，信道容量C

隨信噪比SNR的增加而單調(diào)增加，因此增大信號(hào)功率、減小信道噪聲可以增加信道容量。信道容量C一定時(shí)，帶寬W增大，信噪比SNR可降低，即二者可以互換。如果輸入信號(hào)功率PS固定，信道容量C

隨帶寬W的增加而增加。但到一定階段后，增加變得緩慢。連續(xù)信道及其容量香農(nóng)公式的討論連續(xù)信道及其容量香農(nóng)限每傳輸1比特信息所需的能量。當(dāng)歸一化的信噪比小于香農(nóng)限（-1.6dB）時(shí)，歸一化信道容量為零，即信道完全喪失通信能力。頻帶利用率歸一化信道容量單位頻帶的信息傳輸率。連續(xù)信道及其容量香農(nóng)限連續(xù)信道及其容量例：電話(huà)信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR＝，計(jì)算該信道的信道容量。解：實(shí)際電話(huà)信道的容量只有19.2kbit/s理論計(jì)算沒(méi)有考慮串音、回波等干擾因素100連續(xù)信道及其容量例：電話(huà)信道的帶寬為3.3kHz，若信噪功率第3章信道與信道容量3.1 信道的基本概念3.2 離散單個(gè)符號(hào)信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配第3章信道與信道容量3.1 信道的基本概念信源與信道的匹配符號(hào)匹配信源輸出的符號(hào)必須是信道能夠傳送的符號(hào)，這是實(shí)現(xiàn)信息傳輸?shù)谋匾獥l件?？稍谛旁磁c信道之間加入編碼器予以實(shí)現(xiàn)，也可以在信源編碼時(shí)一步實(shí)現(xiàn)。信息匹配對(duì)于某一信道，只有當(dāng)輸入符號(hào)的概率分布滿(mǎn)足一定條件時(shí)，才能達(dá)到其信道容量。當(dāng)信源與信道連接時(shí)，若信息傳輸率達(dá)到了信道容量，則稱(chēng)此信源與信道達(dá)到匹配；否則認(rèn)為信道有冗余。信源與信道的匹配符號(hào)匹配信源與信道的匹配信道冗余度信道絕對(duì)冗余度＝C－I(X;Y)信道相對(duì)冗余度無(wú)損信道的相對(duì)冗余度無(wú)損信道的相對(duì)冗余度與信源的冗余度等價(jià)冗余度大說(shuō)明信源與信道匹配程度低，信道的信息傳遞能力未得到充分利用。冗余度小說(shuō)明信源與信道匹配程度高，信道的信息傳遞能力得到較充分利用。冗余度為零說(shuō)明信源與信道完全匹配，信道的信息傳遞能力得到完全利用。信源與信道的匹配信道冗余度無(wú)損信道的相對(duì)冗余度與信源的冗余度信源與信道的匹配X1X2X3X4p(Xi)1/21/41/81/8例：某離散無(wú)記憶信源符號(hào)概率分布如下圖所示。通過(guò)一個(gè)無(wú)噪無(wú)損二元離散信道進(jìn)行傳輸，其信道容量為C＝1bit/信道符號(hào)。信源的信息熵：H(X)=1.75bit/信源符號(hào)C100011011C2000001010011R1=H(X)/2=0.875bit/信道符號(hào)＜CR2=H(X)/3=0.583bit/信道符號(hào)＜C信道的信息傳輸率：信源與信道的匹配X1X2X3X4p(Xi)1/21/41/8本章小結(jié)重點(diǎn)掌握有干擾無(wú)記憶信道的數(shù)學(xué)描述信道容量的定義對(duì)稱(chēng)和準(zhǔn)對(duì)稱(chēng)DMC信道的信道容量計(jì)算香農(nóng)公式一般了解信道的各種分類(lèi)無(wú)干擾離散信道的信道容量信源和信道的匹配本章小結(jié)重點(diǎn)掌握本章導(dǎo)圖本章導(dǎo)圖第3章信道與信道容量3.1 信道的基本概念3.2 離散單個(gè)符號(hào)信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配第3章信道與信道容量3.1 信道的基本概念信道模型和信道容量信道傳送信息的載體，信號(hào)通過(guò)的通道。任務(wù)是以信號(hào)方式傳輸信息、存儲(chǔ)信息。研究信道就是研究信道中理論上能夠傳輸或存儲(chǔ)的最大信息量，即信道的容量問(wèn)題。信息論不研究信號(hào)在信道中傳輸?shù)奈锢磉^(guò)程。信道研究方法抽象地將信道問(wèn)題歸結(jié)為輸入、輸出和轉(zhuǎn)移概率矩陣三個(gè)要素來(lái)描述。輸入X輸出YP(Y/X)信道信源信宿信道模型和信道容量信道輸入X輸出YP(Y/X)信道信信道分類(lèi)按信道的用戶(hù)數(shù)量來(lái)劃分單用戶(hù)信道：即只有一個(gè)輸入端和一個(gè)輸出端的單向通信信道。多用戶(hù)信道：即在輸入端或輸出端中至少有一端存在兩個(gè)以上的用戶(hù)，并且還可以雙向通信的信道。按輸入/輸出之間的關(guān)系來(lái)劃分無(wú)反饋信道：信道的輸出端信號(hào)不反饋到輸入端，即輸出信號(hào)對(duì)輸入信號(hào)沒(méi)有影響。反饋信道：信道的輸出信號(hào)通過(guò)一定途徑反饋到輸入端，使輸入端的信號(hào)發(fā)生變化。信道分類(lèi)按信道的用戶(hù)數(shù)量來(lái)劃分信道分類(lèi)按信道參數(shù)與時(shí)間的關(guān)系來(lái)劃分固定參數(shù)信道：即信道的統(tǒng)計(jì)特性不隨時(shí)間而變化，如光纖、電纜信道。時(shí)變參數(shù)信道：即信道的統(tǒng)計(jì)特性隨時(shí)間而變化，如無(wú)線(xiàn)信道。按信道中的噪聲種類(lèi)來(lái)劃分隨機(jī)差錯(cuò)信道：指噪聲隨機(jī)地影響每個(gè)傳輸碼元，如以高斯白噪聲為主體的信道。突發(fā)差錯(cuò)信道：指噪聲、干擾的影響是前后相關(guān)的，錯(cuò)誤成串出現(xiàn)，如脈沖干擾或閃電等。信道分類(lèi)按信道參數(shù)與時(shí)間的關(guān)系來(lái)劃分信道分類(lèi)按輸入/輸出信號(hào)在幅度和時(shí)間上的取值劃分離散信道：輸入和輸出的信號(hào)在時(shí)間和幅度上均為離散的信道。連續(xù)信道：信號(hào)的幅度連續(xù)，時(shí)間離散。半離散半連續(xù)信道：輸入變量取值離散而輸出變量取值連續(xù)。輸入變量取值連續(xù)而輸出變量取值離散。波形信道：信道的輸入和輸出信號(hào)在時(shí)間和幅度上均連續(xù)，一般可用隨機(jī)過(guò)程來(lái)描述。單用戶(hù)、無(wú)反饋、固定參數(shù)的離散信道信道分類(lèi)按輸入/輸出信號(hào)在幅度和時(shí)間上的取值劃分單用戶(hù)、無(wú)反信道模型信道的輸入X=(X1,X2,…,Xi,…)輸入符號(hào)集：Xi={a1,a2,…,an}信道的輸出Y=(Y1,Y2,…,Yj,…)輸出符號(hào)集：Yj={b1,b2,…,bm}信道轉(zhuǎn)移概率矩陣p(Y/X)描述輸入/輸出的統(tǒng)計(jì)依賴(lài)關(guān)系，反映信道統(tǒng)計(jì)關(guān)系。信道輸入X輸出Yp(Y/X)信道模型信道的輸入X=(X1,X2,…,Xi,…)信根據(jù)干擾和記憶性分類(lèi)無(wú)干擾（無(wú)噪聲）信道信道的輸出信號(hào)Y與輸入信號(hào)X之間有確定的關(guān)系Y=f(X)有干擾無(wú)記憶信道每個(gè)輸出信號(hào)只與當(dāng)前輸入信號(hào)之間有轉(zhuǎn)移概率關(guān)系，與其他時(shí)刻的輸入（出）信號(hào)無(wú)關(guān)。有干擾有記憶信道一般情況下，信道存在碼間干擾，輸出信號(hào)不但與當(dāng)前輸入信號(hào)有關(guān)，還與以前的輸入信號(hào)有關(guān)。將記憶很強(qiáng)的L個(gè)符號(hào)當(dāng)作矢量符號(hào)，各矢量符號(hào)之間認(rèn)為是無(wú)記憶的。將轉(zhuǎn)移概率看成馬爾可夫鏈的形式。根據(jù)干擾和記憶性分類(lèi)無(wú)干擾（無(wú)噪聲）信道信道模型二進(jìn)制離散信道：BSC信道輸入符號(hào)X取值{0,1}輸出符號(hào)Y取值{0,1}信道轉(zhuǎn)移概率

p(0/0)=1－p p(0/1)=p

p(1/1)=1－p

p(1/0)=p0101pp1-p1-p輸入輸出無(wú)錯(cuò)傳輸概率有錯(cuò)傳輸概率信道模型二進(jìn)制離散信道：BSC信道0101pp1-p1-p輸信道模型離散無(wú)記憶信道：DMC信道輸入符號(hào)集：X={a1,a2,…,an}輸出符號(hào)集：Y={b1,b2,…,bm}輸入－輸出特性p(Y=bj/X=ai)≡p(bj/ai)=pij轉(zhuǎn)移概率矩陣各行概率之和為1信道模型離散無(wú)記憶信道：DMC信道轉(zhuǎn)移概率矩陣各行概率之和為信道模型離散輸入、連續(xù)輸出信道輸入符號(hào)集：X={a1,a2,…,an}輸出未經(jīng)量化，即Y={-∞,∞}輸出特性由離散輸入X、連續(xù)輸出Y以及一組條件概率密度函數(shù)p(y/X=ai)來(lái)決定。加性高斯白噪聲（AWGN）信道式中，G是均值為零、方差為σ2的高斯隨機(jī)變量當(dāng)X給定，Y是一個(gè)均值為ai、方差為σ2的高斯隨機(jī)變量有限、離散Y＝X＋G無(wú)限、連續(xù)信道模型離散輸入、連續(xù)輸出信道有限、離散Y＝X＋G無(wú)限、連續(xù)信道模型波形信道輸入是模擬波形，輸出也是模擬波形連續(xù)無(wú)記憶信道和連續(xù)有記憶信道任一時(shí)刻輸出變量與以前時(shí)刻的輸入輸出是否有關(guān)根據(jù)噪聲對(duì)信道中信號(hào)的作用不同，可將噪聲分為：加性噪聲和乘性噪聲假設(shè)輸入該信道的帶限信號(hào)x(t)，相應(yīng)的輸出是y(t)，n(t)代表加性噪聲過(guò)程的一個(gè)樣本函數(shù)，則y(t)＝x(t)＋n(t)加性高斯白噪聲信道模型波形信道加性高斯白噪聲信道容量的定義信道傳輸率R信道中平均每個(gè)符號(hào)能傳送的信息量R＝I(X;Y)bit/符號(hào)信息傳輸速率Rt若平均傳輸一個(gè)符號(hào)所需時(shí)間為t則Rt＝I(X;Y)/t

bit/s當(dāng)信道確定時(shí)，p(bj/ai)確定。互信息是關(guān)于p(ai)的函數(shù)。信道容量的定義信道傳輸率R當(dāng)信道確定時(shí)，p(bj/ai)確定信道容量的定義定理：給定轉(zhuǎn)移概率矩陣P后，平均互信息I(X;Y)是概率矢量Px的上凸函數(shù)。概率矢量Px＝[p(a1),p(a2),…p(an)]用I(Px)表示I是Px的函數(shù)，則在I(Px)曲線(xiàn)的上凸點(diǎn)對(duì)應(yīng)的輸入符號(hào)概率矢量Px上，I(Px)取得極大值。這個(gè)值就是信道容量。信道容量的定義定理：給定轉(zhuǎn)移概率矩陣P后，平均互信息I(X;信道容量的定義信道容量信道容量C的單位是信道上每傳送一個(gè)符號(hào)所能攜帶的比特?cái)?shù)，即比特/符號(hào)。如果以e為底，即取自然對(duì)數(shù)時(shí)，信道容量的單位是奈特/符號(hào)。如果已知符號(hào)傳送周期是T秒，信道容量Ct=C/T，單位為bit/s或nat/s。信道容量的定義信道容量第3章信道與信道容量3.1 信道的基本概念3.2 離散單個(gè)符號(hào)信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配第3章信道與信道容量3.1 信道的基本概念離散單符號(hào)信道離散單個(gè)符號(hào)信道無(wú)干擾離散信道有擾離散信道對(duì)稱(chēng)DMC信道準(zhǔn)對(duì)稱(chēng)DMC信道一般DMC信道無(wú)噪無(wú)損信道無(wú)噪有損信道有噪無(wú)損信道離散單符號(hào)信道離散單個(gè)符號(hào)信道無(wú)干擾離散信道有擾離散信道對(duì)稱(chēng)無(wú)干擾離散信道信道輸入X={a1,a2,…,an}，信道輸出Y={b1,b2,…,bm}無(wú)噪無(wú)損信道輸入和輸出符號(hào)之間有確定的一一對(duì)應(yīng)關(guān)系。H(Y/X)=0，H(X/Y)=0，I(X;Y)=H(X)=H(Y)C=maxI(X;Y)=logn輸入符號(hào)等概率分布=logm無(wú)干擾離散信道信道輸入X={a1,a2,…,an}，信道無(wú)干擾離散信道無(wú)噪有損信道多個(gè)輸入變成一個(gè)輸出。H(Y/X)=0，H(X/Y)≠0，H(X)＞H(Y)C=maxI(X;Y)=maxH(Y)無(wú)干擾離散信道無(wú)噪有損信道無(wú)干擾離散信道有噪無(wú)損信道一個(gè)輸入對(duì)應(yīng)多個(gè)輸出。H(Y/X)≠0，H(X/Y)=0，H(X)＜H(Y)C=maxI(X;Y)=maxH(X)無(wú)干擾離散信道有噪無(wú)損信道對(duì)稱(chēng)DMC信道對(duì)稱(chēng)DMC信道的定義輸入對(duì)稱(chēng)矩陣：轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換（包含同樣元素）。輸出對(duì)稱(chēng)矩陣：轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換（包含同樣元素）。如果輸入、輸出都對(duì)稱(chēng)，則稱(chēng)該DMC為對(duì)稱(chēng)DMC信道對(duì)稱(chēng)DMC信道對(duì)稱(chēng)DMC信道的定義對(duì)稱(chēng)DMC信道有擾對(duì)稱(chēng)DMC信道具有如下性質(zhì)：對(duì)稱(chēng)信道的條件熵H(Y/X)與信道輸入符號(hào)的概率分布無(wú)關(guān)。如果信道輸入符號(hào)等概率分布，則信道輸出符號(hào)也等概率分布；反之，若信道輸出符號(hào)等概率分布時(shí)，信道輸入符號(hào)也是等概率分布。對(duì)稱(chēng)DMC信道有擾對(duì)稱(chēng)DMC信道具有如下性質(zhì)：對(duì)稱(chēng)DMC信道當(dāng)信道輸入符號(hào)等概率分布時(shí)，對(duì)稱(chēng)DMC信道達(dá)到其信道容量。對(duì)稱(chēng)DMC信道當(dāng)信道輸入符號(hào)等概率分布時(shí)，對(duì)稱(chēng)DMC信道達(dá)到對(duì)稱(chēng)DMC信道例：信道轉(zhuǎn)移概率矩陣為求：信道容量解：n=2時(shí)，為BSC信道ε=0時(shí)無(wú)差錯(cuò)，信道容量最大ε=1/2時(shí)，信道容量為0對(duì)稱(chēng)DMC信道例：信道轉(zhuǎn)移概率矩陣為n=2時(shí)，為BSC信道ε對(duì)稱(chēng)DMC信道實(shí)際通信系統(tǒng)中，信號(hào)往往要通過(guò)幾個(gè)環(huán)節(jié)的傳輸或多步的處理。若將這些傳輸和處理看成信道，則串接成為一個(gè)串聯(lián)信道。信道1信道2信道m(xù)…XYZW根據(jù)信息不增性：串接的信道越多，其信道容量可能會(huì)越?。淮有诺罃?shù)量無(wú)限多時(shí)，信道容量趨于零。對(duì)稱(chēng)DMC信道實(shí)際通信系統(tǒng)中，信號(hào)往往要通過(guò)幾個(gè)環(huán)節(jié)的傳輸或?qū)ΨQ(chēng)DMC信道例：設(shè)有兩個(gè)離散BSC信道，其轉(zhuǎn)移矩陣為串聯(lián)信道的轉(zhuǎn)移矩陣為：m為串接信道的個(gè)數(shù)對(duì)稱(chēng)DMC信道例：設(shè)有兩個(gè)離散BSC信道，其轉(zhuǎn)移矩陣為串聯(lián)信準(zhǔn)對(duì)稱(chēng)DMC信道如果轉(zhuǎn)移概率矩陣P的輸入對(duì)稱(chēng)而輸出不對(duì)稱(chēng)，即P的每一行都包含相同的元素而各列的元素不同，則稱(chēng)該信道是準(zhǔn)對(duì)稱(chēng)DMC信道。準(zhǔn)對(duì)稱(chēng)DMC信道的容量準(zhǔn)對(duì)稱(chēng)DMC信道如果轉(zhuǎn)移概率矩陣P的輸入對(duì)稱(chēng)而輸出不對(duì)稱(chēng)，即準(zhǔn)對(duì)稱(chēng)DMC信道例：已知信道轉(zhuǎn)移矩陣為求該信道容量。解：設(shè)輸入符號(hào)概率為p(a1)=α，p(a2)=1－α

聯(lián)合概率矩陣輸入符號(hào)等概率分布時(shí)，準(zhǔn)對(duì)稱(chēng)DMC信道達(dá)到其信道容量C準(zhǔn)對(duì)稱(chēng)DMC信道例：已知信道轉(zhuǎn)移矩陣為輸入符號(hào)等概率分布時(shí)，準(zhǔn)對(duì)稱(chēng)DMC信道例：設(shè)信道轉(zhuǎn)移概率矩陣為： 求該信道的容量。解：當(dāng)輸入符號(hào)等概率分布時(shí)， 達(dá)到信道的容量，即準(zhǔn)對(duì)稱(chēng)DMC信道例：設(shè)信道轉(zhuǎn)移概率矩陣為：準(zhǔn)對(duì)稱(chēng)DMC信道矩陣分解法將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對(duì)稱(chēng)子矩陣。當(dāng)輸入分布為等概率時(shí)，達(dá)到信道容量為n為輸入符號(hào)集個(gè)數(shù)p1′…

ps′是轉(zhuǎn)移概率矩陣中一行的元素Nk是第k個(gè)子矩陣中行元素之和Mk是第k個(gè)子矩陣中列元素之和準(zhǔn)對(duì)稱(chēng)DMC信道矩陣分解法n為輸入符號(hào)集個(gè)數(shù)p1′…ps′一般DMC信道以輸入符號(hào)概率矢量Px為自變量的函數(shù)I(Px)的極大值，即信道容量。為了使I(X;Y)最大化，即求取信道容量的值，輸入符號(hào)概率集{p(ai)}必須滿(mǎn)足的充分必要條件是：I(ai;Y)＝C，對(duì)于所有滿(mǎn)足p(ai)＞0條件的iI(ai;Y)≤C，對(duì)于所有滿(mǎn)足p(ai)＝0條件的i此結(jié)論只給出了達(dá)到信道容量C時(shí)輸入符號(hào)概率分布的充要條件，并未給出具體值，所以C沒(méi)有具體可求的公式。一般DMC信道以輸入符號(hào)概率矢量Px為自變量的函數(shù)I(Px)第3章信道與信道容量3.1 信道的基本概念3.2 離散單個(gè)符號(hào)信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配第3章信道與信道容量3.1 信道的基本概念離散序列信道及其容量信道輸入X輸出Yp(Y/X)X=(X1,X2,…,XL)Xl={a1,a2,…,an}Y=(Y1,Y2,…,YL)Yl={b1,b2,…,bm}無(wú)記憶離散序列信道的轉(zhuǎn)移概率為：若信道是平穩(wěn)的，則：離散序列信道及其容量信道輸入X輸出Yp(Y/X)X=(X離散序列信道及其容量平均互信息的兩個(gè)性質(zhì)：如果信道無(wú)記憶如果輸入矢量X中 各個(gè)分量相互獨(dú)立獨(dú)立、無(wú)記憶且平穩(wěn)離散序列信道及其容量平均互信息的兩個(gè)性質(zhì)：獨(dú)立、無(wú)記憶且平穩(wěn)離散序列信道及其容量例：求BSC二次擴(kuò)展信道的信道容量。解：0101pp1-p1-p輸入輸出p=0.1時(shí)，C1=0.53bit/符號(hào) C2=1.06bit/序列C2=2C1離散序列信道及其容量例：求BSC二次擴(kuò)展信道的信道容量。01離散序列信道及其容量獨(dú)立并聯(lián)信道L個(gè)相互獨(dú)立的信道，每個(gè)信道的輸出只與本信道的輸入有關(guān)。信道XYp(Y/X)離散序列信道及其容量獨(dú)立并聯(lián)信道信道XYp(Y/X)第3章信道與信道容量3.1 信道的基本概念3.2 離散單個(gè)符號(hào)信道及其容量3.3 離散序列信道及其容量3.4連續(xù)信道及其容量3.5信源與信道的匹配第3章信道與信道容量3.1 信道的基本概念連續(xù)信道及其容量連續(xù)單符號(hào)加性信道信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，加入信道的噪聲是均值為零、方差為σ2的加性高斯噪聲。非高斯噪聲信道的容量要大于高斯噪聲信道的容量連續(xù)信道及其容量連續(xù)單符號(hào)加性信道非高斯噪聲信道的容量要大于連續(xù)信道及其容量多維無(wú)記憶加性連續(xù)信道多維無(wú)記憶加性連續(xù)信道可等價(jià)成L個(gè)獨(dú)立的并聯(lián)高斯加性信道連續(xù)信道及其容量多維無(wú)記憶加性連續(xù)信道多維無(wú)記憶加性連續(xù)信道連續(xù)信道及其容量注水法某些單元時(shí)刻的噪聲太大，使子信道信號(hào)功率pl出現(xiàn)負(fù)值。置pl=0，重新調(diào)整信號(hào)功率的分配，直至pl不再出現(xiàn)負(fù)值。噪聲小的子信道分配到的輸入功率大，傳輸?shù)谋忍財(cái)?shù)多。連續(xù)信道及其容量注水法連續(xù)信道及其容量受加性高斯