1、第7章有噪聲信道編碼。本章的主要內(nèi)容如下：1 .概述2 .最佳決定和解碼準(zhǔn)則3。信道編碼和最佳解碼4。Fano不等式5。噪聲信道編碼定理6。糾錯(cuò)編碼技術(shù)簡介7。信道編碼性能限制、7.1概述、信道編碼(提高傳輸可靠性)信道解碼：根據(jù)與編碼器相同的數(shù)學(xué)規(guī)則從接收序列中刪除重復(fù)符號(hào)并恢復(fù)源消息序列。一般來說，重復(fù)符號(hào)越多，糾錯(cuò)能力越強(qiáng)，但傳輸效率越低。因此，在信道編碼中，傳輸效率和可靠性的矛盾很明顯。本節(jié)主要內(nèi)容：1。通道編碼的基本概念2。決定和解碼規(guī)則3。解碼錯(cuò)誤概率、7.1.1通道編碼的基本概念、簡化的通信系統(tǒng)模型圖7.1.1中所示。圖7.1.1通信系統(tǒng)模型圖簡化、源輸出或信道編碼器的輸入消息集

2、是U，信道編碼器是分組編碼，輸出代碼字符是從符號(hào)集獲取的子集。代碼通過離散無內(nèi)存通道發(fā)送。通道輸出或解碼器的輸入為。其中每個(gè)符號(hào)都來自一組符號(hào)。解碼器輸出是恢復(fù)的消息，其集顯示為V。、(1)訊息產(chǎn)生(2)色版編碼：編碼器將訊息對(duì)映至程式碼單字，編碼函數(shù)F: 1，2，MC=，(3)信道傳輸：N維矢量、代碼字符集C、N次擴(kuò)展信道的輸入、N維矢量、信道輸出(4)信道解碼：解碼器根據(jù)接收到的完成解碼功能翻譯函數(shù)。對(duì)于、離散通道，離散源的符號(hào)通過通道編碼器長度為N其中H(X)是源的熵。在與源符號(hào)相同的概率下，(M，N)代碼信息傳輸速率R為(7 .1.2)、對(duì)于時(shí)間連續(xù)信道，信息傳輸速率表示在單位時(shí)間內(nèi)傳

3、送的信息量。即，信息傳輸速率為比特(或內(nèi)特)/幻燈片4，7.1.2判決和解碼指令，對(duì)于圖7.1.1中所示的模型，單個(gè)符號(hào)確定規(guī)則為(7.1.3)。(7.1.3)這意味著接收時(shí)被判定為發(fā)射器號(hào)。因此，每個(gè)通道輸出必須有對(duì)應(yīng)的通道輸入。因此，判決規(guī)則是唯一結(jié)果的函數(shù)。7.1.3)表達(dá)式可以簡單地說是“判決函數(shù)”。(。如果將頻道的轉(zhuǎn)移概率設(shè)置如下，在接受的條件下實(shí)際發(fā)送的話，判決正確，反之會(huì)發(fā)生錯(cuò)誤。、條件錯(cuò)誤率、解決方案(1)平均錯(cuò)誤率：(2)平均錯(cuò)誤率：很明顯，當(dāng)時(shí)；否則。此示例說明錯(cuò)誤率與確定函數(shù)的選擇相關(guān)?；脽羝?，7.1.3解碼錯(cuò)誤概率，如上所述，解碼是通過接收序列恢復(fù)消息序列?；謴?fù)的消息

4、序列與發(fā)送序列不同時(shí)，稱為解碼錯(cuò)誤。一般有兩種錯(cuò)誤概率的說明：錯(cuò)誤率和錯(cuò)誤率。比特率是傳輸代碼元素錯(cuò)誤的概率(也稱為二進(jìn)制比特率)。錯(cuò)別率是指符號(hào)者錯(cuò)誤概率。本章研究的錯(cuò)誤率就是錯(cuò)別率。與單個(gè)符號(hào)判斷一樣，條件錯(cuò)誤率為(7.1.7)，平均錯(cuò)誤率為(7.1.8)，如果出現(xiàn)、代碼字錯(cuò)誤，則多個(gè)位的傳輸可能是正確的。因此，對(duì)于相同的通信系統(tǒng)，錯(cuò)誤率總是低于錯(cuò)誤率。錯(cuò)誤概率的大小首先與編碼器的糾錯(cuò)性能相關(guān)，其次與代碼規(guī)則選擇和接收信噪比大小相關(guān)。應(yīng)選擇糾錯(cuò)性能好的編碼和性能好的解碼算法，以最小化平均錯(cuò)誤概率?；脽羝?，本節(jié)主要內(nèi)容：1。最大后驗(yàn)概率基準(zhǔn)2。應(yīng)使用最大相似標(biāo)準(zhǔn)、7.2最佳判決和解碼標(biāo)準(zhǔn)、

5、7.2.1最大后概率標(biāo)準(zhǔn)、有效信道編碼以外的適當(dāng)解碼準(zhǔn)則以提高傳輸可靠性。本節(jié)介紹了最大后概率(MAP)準(zhǔn)則和最大相似(ML)準(zhǔn)則。(7.1.6)根據(jù)表達(dá)式，平均準(zhǔn)確度可以這樣記錄。要最大限度地提高判決準(zhǔn)確度或最小化判決錯(cuò)誤率，必須為每個(gè)輸出Y選擇相應(yīng)的事后檢查概率最大的X。也就是說，在滿足所有I的，(7.2.1)的情況下，選擇決定函數(shù)時(shí)，此準(zhǔn)則稱為最大后概率(MAP，Maximum a Posteriori)準(zhǔn)則，可以縮寫為MAP準(zhǔn)則。如果所有I的(7.2.3)樣式為，選擇確定函數(shù)為g(y)=a*。在這里，牛刀比，(7.2.3)式表示牛刀比檢查。注：(1)地圖準(zhǔn)則是將平均錯(cuò)誤率降至最低的準(zhǔn)則

6、。(2)指導(dǎo)標(biāo)準(zhǔn)可以歸結(jié)為似然比測試。示例7.2.1信道輸入X等概率值1，-1，通過加值高斯信道發(fā)送，加值噪聲Z平均為零，方差為零的高斯隨機(jī)變量，信道輸出Y=X Z，接收器根據(jù)MAP基準(zhǔn)接收并確定決定函數(shù)。解決方案后概率密度為、當(dāng)；當(dāng)。當(dāng)時(shí)，有；有時(shí)，有；因此，判決函數(shù)在輸入7.2，(2)符號(hào)等時(shí)，最大似然標(biāo)準(zhǔn)等于最大后概率標(biāo)準(zhǔn)。示例7.2.1(續(xù))接收器作為ML準(zhǔn)則接收，以確定判決函數(shù)。解析似然函數(shù)可以獲得與MAP相同的結(jié)果，以創(chuàng)建類似于MAP判決的情況。這是由于輸入通道等的概率而預(yù)期的。但是，MAP和ML決定函數(shù)和平均錯(cuò)誤率通常在通道輸入概率不相等時(shí)不同，MAP標(biāo)準(zhǔn)是將平均錯(cuò)誤率降至最低。

7、在給定、信道輸入概率和傳輸概率矩陣的情況下，對(duì)于這兩個(gè)準(zhǔn)則，可以總結(jié)如下：MAP準(zhǔn)則將傳輸概率矩陣的每一行乘以p(x)，得到組合概率矩陣。對(duì)于每個(gè)列(相當(dāng)于Y固定)，查找與最大概率對(duì)應(yīng)的X作為確定結(jié)果。所有判決結(jié)果對(duì)應(yīng)的聯(lián)合概率之和是正確的概率，其他矩陣元素之和是錯(cuò)誤的概率。ML準(zhǔn)則為傳輸概率矩陣中的每列選擇與最大因素之一對(duì)應(yīng)的X作為確定結(jié)果。所有頻道輸出和相應(yīng)判決結(jié)果的聯(lián)合概率之和是平均準(zhǔn)確度，其他聯(lián)合概率之和是平均錯(cuò)誤率?；脽羝?，本節(jié)主要內(nèi)容：1。線性群組碼2。序列最大相似解碼3。有幾種類型的簡單組碼、7.3通道編碼和最佳解碼、7.3.1線性組碼和通道編碼。其中最重要的類是線性組碼，重復(fù)

8、符號(hào)。本節(jié)討論了使用簡單線性組碼的最優(yōu)解碼實(shí)現(xiàn)傳輸可靠性的方法。二進(jìn)制(n，k)線性組碼具有k個(gè)信息位，n-k個(gè)檢查位，根據(jù)特定的數(shù)學(xué)關(guān)系構(gòu)造總長度為n的代碼詞。比特率為k/n。線性組碼中的數(shù)據(jù)位是信息位的線性組合。如果代碼單詞開頭或結(jié)尾的K位是信息位，則稱為系統(tǒng)代碼；否則稱為鄭智薰系統(tǒng)代碼。(n，k)線性組碼具有代碼字?jǐn)?shù)。示例7。3.1查找二進(jìn)制(N，K)線性組碼的信息傳輸速率。解密(位/符號(hào))(7.3.1) R=k/n通常稱為比特率或編碼效率。1。設(shè)定一個(gè)距離，兩個(gè)二元碼字。其中全部取自符號(hào)0，1，定義它們的一個(gè)距離為(7.3.2)。其中模塊2加運(yùn)算。例如，代碼單詞和代碼單詞的漢明距離為6

9、。，輔助清理7.3.1 x，y，z是長度為n的二進(jìn)制矢量時(shí)，(1)d(x，y) 0(非負(fù))(2) d (x，z)；用于表示。(N，K)線性組碼的最小距離由(7.3.3)定義。其中表示代碼單詞之間的一個(gè)距離。，范例7 .3.2線性組碼C=00000，01010，10101，1111獲取該組碼的最小距離。解釋=W (01010)=2 7.3，為所有K選擇了滿足(7.3.5)時(shí)，將解碼函數(shù)稱為序列的最大相似解碼指令。其中表示與代碼單詞相對(duì)應(yīng)的消息。傳輸概率稱為似然函數(shù)?？梢钥s寫為ML解碼。(7.3.6)與單個(gè)符號(hào)情況一樣，在消息等幾乎不知道概率或概率的情況下，使用最大似然解碼指令。，這種解碼方法稱為

10、至少一人距離準(zhǔn)則。對(duì)于沒有定理7.3.1記憶的二進(jìn)制對(duì)稱信道(誤差概率1/2)，最大似然譯碼標(biāo)準(zhǔn)與最小漢明距離標(biāo)準(zhǔn)相同。，根據(jù)二進(jìn)制對(duì)稱通道的特性，包括：，首先介紹錯(cuò)誤向量的概念。將與代碼單詞長度相同的矢量E設(shè)置為錯(cuò)誤矢量。每個(gè)分量的值為0或1，發(fā)送和接收矢量分別設(shè)置為x和y。然后，接收向量可以表示為y=x e。如果e的組件為1，則表示代碼單詞的位錯(cuò)誤；如果為0，則表示代碼單詞的位傳輸正確。清理7.3.2最小距離為D的二進(jìn)制組碼為d 2t 1 (7.3.9)，示例7。3.3線性組碼C=00000，1111，是求該代碼最小距離的必要條件。這個(gè)組碼可以糾正幾個(gè)錯(cuò)誤嗎？解決方案=w(1111)=5 5=2 2 1，可以更正兩個(gè)錯(cuò)誤。7.3，7.3.3幾個(gè)簡單的組碼，1 .重復(fù)代碼重復(fù)代碼是最簡單的組碼之一，只有一個(gè)信息位，n-1奇偶校驗(yàn)位(信息位的簡單重復(fù))，比