1、關(guān)于兩個事件互相提供信息量的大?。?（1）直觀看，兩個事件在什么樣的情況下給對方提供的信息量最大。 （2）我們已經(jīng)事先知道D國和美國經(jīng)常唱反調(diào)，C國對美國態(tài)度保持中立，英國和美國關(guān)系很好，那么美國和某國E發(fā)生戰(zhàn)爭：I、對于英國在是否向某國E宣戰(zhàn)，是否提供信息量？ II、對于C國是否向某國E宣戰(zhàn)，是否提供信息量？III、對于D國是否向某國E宣戰(zhàn)，是否提供信息量？哪個提供的信息量大？提供的信息量是否有正負(fù)之分？ （3）經(jīng)常騙人的騙子是否給你提供有效的信息？ （4）已知發(fā)送信號錯誤率太高，比如二進制每bit的錯誤率超過了百分之五十，能否提供有效的信息？ （5）以下幾類人說 “狼來了”給我們提供的信息

2、量？我們已經(jīng)事先知道他是：A）誠實的人。B）經(jīng)常故意騙人，說反話的人。C）故意嚇唬人，閉著眼睛隨便亂說話的人，不管狼來不來都亂說。,學(xué)習(xí)得來終覺淺，絕知此事要自悟,信息壓縮的極限（與信息度量）,（1）假如對n個事件可以進行任意長度的編碼，則編碼的影響因素有哪些？當(dāng)希望編碼長度盡量短的時候應(yīng)該怎么辦。 （2）假如要告知對方某種情況，而告知的情況只是n中情況之一，是否可以采用約定的編號、暗號等進行通信，這個編號最小的取值范圍是多少？ （3）我們希望對消息進行編碼，以求編碼的平均長度最短，假如n種情況中，某一情況發(fā)生的可能性極大，概率達到99.9999999%，對于各種情況都采用相同長度的編碼表示，

3、是否存在浪費？ （4）一個山頭上的人S意欲將信息發(fā)布給對方山頭上的人R，雙方通過五色旗傳遞信息，雙方可以事先約定什么顏色代表什么信號，進而對應(yīng)什么樣的消息。雙方通過多次舉旗來傳遞信息，假如S只是想告訴R發(fā)生了n中情況之一，怎么樣可以讓舉起旗幟的次數(shù)最少，這個次數(shù)應(yīng)該是多少？這其中有哪些現(xiàn)實問題需要考慮？ （5）對上面問題進行簡化，考慮事件可能結(jié)果為等概率的情況，最初發(fā)生的概率均為p，則相應(yīng)的可能結(jié)果數(shù)為多少？等概率事件是否應(yīng)該進行等長度編碼？如果是，進而采用等長度的編碼，則編碼長度如何計算？,信息壓縮的極限（與信息度量）,（6）考慮事件可能結(jié)果不是等概率的情況，是否應(yīng)該進行等長度編碼？如果不是

4、，編碼的長度與事件的概率應(yīng)該呈什么樣的關(guān)系？ （7）我們希望編碼長度盡量的短，如果要求編碼可以還原為唯一的事件，請問是否無限制縮短編碼長度？ （8）如果不能無限縮短編碼長度，編碼的最短長度應(yīng)該受到什么樣的制約？ （9）假如我們認(rèn)為在一定的條件下可以編碼的編碼空間為1，以所有的編碼都不存在互相包含關(guān)系為例，即不存在某個編碼包含另外一個完整的編碼，假設(shè)n進制，長度為L的編碼會占用多少的編碼空間？,信息壓縮的極限（與信息度量）,（10）這種編碼的占用編碼空間特點是否可以類推到非異前綴編碼？ （11）考慮編碼空間為1，則編碼的各個碼字長度受到什么樣的制約？ （12）考慮香農(nóng)輔助定理，在以上制約的前提下

5、，理論上的平均編碼長度最短應(yīng)該是多少？（香農(nóng)輔助定理：離散無記憶信源輸出q個不同信息符號，當(dāng)且僅當(dāng)各個符號出現(xiàn)的概率相等的時候，信息熵最大。）對于任意n維概率矢量P=(p1,p2,pn)和Q=(q1,q2,qn)，下列不等式成立：,4. 限失真編碼問題,（1）如何對失真進行度量？ （2）限失真編碼的模型如何建立？以數(shù)字四舍五入為范例，建立數(shù)學(xué)模型。 （3）是否可以通過轉(zhuǎn)換將欲進行限失真壓縮的信源X轉(zhuǎn)變?yōu)閅，然后利用這種對應(yīng)關(guān)系進行編碼？ （4）考慮對長序列的信源X轉(zhuǎn)變?yōu)殚L序列Y會呈現(xiàn)什么樣的特征？ （5）考慮信源符號間的相關(guān)性是冗余度的成因，是否可以建立相關(guān)的方式（如函數(shù)）來表征這種相關(guān)性，從

6、而利于壓縮？,5. 信道編碼問題,（1）假設(shè)信源概率分布未知，一般會如何權(quán)宜地處理？ （2）假設(shè)n進制系統(tǒng)錯誤率超過1/n，比如二進制編碼的錯誤率超過0.5，是否可以進行一定的糾錯和檢錯？如果可以，如何進行？ （3） 監(jiān)督碼元和信息碼元在什么統(tǒng)計關(guān)系下，監(jiān)督碼元對信息碼元沒有如何監(jiān)督效果？ （4）一般不能保證錯誤率完全等于0，但是可以讓錯誤率減少，不能保證完全正確地糾錯的時候，這種情況下從概率統(tǒng)計的角度，糾錯編碼應(yīng)該如何權(quán)宜地處理？ （5）假設(shè)錯誤率小于1/n，則每一個監(jiān)督碼元監(jiān)督一位消息碼元，是否存在浪費？ （6）我們分別考慮一個小家庭的自我救濟和一個社會大家庭的內(nèi)部調(diào)節(jié)的救濟，問哪種救濟更

7、加有效。其中小家庭的救濟就是一個家里內(nèi)部積累一定的救濟經(jīng)費，平時不用，供各種災(zāi)難和風(fēng)險到來的時候自我救濟。而大家庭的救濟則是許多人將同樣比例的救濟經(jīng)費集中到一起，只有那些遇到災(zāi)難和風(fēng)險的人才能使用救濟經(jīng)費以克服當(dāng)前災(zāi)難。大家庭越大（乃至于無窮大），救濟的效果會有什么趨向？大家庭的救濟是否可以趨向于一個完全完美的救濟，使得每一個人活著，或者是說達到必要的基本生活水平，任何人發(fā)生風(fēng)險都可以幾乎按需領(lǐng)取相應(yīng)的救濟費用。請問是否存在一種相應(yīng)的救濟極限（考慮家庭可以趨向于無窮大）。,5. 信道編碼問題,（7）社會上的人可能犯罪，犯罪的人總是少數(shù)，少數(shù)警察也可能會被收買，當(dāng)警察采用一對一的監(jiān)督的時候，犯罪

8、的人總是少數(shù)，警察的監(jiān)督能力是否能夠得到充分利用？監(jiān)督的代價是否比較大，監(jiān)督的效果如何；考慮警察采用多對多的監(jiān)督方式，警察可以監(jiān)督多人，一個人受到多個警察的監(jiān)督，這樣的情況下，對于警察被收買，監(jiān)督無效是否具有更好的效果？罪犯買通多個警察的可能性是否會降低？當(dāng)監(jiān)督者可能犯錯誤的時候，采用什么樣的方法進行監(jiān)督才能最大限度糾正問題？ （8）糾錯編碼和社會救濟、警察監(jiān)督社會治安是否有相似之處？一個具體的收碼發(fā)生的錯誤的比例是隨機的，并不一定對于一個碼元發(fā)生錯誤的比例，但是一個具體的很長的序列發(fā)生錯誤的符號的比例（誤碼率），是否隨著序列長度的增加而以高概率趨向于錯誤的概率。 （9）假設(shè)錯誤率小于1/n，

9、是否可以認(rèn)為某些錯誤比例很高的收碼發(fā)生的概率是少數(shù)，在進行一定的組合后，比如考慮一個很長的序列，是否使得這些發(fā)生超過一定誤碼率的收碼的概率任意小。 （10）考慮分組碼，信源等概率分布的情形，當(dāng)誤碼率可以得到很好控制在一定量的時候，是否可能進行編碼以使得即使發(fā)生錯誤（錯誤控制在一定量），也可以區(qū)分到底發(fā)碼是哪個？如何區(qū)分到底發(fā)碼是哪一個？碼距與信道的錯誤率存在什么樣的關(guān)系時，在序列長度足夠大的時候，錯誤是可以糾正的？ （11）如何選擇編碼的碼字，使得在有干擾信道通信的時候，即使發(fā)生錯誤，也可以最有效區(qū)分發(fā)碼是什么？ （12）將幾個分組合并的時候，碼距具有累加的性質(zhì)，而相關(guān)的概率卻是乘積的關(guān)系，將

10、相同的分組合并的時候，概率依分組個數(shù)而呈現(xiàn)冪的關(guān)系，碼距則是乘積的關(guān)系，而對數(shù)恰好可以將冪降級為乘，將乘降級為加。這對于我們有什么啟示？,6. 如何進行加密編碼？,（1）什么是信息？密碼學(xué)中有時候需要提供信息，有時候不希望提供，怎么從信息論的角度實現(xiàn)？ （2）如何讓監(jiān)聽者不確定，而接受者確定？ （3）將密碼系統(tǒng)轉(zhuǎn)換為加密 ，解密 這樣的數(shù)學(xué)模型，從哪些角度可以增加監(jiān)聽者的不確定性？ （4）監(jiān)聽者可以利用哪些因素來確定明文和密鑰？ 根據(jù)信息論，如何避免監(jiān)聽者獲取關(guān)于明文和密鑰的信息？ （5）對于密碼系統(tǒng)的各種因素的制約、限制，或者這其中體現(xiàn)的某些規(guī)律性，對于破譯是有利還是有弊？ （6）當(dāng)理論上可

11、以確定時候，是否可以構(gòu)造在實際、或者是計算上不可確定明文（密鑰）的密碼體制，這種計算上不可確定應(yīng)該利用什么？ （7）給定一個單向的難題，比如 ，已知a，b求d很容易，而已知d，a求b很難。你可試圖怎么樣的方式利用類似的難題來設(shè)計公鑰密碼算法或其他密碼算法。,7. 在編碼、密碼算法、密碼協(xié)議中質(zhì)數(shù)（或者互質(zhì)）的身影無處不在，一個看起來似乎毫無用處的質(zhì)數(shù)，會有什么用途？,（1）質(zhì)數(shù)的定義是不可分解的，請問這樣的數(shù)我們是否容易通過正面的證明得出一些定理或結(jié)論？ （2）如果是不能，采用反證法應(yīng)該利用什么性質(zhì)，反證法一般要有意識地推導(dǎo)出什么樣的矛盾？ （3）這種證明方式可能應(yīng)用于哪些領(lǐng)域？,8. 在編碼中經(jīng)常會遇到取模，分析其用途和限制,（1）取模對于編碼有什么優(yōu)點？ （2）取模會給編碼譯碼帶來什么樣的問題？ （3）存在取模時，如何能夠保證既能編碼，又能譯碼？在什么樣的情況下，取模會導(dǎo)致譯碼出現(xiàn)歧義，如