信息論基礎B

第1章緒論任課老師：博士信息與信息工程學院江蘇省圖像處理與圖像通信重點實驗室

1信息論基礎B

第1章緒論任課老師：博士1任課老師相關情況干(gan)

單位：通信與信息工程學院江蘇省圖像處理與圖像通信實驗室聯(lián)系方式：手機號碼，請課后索取

email:ganzl@

辦公室：三牌樓校區(qū)科技樓13062任課老師相關情況干(gan)2任課老師相關情況研究方向：（1）在無線通信中的視頻通信，圖像前后處理；（2）圖像超分辨率重建；（3）人臉追蹤，鑒別，識別3任課老師相關情況研究方向：34Mywork4Mywork上課要求保持課堂安靜，如果有能力者，可以書面提出申請不聽課，允許不上課，可以參加考試；期末成績70％+平時作業(yè)（15％）、上課（15％）；不交一次作業(yè)，扣3分，（從未交作業(yè)的同學，只有4分）每章結束交一次作業(yè)；隨機點名3次，不到者一次平時成績扣6分，（3次不到的同學，只有2分）5上課要求保持課堂安靜，如果有能力者，可以書面提出申請不聽課上課時間、地點：

答疑課間答疑、用email提問：本人盡自己所能，幫助大家學好信息論。

每章上完之后，給大家提供電子版的PPT

當然，最好的復習資料是參考書。星期五教2－3056注意!上課時間、地點：星期五教2－3056注意!課程資源教材：曹雪虹，張宗橙，《信息論與編碼》參考書：

《信息理論基礎》周蔭清北航出版社

ElementsofInformationTheory,byT.M.Cover（英，中均可）7課程資源教材：曹雪虹，張宗橙，《信息論與編碼》7校內(nèi)課程網(wǎng)絡資源/xxl/index.htm8校內(nèi)課程網(wǎng)絡資源http://www.cw.njupt.ed國外網(wǎng)絡資源91、

/OcwWeb/Electrical-Engineering-and-C

omputer-Science/6-050JInformation-and-EntropySpring2003/

CourseHome/index.htm2、/~roweis/csc310/3、http://www.cs.utoronto.ca/~radford/csc310.S04/index.html4、/class/ee477/5、/~vandam/teaching/S06_CS225/

/%7Ecrypto/java/ENTROPY/Shannon'sExperimenttoCalculatetheEntropyofEnglish國外網(wǎng)絡資源9《信息論與編碼》與其它課程的關系10信息論是其它通信相關課程的數(shù)學理論基礎；信息論是信息科學和技術的基本理論,信息科學

大廈的地基;

沒有信息論的基礎，從事通信與信息領域的研究

和創(chuàng)新是不可能的事情；本人還認為：信息論可以幫助大家梳理上學期《通信原理》的相關知識點，對考研的同學有用；信息論相當多的知識點用到概率論，可以幫助大家復習概率論，對考研的同學有用；信息論可以讓大家對通信增加必要理解的同時，拿到必要的學分?！缎畔⒄撆c編碼》與其它課程的關系10本人還認為：國內(nèi)和國外的通信狀況11兩億公里的火星國內(nèi)和國外的通信狀況11兩億公里的火星§1.1信息論的形成和發(fā)展12信息論的檢索情況§1.1信息論的形成和發(fā)展12信息論的檢索情況§1.1信息論的形成和發(fā)展13信息論創(chuàng)立的標志:香農(nóng)于1948年發(fā)表的論文：

——AMathematicalTheoryofCommunication

（通信的數(shù)學理論）§1.1信息論的形成和發(fā)展13信息論創(chuàng)立的標志:香農(nóng)于19香農(nóng)的簡歷14ClaudeElwoodShannon:April30,1916-February24,2001

1938年香農(nóng)在MIT獲得電氣工程碩士學位，碩士論文題目是《ASymbolicAnalysisofRelayandSwitchingCircuits》(繼電器與開關電路的符號分析)。哈佛大學的HowardGardner教授說，“這可能是本世紀最重要、最著名的一篇碩士論文?！?/p>

1940年香農(nóng)在MIT獲得數(shù)學博士學位，而他的博士論文卻是關于人類遺傳學的，題目是《AnAlgebraforTheoreticalGenetics》(理論遺傳學的代數(shù)學)。

1941年香農(nóng)以數(shù)學研究員的身份進入新澤西州的AT&T貝爾電話公司

1948年香農(nóng)在BellSystemTechnicalJournal上發(fā)表了《AMathematicalTheoryofCommunication》。

1949年香農(nóng)發(fā)表了另外一篇重要論文《CommunicationTheoryofSecrecySystems》(保密系統(tǒng)的通信理論)。香農(nóng)的簡歷14ClaudeElwoodShannon:香農(nóng)的簡歷15ClaudeElwoodShannon:April30,1916-February24,2001Don’tthrowawayinformationthatcouldbeusefultoyou.—ClaudeShannon香農(nóng)的簡歷15ClaudeElwoodShannon:什么是信息論？16組成客觀世界的三大基本要素：物質(zhì)能量信息沒有物質(zhì)什么都不存在，沒有能量什么都不會發(fā)生，沒有信息什么都沒有意義。

——美國學者歐廷格Shannon用概率的方法對語言做近似的表述，研究的結果是有限的。什么是信息論？16組成客觀世界的三大基本要素：什么是信息論？17信息的通俗概念：消息就是信息。用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來，就成為消息。消息中包含信息，消息是信息的載體。

什么是信息論？17信息的通俗概念：消息就是信息。用文字、什么是信息論？18廣義的信息論什么是信息論？18廣義的信息論什么是信息論？狹義信息論—通信信息論19香農(nóng)信息：信息是對事物運動狀態(tài)或存在方式的不確定性的描述。通信的基本問題是在一點精確或近似恢復另一點（信源）所選擇的消息?！戕r(nóng)通信的過程就是消除不確定性的過程。什么是信息論？狹義信息論—通信信息論19香農(nóng)信息：信息是對事信息論的發(fā)展過程1924年，HNyquist，電報信號傳輸中脈沖速率與帶寬的聯(lián)系1928年，RVHartley,引入非統(tǒng)計信息量(用隨機事件樣本空間中元素的個數(shù)的對數(shù)值衡量)1930年，維納將傅立葉分析方法全面引入隨機信號的研究中1936年，EHArmstrong，帶寬與抗干擾能力(提出頻率調(diào)制)40年代初，NWiener,“控制論”20信息論的發(fā)展過程20信息論的發(fā)展過程(cont.)1948年，Shannon,發(fā)表論文“Amathematicaltheoryofcommunications”1952年，Huffman編碼1954年，P.Elias提出了卷積碼1959年，Shannon,限失真信源壓縮編碼理論，“Codingtheoremforadiscretesourcewithafidelitycriterion”1961年，Shannon,“雙路通信信道”，多用戶理論1963年，P.Elias提出了算術編碼1972年，Cover,廣播信道1982年，Ungerboeck提出網(wǎng)格編碼調(diào)制1993年，Turbo碼的性能非常接近理論極限21信息論的發(fā)展過程(cont.)211.2通信系統(tǒng)的模型221.2通信系統(tǒng)的模型22“通信的基本問題就是在一點重新準確地或近似地再現(xiàn)另一點所選擇的消息”。通信系統(tǒng)三項性能指標：傳輸?shù)挠行?Efficiency)

傳輸?shù)目煽啃?Reliability)

傳輸?shù)陌踩?3“通信的基本問題就是在一點重新準確地或近似地再現(xiàn)另一點所選擇通信系統(tǒng)模型:24信源信宿編碼器譯碼器信道噪聲消息信號消息信號加噪聲通信系統(tǒng)模型:24信源信宿編碼器譯碼器信道噪聲消息信號消息信通信系統(tǒng)模型方框圖:25通信系統(tǒng)模型方框圖:25信源產(chǎn)生消息的源，消息可以是文字，語言，圖像?？梢噪x散，可以連續(xù)。隨機發(fā)生。研究的主要問題是消息的統(tǒng)計特性和產(chǎn)生信息的速率。信源編碼器對信源輸出進行變換，求得有效性；加密/解密安全性密鑰26信源26信道編碼器提高抗干擾性，求得可靠性；信道中心問題是研究信道的統(tǒng)計特性和傳信能力，即信道容量。譯碼器信宿信息的接收者27信道編碼器27對上述問題的研究，香農(nóng)得到了三個定理無失真信源編碼定理（第一極限定理）信道編碼定理（第二極限定理）限失真信源編定理（第三極限定理）

28對一個信源輸出的數(shù)據(jù)進行數(shù)據(jù)壓縮時，壓縮率的極限值是多少？通過一個有噪聲的信道能夠以多大的速率可靠地傳輸數(shù)據(jù)？當速率受限時，我們表示一個對象能夠實現(xiàn)多大的精度？對上述問題的研究，香農(nóng)得到了三個定理28對一個信源輸出的數(shù)據(jù)信息論的研究內(nèi)容信息論要回答的一些最基本的理論問題：什么是信息？如何度量？在給定的信道中，信息傳輸有沒有極限？信息能否被壓縮和恢復？極限條件是什么？從實際環(huán)境中（如干擾、噪聲）抽取信息，極限條件是什么？在允許一定失真（Distortion）的條件下，信息能否被更大程度地壓縮？極限條件是什么？設計什么樣的系統(tǒng)才能達到上述極限？現(xiàn)實中，接近極限的設備是否存在？信息論的成功就在于首先對這些問題給出了明確的回答，這就是信息量、信道容量、熵（Entropy）、信息率失真函數(shù)、Shannon的三個定理和Shannon公式等。29信息論的研究內(nèi)容信息論要回答的一些最基本的理論問題：29狹義信息論體系結構30Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡信息理論糾錯碼編碼調(diào)制理論網(wǎng)絡最佳碼狹義信息論體系結構30Shannon信息論壓縮理論有失真編碼

efficient:文本

representeverysymbolwith8bit

1book:8*(500pages)*1000symbols=4Mbit1bookcompressionpossibleto1Mbit(1:4)

31

efficient:文本 31

efficient:語音

samplingspeed8000samples/sec;accuracy8bits/sample;speed64kBit/s;?45minuteslecture=45*60*64k=180Mbit45books?

compressionpossibleto4.8kBit/s(1:10)

32

efficient:語音

32

efficient:CDmusic

samplingspeed44.1ksamples/sec;accuracy16bits/sample ? storagecapacityforonehourstereo:5Gbit1250books compressionpossibleto4bits/sample(1:4)

33

efficient:CDmusic33

efficient:digitalpictures

300x400pixelsx3colorsx8bit/sample

?

2.9Mbit/picture;for25images/secondweneed75Mb/s 2hourpicturesneed540Gbit130,000books ?

compressionneeded(1:100)34

efficient:digitalpictures3

efficient:summarytext: 1bookstorage:=4Mbit1bookspeech: 45minuteslecture=45*60*64k=180Mbit45books

CDmusic: ?storagecapacityforonehourstereo:5Gbit1250books

digitalpictures:

?2hourpicturesneed540Gbit130,000books

35

efficient:summarytext: 35Morse36Morse36efficient:應用37文本: Zip;etc.音樂: MP3圖像: JPEG,MPEGefficient:應用37文本: Zip;etcefficient:exampleJPEG38100090(58kbytes)50(21kbytes)10(8kbytes)bestquality,lowestcompressionworstquality,highestcompressionefficient:exampleJPEG381000Reliable:39Transmit0or1Receive0or1 0 0correct 0 1in-correct 1 1correct 1 0in-correctWhatcanwedoaboutit?Reliable:39TransmitReceive Reliable:2examples40TransmitA:=00B:=11Receive00or11OK01or10NOK1errordetected!A:=000B:=111000,001,010,100A111,110,101,011B1errorcorrected!Reliable:2examples40TransmitReliable:2examples41重復編碼Reliable:2examples41重復編碼42424343通信中的幾個常識誤碼率10-3誤碼率10-6誤碼率10-9誤碼率10-15–

對于誤碼率滿足誤碼率10-15，重復編碼需要多少次？6944通信中的幾個常識誤碼率10-344信息論的應用語音信號壓縮(G.711,GSM,Vocoder…)音頻信號壓縮(MP3)圖像信號的壓縮(JPEG,MPEG…)計算機文件的壓縮(gzip…)糾錯編碼(漢明碼、卷積碼、網(wǎng)格編碼等)通信(深空通信、Modem…)其他(信息經(jīng)濟學)45信息論的應用語音信號壓縮(G.711,GSM,Vocoder現(xiàn)在通信到了什么程度？手機到了山寨時代視頻播放開始普及46現(xiàn)在通信到了什么程度？手機到了山寨時代46通信發(fā)展的趨勢是什么？有線的通信是無限的；無線的通信是有限的。也是最困難的未來通信的趨勢是無線通信。解決途徑是信息論的手段。47通信發(fā)展的趨勢是什么？有線的通信是無限的；473G是歷史？483G是歷史？48如何充分利用香農(nóng)定理？49如何充分利用香農(nóng)定理？49通信還可以認為是什么？50通信還可以認為是什么？50本課程的目的掌握信息論的基本概念理解用隨機統(tǒng)計方法研究信息及其傳輸?shù)膶嵸|(zhì)了解用信息理論的相關知識解決實際問題技術的途徑和方法形成以信息的視角分析問題的能力了解信息論產(chǎn)生發(fā)展的過程，知其然與所以然51本課程的目的掌握信息論的基本概念51課程的主要內(nèi)容第一章緒論第二章信源與信息熵第三章信道與信道容量第四章信息率失真函數(shù)第五章無失真信源編碼第六章信道編碼第七章加密編碼52課程的主要內(nèi)容第一章緒論5253END53END信息論基礎B

第1章緒論任課老師：博士信息與信息工程學院江蘇省圖像處理與圖像通信重點實驗室

1信息論基礎B

第1章緒論任課老師：博士1任課老師相關情況干(gan)

單位：通信與信息工程學院江蘇省圖像處理與圖像通信實驗室聯(lián)系方式：手機號碼，請課后索取

email:ganzl@

辦公室：三牌樓校區(qū)科技樓13062任課老師相關情況干(gan)2任課老師相關情況研究方向：（1）在無線通信中的視頻通信，圖像前后處理；（2）圖像超分辨率重建；（3）人臉追蹤，鑒別，識別3任課老師相關情況研究方向：34Mywork4Mywork上課要求保持課堂安靜，如果有能力者，可以書面提出申請不聽課，允許不上課，可以參加考試；期末成績70％+平時作業(yè)（15％）、上課（15％）；不交一次作業(yè)，扣3分，（從未交作業(yè)的同學，只有4分）每章結束交一次作業(yè)；隨機點名3次，不到者一次平時成績扣6分，（3次不到的同學，只有2分）5上課要求保持課堂安靜，如果有能力者，可以書面提出申請不聽課上課時間、地點：

答疑課間答疑、用email提問：本人盡自己所能，幫助大家學好信息論。

每章上完之后，給大家提供電子版的PPT

當然，最好的復習資料是參考書。星期五教2－3056注意!上課時間、地點：星期五教2－3056注意!課程資源教材：曹雪虹，張宗橙，《信息論與編碼》參考書：

《信息理論基礎》周蔭清北航出版社

ElementsofInformationTheory,byT.M.Cover（英，中均可）7課程資源教材：曹雪虹，張宗橙，《信息論與編碼》7校內(nèi)課程網(wǎng)絡資源/xxl/index.htm8校內(nèi)課程網(wǎng)絡資源http://www.cw.njupt.ed國外網(wǎng)絡資源91、

/OcwWeb/Electrical-Engineering-and-C

omputer-Science/6-050JInformation-and-EntropySpring2003/

CourseHome/index.htm2、/~roweis/csc310/3、http://www.cs.utoronto.ca/~radford/csc310.S04/index.html4、/class/ee477/5、/~vandam/teaching/S06_CS225/

/%7Ecrypto/java/ENTROPY/Shannon'sExperimenttoCalculatetheEntropyofEnglish國外網(wǎng)絡資源9《信息論與編碼》與其它課程的關系10信息論是其它通信相關課程的數(shù)學理論基礎；信息論是信息科學和技術的基本理論,信息科學

大廈的地基;

沒有信息論的基礎，從事通信與信息領域的研究

和創(chuàng)新是不可能的事情；本人還認為：信息論可以幫助大家梳理上學期《通信原理》的相關知識點，對考研的同學有用；信息論相當多的知識點用到概率論，可以幫助大家復習概率論，對考研的同學有用；信息論可以讓大家對通信增加必要理解的同時，拿到必要的學分?！缎畔⒄撆c編碼》與其它課程的關系10本人還認為：國內(nèi)和國外的通信狀況11兩億公里的火星國內(nèi)和國外的通信狀況11兩億公里的火星§1.1信息論的形成和發(fā)展12信息論的檢索情況§1.1信息論的形成和發(fā)展12信息論的檢索情況§1.1信息論的形成和發(fā)展13信息論創(chuàng)立的標志:香農(nóng)于1948年發(fā)表的論文：

——AMathematicalTheoryofCommunication

（通信的數(shù)學理論）§1.1信息論的形成和發(fā)展13信息論創(chuàng)立的標志:香農(nóng)于19香農(nóng)的簡歷14ClaudeElwoodShannon:April30,1916-February24,2001

1938年香農(nóng)在MIT獲得電氣工程碩士學位，碩士論文題目是《ASymbolicAnalysisofRelayandSwitchingCircuits》(繼電器與開關電路的符號分析)。哈佛大學的HowardGardner教授說，“這可能是本世紀最重要、最著名的一篇碩士論文?！?/p>

1940年香農(nóng)在MIT獲得數(shù)學博士學位，而他的博士論文卻是關于人類遺傳學的，題目是《AnAlgebraforTheoreticalGenetics》(理論遺傳學的代數(shù)學)。

1941年香農(nóng)以數(shù)學研究員的身份進入新澤西州的AT&T貝爾電話公司

1948年香農(nóng)在BellSystemTechnicalJournal上發(fā)表了《AMathematicalTheoryofCommunication》。

1949年香農(nóng)發(fā)表了另外一篇重要論文《CommunicationTheoryofSecrecySystems》(保密系統(tǒng)的通信理論)。香農(nóng)的簡歷14ClaudeElwoodShannon:香農(nóng)的簡歷15ClaudeElwoodShannon:April30,1916-February24,2001Don’tthrowawayinformationthatcouldbeusefultoyou.—ClaudeShannon香農(nóng)的簡歷15ClaudeElwoodShannon:什么是信息論？16組成客觀世界的三大基本要素：物質(zhì)能量信息沒有物質(zhì)什么都不存在，沒有能量什么都不會發(fā)生，沒有信息什么都沒有意義。

——美國學者歐廷格Shannon用概率的方法對語言做近似的表述，研究的結果是有限的。什么是信息論？16組成客觀世界的三大基本要素：什么是信息論？17信息的通俗概念：消息就是信息。用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來，就成為消息。消息中包含信息，消息是信息的載體。

什么是信息論？17信息的通俗概念：消息就是信息。用文字、什么是信息論？18廣義的信息論什么是信息論？18廣義的信息論什么是信息論？狹義信息論—通信信息論19香農(nóng)信息：信息是對事物運動狀態(tài)或存在方式的不確定性的描述。通信的基本問題是在一點精確或近似恢復另一點（信源）所選擇的消息?！戕r(nóng)通信的過程就是消除不確定性的過程。什么是信息論？狹義信息論—通信信息論19香農(nóng)信息：信息是對事信息論的發(fā)展過程1924年，HNyquist，電報信號傳輸中脈沖速率與帶寬的聯(lián)系1928年，RVHartley,引入非統(tǒng)計信息量(用隨機事件樣本空間中元素的個數(shù)的對數(shù)值衡量)1930年，維納將傅立葉分析方法全面引入隨機信號的研究中1936年，EHArmstrong，帶寬與抗干擾能力(提出頻率調(diào)制)40年代初，NWiener,“控制論”20信息論的發(fā)展過程20信息論的發(fā)展過程(cont.)1948年，Shannon,發(fā)表論文“Amathematicaltheoryofcommunications”1952年，Huffman編碼1954年，P.Elias提出了卷積碼1959年，Shannon,限失真信源壓縮編碼理論，“Codingtheoremforadiscretesourcewithafidelitycriterion”1961年，Shannon,“雙路通信信道”，多用戶理論1963年，P.Elias提出了算術編碼1972年，Cover,廣播信道1982年，Ungerboeck提出網(wǎng)格編碼調(diào)制1993年，Turbo碼的性能非常接近理論極限21信息論的發(fā)展過程(cont.)211.2通信系統(tǒng)的模型221.2通信系統(tǒng)的模型22“通信的基本問題就是在一點重新準確地或近似地再現(xiàn)另一點所選擇的消息”。通信系統(tǒng)三項性能指標：傳輸?shù)挠行?Efficiency)

傳輸?shù)目煽啃?Reliability)

傳輸?shù)陌踩?3“通信的基本問題就是在一點重新準確地或近似地再現(xiàn)另一點所選擇通信系統(tǒng)模型:24信源信宿編碼器譯碼器信道噪聲消息信號消息信號加噪聲通信系統(tǒng)模型:24信源信宿編碼器譯碼器信道噪聲消息信號消息信通信系統(tǒng)模型方框圖:25通信系統(tǒng)模型方框圖:25信源產(chǎn)生消息的源，消息可以是文字，語言，圖像。可以離散，可以連續(xù)。隨機發(fā)生。研究的主要問題是消息的統(tǒng)計特性和產(chǎn)生信息的速率。信源編碼器對信源輸出進行變換，求得有效性；加密/解密安全性密鑰26信源26信道編碼器提高抗干擾性，求得可靠性；信道中心問題是研究信道的統(tǒng)計特性和傳信能力，即信道容量。譯碼器信宿信息的接收者27信道編碼器27對上述問題的研究，香農(nóng)得到了三個定理無失真信源編碼定理（第一極限定理）信道編碼定理（第二極限定理）限失真信源編定理（第三極限定理）

28對一個信源輸出的數(shù)據(jù)進行數(shù)據(jù)壓縮時，壓縮率的極限值是多少？通過一個有噪聲的信道能夠以多大的速率可靠地傳輸數(shù)據(jù)？當速率受限時，我們表示一個對象能夠實現(xiàn)多大的精度？對上述問題的研究，香農(nóng)得到了三個定理28對一個信源輸出的數(shù)據(jù)信息論的研究內(nèi)容信息論要回答的一些最基本的理論問題：什么是信息？如何度量？在給定的信道中，信息傳輸有沒有極限？信息能否被壓縮和恢復？極限條件是什么？從實際環(huán)境中（如干擾、噪聲）抽取信息，極限條件是什么？在允許一定失真（Distortion）的條件下，信息能否被更大程度地壓縮？極限條件是什么？設計什么樣的系統(tǒng)才能達到上述極限？現(xiàn)實中，接近極限的設備是否存在？信息論的成功就在于首先對這些問題給出了明確的回答，這就是信息量、信道容量、熵（Entropy）、信息率失真函數(shù)、Shannon的三個定理和Shannon公式等。29信息論的研究內(nèi)容信息論要回答的一些最基本的理論問題：29狹義信息論體系結構30Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡信息理論糾錯碼編碼調(diào)制理論網(wǎng)絡最佳碼狹義信息論體系結構30Shannon信息論壓縮理論有失真編碼

efficient:文本

representeverysymbolwith8bit

1book:8*(500pages)*1000symbols=4Mbit1bookcompressionpossibleto1Mbit(1:4)

31

efficient:文本 31

efficient:語音

samplingspeed8000samples/sec;accuracy8bits/sample;speed64kBit/s;?45minuteslecture=45*60*64k=180Mbit45books?

compressionpossibleto4.8kBit/s(1:10)

32

efficient:語音

32

efficient:CDmusic

samplingspeed44.1ksamples/sec;accuracy16bits/sample ? storagecapacityforonehourstereo:5Gbit1250books compressionpossibleto4bits/sample(1:4)

33

efficient:CDmusic33

efficient:digitalpictures

300x400pixelsx3colorsx8bit/sample

?

2.9Mbit/picture;for25images/secondweneed75Mb/s 2hourpicturesneed540Gbit130,000books ?

compressionneeded(1:100)34

efficient:digitalpictures3

efficient:summarytext: 1bookstorage:=4Mbit1bookspeech: 45minuteslecture=45*60*64k=180Mbit45books

CDmusic: ?storagecapacityforonehourstereo:5Gbit1250books

digitalpictures:

?2hourpicturesneed540Gbit130,000books

35

efficient:summarytext: 35Morse36Morse36effic