1 熵與信息簡介 2 熵與信息簡介 一 信息 信息價(jià)值評估 1 信息 早年 信息 消息 現(xiàn)代 信息 五官所感受的一切 2 信息價(jià)值評估 質(zhì)的差別 人類所有的文化知識 量的不同 例如 有名的短詩與無味的小說的比較 3 對信息價(jià)值在質(zhì)的方面的評估有困難 超出自然科學(xué)的范圍 尚無為大家接受的客觀準(zhǔn)則 目前采用電報(bào)局的辦法 只計(jì)字?jǐn)?shù)不問內(nèi)容 當(dāng)代 信息論 的出發(fā)點(diǎn) 只在信息量的問題上下功夫 4 二 信息量與信息熵 1 信息量 信息需要載體 語言文字 音符 圖表 比較不同載體傳遞的信息量很困難 1948年信息論的創(chuàng)始人香農(nóng) Shannon 從概率的角度給出信息的定義 1 信息的獲得意味著在各種可能性中概率分布的集中 5 若只知某人住某樓 50間房 則在每間 房找到他的概率為多少 若又知某人住三樓 10間房 若又知某人住301室 則在301找到他的概 在三樓的每間房找到他的概率為多少 在其它樓層找到他的概率為多少 則 率為多少 在其它房找到他的概率為多少 例如 在不同信息下 要去某樓找某人 6 缺乏信息 情況不明 獲得了信息 情況進(jìn)一步明了 概率分布分散 概率分布集中 2 信息量的度量 1比特 bit 黑和白 有和無 二進(jìn)制的0和1 中作出判斷 在沒有信息的情況下 規(guī)定從兩種可能性中作出判斷所需信息量為 例如要在 是和否 的概率均為1 2 以上每種可能性出現(xiàn) 要作出判斷需1bit信息量 7 從4種可能性中作出判斷所需信息量為2bit 例如甲持一張撲克牌讓乙猜是什么花色的 對乙的提問甲只能回答 是 和 否 是黑桃嗎 正確問法 是桃嗎 所以 從4種可能性中作出判斷所需要的 是黑的嗎 信息量為2bit 為何不能這樣問 提問次數(shù)最少而能猜中的問法應(yīng)該如何 錯(cuò)誤問法 那么乙 8 從8種可能性中作出判斷所需信息量為3bit 從16種可能性中作出判斷所需信息量為4bit 從N種可能性中作出判斷所需信息量為 K 1 ln2 1 4427 或 作出判斷所需bit數(shù)越大 所缺信息量越多 9 例題 1 13個(gè)外觀相同的金幣 其中一個(gè)是假的 其余均相同 用一臺無砝碼天平 稱幾次可辯偽 可能情況26 最大信息熵 每稱一次可能情況3 每稱一次最大信息熵 需稱次數(shù) 解 10 例題 2 遺傳密碼問題 核酸 遺傳信息的攜帶者和傳遞者 11 2 信息熵 概率都相等 這時(shí)作出完全的判斷所需要的比特?cái)?shù)為 香農(nóng)稱此S為信息熵 它意味著信息量的缺損 1 在對N種可能性完全無知的情況下 只能假定每種可能性出現(xiàn)的概率P都為1 N 即P 1 N 記作 12 2 各可能性概率不等情況信息熵定義為 0 若Pi 1 N 則過渡到各可能性等概率的情況 明天有雨 這給了1bit的信息 明天有80 概率下雨 P1 0 8 有雨 P2 0 2 無雨 信息熵 例如天氣預(yù)報(bào) i 1 2 有兩種可能 13 這比全部確定所需信息 1bit 少0 722bit 該天氣預(yù)報(bào)所含信息量 I 1 S 0 278bit 明天有90 概率下雨 可算出 S 0 469 I 1 S 0 531bit 所以信息熵S的減少意味著信息量I的增加 在一個(gè)過程中 信息量的增量 I S 信息可轉(zhuǎn)化為負(fù)熵 信息的負(fù)熵原理 14 3 信息熵公式和玻爾茲曼熵公式 信息熵 K 1 ln2 1 4427 或 信息熵單位 bit 玻氏熵 k 1 38 10 23J K 玻氏熵單位 J K 兩者相比 1bit kln2 J K K k 15 1bit kln2 J K 的物理意義 的熵必定減少kln2 0 957 10 23 J K 這至少要消耗kTln2 0 693kT J 的能量 例如T 300K 則信息量存儲增加1bit 參考書 新概念物理教程 熱學(xué)