1、第6章 統(tǒng)計(jì)決策與貝葉斯推斷,理學(xué)院應(yīng)用數(shù)學(xué)系 戴芳,在數(shù)理統(tǒng)計(jì)學(xué)中存在兩大學(xué)派：,經(jīng)典學(xué)派、頻率學(xué)派或抽樣學(xué)派 貝葉斯學(xué)派：貝葉斯統(tǒng)計(jì)，其核心是貝葉斯推斷,統(tǒng)計(jì)學(xué)家瓦爾德(A.Wald)把關(guān)于假設(shè)檢驗(yàn)和參數(shù)估計(jì)的經(jīng)典統(tǒng)計(jì)理論加以概括，將不確定意義下的決策科學(xué)也包括在統(tǒng)計(jì)學(xué)范圍之內(nèi)，于1939年創(chuàng)立了統(tǒng)計(jì)決策理論，該理論彌補(bǔ)了過(guò)去統(tǒng)計(jì)理論的缺陷。,統(tǒng)計(jì)決策的顯著特點(diǎn)是： 統(tǒng)計(jì)決策建立在統(tǒng)計(jì)分析和統(tǒng)計(jì)預(yù)測(cè)的基礎(chǔ) 上，是一種定量決策 。 統(tǒng)計(jì)決策是在不確定情況下，應(yīng)用概率來(lái)進(jìn)行決策的計(jì)算和分析，是一種概率決策。,6.1 統(tǒng)計(jì)決策,決策問(wèn)題的 三個(gè)基本要素,狀態(tài)集,行動(dòng)集 行動(dòng)空間,損失函數(shù),依統(tǒng)計(jì)

2、決策論的觀(guān)點(diǎn)，對(duì)決策有用的信息,先驗(yàn)信息,樣本信息,決策問(wèn)題的分類(lèi),無(wú)數(shù)據(jù) （無(wú)樣本信息） 決策問(wèn)題,統(tǒng)計(jì)決策問(wèn)題,貝葉斯 決策問(wèn)題,一、基本概念,1、損失函數(shù),描述當(dāng)未知量處于狀態(tài) 而采取行動(dòng) 時(shí)所引起的損失，記為,線(xiàn)性損失函數(shù),一、基本概念,2、決策函數(shù),由樣本空間 到行動(dòng)空間 的可測(cè)映射 稱(chēng)為決策函數(shù)。,3、風(fēng)險(xiǎn)函數(shù),稱(chēng)為決策函數(shù) 的風(fēng)險(xiǎn)函數(shù)。,設(shè) 是一個(gè)決策函數(shù)，則損失函數(shù) 關(guān)于樣本分布 的數(shù)學(xué)期望,平均損失愈小，決策函數(shù)愈好。,風(fēng)險(xiǎn)函數(shù) 描述在未知量處于狀態(tài) 而采取決策 時(shí)所蒙受的平均損失。,二、常用的決策準(zhǔn)則,1、一致最優(yōu)決策準(zhǔn)則,則稱(chēng) 為決策函數(shù)類(lèi) 的一致最小風(fēng)險(xiǎn)決策函數(shù)，或稱(chēng)為

3、一致最優(yōu)決策函數(shù)。,定義 設(shè) 表示定義在樣本空間 上取值于行 動(dòng)空間 的某一決策函數(shù)類(lèi)，若存在一個(gè)決 策函數(shù) ，使得對(duì)任意 ，都有,2、最小最大（Minimax）決策準(zhǔn)則,則稱(chēng) 為該統(tǒng)計(jì)決策問(wèn)題的最小最大決策函數(shù)，相應(yīng)的風(fēng)險(xiǎn)稱(chēng)為最小最大風(fēng)險(xiǎn)。,定義 對(duì)于一個(gè)統(tǒng)計(jì)決策問(wèn)題，設(shè) 表示定義 在樣本空間 上取值于行動(dòng)空間 的某一決策 函數(shù)類(lèi)。若有決策函數(shù) ，使得,3、貝葉斯決策準(zhǔn)則, 先驗(yàn)信息與先驗(yàn)分布,無(wú)論是在統(tǒng)計(jì)決策問(wèn)題還是在統(tǒng)計(jì)推斷問(wèn)題中總會(huì)包含未知量 。為了對(duì) 作統(tǒng)計(jì)決策或者作統(tǒng)計(jì)推斷，樣本信息是必不可少的，因?yàn)樗?的最新信息。除此之外，一些非樣本信息也可用于統(tǒng)計(jì)決策和統(tǒng)計(jì)推斷。這些非樣本

4、信息主要來(lái)源于經(jīng)驗(yàn)或歷史資料。由于此類(lèi)經(jīng)驗(yàn)或歷史資料大多存在于（獲取樣本的）試驗(yàn)之前，故稱(chēng)這些非樣本信息為先驗(yàn)信息。,統(tǒng)計(jì)學(xué)中有兩個(gè)主要學(xué)派：經(jīng)典（頻率）學(xué)派與貝葉斯學(xué)派。經(jīng)典學(xué)派認(rèn)為 是未知參數(shù)；貝葉斯學(xué)派認(rèn)為 是隨機(jī)變量，應(yīng)該用一個(gè)概率分布去描述 的未知狀況。這個(gè)概率分布在抽樣之前就已存在，它是關(guān)于 的先驗(yàn)信息的概率陳述。這個(gè)概率分布就稱(chēng)為先驗(yàn)分布，用 來(lái)表示。, 貝葉斯公式與后驗(yàn)分布,稱(chēng) 為 的后驗(yàn)分布。,先驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則與后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則,定義1： 在給定的統(tǒng)計(jì)決策問(wèn)題中，設(shè) 為決策函數(shù) 的風(fēng)險(xiǎn)函數(shù)， 為 的先驗(yàn)分布，則平均風(fēng)險(xiǎn),稱(chēng)為決策 的貝葉斯風(fēng)險(xiǎn)。若在決策函數(shù)類(lèi) 中存在 ，使得,則稱(chēng) 為

5、決策函數(shù)類(lèi) 在貝葉斯（先驗(yàn)）風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，簡(jiǎn)稱(chēng)貝葉斯決策函數(shù)或貝葉斯解。,定義2： 在給定的統(tǒng)計(jì)決策問(wèn)題中，設(shè) 為決策函數(shù) 的損失函數(shù)， 為 的后驗(yàn)分布，則條件期望風(fēng)險(xiǎn),稱(chēng)為決策函數(shù) 的貝葉斯后驗(yàn)風(fēng)險(xiǎn)。若在決策函數(shù)類(lèi) 中存在 ，使得,則稱(chēng) 為決策函數(shù)類(lèi) 在貝葉斯后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)，或稱(chēng)其為貝葉斯后驗(yàn)型決策函數(shù)。,例6.1 一位收藏家擬收購(gòu)一幅名畫(huà)，這幅畫(huà)標(biāo)價(jià)為5000元。若這幅畫(huà)是真品，則值10000元；若是贗品，則一文不值。此外，買(mǎi)下一幅假畫(huà)或者沒(méi)有買(mǎi)下一幅真畫(huà)都會(huì)損害這位收藏家的名譽(yù)，其收益情況如下表,現(xiàn)在，這位收藏家需要決定是買(mǎi)還是不買(mǎi)這幅畫(huà)？,(1) 如果收藏家有

6、以下三種決策可供選擇： ：以概率0.5買(mǎi)下這幅畫(huà)； ：請(qǐng)一位鑒賞家進(jìn)行鑒定（已知該鑒賞家以概率0.95 識(shí)別一幅真畫(huà)，以概率0.7識(shí)別一幅假畫(huà)），如果鑒賞家鑒定為真品就買(mǎi)下這幅畫(huà)； ：肯定不買(mǎi) 那么，什么是這位收藏家的最小最大決策？,（2）如果根據(jù)賣(mài)畫(huà)者以往的資料得知， 發(fā)生的概率為0.75， 發(fā)生的概率為0.25，那么這位收藏家是否應(yīng)買(mǎi)下這幅畫(huà)呢？,（3）在（2）的條件下，這位收藏家為穩(wěn)妥起見(jiàn)，聘請(qǐng)一位鑒賞家做鑒定。已知鑒賞家以概率0.95識(shí)別一幅真畫(huà)，以概率0.7識(shí)別一幅假畫(huà)。如果鑒賞家說(shuō)這幅畫(huà)是真品，那么這位收藏家是否應(yīng)買(mǎi)下這幅畫(huà)呢？,這是一個(gè)決策問(wèn)題，狀態(tài)集 ， 為真品， 為贗品,行動(dòng)

7、集 表示“買(mǎi)”， 表示“不買(mǎi)”， 損失函數(shù) 用矩陣可表示為,統(tǒng)計(jì)決策中所說(shuō)的損失可以理解為“該賺到而沒(méi)有賺到的 錢(qián)”，“不該虧而虧損的錢(qián)”或者“不該支付而支付的錢(qián)”。,解：（1）對(duì) ，,對(duì) ，,對(duì) ，,計(jì)算結(jié)果表明，收藏家的最小最大決策為 ，即如果鑒賞家鑒定為真品就買(mǎi)下這幅畫(huà)，這一決策的最小最大風(fēng)險(xiǎn)為1800元。,(3) 引入隨機(jī)變量,由題意知：,的先驗(yàn)分布 為 ， 由貝葉斯公式可得 的后驗(yàn)分布,這樣樣本空間 ，行動(dòng)空間 ，所以決策函數(shù)只有以下4個(gè),這樣本值 時(shí)，這些決策函數(shù)的貝葉斯后驗(yàn)風(fēng)險(xiǎn)分別是：,在 時(shí)，這些決策函數(shù)的貝葉斯后風(fēng)險(xiǎn)分別是：,可見(jiàn)在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下， 是最優(yōu)決策函數(shù)，換言之，

8、當(dāng)鑒定家說(shuō)這幅畫(huà)是真品時(shí)，這位收藏家應(yīng)買(mǎi)下這幅畫(huà)。 下面計(jì)算（3）中那些決策函數(shù)的貝葉斯風(fēng)險(xiǎn)， 先算 的邊緣分布：,從而，,由此可見(jiàn)，在貝葉斯風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)仍是 ，在兩種不同風(fēng)險(xiǎn)準(zhǔn)則下得出相同的最優(yōu)決策函數(shù)，其理論依據(jù)是定理6.1.1.,定理6.1.1 對(duì)給定的統(tǒng)計(jì)決策問(wèn)題（含給定的先驗(yàn)分布）和決策函數(shù)類(lèi) ，若貝葉斯風(fēng)險(xiǎn)滿(mǎn)足條件,則貝葉斯決策函數(shù) 與貝葉斯后驗(yàn)型決策函數(shù) 等價(jià)。,6.2 貝葉斯推斷,在經(jīng)典統(tǒng)計(jì)學(xué)中，總體 的分布函數(shù)用 表示，,其中 表示未知參數(shù)， 表示參數(shù)空間。,改寫(xiě)為,定義6.1 若函數(shù) 和 相比僅差一個(gè)常數(shù)因子，則稱(chēng) 為 的核，記為,例如,貝葉斯學(xué)派認(rèn)為， 的后驗(yàn)

9、分布 集先驗(yàn)信息和樣本信息于一身，包含了 的所有可供利用的信息，所以有關(guān) 的點(diǎn)估計(jì)，區(qū)間估計(jì)和假設(shè)檢驗(yàn)等統(tǒng)計(jì)推斷都要基于后驗(yàn)分布來(lái)進(jìn)行。,樣本分布 其中 為總體 的條件概率密度。,一、貝葉斯估計(jì),1、點(diǎn)估計(jì),貝葉斯估計(jì)量就是貝葉斯決策函數(shù)（貝葉斯解）,則稱(chēng) 為 的貝葉斯估計(jì)量,定理 若損失函數(shù)為 ，且 ， 則 的貝葉斯估計(jì)為,其中 為 的后驗(yàn)概率密度。,注：由定理可知，當(dāng)使用平方損失函數(shù) 時(shí)， 的貝葉斯估計(jì)為 （或 ），即 的后驗(yàn)分布的期望，故稱(chēng)這種估計(jì)為后驗(yàn)期望 估計(jì)。,例1 設(shè)總體 的分布為 ，其中未知量 為隨機(jī)變量，且 ， 為來(lái)自 總體 的樣本值，求 的貝葉斯估計(jì)。,解： 因?yàn)?的后驗(yàn)概

10、率密度的核是,所以， 的貝葉斯估計(jì)為,可見(jiàn)，在樣本 的條件下， 的條件分布為,條件（1）、（2）表明，D集中了后驗(yàn)概率密度取值盡可能大的點(diǎn)，因此 的最大后驗(yàn)密度可信區(qū)間就是在同一可信概率下長(zhǎng)度最短的區(qū)間。,2、區(qū)間估計(jì),定義 設(shè)參數(shù) 的后驗(yàn)分布為 ，對(duì)給定的樣本 和概率 ，若存在區(qū)域D滿(mǎn)足下列條件：,（1）,例2 設(shè) 為來(lái)自正態(tài)分布 的樣本，其中 已知。又設(shè) 的先驗(yàn)分布為正態(tài)分布 ， 其中 為已知，求 的 可信區(qū)間。,解：因?yàn)?的后驗(yàn)概率密度,其中,可見(jiàn) 是正態(tài)分布 ，因此對(duì)給定的 ，查得標(biāo)準(zhǔn)正態(tài)分布 的上側(cè)分位數(shù) ，使,于是， 的 最大后驗(yàn)可信區(qū)間是 。,利用后驗(yàn)分布 ，分別計(jì)算假設(shè) 與 的

11、后驗(yàn)概率。,3、貝葉斯假設(shè)檢驗(yàn),當(dāng)后驗(yàn)概率比 時(shí)接受 ；當(dāng) 時(shí)拒絕 ；當(dāng) 時(shí)，則不宜匆忙做判斷，需進(jìn)一步抽樣或搜集更多的先驗(yàn)信息。,例3 設(shè)從正態(tài)總體 中隨機(jī)地抽取了一個(gè)容量為10的樣本 ，算得樣本均值 ，又設(shè) 的先驗(yàn)分布為正態(tài)分布 ，現(xiàn)在檢驗(yàn)如下假設(shè),解 由例2可知， 的后驗(yàn)分布仍為正態(tài)分布，且,其中,因而假設(shè) 與 的后驗(yàn)概率分別為,兩后驗(yàn)概率之比,故拒絕 ，即認(rèn)為正態(tài)均值大于1。,貝葉斯檢驗(yàn)的特點(diǎn)：,（1）簡(jiǎn)單易行，無(wú)需選擇檢驗(yàn)統(tǒng)計(jì)量，確定抽樣分布； （2）無(wú)需事先給定顯著水平，確定檢驗(yàn)問(wèn)題的拒絕域； （3）容易推廣到多重假設(shè)檢驗(yàn)場(chǎng)合。,二、先驗(yàn)分布的選取,從前面的介紹可以看到，貝葉斯推斷是基于后驗(yàn)分布的推斷，而根據(jù)貝葉斯公式，后驗(yàn)分布又有賴(lài)于先驗(yàn)分布的選取，選擇不同的分布作為 的先驗(yàn)分布將會(huì)影響 的后驗(yàn)分布，從而將影響到貝葉斯推斷的結(jié)果，所以先驗(yàn)分布的選取對(duì)于貝葉斯推斷是至關(guān)重要的。,1、貝葉斯假設(shè),貝葉斯學(xué)派認(rèn)為，如果沒(méi)有以往的任何信息來(lái)確定未知量 的先驗(yàn)分布，那么就用均勻分布作為它的先驗(yàn)分布，這種確定先驗(yàn)分布的原則稱(chēng)為貝葉斯假設(shè)。按此原則選取的先驗(yàn)分布也稱(chēng)為無(wú)信息先驗(yàn)分布。,2、共軛先驗(yàn)分布,后驗(yàn)分布在貝葉斯推斷中起著重要作用，但有時(shí)計(jì)算后驗(yàn)分布是一件比較復(fù)雜的事情。為了能夠