1、第四章貝葉斯分析Bayesean Analysis4.00引言一、決策策問題的的表格表表示損失矩矩陣對無觀察察(Noo-daata)問題 aa=可用表格格(損失矩矩陣)替代決決策樹來來描述決決策問題題的后果果(損失):()()()或()()()損失矩陣陣直觀、運(yùn)算方方便二、決策策原則通常，要要根據(jù)某某種原則則來選擇擇決策規(guī)規(guī)則，使結(jié)結(jié)果最優(yōu)優(yōu)(或滿意意)，這種種原則就就叫決策策原則，貝葉斯斯分析的的決策原原則是使使期望效效用極大大。本章章在介紹紹貝葉斯斯分析以以前先介介紹芙他他決策原原則。三、決策策問題的的分類：1.不確確定型(非確定定型)自然狀態(tài)態(tài)不確定定,且各種種狀態(tài)的的概率無無法估計(jì)計(jì).

2、2.風(fēng)險險型自然狀態(tài)態(tài)不確定定,但各種種狀態(tài)的的概率可可以估計(jì)計(jì).四、按狀狀態(tài)優(yōu)于于：I, 且至少少對某個個i嚴(yán)格不不等式成成立, 則稱行行動按狀狀態(tài)優(yōu)于于4.11 不不確定型型決策問問題一、極小小化極大大(waald)原則(法則、準(zhǔn)則) l ( , ) 或例:1087941921316121469810各行動最最大損失失: 113 166 122 14其中損失失最小的的損失對對應(yīng)于行行動.采用該原原則者極極端保守守, 是悲悲觀主義義者, 認(rèn)為老老天總跟跟自己作作對.二、極小小化極小小 l ( , ) 或或例:1087941921316121469810各行動最最小損失失: 4 11 7 2其

3、中損失失最小的的是行動動.采用該原原則者極極端冒險險，是樂樂觀主義義者，認(rèn)認(rèn)為總能能撞大運(yùn)運(yùn)。三、Huurwiitz準(zhǔn)準(zhǔn)則上兩法的的折衷，取樂觀觀系數(shù)入入 ll ( , )（1 l ( , )例如=0.55時 : 22 0.5 3.55 1 （1: 66.5 88 6 77兩者之和和： 8.5 88.5 99.5 8其中損失失最小的的是：行行動四、等概概率準(zhǔn)則則(Laaplaace)用來評價價行動的的優(yōu)劣選上例： : 33 334 36 355 其中中行動的的損失最最小五、后梅梅值極小小化極大大準(zhǔn)則(svaage-Nieehanns)定義后梅梅值=-其中為自自然狀態(tài)態(tài)為時采采取不同同行動時時的

4、最小小損失.構(gòu)成后梅梅值(機(jī)會成成本)矩陣 S= ,使后后梅值極極小化極極大,即:例:損失失矩陣同同上, 后梅值值矩陣為為: 3 11 0 2 3 00 8 1 1 44 0 2 0 33 2 4各種行動動的最大大后梅值值為: 3 4 88 4其中行動動a1 的最最大后梅梅值最小小,所以按按后梅值值極小化化極大準(zhǔn)準(zhǔn)則應(yīng)采采取行動動1.六、Krrellle準(zhǔn)則則：使損失是是效用的的負(fù)數(shù)(后果的的效用化化),再用用等概率率(Laaplaace)準(zhǔn)則.七、莫爾爾諾(MMolnnor)對理想想決策準(zhǔn)準(zhǔn)則的要要求(119544) 11.能把把方案或或行動排排居完全全序； 22.優(yōu)劣劣次序與與行動及及狀態(tài)

5、的的編號無無關(guān)； 33.若行行動按狀狀態(tài)優(yōu)于于，則應(yīng)應(yīng)有優(yōu)于于； 44.無關(guān)關(guān)方案獨(dú)獨(dú)立性：已經(jīng)考考慮過的的若干行行動的優(yōu)優(yōu)劣不因因增加新新的行動動而改變變； 55.在損損失矩陣陣的任一一行中各各元素加加同一常常數(shù)時，各行動動間的優(yōu)優(yōu)劣次序序不變； 66.在損損失矩陣陣中添加加一行，這一行行與原矩矩陣中的的某行相相同，則則各行動動的優(yōu)劣劣次序不不變。4.22 風(fēng)險險型決策策問題的的決策原原則一、最大大可能值值準(zhǔn)則令()=maax()選使 ll(,)=l(,)例：()0.276.560.53450.3410() 概率最最大, 各行動動損失為為 3 4 55應(yīng)選行行動二、貝葉葉斯原則則使期望損損失

6、極小?。?l( , ) () 上例中,各行動動的期望望損失分分別為 4.11 33.6 3.7, 對應(yīng)應(yīng)于的期期望損失失3.66最小應(yīng)選.三、貝努努利原則則損失函數(shù)數(shù)取后果果效用的的負(fù)值,再用Baayess原則求求最優(yōu)行行動.四、EV(均值值方差)準(zhǔn)則若且則則優(yōu)于通常不存存在這樣樣的上例中: EE 44.1 3.6 3.7 V() 22.299 33.799 55.9667不存在符符合EV準(zhǔn)則的的行動, 這時時可采用用f(,)的值來來判斷(為效益益型后果果的期望望)- f( ，)=-(+) f越越大越優(yōu)優(yōu).五、不完完全信息息情況下下的決策策原則(Hoddgess-Leehmaann原原則)狀態(tài)

7、概率率分布不不可靠時時, 可采采用:()= + i=1,22, ,mm j=11,2,n越大越越優(yōu).4.33貝葉斯斯定理一、條件件概率1.A、B為隨機(jī)機(jī)試驗(yàn)EE中的兩兩個事件件 PP(AB)=P(AAB)/P(BB)由全概率率公式: jj=1,2,n 是樣本本空間的的一個劃劃分, P(B)=P(BB|)PP()得Bayyes公公式 P(|B)=P(B|)P()/P(BB) = P(BB|)P()/P(BB|)PP()2. 對對,兩個隨隨機(jī)變量量條件概概率密度度 ff(| xx)=ff(x |)f()/ff(x) 在主觀觀概率論論中(| x)=f(x |)()/mm(x)其中：()是的先驗(yàn)驗(yàn)概率

8、密密度函數(shù)數(shù) ff(x)是出現(xiàn)時時，x的條件件概率密密度,又稱似似然函數(shù)數(shù). mm(x)是x的邊緣緣密度, 或稱稱預(yù)測密密度. m(xx)= f(xx |)() dd或p(xx|)()(x)是觀觀察值為為x的后驗(yàn)驗(yàn)概率密密度。例：A 壇中白白球300%黑球球70% B 壇中白白球700%黑球球30%兩壇外形形相同，從中任任取一壇壇，作放放回摸球球12次,其中白白球4次，黑黑球8次，求求所取為為A壇的概概率.解：設(shè)觀觀察值44白8黑事件件為x，記取取A壇為, 取B壇為在未作觀觀察時，先驗(yàn)概概率p()=pp()=0.55則在作觀觀察后，后驗(yàn)概概率 P(|x)=p(x|)p()p(xx|)pp()+

9、p(xx|)pp() =0.55(0.55+0.55) =() =00.2440100.24482 =00.9667顯然, 通過試試驗(yàn)、觀觀察、可可修正先先驗(yàn)分布布.4.44 貝葉葉斯分析析的正規(guī)規(guī)型與擴(kuò)擴(kuò)展型一、正規(guī)規(guī)型分析析由Bayyseaan原則則：先驗(yàn)驗(yàn)分布為為()時，最最優(yōu)的決決策規(guī)則則是貝葉葉斯規(guī)則則,使貝葉葉斯風(fēng)險險 r(, )= r(,(x)其中：rr(,(x)= R(,(x) = l(,(x) = ll(,(x) ff(x |)dxx() dd (1)據(jù)(1)式，選選使r(，)達(dá)到極極小，這這就是正正規(guī)型的的貝葉斯斯分析。在解實(shí)際際問題時時，求使使(1)式極小小的(x)往往十

10、十分困難難，尤其其在狀態(tài)態(tài)和觀察察值比較較復(fù)雜時時，集中的的策略數(shù)數(shù)目很大大，窮舉舉所有的的(x)有困難難，且計(jì)計(jì)算量頗頗大。實(shí)實(shí)際上可可用下法法：二、擴(kuò)展展型貝葉葉斯分析析(Exxtennsivve FFormm Annalyysiss)在(1)式中因因l(,)-，f(xx)，()均為有有限值。由Fuubinni定理理，積分分次序可可換即r(,(x)= l(,(x) ff(x |)dxx() dd = l(,(x) ff(x |)() dddx (22)顯然，要要使(22)式達(dá)達(dá)到極小小，應(yīng)當(dāng)當(dāng)對每個個xX，選擇擇，使l(,(x) ff(x |)() dd（2）為為極小(xx)=aa 若對給

11、給定的xx,選a，使l(,(x) ff(x |)() dd為極小小亦即，使l(,a) f(x |)() dd =ll(,aa) (|x) d或l(,aa)p(|x) (3) 達(dá)極小小，即可可使(11)式為為極小.結(jié)論：對每個xx，選擇擇行動aa，使之之對給定定x時的后驗(yàn)驗(yàn)分布(x)的期期望損失失為極小小，即可可求得貝貝葉斯規(guī)規(guī)則。這種方法法叫貝葉葉斯分析析的擴(kuò)展展型，由由此確定定的貝葉葉斯規(guī)則則叫foormaal BBayeeseaan RRuleeRaaifffa SSehllaiffer,19661年提提出。Notte使(33)式達(dá)達(dá)極小的的行動可可能不只只一個，即可能能有多個個貝葉斯斯規(guī)

12、則；擴(kuò)展型型比正規(guī)規(guī)型更直直觀，也也容易計(jì)計(jì)算，故故更常用用；許多分分析人員員只承認(rèn)認(rèn)擴(kuò)型，理由是是： i，(x)描述述了試驗(yàn)驗(yàn)后的的分布布，比()更客觀觀，因此此，只要要損失函函數(shù)是由由效用理理論導(dǎo)出出的(即考慮慮了DMMer的的價值判判斷、風(fēng)風(fēng)險偏好好)，在評評價行動動a的優(yōu)劣劣時就應(yīng)應(yīng)當(dāng)用后后驗(yàn)期望望損失。 iii, r(，)是根據(jù)據(jù)()求出的的，而用用先驗(yàn)分分布()來確定定行動aa并不一一定適當(dāng)當(dāng)。從根本上上講，這這種觀點(diǎn)點(diǎn)是正確確的。無論從從何種觀觀點(diǎn)來進(jìn)進(jìn)行貝葉葉斯分析析，從理理論上講講，結(jié)果果是一樣樣的，所所以采用用何種方方法可視視具體問問題，據(jù)據(jù)計(jì)算方方便而定定。已經(jīng)證證明，形

13、形式貝葉葉斯分析析對一類類非隨機(jī)機(jī)性決策策規(guī)則是是成立的的，也可可以證明明它對隨隨機(jī)性決決策規(guī)則則同樣成成立。使使所有xx上后驗(yàn)驗(yàn)期望損損失極小小的貝葉葉斯規(guī)則則也是隨隨機(jī)性規(guī)規(guī)則集*中的Baayess規(guī)則，因此，總可以以找到一一驗(yàn)期望望損失極極小的非非隨機(jī)性性規(guī)則。三、例(先看無無觀察問問題)農(nóng)民選擇擇作物問問題，設(shè)設(shè)某地旱旱年占60%，正常常年景占占40%; 種種植耐旱旱作物種不耐旱旱作物，后果矩矩陣為: 20 00 60 1000決策人的的效用函函數(shù) uu(y)=(11-)解：i令令：l(y)=1-uu(y) ii,作作決策樹樹：iii, 在無無觀察時時, RR=l, rr= ll(,a

14、a)() r(, )=l(,)()+ll(,)() =00.622 0.66+0.19 0.44 =00.4448 r(, )= l(,)()+ll(,)() =11.0 0.66+0 0.44 =00.6風(fēng)險r小小者優(yōu), =，是貝貝葉斯規(guī)規(guī)則, 即貝葉葉斯行動動.即應(yīng)選選擇耐旱旱作物。四、例(續(xù)上)設(shè)氣象預(yù)預(yù)報的準(zhǔn)準(zhǔn)確性是是0.88，即p(|)=00.8 p(|)=00.8其中，預(yù)預(yù)報干旱旱預(yù)報正常常年景則 m()=p(|)()+pp(|)() =00.8 0.66+0.2 0.44=0.56 m()=00.444(|)=p(|)()m() =00.8 0.660.556=00.866(|)

15、=p(|)()m() =00.2 0.660.444=00.277(|)=0.14(|)=0.73正規(guī)型分分析策略: = () =()r(, )=l (,()pp(|)()4-7 = l (,)p(|)()+ll (,)p(|)() + l (,)p(|)()+ll (,)p(|)() =0.6620.880.66+1.0 0.220.66+0.19 0.220.44+0.0 0.80.44 =0.443288策略: =() =() r(, )=l (, ()p(|)() = l (,)p(|)()+ll (,)p(|)() + l (,)p(|)()+ll (,)p(|)() = 00.62

16、20.220.66+1.00.880.66+0.190.88 0.4+00.00.88 0.4 =0.61552策略: = () =() r(, )=0.445策略：=（）=（） r(, )=0.66r(, ) r(, ) r(, ) r(, )是貝葉葉斯行動動。4822.擴(kuò)展展型之一一：據(jù)(2) : l(,(x) ff(x |)() dd記作r給定(預(yù)報干干旱):采用 r=l (,)p(|)() = ll (,)p(|)() + l (,)p(|)() = 00.6220.880.66+0.19 0.220.44 =0.31228采用 r= l (,)p(|)() + l (,)p(|)()

17、 =0.48風(fēng)險小小者優(yōu)給定應(yīng)選選給定(預(yù)報天天氣正常常)采用 rr= l (,)p(|)() + l (,)p(|)() =00.6220.220.66 + 0.119 0.8 0.4 =00.1335采用 rr= l (,)p(|)() + l (,)p(|)() =11.00.220.66 + 0 =00.122給定應(yīng)應(yīng)選由此得形形式Baayess規(guī)則: = () =() 3.擴(kuò)擴(kuò)展型之之二：據(jù)據(jù)(3)式即l(,aa) (|x) d或l(,aa)(|x)(記作作r”)給定, 采用 r”= ll(,)(|) = ll(,)(|) + l(,)(|) =0.62 0.886 + 0.19 0

18、.114 =0.56采用 r”= ll(,)(|) + l(,)(|) = 11.0 0.886 + 00 0.14 =0.86給定，應(yīng)選行行動.給定采用 rr”= l(,)(|) = l(,)(|) + l(,)(|) =0.662 0.227 + 0.19 0.773 = 0.30661 采用 rr”= l(,)(|) = l(,)(|) + l(,)(|) =1.00 0.227 + 0 0.773 =0.227給定應(yīng)應(yīng)選擇行行動.形式BBayees規(guī)則則: = () =()4.55 非正正常先驗(yàn)驗(yàn)與廣義義貝葉斯斯規(guī)則一、非正正常先驗(yàn)驗(yàn)(Immprooperr Prriorr)概率測度度

19、的三個個條件：i,規(guī)范范性：PP()=11ii,非非負(fù)性：0P(AA)1iii,可列可可加性在設(shè)定先先驗(yàn)分布布時，若若不滿足足規(guī)范性性，則稱稱為非正正常先驗(yàn)驗(yàn).二、廣義義貝葉斯斯規(guī)則(Geneerall Bayeeseaan RRulee)1.定義義：決策問題題的損失失函數(shù)為為l(,a)，()為非正正常先驗(yàn)驗(yàn)分布，對給定定的，使使i, ll(,(x) ff(x |)() dd為極小小，或者者ii, 0m(xx)時,使l(,aa) (|x) d為極小小的策略略(行動)，構(gòu)成成廣義貝貝葉斯規(guī)規(guī)則.2.Noole：在許多多重要場場合，所所有允許許的都是是GBRR在無法法得到正正常先驗(yàn)驗(yàn)時，除除此別無

20、無良策；GBRR不一定定是最好好的決策策規(guī)則4.66 一一種具有有部分先先驗(yàn)信息息的貝葉葉斯分析析法一、概述述1.思路路：在部部分先驗(yàn)驗(yàn)信息難難以唯一一地確定定()時，拋拋開唯一一性要求求，轉(zhuǎn)而而確定與與已知先先驗(yàn)信息相符符的先驗(yàn)驗(yàn)分布的的集。2.符號號i, 和A為有限限集：=, A=,損失矩陣陣L=l (,)ii,根根據(jù)貝葉葉斯分析析的擴(kuò)展展型給定x，應(yīng)從集集合A中選一一行動，使 q(a)= l (,aa) pp(|)() 為極極小,亦即= arrg qq(a) 或或 qq()q() j=1,22,m (4)則為貝葉葉斯行動動.記p(|)為(x) , () 為L=,=,則l (,a) p(|)()=Ldiiag(x) (4)式式可表示示成Ldiiag(x)Ldiiag(x) i=1,22, ,n (55) jj=1,2, ,m(5)式式即 (L-1L) ddiagg(xx) 0(5)記 (LL-1L) ddiagg(xx) 為D(x), 式(5)可表表示為:D(x) 0 (5”)3. (5”)式的含含義(1)給給定x，先驗(yàn)驗(yàn)分布為為時