1、淺談貝葉斯方法隨著MCMC（馬爾可夫鏈蒙特卡爾理論Markov chain Monte Carlo）的深入研究，貝葉斯（T.Bayes(17021761)）統(tǒng)計已成為當(dāng)今國際統(tǒng)計科學(xué)研究的熱點。翻閱近幾年國內(nèi)外統(tǒng)計學(xué)方面的雜志，特別是美國統(tǒng)計學(xué)會的JASA(Journal of the American Statistical Association) 、英國皇家學(xué)會的統(tǒng)計雜志JRSS（Journal of the Royal Statistical Society）等，幾乎每期都有“貝葉斯統(tǒng)計”的論文。貝葉斯統(tǒng)計的應(yīng)用范圍很廣，如計算機科學(xué)中的“統(tǒng)計模式識別”、勘探專家所采用的概率推理、計量

2、經(jīng)濟中的貝葉斯推斷、經(jīng)濟理論中的貝葉斯模型等。托馬斯·貝葉斯在18世紀上半葉群雄爭霸的歐洲學(xué)術(shù)界可謂是個重要人物，他首先將歸納推理法應(yīng)用于概率論，并創(chuàng)立了貝葉斯統(tǒng)計理論，對于統(tǒng)計決策函數(shù)、統(tǒng)計推理、統(tǒng)計估算等作出了貢獻。貝葉斯所采用的許多概率術(shù)語被沿用至今。他的兩篇遺作于逝世前4個月，寄給好友普萊斯（R.Price,17231791）分別于1764年、1765年刊于英國皇家學(xué)會的哲學(xué)學(xué)報。正是在第一篇題為“機會學(xué)說中的一個問題的解”（An essay towards solving a problem in the doctrine of chance）的論文中，貝葉斯創(chuàng)立了逆概率思

3、想。統(tǒng)計學(xué)家巴納德贊譽其為“科學(xué)史上最著名的論文之一”。 一、第一部分中給出了7個定義。定義1 給定事件組，若其中一個事件發(fā)生，而其他事件不發(fā)生，則稱這些事件互不相容。定義2 若兩個事件不能同時發(fā)生，且每次試驗必有一個發(fā)生，則稱這些事件相互對立。定義3 若某事件未發(fā)生，而其對立事件發(fā)生，則稱該事件失敗。定義4 若某事件發(fā)生或失敗，則稱該事件確定。定義5 任何事件的概率等于其發(fā)生的期望價值與其發(fā)生所得到的價值之比 。定義6 機會與概率是同義詞。定義7 給定事件組，若當(dāng)其中任何一個事件發(fā)生時，其余事件的概率不變，則稱該事件組互相獨立。貝葉斯所給出的互不相容、相互獨立、對立事件的定義與現(xiàn)在的定義差別

4、無幾，他首次明確了機會與概率的等價性。同時貝葉斯也給出了一系列命題。二、貝葉斯統(tǒng)計的基本思想1. 三種信息拉普拉斯（Laplace，Pierre-Simon(17491827)）發(fā)現(xiàn)了貝葉斯統(tǒng)計的核心貝葉斯公式（又稱為逆概公式），進行了更清晰的闡述，并用它來解決天體力學(xué)、醫(yī)學(xué)統(tǒng)計以及法學(xué)問題。在介紹貝葉斯公式前，先簡單介紹一下三種信息：總體信息、樣本信息和先驗信息。1.1 總體信息：是人們對總體的了解，所帶來的有關(guān)信息，總體信息包括總體分布或者總體分布族的有關(guān)信息。例如：“總體屬于正態(tài)分布”、“它的密度函數(shù)是鐘型曲線”等等。1.2 樣本信息：是通過樣本而給我們提供的有關(guān)信息。這類“信息”是最具

5、價值和與實際聯(lián)系最緊密的信息。人們總是希望這類信息越多越好。樣本信息越多一般對總體推斷越準確?；谝陨蟽煞N信息所作出的統(tǒng)計推斷被稱為經(jīng)典統(tǒng)計。其特征主要是：把樣本數(shù)據(jù)看成是來自具有一定概率分布的總體，所研究的對象是總體，而不是立足與數(shù)據(jù)本身。1.3 先驗信息，即在抽樣之前有關(guān)統(tǒng)計問題的一些信息，一般說來，先驗信息主要來源于經(jīng)驗和歷史資料。先驗信息在日常生活中和工作中也經(jīng)?？梢?，不少人在自覺或不自覺的使用它，但經(jīng)典統(tǒng)計忽視了，對于統(tǒng)計推斷是一個損失?；谏鲜鋈N信息進行的推斷被稱為貝葉斯統(tǒng)計學(xué)。它與經(jīng)典統(tǒng)計學(xué)的主要區(qū)別在于是否利用先驗信息。在使用樣本信息上也是有差異的。2.貝葉斯統(tǒng)計的基本思想國

6、際數(shù)理統(tǒng)計主要有兩大學(xué)派：貝葉斯學(xué)派和經(jīng)典學(xué)派。他們之間既有共同點，又有不同點。貝葉斯統(tǒng)計與經(jīng)典統(tǒng)計學(xué)的最主要差別在于是否利用先驗信息，經(jīng)典統(tǒng)計學(xué)是基于總體信息（即總體分布或總體所屬分布族的信息）和樣本信息（即從總體抽取的樣本的信息）進行的統(tǒng)計推斷，而貝葉斯統(tǒng)計是基于總體信息、樣本信息和先驗信息（即在抽樣之前有關(guān)統(tǒng)計問題的一些信息，主要來源于經(jīng)驗或歷史資料)進行的統(tǒng)計推斷。貝葉斯統(tǒng)計是貝葉斯理論和方法的應(yīng)用之一，其基本思想是:假定對所研究的對象在抽樣前己有一定的認識，常用先驗（Prior）分布來描述這種認識，然后基于抽取的樣本再對先驗認識作修正，得到后驗分布，而各種統(tǒng)計推斷都基于后驗分布進行。

7、經(jīng)典統(tǒng)計學(xué)的出發(fā)點是根據(jù)樣本，在一定的統(tǒng)計模型下做出統(tǒng)計推斷。在取得樣本觀測值之前，往往對參數(shù)統(tǒng)計模型中的參數(shù)有某些先驗知識，關(guān)于的先驗知識的數(shù)學(xué)描述就是先驗分布。貝葉斯統(tǒng)計的主要特點是使用先驗分布，而在得到樣本觀測值后，由與先驗分布提供的信息，經(jīng)過計算和處理，組成較完整的后驗信息。這一后驗分布是貝葉斯統(tǒng)計推斷的基礎(chǔ)。貝葉斯定理既適用于離散型隨機變量，也適用于連續(xù)型隨機變量，它形成了貝葉斯統(tǒng)計的基本原理和統(tǒng)計思想。三、貝葉斯公式1事件形式的貝葉斯公式 若為一列互不相容的事件，且則稱任一事件，只要，就有 其中即全概率公式。特別有：設(shè)事件為試驗的兩事件，由于和是一個完備事件組，若貝葉斯公式的一種常

8、用簡單形式為 在使用貝葉斯公式時，先驗信息以這一概率分布的形式給出，即先驗分布。這種概率叫做先驗概率，他們的值是根據(jù)先前的知識和經(jīng)驗確定出的，既可以利用頻率和概率的關(guān)系來確定，也可以是基于“主觀概率”來確定。公式中是觀察到事件發(fā)生后的概率，稱為的后驗(Posterior)概率。式（2-1）是離散型變量的貝葉斯公式。它實際上可以看作是從先驗概率到后驗概率的轉(zhuǎn)換公式，即是一個“由果求因”公式。這與全概率公式不同，全概率公式是“由因求果”公式。由于貝葉斯統(tǒng)計集先驗信息、樣本信息和總體信息于一身，更貼近實際問題，并且由于在處理小樣本問題時有其獨特的優(yōu)點。事件形式的條件貝葉斯公式：在已有的貝葉斯公式的定

9、義下，事件C條件下，2. 密度函數(shù)形式的貝葉斯公式依賴于參數(shù)的密度函數(shù)在經(jīng)典統(tǒng)計中記為，它表示在參數(shù)空間中對應(yīng)不同的分布?？稍谪惾~斯統(tǒng)計中記為，它表示在隨機變量給定某個值時，總體指標的分布.根據(jù)參數(shù)的先驗信息確定先驗分布。這樣一來，樣本和參數(shù)的聯(lián)合分布為這個聯(lián)合分布把樣本信息、總體信息和先驗信息都綜合進去了。我們的任務(wù)是要對未知數(shù)作出統(tǒng)計推斷。在沒有樣本信息時，人們只能據(jù)先驗分布對作出推斷。在有樣本觀察值之后，我們應(yīng)該依據(jù)對作出推斷。為此我們需把作如下分解： 其中是的邊緣密度函數(shù)。它與無關(guān)，或者說，中不含的任何信息。因此能用來對作出推斷的僅有條件分布。它的計算公式是 這就是貝葉斯公式的密度函數(shù)

10、形式。這個在樣本給定下，的條件分布被稱為的后驗分布。它是集中了總體、樣本和先驗等三種信息中有關(guān)的一切信息，而又是排出一切與無關(guān)的信息之后所得到的結(jié)果。故基于后驗分布對進行統(tǒng)計推斷是更為有效，也是最合理的。前面提到根據(jù)參數(shù)的先驗信息確定先驗分布。那么到底如何確定先驗分布呢？這是貝葉斯統(tǒng)計中最困難的，也是使用貝葉斯方法必須解決但又最易引起爭議的問題。這個問題現(xiàn)代有很多研究成果，但還沒有圓滿的理論與普遍有效的方法。根據(jù)先驗信息確定先驗分布，先驗分布分為無信息先驗分布和有信息先驗分布兩大類。在沒有先驗信息的情況下確定的先驗分布就叫做無信息先驗分布。這是貝葉斯分析誕生之初就面臨的問題，是貝葉斯學(xué)派近30

11、多年來獲得的重要成果之一。主要有貝葉斯假設(shè)位置參數(shù)的無信息先驗分布，尺度參數(shù)的無信息先驗分布和Jeffreys先驗分布。共軛先驗分布就是一種有信息先驗分布，一般都含有超參數(shù)，而無信息先驗分布一般不含超參數(shù)。從實用角度出發(fā)，應(yīng)充分利用專家的經(jīng)驗或者對歷史上積累的數(shù)據(jù)進行分析和擬合，以確定先驗分布。在確定先驗分布時，許多人利用協(xié)調(diào)性假說。協(xié)調(diào)性假說的定義：若總體指標的分布密度（或概率函數(shù)）是，則的先驗分布與由它和的樣本確定的后驗分布應(yīng)屬于同一類型。這時先驗分布叫做是共軛先驗分布。共軛先驗分布是對某一分布中的參數(shù)而言的，離開了指定的參數(shù)及其所在的分布去談共扼先驗分布是沒有意義的。定義中未對“同一類型”四個字給出精確的定義，也很難給出恰當(dāng)?shù)亩x。通常的理解是，將概率性質(zhì)相識的所有分布算作同一類型。例如，所有正態(tài)分布構(gòu)成一類；所有分布構(gòu)成一類；所有分布構(gòu)成一類。這個假說指示我們，先驗分布應(yīng)該取何種類型，然后再利用歷史數(shù)據(jù)來確定先驗分布中的未知部分。許多實踐表明，這個假說是符合實際的。共軛先