1、1，Chp11:貝葉斯推斷，內(nèi)容：貝葉斯觀點和貝葉斯方法貝葉斯推斷對。頻率推理，2，貝葉斯觀點和貝葉斯方法，頻率到信念，3，頻率學派的觀點參數(shù)是未知的固定常數(shù)。由于沒有參數(shù)變動，所以無法解釋概率。統(tǒng)計過程必須具有定義好的頻率穩(wěn)定性。例如：一個95置信區(qū)間應復蓋參數(shù)實際值至少為95的頻率。統(tǒng)計學更加關(guān)注頻率推理，4，貝葉斯學派的觀點，貝葉斯推斷，采取了另一個立場。概率不是頻率，而是主觀信念的程度。這樣，除了對隨機變化生成的數(shù)據(jù)的概率說明外，還可以對其他事物的概率說明。個別參數(shù)概率描述即使是固定常數(shù)也可以。對參數(shù)生成概率分布，可以推導出它們，點估計和區(qū)間估計可以從這種分布中獲得，機器學習和數(shù)據(jù)挖掘

2、是更喜歡的貝葉斯推斷，5，貝葉斯方法，貝葉斯推斷的基本步驟如下。選擇概率密度函數(shù)，在獲得數(shù)據(jù)之前，表達了我們對一個參數(shù)的信念。我們稱之為先驗分布。選擇模型(在參數(shù)推理章中)，以反映我們在給定參數(shù)情況下對X的信念。得到數(shù)據(jù)X1，X2，Xn后，我們更新我們的信念，計算后分配。從后驗分布中獲得點估計和間隔估計。6，記憶貝葉斯規(guī)則，還使用貝葉斯定理條件概率貝葉斯規(guī)則將數(shù)據(jù)和參數(shù)分布相結(jié)合，7，假設(shè)我們有N IID觀測，結(jié)果數(shù)據(jù)如下，我們現(xiàn)在用相似函數(shù)真的給定參數(shù)數(shù)據(jù)概率，8，后概率，以下公式替代牙齒常數(shù)經(jīng)常被忽略。因為我們主要關(guān)心參數(shù)值的比較。也就是說，后驗和右驗函數(shù)與先驗的乘積成正比9，貝葉斯點估計

3、，后驗的平均值為一個公共點估計L2損失下貝葉斯規(guī)則最大后驗估計(maximum a posteriori，MAP)為后驗的最大值：另一個公共點估計0-；注：在很多實驗中，(1 )100%的次數(shù)不能保證落在后檢區(qū)內(nèi)。實際上，在復雜的高維模型中，當樣本數(shù)較少時，應用概率可能接近于0。注：假設(shè)隨機，11，例如，Bernoulli I，先驗根據(jù)均勻分布，貝葉斯公式驗證為其中的成功次數(shù)。12，例如，Bernoulli I，要獲得后驗的平均值，必須計算牙齒示例中的計算，以便解釋計算。后驗正好在分布中參數(shù)，平均值，13，例如，貝諾烏利I，P的最大似然估計，偏倚估計。威尼斯估算可以作為其中先驗的平均值。14，

4、如Bernoulli II，現(xiàn)在假設(shè)先驗不是均勻分布牙齒，而是后驗牙齒beta分布，參數(shù)，即后驗的平均值牙齒其中先驗的平均值。先驗和后驗是相同的分布族：示例中的分布，15，例如正態(tài)分布，所以，為了簡單起見，知道了假設(shè)，先驗是常數(shù)，對常數(shù)，16，例如正態(tài)分布，兩者相乘，17，例如，正態(tài)分布，當時，n牙齒大的時候，后驗在n牙齒固定的時候，在接近均勻分布的時候，上述結(jié)論也成立，18，例如，正態(tài)分布，計算后驗程區(qū)間，因此，最后95個問題：已知的貝葉斯后分布其中CDF是模擬/模擬方法，20，模擬。代替分析計算，通過仿真可以得到點估計和間隔估計。假設(shè)我們提取樣品。直方圖后密度后驗的平均值可以近似后驗的置信

5、區(qū)間。其中，樣品的樣品分位數(shù)(quantile)在提取樣品時來自。這樣可以避免分析計算，但仿真可能會很復雜和困難。21，例如，Bernoullil，示例：可以通過直方圖方法估計的IID，22，MLE，bayis，標準誤差可以在適當?shù)某Ｒ?guī)條件下。也是貝葉斯假設(shè)的區(qū)間。23，MLE，baysian，正義分別展開。24、MLE、bayjics將率先展開。I0最大化先驗信息m0。f()、25、MLE、bazis、定義結(jié)合在一起展開。數(shù)據(jù)越多，先驗影響越弱。27，先驗知識是從哪里來的？我們在觀察數(shù)據(jù)之前可能有主觀觀點或真正的先驗知識。但是通常我們沒有真正的先驗知識，或者想在貝葉斯估計中變得更客觀的時候，

6、可以選擇沒有信息的先驗(noninformative prior)?；蛘呖梢詮臄?shù)據(jù)推斷為先驗。這稱為經(jīng)驗貝葉斯，有時也稱為II類的大似然。的。的。類的“大似然”(Type II maximum likelihood)。28，平面字典，平面先驗考慮：其中c 0是常量。但是，這不是pdf。我們稱之為“異常先驗”。一般來說，不正常的先驗不成問題。如果后驗是定義好的pdf就可以了。平坦的先驗有時被定義為病態(tài)。因為參數(shù)平坦的先驗并不意味著參數(shù)變換也是平坦的先驗。書的例子，29，通用先驗，一種茄子流行的想法是使用通用先驗或在任何情況下都可以使用的基本先驗分布。先驗通常源自似然函數(shù)。示例包括最小描述長度(M

7、DL)和Jeffrey試驗。這些通常完全沒有信息。30，Jeffrey先驗，Jeffrey提出的先驗規(guī)則：這里是Fisher信息。例如：是的，Jeffrey先驗地，即與均勻分布非常相似。31，Jeffrey對于先驗和多元參數(shù)情況，Jeffrey是表示矩陣A的矩陣表達式，F(xiàn)isher信息矩陣。32，對多元參數(shù)問題、多元參數(shù)情況原則上等于單一參數(shù)處理。后密度為：問題：如何推斷多個參數(shù)中的一個？計算感興趣的參數(shù)后驗邊分布(例如邊分布，33，多元參數(shù)問題)通常很難計算，可以用模擬方法近似。后檢查分布中的隨機采樣：上標徐璐表示其他采樣，從每個采樣中收集矢量的第一個分量，并將其導入中的采樣，以避免積分運算

8、。34，貝葉斯假設(shè)檢驗，從貝葉斯角度看假設(shè)檢驗是一個很復雜的問題，我們只介紹其基本思想。(大衛(wèi)亞設(shè)，美國電視電視劇)，35，貝葉斯假設(shè)檢查，數(shù)據(jù)和模型：檢查，例如，如果最近污染區(qū)域中N個卵孵化的卵數(shù)用X表示，則此處孵化的卵的實際比例檢查。其中，0表示孵化卵比例的經(jīng)驗值，36，先驗分布分別表示H0和H1，先驗分布通常為默認值，37，給定數(shù)據(jù)，H0表示實際后概率，貝葉斯公式，38，給定數(shù)據(jù)，H0表示實際后概率，上述示例中的兩個茄子檢查問題，39，bay喜歡就行。后驗概率可以用于多模型檢查：41，貝葉斯推理到頻率推理，我們應該相信頻率學派還是貝葉斯學派？42，威尼斯學派的觀點，先驗信息：容易結(jié)合的先驗信息，以及人們推論時確實利用了先驗信息，貝葉斯推斷明確地提供了更多的結(jié)構(gòu)，43，反對威尼斯學派的觀點，不方便：后驗區(qū)間是實際置信區(qū)間，估計通常是參數(shù)中心。在很多非參數(shù)情況下，看起來很脆弱。計算強度大。積分/模擬或近似很難處理不必要的復雜性。即使沒有先驗信息，也要進行先驗函數(shù)假設(shè)檢驗。貝葉斯假設(shè)測試對先驗選擇敏感，44，44，但一般來說，貝葉斯方法和頻率推理是為了徐璐解決其他問題，將先驗知識和數(shù)據(jù)結(jié)合起來。貝葉斯方法具有長期穩(wěn)定的性能(如置信區(qū)間):頻率方法，45，概括來說，當參數(shù)空間是高維時，一般使用貝葉斯方法，但當參數(shù)數(shù)據(jù)多于數(shù)據(jù)時，沒有超出自然本質(zhì)限制的統(tǒng)計