模式識(shí)別與機(jī)器學(xué)PatternRecognition&Machine信息與通 網(wǎng)絡(luò)搜索教信息與通 網(wǎng)絡(luò)搜索教中郵電大給定N個(gè)訓(xùn)練數(shù)據(jù):(x多項(xiàng)式曲線(xiàn)定義模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 學(xué)習(xí)任務(wù)根據(jù)目標(biāo)函數(shù)的不同，分為模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 似然函似然函對(duì)數(shù)似然函通過(guò)最大化似然函數(shù)估計(jì)參數(shù)wML和模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 估計(jì)法(Bayesian回回歸模型的預(yù)測(cè)性分布密其模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 數(shù)據(jù)生成

tfx,a其中x~U1,1,fx,a~N0,

a1x0.3

tyx,wwTx任務(wù):基于給定數(shù)據(jù)，估計(jì)線(xiàn)性:如果使用MAP估計(jì):即確定參數(shù)模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. ttyx,wwTx t~NwTx,2

~N0,2數(shù)據(jù)生成數(shù)據(jù)生成tffx,aa0a1x0.3任務(wù):基于給定數(shù)據(jù)，估計(jì)線(xiàn) 估計(jì)中,我們基于給定訓(xùn)練數(shù)據(jù)去推理參數(shù)w的后驗(yàn) pw|x,t–模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. BayesianLinearRegressiondatapoints Data模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. BayesianLinearRegressiondatapoint Data模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. BayesianLinearRegressiondatapoints Data模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 給定一個(gè)新的給定一個(gè)新的x,預(yù)測(cè)其輸出“使用所有w其模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. BayesianLinearRegression20datapoints Data模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 線(xiàn)性回歸內(nèi)容提線(xiàn)擬合常用的幾種線(xiàn)性?xún)蓚€(gè)等價(jià)模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. (BernoulliBeta多項(xiàng)雷(Dirichlet ? -威沙特…模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 二值 (Bernoulli比如，投一枚硬幣觀(guān)察結(jié)果為HeadorTail,Head=1,Tail=0模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G.

分布參數(shù)的模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 最大似然估計(jì)(MLE)的過(guò)投一枚硬假如N后續(xù)原因:MLE估計(jì)存在對(duì)數(shù)據(jù)集的模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 二項(xiàng)(Binomial)二項(xiàng)(Binomial)比如投一枚硬幣N次，出現(xiàn)m次Head朝模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. Binomial模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. BetaBeta比如二項(xiàng)分布的參數(shù)

可假設(shè)服從其模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. Beta模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. Beta分布的應(yīng)軛先驗(yàn)參數(shù)的后驗(yàn)分布仍為Beta分PosteriorPosterior=Likelihood·其模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 其Beta分布的應(yīng)Likelihood·Prior=模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. Beta分布的應(yīng)到參數(shù)p|a0,b0D。請(qǐng)問(wèn)：在投BayesianBayesian m 其中(a,b)為先驗(yàn)分布的參數(shù)，(m,l)px1|a,b,

mal

模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 具有K–比如：分類(lèi)/聚類(lèi)/指派問(wèn)題中的K模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 多狀 分布中參數(shù)的給定數(shù)模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 多項(xiàng)(多項(xiàng)(Multinomial)–比如投一枚 k=1…K.??模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 3個(gè)變量3個(gè)變量的Dirichlet模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. Dirichlet分布可以充當(dāng)Dirichlet分布可以充當(dāng)多項(xiàng)分布中共軛先驗(yàn)參數(shù)的后驗(yàn)分布仍為MultinomialPosteriorPosterior=Likelihood·模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. ?模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 多元分布中模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 最大似然估計(jì)法 alLikelihood給定N個(gè)數(shù)據(jù)點(diǎn)的數(shù)據(jù)集X，假設(shè)i.i.d., 分independentandidenticallydistributed:數(shù)據(jù)集由特定參數(shù)下 分布生成的概率稱(chēng)為似然函數(shù)(Likelihood最大似然估計(jì)原則:在給定數(shù)據(jù)的情況似然函,maxL,2|XpX|,2maxl,2| log X|,,模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí) 目標(biāo)函目標(biāo)函數(shù)均值的方差的模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 分布中均值 估1假設(shè)方差已知iid數(shù)據(jù)假設(shè)均值服 分后驗(yàn)分布為 Posterior=Likelihood·模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 分布中均值 估后驗(yàn)分其模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 分布中均值 估不同訓(xùn)練樣本數(shù)模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 分布中均值 估序貫估計(jì)(Sequential模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 分布中方差 估2假設(shè)均值已知iid數(shù)據(jù) 分布的形模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 分布具有下述形式模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 分布中方差 估假設(shè)精度參數(shù)服從 分–則后驗(yàn)分布模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 3假設(shè)均值和方差3假設(shè)均值和方差均未知iid則聯(lián)合似然函數(shù)為如何選擇先驗(yàn)?zāi)Ｊ阶R(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 分布中均值-方差 估-伽瑪(Gaussian- )先驗(yàn)分Quadraticin ? λLinearin ?Independentof模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. ? ?模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 多 多變 分布的均值/協(xié)方差矩陣的共先驗(yàn)(Conjugate1. 模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 中心極限(CentralLimit)N個(gè)i.i.d.(獨(dú)立同分布)隨 –舉例:N個(gè)在[0,1]區(qū)間內(nèi)均勻(uniform)分布的 模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 二階矩和協(xié)方差二階矩和協(xié)方差模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 假設(shè)x服從多

分令條件分布和邊緣分布仍然 分布模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 條件分布仍

湊全平方項(xiàng)completingthe模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 使用使用到下列矩陣其推導(dǎo):AxByCxDyx

B1a

ay

D b

D1D1CMBD1b 模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. ?分塊的多 ?模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. ??模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 邊緣分布密度和模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 線(xiàn)性回歸內(nèi)容提線(xiàn)擬合常用的幾種線(xiàn)性1等價(jià)模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 假設(shè)假設(shè)觀(guān)測(cè)數(shù)據(jù)來(lái) 噪聲(additiveGaussiannoise)–由于噪聲的存在，t的取值具有不確定性，因 THE

確定先驗(yàn)分根據(jù)訓(xùn)練數(shù)據(jù)推理后計(jì)算回歸模型的預(yù)測(cè)模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 共軛共軛先驗(yàn)(Conjugate–一種特定形式的先驗(yàn)分布，它能使后驗(yàn)分布與的分析–Bernoulli分–Bernoulli分布的共軛先驗(yàn)是Beta多項(xiàng)分布的共軛先驗(yàn) 雷(Dirichlet)分分布的共軛先驗(yàn) 分模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 先驗(yàn)分先驗(yàn)分假設(shè)觀(guān)測(cè)數(shù)據(jù)中存在i.i.d.加 噪選擇共軛先驗(yàn)(additiveGaussian選擇共軛先驗(yàn) Posterior=LikelihoodPosterior=Likelihood·其模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 識(shí)it識(shí)it模9通常選擇先驗(yàn)分則后驗(yàn)分布為umAPosteriorw大值所對(duì)應(yīng)的5線(xiàn)性回歸內(nèi)容提線(xiàn)擬合常用的幾種線(xiàn)性1等價(jià)模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 例:使 假設(shè)訓(xùn)練數(shù)據(jù)采我們使用9 函數(shù)作為基函模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 例:使 使用1模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 例:使 使用2模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 例:使 使用4模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 例:使 使用25模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 線(xiàn)性回歸內(nèi)容提線(xiàn)擬合常用的幾種線(xiàn)性1等價(jià)模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系

C.-G. 等價(jià)核(EquivalentThepredictivemeancanbeEquivalentEquivalentkernelsmootherThisisaweightedsumofthetrainingdatatargetvalues,tn.模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式識(shí)別與智能系 C.-G. 等價(jià)核(Equivalenttn對(duì)應(yīng)的權(quán)值依賴(lài)于x到xnxn越近權(quán)模式識(shí)別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式