王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognitionChapter21/6/20231王杰(博士/教授/博導(dǎo))模式識(shí)別12/25/20221王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言2.1.1問(wèn)題表述1/6/20232王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言2.1.2全概率公式和貝葉斯準(zhǔn)則1/6/20233王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言2.1.2全概率公式和貝葉斯準(zhǔn)則1/6/20234王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言

2.1.2全概率公式和貝葉斯準(zhǔn)則1/6/20235王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.1貝葉斯決策的原理1/6/20236王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.1貝葉斯決策的原理1/6/20237王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.2最小化分類錯(cuò)誤率可以證明，貝葉斯分類器在分類錯(cuò)誤率最小化方面最優(yōu)：由貝葉斯規(guī)則：由概率密度函數(shù)的定義：和并以上兩式可以得到：1/6/20238王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.2最小化分類錯(cuò)誤率1/6/20239王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.2最小化分類錯(cuò)誤率Indeed:MovingthethresholdthetotalshadedareaINCREASESbytheextra“grey”area.1/6/202310王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.3最小化分類平均風(fēng)險(xiǎn)分類錯(cuò)誤率最小并非總是最好的，某些情況下有些錯(cuò)誤會(huì)產(chǎn)生更嚴(yán)重的后果，因此用“損失”來(lái)衡量錯(cuò)誤有時(shí)候更符合實(shí)際。(2-10)(2-11)1/6/202311王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.3最小化分類平均風(fēng)險(xiǎn)(2-12)(2-13)按極小值原理求解(2-11)，必須使積分的每一項(xiàng)最小，因此應(yīng)選擇：設(shè)M=2，則有：(2-14)1/6/202312王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.3最小化分類平均風(fēng)險(xiǎn)(2-15)按照常規(guī)，對(duì)于正確分類的懲罰應(yīng)小于錯(cuò)誤分類的懲罰，即?。阂罁?jù)假設(shè)，(2-12)式在兩類情況下可以表示為：其中，比率稱為似然比(Likelihood)，(2-15)式稱為似然比檢驗(yàn)。當(dāng)取表示正確分類懲罰為零，2中的樣本錯(cuò)誤地分到1懲罰更大，則1/6/202313王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

例2-1Thenthethresholdvalueis:Threshold forminimumr1/6/202314王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

例2-1Thusmovestotheleftof(WHY?)Considerthereversesituationwhenthemovestotherightof?1/6/202315王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.3判別函數(shù)和決策面(DiscriminantFunctions&DecisionSurfaces)

(2-16)(2-17)(2-18)1/6/202316王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.3判別函數(shù)和決策面(DiscriminantFunctions&DecisionSurfaces)

Ingeneral,discriminantfunctions(判別函數(shù))canbedefinedindependentof

theBayesianrule.Theyleadtosuboptimalsolutions,yetifchosenappropriately,canbecomputationallymoretractable(容易的).——SergiosTheodoridis-PatternRecognition1/6/202317王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

(2-19)MultivariateGaussianpdf(ProbabilityDistributionFunction-pdf)(隨機(jī)變量x的均值或期望)(x的協(xié)方差矩陣，CovarianceMatrix)(x的概率分布)函數(shù)ln(·)是單調(diào)的，定義：1/6/202318王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

(2-20)式(2-19)可以寫成：其中，常數(shù)Ci為：1/6/202319王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

(2-21)將式(2-20)展開(kāi)可以寫成：一般地，上式是一個(gè)非線性二次型，例如，對(duì)于：的情況，假設(shè)：

式(2-21)又可以表示成：(2-22)1/6/202320王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

Thatis,

isquadratic(二次的)

andthesurfacesarequadrics(二次的),

maybe

ellipsoids(橢圓),parabolas(拋物線),hyperbolas(雙曲線),pairsoflines(直線對(duì)).Forexample:(圖2-4(a))(圖2-4(b))1/6/202321王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

圖2-4二次決策曲線的例子，(a)橢圓；(b)雙曲線1/6/202322王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)Quadraticterms:

IfALL (thesame)，thequadratictermsarenotofinterest.Theyarenotinvolvedincomparisons.Then,equivalently,wecanwrite:DiscriminantfunctionsareLINEAR(2-23)(2-24)(2-25)1/6/202323王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)(2-26)(2-27)(2-28)(2-29)1/6/202324王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)決策平面是一個(gè)通過(guò)的超平面，當(dāng)概率時(shí)，，超平面經(jīng)過(guò)均值點(diǎn)1/6/202325王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)圖2-5兩類情況下的決策線和的正態(tài)分布向量1/6/202326王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)圖2-6決策線(a)分布致密類；(b)分布非致密類(a)(b)1/6/202327王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)(2-30)(2-31)1/6/202328王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.2最小距離分類器(MinimumDistanceClassifiers)(2-32)換個(gè)角度考慮，假設(shè)等概率類(equiprobable)忽略常量的決策超平面可以表達(dá)為(參考講義(2-20)或教材(2-26))：協(xié)方差矩陣為對(duì)角時(shí)IfEuclideanDistanceSmallerthan也即，此時(shí)特征向量可以根據(jù)它們與均值點(diǎn)之間的歐氏距離來(lái)分類。1/6/202329王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.2最小距離分類器(MinimumDistanceClassifiers)協(xié)方差矩陣為非對(duì)角時(shí)IfMahalanobis

DistanceSmallerthan

在這種情況下，常量距離

的曲線是橢圓(或者超橢圓)因?yàn)閰f(xié)防差矩陣的對(duì)稱性，可以通過(guò)歸一劃使協(xié)防差矩陣對(duì)角化：1/6/202330王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.2最小距離分類器(MinimumDistanceClassifiers)圖2-7a)等歐幾里德曲線；b)等Mahalanobis曲線1/6/202331王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別PattExample:1/6/202332Example:12/25/202232王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.1最大似然參數(shù)估計(jì)(ParametersEstimationofMaximumLikelihood-ML)1/6/202333王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.1最大似然參數(shù)估計(jì)(ParametersEstimationofMaximumLikelihood-ML)1/6/202334王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

圖2-8極大似然估計(jì)2.5.1最大似然參數(shù)估計(jì)(ParametersEstimationofMaximumLikelihood-ML)1/6/202335王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別PattExample:1/6/202336Example:12/25/202236王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.2最大后驗(yàn)概率估計(jì)(EstimationofMaximumAposterioriProbability-MAP)InMaximumLikelihoodmethod,wasconsideredasaparameter；Hereweshalllookatasarandomvectordescribedbyapdf(概率分布函數(shù))p(),assumedtobeknownGivenComputethemaximumof1/6/202337王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

FromBayestheorem

TheMethod2.5.2最大后驗(yàn)概率估計(jì)(EstimationofMaximumAposterioriProbability-MAP)1/6/202338王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

圖2-9對(duì)于的最大似然估計(jì)和最大后驗(yàn)概率估計(jì)a)中基本相同；b)中差別較大2.5.2最大后驗(yàn)概率估計(jì)(EstimationofMaximumAposterioriProbability-MAP)1/6/202339王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別PattExample:1/6/202340Example:12/25/202240王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.3貝葉斯推論(BayesianInference)1/6/202341王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.3貝葉斯推論(BayesianInference)Abitmoreinsightviaanexample：1/6/202342王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.3貝葉斯推論(BayesianInference)圖2-10上述表達(dá)就是當(dāng)N→∞時(shí)的高斯分布序列1/6/202343王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.4最大熵估計(jì)(MaximumEntropyEstimation)熵的概念來(lái)源于香農(nóng)的信息論，它是關(guān)于事件不確定性(或無(wú)序性)的度量，或者是系統(tǒng)輸出信息中的隨機(jī)性的度量。熵的定義：(2-33)根據(jù)Jaynes[Jayn82]陳述的最大熵原理，在約束條件下，這樣的估計(jì)符合最大可能隨機(jī)性的分布。1/6/202344王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.4最大熵估計(jì)(MaximumEntropyEstimation)Example:Constraint：LagrangeMultipliers：1/6/202345王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.4最大熵估計(jì)(MaximumEntropyEstimation)取導(dǎo)數(shù)為零得到：由約束條件可以得到：于是得到ME.pdf：結(jié)論：未知概率密度的最大熵估計(jì)都服從均勻分布(UniformDistribution),可以證明，若將均值和方差作為第二、三個(gè)約束，在正負(fù)無(wú)窮范圍內(nèi)，最大熵估計(jì)的結(jié)果都是高斯分布，這是MaximumEntropyEstimation的精髓。1/6/202346王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)還可以通過(guò)密度函數(shù)的線性合并獲取未知的pdf：意為：一個(gè)J分布符合p(x)，則可認(rèn)為每一點(diǎn)x都可能以概率Pj屬于J模型分布。該模型可以接近任意連續(xù)密度函數(shù)，只需要有足夠數(shù)量的混合J和適當(dāng)?shù)膮?shù)。Assumeparametricmodeling,i.e.,(2-34)1/6/202347王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)ThegoalistoestimategivenasetWhynotML(極大似然)?Asbefore?這是因?yàn)槲粗獏?shù)以非線性形式出現(xiàn)在最大化過(guò)程中導(dǎo)致計(jì)算困難，必須采用非線性優(yōu)化迭代技術(shù)。復(fù)雜的原因是缺乏關(guān)于已知樣本的類標(biāo)簽，即混合體中每一個(gè)樣本所屬的類。沒(méi)有標(biāo)簽信息使得這一任務(wù)成為一個(gè)典型的具有不完全數(shù)據(jù)集的任務(wù)?？梢钥紤]采用期望值最大算法(ExpectationMaximization,EM)1/6/202348王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)TheExpectation-Maximization(EM)algorithmGeneralformulation：whichare

notobserveddirectly.Weobserve：

amanytoonetransformation1/6/202349王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)WhatweneedistocomputeButarenotobserved.HerecomestheEM.Maximizethe

expectationofthelog-likelihood

conditionedontheobservedsamplesandthecurrentiterationestimateof

Thealgorithm:(2-35)(2-36)1/6/202350王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)ApplicationtothemixturemodelingproblemAssumingmutualindependence(假設(shè)相互獨(dú)立)則對(duì)數(shù)似然函數(shù)為：(2-37)1/6/202351王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)1/6/202352王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)圖2-11直方圖方法估計(jì)概率密度近似值；a)細(xì)劃分；b)粗劃分1/6/202353王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)(2-38)1/6/202354王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)ParzenWindowsMethod在一個(gè)超立方體中分割多維空間，定義函數(shù)：(2-39)圖2-12在超立方體內(nèi)定義多維空間也即，在以原點(diǎn)為中心的單位超立方體內(nèi)的所有點(diǎn)的函數(shù)為1，其余為零。1/6/202355王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)于是可以將一維的概率密度函數(shù)表達(dá)式(2-38)改寫為：(2-40)上述公式的解釋：落在以x為中心的單位超方體內(nèi)的試驗(yàn)點(diǎn)總數(shù)KN除以體積和總個(gè)數(shù)，但問(wèn)題是不連續(xù)而p(x)連續(xù)。可以通過(guò)擴(kuò)展不連續(xù)函數(shù)得到一個(gè)近似的連續(xù)函數(shù)p(x)，但是這種不連續(xù)必然影響p(x)的平滑性質(zhì)。Parzen窗就是使用平滑的函數(shù)代替原來(lái)不連續(xù)的函數(shù)從而生成(2-40)式。1/6/202356王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)Parzenwindows-kernels-potentialfunctions：(2-41)Meanvalue：(2-42)Henceunbiasedinthelimit，independentwithbigorsmallofN.1/6/202357王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)Variance：Thesmallerthehthehigherthevariance圖2-13Parzen窗計(jì)算概率密度函數(shù)，樣本數(shù)N=1000；a)h=0.1b)h=0.81/6/202358王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)Variance：ThehighertheNthebettertheaccuracy圖2-14Parzen窗計(jì)算概率密度函數(shù)，h=0.8N=1000N=200001/6/202359王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)分類方法，回憶：(2-43)采用Parzen窗的分類公式為：1/6/202360王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)CURSEOFDIMENSIONALITYInallthemethods,sofar,wesawthatthehighestthenumberofpoints,

N,thebettertheresultingestimate.Ifintheone-dimensionalspaceaninterval,filledwith

N

points,isadequately(充分)(forgoodestimation),inthetwo-dimensionalspacethecorrespondingsquarewillrequireN2

andinthe?-dimensionalspacethe?-dimensionalcubewillrequireN?points.Theexponentialincreaseinthenumberofnecessarypointsinknownasthecurseofdimensionality.Thisisamajorproblemoneisconfrontedwithinhighdimensionalspaces.1/6/202361王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)NA?VE(簡(jiǎn)易的)–BAYESCLASSIFIERLetandthegoalistoestimatei=1,2,…,M.Fora“good”estimateofthepdfonewouldneed,say,N?points.Assumex1,x2,…,

x?

mutuallyindependent.Then:Inthiscase,onewouldrequire,roughly,N

pointsforeachpdf.Thus,anumberofpointsoftheorderN·?wouldsuffice.ItturnsoutthattheNa?ve–Bayesclassifierworksreasonablywellevenincasesthatviolate(破壞、不滿足)theindependenceassumption.(2-44)1/6/202362王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)KNearestNeighborDensityEstimation(K-最近鄰密度分類)InParzen:ThevolumeisconstantThenumberofpointsinthevolumeisvaryingNow:KeepthenumberofpointsconstantLeavethevolumetobevarying1/6/202363王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)K-最近鄰密度分類結(jié)果解釋：在高密度區(qū)，體積小，低密度區(qū)，體積大。如果采用Mahalanobis距離，則得到超球面空間的超橢圓體圖2-15K-近鄰密度估計(jì)；a)密度大體積小b)密度小體積大(2-45)1/6/202364王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)最近鄰規(guī)則(TheNearestNeighborRule)給定一個(gè)未知特征向量x和一種距離測(cè)量方法，于是：在N個(gè)訓(xùn)練向量之外，不考慮類的標(biāo)簽來(lái)確定k近鄰。在兩類的情況下，k選為奇數(shù)，一般不是類M的倍數(shù)；在k個(gè)樣本之外，確定屬于ωi(i=1,2,…M)類的向量的個(gè)數(shù)ki，顯然∑iki=k；x屬于樣本最大值ki的那一類ωi，也即在訓(xùn)練樣本數(shù)足夠大時(shí)，這種簡(jiǎn)單規(guī)則具有良好性能。當(dāng)N→∞,用PB表示最優(yōu)Bayes理論錯(cuò)誤率，最近鄰規(guī)則的分類錯(cuò)誤率PNN由下式約束：(2-46)1/6/202365王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數(shù)的估計(jì)(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數(shù)估計(jì)(NonparametricEstimation)

ForsmallPB:1/6/202366王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.6貝葉斯網(wǎng)絡(luò)(BayesianNetworks)

2.6.1貝葉斯概率鏈規(guī)則(BayesProbabilityChainRule)(2-47)(2-48)現(xiàn)假設(shè)每個(gè)隨機(jī)變量xi的條件依賴性被限制于各自的乘積表達(dá)式中出現(xiàn)的特征子集，例如說(shuō)：其中：具體假設(shè)例如l=6，于是可以假定：則：TheaboveisageneralizationoftheNa?ve–Bayes.FortheNa?ve–Bayestheassumptionis:Ai=?,fori=1,2,…,?1/6/202367王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.6貝葉斯網(wǎng)絡(luò)(BayesianNetworks)

2.6.1貝葉斯概率鏈規(guī)則(BayesProbabilityChainRule)Agraphicalwaytoportray(描繪)conditionaldependenciesisgivenbelowAccordingtothisfigurewehavethat:x6isconditionallydependentonx4,x5.x5

on

x4

x4

onx1,x2x3onx2x1,x2

areconditionallyindependentonothervariables.ForThisCase：圖2-16條件依賴性示意1/6/202368王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.6貝葉斯網(wǎng)絡(luò)(BayesianNetworks)

2.6.2貝葉斯網(wǎng)絡(luò)(BayesianNetworks)Definition:ABayesianNetworkisadirectedacyclic

graph(DAG-有向無(wú)環(huán)圖)wherethenodescorrespondtorandomvariables(節(jié)點(diǎn)代表隨機(jī)變量).Eachnodeisassociatedwithasetofconditionalprobabilities(densities)(每一節(jié)點(diǎn)與一個(gè)條件概率(密度)相關(guān)聯(lián)),

p(xi|Ai),wherexi

isthevariableassociatedwiththenodeandAi

isthesetofitsparents(父節(jié)點(diǎn))inthegraph.ABayesianNetworkisspecifiedby(貝葉斯網(wǎng)絡(luò)由如下特征確定):Themarginalprobabilities(邊緣概率)ofitsrootnodes(根節(jié)點(diǎn)).Theconditionalprobabilities(條件概率)ofthenon-rootnodes(非根節(jié)點(diǎn)),giventheirparents,forALLpossiblecombinations(對(duì)所有組合，給出其父節(jié)點(diǎn)).1/6/202369王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.6貝葉斯網(wǎng)絡(luò)(BayesianNetworks)

2.6.2貝葉斯網(wǎng)絡(luò)(BayesianNetworks)ThefigurebelowisanexampleofaBayesianNetworkcorrespondingtoaparadigm(范例)fromthemedicalapplicationsfield(醫(yī)療領(lǐng)域應(yīng)用貝葉斯網(wǎng)的范例).這一貝葉斯網(wǎng)絡(luò)模擬了關(guān)于抽煙者(變量S)罹患癌癥(變量C)和心臟疾病(變量H)的概率模型。圖中表達(dá)心臟疾病的變量位H1,H2，表達(dá)癌癥的變量C1,C2。圖2-17貝葉斯網(wǎng)的醫(yī)療應(yīng)用范例1/6/202370王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.6貝葉斯網(wǎng)絡(luò)(BayesianNetworks)

2.6.2貝葉斯網(wǎng)絡(luò)(BayesianNetworks)OnceaDAGhasbeenconstructed,thejointprobability(聯(lián)合概率)canbeobtainedbymultiplyingthemarginal(rootnodes)andtheconditional(non-rootnodes)probabilities(邊緣概率和條件概率乘積).Training:Onceatopologyisgiven,probabilitiesareestimatedviathetrainingdataset.Therearealsomethodsthatlearnthetopology(給定拓?fù)鋾r(shí)可由訓(xùn)練數(shù)據(jù)獲得該旅的估計(jì)。也有關(guān)于拓?fù)浣Y(jié)構(gòu)學(xué)習(xí)的研究成果).ProbabilityInference(概率推論)這是貝葉斯網(wǎng)絡(luò)能幫我我們有效進(jìn)行的最普通的工作：在圖中給出一些變量的數(shù)值(稱為證據(jù))，目標(biāo)是為其它變量通過(guò)計(jì)算獲得條件概率，也即給出證據(jù)。1/6/202371王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別PattExample:ConsidertheBayesiannetworkofthefigure:

a)Ifxismeasuredtobex=1

(x1),computeP(w=0|x=1)[P(w0|x1)]. b)Ifwismeasuredtobew=1(w1)computeP(x=0|w=1)[P(x0|w1)].Example:ConsidertheBayesia72Fora),asetofcalculationsarerequiredthatpropagate(傳播)fromnodextonodew.ItturnsoutthatP(w0|x1)=0.63.Forb),thepropagationisreversedindirection.ItturnsoutthatP(x0|w1)=0.4.Ingeneral,therequiredinferenceinformationiscomputedviaacombinedprocessof“messagepassing(信息傳遞)”amongthenodesoftheDAG.Complexity:Forsinglyconnectedgraphs(單聯(lián)圖),messagepassingalgorithmsamounttoacomplexitylinearinthenumberofnodes.Fora),asetofcalculations73演講完畢，謝謝觀看！演講完畢，謝謝觀看！74王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognitionChapter21/6/202375王杰(博士/教授/博導(dǎo))模式識(shí)別12/25/20221王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言2.1.1問(wèn)題表述1/6/202376王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言2.1.2全概率公式和貝葉斯準(zhǔn)則1/6/202377王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言2.1.2全概率公式和貝葉斯準(zhǔn)則1/6/202378王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言

2.1.2全概率公式和貝葉斯準(zhǔn)則1/6/202379王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.1貝葉斯決策的原理1/6/202380王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.1貝葉斯決策的原理1/6/202381王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)院模式識(shí)別Patt王杰(博士/教授/博導(dǎo))鄭州大學(xué)電氣工程學(xué)13837106273wj@模式識(shí)別PatternRecognition

Ch.2