王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognitionChapter212/30/20231王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言2.1.1問題表述12/30/20232王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言2.1.2全概率公式和貝葉斯準那么12/30/20233王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言2.1.2全概率公式和貝葉斯準那么12/30/20234王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.1引言

2.1.2全概率公式和貝葉斯準那么12/30/20235王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.1貝葉斯決策的原理12/30/20236王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.1貝葉斯決策的原理12/30/20237王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.2最小化分類錯誤率可以證明，貝葉斯分類器在分類錯誤率最小化方面最優(yōu)：由貝葉斯規(guī)那么：由概率密度函數的定義：和并以上兩式可以得到：12/30/20238王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.2最小化分類錯誤率12/30/20239王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.2最小化分類錯誤率Indeed:MovingthethresholdthetotalshadedareaINCREASESbytheextra“grey〞area.12/30/202310王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.3最小化分類平均風險分類錯誤率最小并非總是最好的，某些情況下有些錯誤會產生更嚴重的后果，因此用“損失〞來衡量錯誤有時候更符合實際。(2-10)(2-11)12/30/202311王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.3最小化分類平均風險(2-12)(2-13)按極小值原理求解(2-11)，必須使積分的每一項最小，因此應選擇：設M=2，那么有：(2-14)12/30/202312王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

2.2.3最小化分類平均風險(2-15)按照常規(guī)，對于正確分類的懲罰應小于錯誤分類的懲罰，即?。阂罁僭O，(2-12)式在兩類情況下可以表示為：其中，比率稱為似然比(Likelihood)，(2-15)式稱為似然比檢驗。當取表示正確分類懲罰為零，2中的樣本錯誤地分到1懲罰更大，則12/30/202313王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

例2-1Thenthethresholdvalueis:Threshold forminimumr12/30/202314王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.2貝葉斯決策理論

例2-1Thusmovestotheleftof(WHY?)Considerthereversesituationwhenthemovestotherightof?12/30/202315王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.3判別函數和決策面(DiscriminantFunctions&DecisionSurfaces)

(2-16)(2-17)(2-18)12/30/202316王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.3判別函數和決策面(DiscriminantFunctions&DecisionSurfaces)

Ingeneral,discriminantfunctions(判別函數)canbedefinedindependentof

theBayesianrule.Theyleadtosuboptimalsolutions,yetifchosenappropriately,canbecomputationallymoretractable(容易的).——SergiosTheodoridis-PatternRecognition12/30/202317王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

(2-19)MultivariateGaussianpdf(ProbabilityDistributionFunction-pdf)(隨機變量x的均值或期望)(x的協(xié)方差矩陣，CovarianceMatrix)(x的概率分布)函數ln(·)是單調的，定義：12/30/202318王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

(2-20)式(2-19)可以寫成：其中，常數Ci為：12/30/202319王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

(2-21)將式(2-20)展開可以寫成：一般地，上式是一個非線性二次型，例如，對于：的情況，假設：

式(2-21)又可以表示成：(2-22)12/30/202320王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

Thatis,

isquadratic(二次的)

andthesurfacesarequadrics(二次的),

maybe

ellipsoids(橢圓),parabolas(拋物線),hyperbolas(雙曲線),pairsoflines(直線對).Forexample:(圖2-4(a))(圖2-4(b))12/30/202321王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

圖2-4二次決策曲線的例子，(a)橢圓；(b)雙曲線12/30/202322王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)Quadraticterms:

IfALL (thesame)，thequadratictermsarenotofinterest.Theyarenotinvolvedincomparisons.Then,equivalently,wecanwrite:DiscriminantfunctionsareLINEAR(2-23)(2-24)(2-25)12/30/202323王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)(2-26)(2-27)(2-28)(2-29)12/30/202324王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)決策平面是一個通過的超平面，當概率時，，超平面經過均值點12/30/202325王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)圖2-5兩類情況下的決策線和的正態(tài)分布向量12/30/202326王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)圖2-6決策線(a)分布致密類；(b)分布非致密類(a)(b)12/30/202327王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.1決策超平面(DecisionHyperplanes)(2-30)(2-31)12/30/202328王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.2最小距離分類器(MinimumDistanceClassifiers)(2-32)換個角度考慮，假設等概率類(equiprobable)忽略常量的決策超平面可以表達為(參考講義(2-20)或教材(2-26))：協(xié)方差矩陣為對角時IfEuclideanDistanceSmallerthan也即，此時特征向量可以根據它們與均值點之間的歐氏距離來分類。12/30/202329王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.2最小距離分類器(MinimumDistanceClassifiers)協(xié)方差矩陣為非對角時IfMahalanobis

DistanceSmallerthan

在這種情況下，常量距離

的曲線是橢圓(或者超橢圓)因為協(xié)防差矩陣的對稱性，可以通過歸一劃使協(xié)防差矩陣對角化：12/30/202330王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.4正態(tài)分布的貝葉斯分類(BayesianClassifierforNormalDistributions)

2.4.2最小距離分類器(MinimumDistanceClassifiers)圖2-7a)等歐幾里德曲線；b)等Mahalanobis曲線12/30/202331Example:12/30/202332王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.1最大似然參數估計(ParametersEstimationofMaximumLikelihood-ML)12/30/202333王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.1最大似然參數估計(ParametersEstimationofMaximumLikelihood-ML)12/30/202334王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

圖2-8極大似然估計2.5.1最大似然參數估計(ParametersEstimationofMaximumLikelihood-ML)12/30/202335Example:12/30/202336王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.2最大后驗概率估計(EstimationofMaximumAposterioriProbability-MAP)InMaximumLikelihoodmethod,

wasconsideredasaparameter；Hereweshalllookat

asarandomvectordescribedbyapdf(概率分布函數)p(

),assumedtobeknownGivenComputethemaximumof12/30/202337王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

FromBayestheorem

TheMethod2.5.2最大后驗概率估計(EstimationofMaximumAposterioriProbability-MAP)12/30/202338王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

圖2-9對于的最大似然估計和最大后驗概率估計a)中基本相同；b)中差別較大2.5.2最大后驗概率估計(EstimationofMaximumAposterioriProbability-MAP)12/30/202339Example:12/30/202340王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.3貝葉斯推論(BayesianInference)12/30/202341王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.3貝葉斯推論(BayesianInference)Abitmoreinsightviaanexample：12/30/202342王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.3貝葉斯推論(BayesianInference)圖2-10上述表達就是當N→∞時的高斯分布序列12/30/202343王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.4最大熵估計(MaximumEntropyEstimation)熵的概念來源于香農的信息論，它是關于事件不確定性(或無序性)的度量，或者是系統(tǒng)輸出信息中的隨機性的度量。熵的定義：(2-33)根據Jaynes[Jayn82]陳述的最大熵原理，在約束條件下，這樣的估計符合最大可能隨機性的分布。12/30/202344王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.4最大熵估計(MaximumEntropyEstimation)Example:Constraint：LagrangeMultipliers：12/30/202345王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.4最大熵估計(MaximumEntropyEstimation)取導數為零得到：由約束條件可以得到：于是得到ME.pdf：結論：未知概率密度的最大熵估計都服從均勻分布(UniformDistribution),可以證明，假設將均值和方差作為第二、三個約束，在正負無窮范圍內，最大熵估計的結果都是高斯分布，這是MaximumEntropyEstimation的精髓。12/30/202346王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)還可以通過密度函數的線性合并獲取未知的pdf：意為：一個J分布符合p(x)，那么可認為每一點x都可能以概率Pj屬于J模型分布。該模型可以接近任意連續(xù)密度函數，只需要有足夠數量的混合J和適當的參數。Assumeparametricmodeling,i.e.,(2-34)12/30/202347王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)ThegoalistoestimategivenasetWhynotML(極大似然)?Asbefore?這是因為未知參數以非線性形式出現在最大化過程中導致計算困難，必須采用非線性優(yōu)化迭代技術。復雜的原因是缺乏關于樣本的類標簽，即混合體中每一個樣本所屬的類。沒有標簽信息使得這一任務成為一個典型的具有不完全數據集的任務。可以考慮采用期望值最大算法(ExpectationMaximization,EM)12/30/202348王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)TheExpectation-Maximization(EM)algorithmGeneralformulation：whichare

notobserveddirectly.Weobserve：

amanytoonetransformation12/30/202349王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)WhatweneedistocomputeButarenotobserved.HerecomestheEM.Maximizethe

expectationofthelog-likelihood

conditionedontheobservedsamplesandthecurrentiterationestimateof

Thealgorithm:(2-35)(2-36)12/30/202350王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)ApplicationtothemixturemodelingproblemAssumingmutualindependence(假設相互獨立)那么對數似然函數為：(2-37)12/30/202351王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.5混合模型(MixtureModels)12/30/202352王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)圖2-11直方圖方法估計概率密度近似值；a)細劃分；b)粗劃分12/30/202353王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)(2-38)12/30/202354王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)ParzenWindowsMethod在一個超立方體中分割多維空間，定義函數：(2-39)圖2-12在超立方體內定義多維空間也即，在以原點為中心的單位超立方體內的所有點的函數為1，其余為零。12/30/202355王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)于是可以將一維的概率密度函數表達式(2-38)改寫為：(2-40)上述公式的解釋：落在以x為中心的單位超方體內的試驗點總數KN除以體積和總個數，但問題是不連續(xù)而p(x)連續(xù)?？梢酝ㄟ^擴展不連續(xù)函數得到一個近似的連續(xù)函數p(x)，但是這種不連續(xù)必然影響p(x)的平滑性質。Parzen窗就是使用平滑的函數代替原來不連續(xù)的函數從而生成(2-40)式。12/30/202356王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)Parzenwindows-kernels-potentialfunctions：(2-41)Meanvalue：(2-42)Henceunbiasedinthelimit，independentwithbigorsmallofN.12/30/202357王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)Variance：Thesmallerthehthehigherthevariance圖2-13Parzen窗計算概率密度函數，樣本數N=1000；a)h=0.1b)h=0.812/30/202358王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)Variance：ThehighertheNthebettertheaccuracy圖2-14Parzen窗計算概率密度函數，h=0.8N=1000N=2000012/30/202359王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)分類方法，回憶：(2-43)采用Parzen窗的分類公式為：12/30/202360王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)CURSEOFDIMENSIONALITYInallthemethods,sofar,wesawthatthehighestthenumberofpoints,

N,thebettertheresultingestimate.Ifintheone-dimensionalspaceaninterval,filledwith

N

points,isadequately(充分)(forgoodestimation),inthetwo-dimensionalspacethecorrespondingsquarewillrequireN2

andinthe?-dimensionalspacethe?-dimensionalcubewillrequireN?points.Theexponentialincreaseinthenumberofnecessarypointsinknownasthecurseofdimensionality.Thisisamajorproblemoneisconfrontedwithinhighdimensionalspaces.12/30/202361王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)NA?VE(簡易的)–BAYESCLASSIFIERLetandthegoalistoestimatei=1,2,…,M.Fora“good”estimateofthepdfonewouldneed,say,N?points.Assumex1,x2,…,

x?

mutuallyindependent.Then:Inthiscase,onewouldrequire,roughly,N

pointsforeachpdf.Thus,anumberofpointsoftheorderN·?wouldsuffice.ItturnsoutthattheNa?ve–Bayesclassifierworksreasonablywellevenincasesthatviolate(破壞、不滿足)theindependenceassumption.(2-44)12/30/202362王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)KNearestNeighborDensityEstimation(K-最近鄰密度分類)InParzen:ThevolumeisconstantThenumberofpointsinthevolumeisvaryingNow:KeepthenumberofpointsconstantLeavethevolumetobevarying12/30/202363王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)K-最近鄰密度分類結果解釋：在高密度區(qū)，體積小，低密度區(qū)，體積大。如果采用Mahalanobis距離，則得到超球面空間的超橢圓體圖2-15K-近鄰密度估計；a)密度大體積小b)密度小體積大(2-45)12/30/202364王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)最近鄰規(guī)則(TheNearestNeighborRule)給定一個未知特征向量x和一種距離測量方法，于是：在N個訓練向量之外，不考慮類的標簽來確定k近鄰。在兩類的情況下，k選為奇數，一般不是類M的倍數；在k個樣本之外，確定屬于ωi(i=1,2,…M)類的向量的個數ki，顯然∑iki=k；x屬于樣本最大值ki的那一類ωi，也即在訓練樣本數足夠大時，這種簡單規(guī)則具有良好性能。當N→∞,用PB表示最優(yōu)Bayes理論錯誤率，最近鄰規(guī)則的分類錯誤率PNN由下式約束：(2-46)12/30/202365王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.5未知概率密度函數的估計(EstimationofUnknownProbabilityDensityFunctions)

2.5.6非參數估計(NonparametricEstimation)

ForsmallPB:12/30/202366王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.6貝葉斯網絡(BayesianNetworks)

2.6.1貝葉斯概率鏈規(guī)那么(BayesProbabilityChainRule)(2-47)(2-48)現假設每個隨機變量xi的條件依賴性被限制于各自的乘積表達式中出現的特征子集，例如說：其中：具體假設例如l=6，于是可以假定：則：TheaboveisageneralizationoftheNa?ve–Bayes.FortheNa?ve–Bayestheassumptionis:Ai=?,fori=1,2,…,?12/30/202367王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.6貝葉斯網絡(BayesianNetworks)

2.6.1貝葉斯概率鏈規(guī)那么(BayesProbabilityChainRule)Agraphicalwaytoportray(描繪)conditionaldependenciesisgivenbelowAccordingtothisfigurewehavethat:x6isconditionallydependentonx4,x5.x5

on

x4

x4

onx1,x2x3onx2x1,x2

areconditionallyindependentonothervariables.ForThisCase：圖2-16條件依賴性示意12/30/202368王杰(博士/教授/博導)鄭州大學電氣工程學13837106273wj@模式識別PatternRecognition

Ch.2分類器-基于Bayes決策理論

2.6貝葉斯網絡(BayesianNetworks)

2.6.2貝葉斯網絡(BayesianNetworks)Definition:ABayesianNetworkisadirectedacyclic

graph(DAG-有向無環(huán)圖)wherethenodescorrespondtorandomvariables(節(jié)點代表隨機變量).