1、會(huì)計(jì)學(xué)1模式識(shí)別概率密函數(shù)的估計(jì)模式識(shí)別概率密函數(shù)的估計(jì)第一頁(yè)，編輯于星期二：點(diǎn) 五十一分。第1頁(yè)/共50頁(yè)第二頁(yè)，編輯于星期二：點(diǎn) 五十一分。第2頁(yè)/共50頁(yè)第三頁(yè)，編輯于星期二：點(diǎn) 五十一分。1,Nd xx 1,iiNxxi第3頁(yè)/共50頁(yè)第四頁(yè)，編輯于星期二：點(diǎn) 五十一分。21,dd第4頁(yè)/共50頁(yè)第五頁(yè)，編輯于星期二：點(diǎn) 五十一分。12(,.)Tip j第5頁(yè)/共50頁(yè)第六頁(yè)，編輯于星期二：點(diǎn) 五十一分。NkiXkPiXPiiXPii1)|()|().|(NkikikNkXPXP11)|(log)|(log第6頁(yè)/共50頁(yè)第七頁(yè)，編輯于星期二：點(diǎn) 五十一分。0)|(log.11Nkik

2、pXP0)|(log.0)|(log111ikNkpikNkXPXPP(Xi/i)，即為的估值利用上式求出ii第7頁(yè)/共50頁(yè)第八頁(yè)，編輯于星期二：點(diǎn) 五十一分。)|(iiXP0)|(log1XPkNk111log (|)log 2|22nTkkkPXXX NkkX110NkkX1101i待估參數(shù)為代入上式得 110)(NkkNXNkkXN11所以，有這說(shuō)明未知均值的極大似然估計(jì)正好是訓(xùn)練樣本的算術(shù)平均。第8頁(yè)/共50頁(yè)第九頁(yè)，編輯于星期二：點(diǎn) 五十一分。21211,1222212log21)|(logXXPkik0)(1)|(log11211XXPkNkikNk代入02)(21)|(log1

3、2212212NkkikNkXXPNkkXN1111NkXkN122121第9頁(yè)/共50頁(yè)第十頁(yè)，編輯于星期二：點(diǎn) 五十一分。NkkXN111XTXNkNkk121XXkTk第10頁(yè)/共50頁(yè)第十一頁(yè)，編輯于星期二：點(diǎn) 五十一分。dPXPPXPXPiii)()|()().|()|(（證明略）求貝葉斯估計(jì)dXPi)|(第11頁(yè)/共50頁(yè)第十二頁(yè)，編輯于星期二：點(diǎn) 五十一分。dPXPPXPXPiii)()|()().|()|(第12頁(yè)/共50頁(yè)第十三頁(yè)，編輯于星期二：點(diǎn) 五十一分。1( |)(| ). ( )NikkPaP XPXdPXPai)()|(12200101111(|)expexp222

4、2NkikXPaX 21exp10022NkkXa)1(2)1(21exp 200122202NkkXNa第13頁(yè)/共50頁(yè)第十四頁(yè)，編輯于星期二：點(diǎn) 五十一分。211(|)exp22NiNNPX2220022210111NNNkkNNX第14頁(yè)/共50頁(yè)第十五頁(yè)，編輯于星期二：點(diǎn) 五十一分。22002222100NNkkXNN2220220NN( |), iPdX求 的估計(jì)。2N第15頁(yè)/共50頁(yè)第十六頁(yè)，編輯于星期二：點(diǎn) 五十一分。02202222001NNkNkXNN111NNkkXNNidXP)|( 2第16頁(yè)/共50頁(yè)第十七頁(yè)，編輯于星期二：點(diǎn) 五十一分。(|)(| ) ( |)(|

5、 ) ( |)iiiP X XP XPX dP XPX d第17頁(yè)/共50頁(yè)第十八頁(yè)，編輯于星期二：點(diǎn) 五十一分。第18頁(yè)/共50頁(yè)第十九頁(yè)，編輯于星期二：點(diǎn) 五十一分。( |)( | )( |)iiP x xP xPx d2211( |)(|)exp2211( |)exp22iiNNNPPxxxP x服從正態(tài)分布第19頁(yè)/共50頁(yè)第二十頁(yè)，編輯于星期二：點(diǎn) 五十一分。( |)( | )( |)( |)(|)iiiP xP xPdP xPdxxx代入221111expexp2222NNNxd222222222222111expexp222NNNNNNNNxxd 21exp2122222NNNx

6、為正態(tài)函數(shù)),(22NNN第20頁(yè)/共50頁(yè)第二十一頁(yè)，編輯于星期二：點(diǎn) 五十一分。22N2222N第21頁(yè)/共50頁(yè)第二十二頁(yè)，編輯于星期二：點(diǎn) 五十一分。21exp)|(1NNNTiaxP).(.1011ANN111001().(B)NkNNkx其中a與無(wú)關(guān)第22頁(yè)/共50頁(yè)第二十三頁(yè)，編輯于星期二：點(diǎn) 五十一分。 NANN10:)(011式得由110001111( )()()01NkNkBxNNNN 代入式得：( |)( |) (|)NiiP xP xPdxxBayes將代入就可以設(shè)計(jì)分類(lèi)器第23頁(yè)/共50頁(yè)第二十四頁(yè)，編輯于星期二：點(diǎn) 五十一分。RP(x)RxPdxxPPRr)(第24

7、頁(yè)/共50頁(yè)第二十五頁(yè)，編輯于星期二：點(diǎn) 五十一分。1N kkkkNPCPPNkP NkNkdxxPPR) (NkVxPdxxPPR)() (RdxV第25頁(yè)/共50頁(yè)第二十六頁(yè)，編輯于星期二：點(diǎn) 五十一分。NkPVxP )(VNkxP)(Nk1NkPVVNkxP1)(0V0)(VNkxP0kVNkxP)(第26頁(yè)/共50頁(yè)第二十七頁(yè)，編輯于星期二：點(diǎn) 五十一分。NNNKN(x)PV第27頁(yè)/共50頁(yè)第二十八頁(yè)，編輯于星期二：點(diǎn) 五十一分。0limVNNKNNlim0limNKNN第28頁(yè)/共50頁(yè)第二十九頁(yè)，編輯于星期二：點(diǎn) 五十一分。NhVNNKN第29頁(yè)/共50頁(yè)第三十頁(yè)，編輯于星期二：

8、點(diǎn) 五十一分。hVdNN其他.021| , 1)(uu|exp)(uu 方窗函數(shù)指數(shù)窗函數(shù)21exp21)(2uu正態(tài)窗函數(shù)(u) (u)(u)hN 正態(tài)窗函數(shù)第30頁(yè)/共50頁(yè)第三十一頁(yè)，編輯于星期二：點(diǎn) 五十一分。22hxxhxxNiNi1212|hhhxxNNNiNiNiNhxxK1)|(NiNiNNNNhxxVNVNKxP1)|(11)(第31頁(yè)/共50頁(yè)第三十二頁(yè)，編輯于星期二：點(diǎn) 五十一分。)|(hxxNihxxNi|)|(hxxNi第32頁(yè)/共50頁(yè)第三十三頁(yè)，編輯于星期二：點(diǎn) 五十一分。|()0|() ()0iNiNiixNNxxhxxxxdxhhh1)(0)(dxxPxPNN

9、第33頁(yè)/共50頁(yè)第三十四頁(yè)，編輯于星期二：點(diǎn) 五十一分。)21exp(21)(2uu)|(21exp21)|()(2hxxhxxuNiNi0123456x6x5x3x1x2x4x第34頁(yè)/共50頁(yè)第三十五頁(yè)，編輯于星期二：點(diǎn) 五十一分。5 . 0665 . 0VN665 . 0h,NhhV11NNN，其中選 2121113.20.134exp20.511.1 0.134exp20.5NiNiNNxxxPxNVhx第35頁(yè)/共50頁(yè)第三十六頁(yè)，編輯于星期二：點(diǎn) 五十一分。第36頁(yè)/共50頁(yè)第三十七頁(yè)，編輯于星期二：點(diǎn) 五十一分。)|(21exp21)|(2hxxhxxNiNiNhh1N設(shè)211

10、1111|111 |( )()exp22NNiiNiiNNxxNxxPxNNhhhh第37頁(yè)/共50頁(yè)第三十八頁(yè)，編輯于星期二：點(diǎn) 五十一分。v用 窗法估計(jì)單一正態(tài)分布的實(shí)驗(yàn)Parzen001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1第38頁(yè)/共50頁(yè)第三十九頁(yè)，編輯于星期二：點(diǎn) 五十一分。第39頁(yè)/共50頁(yè)第四十頁(yè)，編輯于星期二：點(diǎn) 五十一分。025. 01)(xP-2.5x-20 x2其它NhhuuN12,21exp2

11、1)(x-2.5-210.2502P(x)第40頁(yè)/共50頁(yè)第四十一頁(yè)，編輯于星期二：點(diǎn) 五十一分。001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1v用 窗法估計(jì)兩個(gè)均勻分布的實(shí)驗(yàn)Parzen第41頁(yè)/共50頁(yè)第四十二頁(yè)，編輯于星期二：點(diǎn) 五十一分。結(jié)論：結(jié)論： 由上例知窗口法的優(yōu)點(diǎn)是應(yīng)用的普遍性。對(duì)規(guī)則分布，非規(guī)則分布，單鋒或多峰分布都可用此法進(jìn)行密度估計(jì)。 要求樣本足夠多，才能有較好的估計(jì)。因此使計(jì)算量，存儲(chǔ)量增大。第

12、42頁(yè)/共50頁(yè)第四十三頁(yè)，編輯于星期二：點(diǎn) 五十一分。NkN取,VNk(x)PNNN第43頁(yè)/共50頁(yè)第四十四頁(yè)，編輯于星期二：點(diǎn) 五十一分。KNNlim0limNKNN)(11)()(111|VxPVVNKxPxPNNNN，所以因?yàn)閂1為N=1時(shí)的VN值NVNxPxPNNxPNKxPNKVNKNNNNN1)(1)()()(時(shí)，當(dāng)?shù)?4頁(yè)/共50頁(yè)第四十五頁(yè)，編輯于星期二：點(diǎn) 五十一分。NVVNKNN1VNkxPNNN)()()|(),(iiNiiNPxPvNkxP第45頁(yè)/共50頁(yè)第四十六頁(yè)，編輯于星期二：點(diǎn) 五十一分。MjiNiNNiiiiiiNxPxPPxPPxPxP11),(),()()|()()|()|(VNkxPxPNNMjjN1),()(VNkxPNiiN),(kkxPNiiN)|(后