《模式識(shí)別的理論與方法》模式識(shí)別什么是模式識(shí)別？看到東西得出看法觀(guān)察判斷觀(guān)測(cè)決策量化觀(guān)測(cè)分類(lèi)決策（人、動(dòng)物或機(jī)器）獲取關(guān)于某一事物的信息（數(shù)據(jù)），并將其歸為某一類(lèi)別的過(guò)程。“模式識(shí)別的目的是要確定一個(gè)給定的樣本屬于某一類(lèi)“(Fukunaka)模式識(shí)別概述模式識(shí)別模式識(shí)別是什么？對(duì)象Object模式Pattern分類(lèi)Classification特征提取FeatureExtraction模式識(shí)別概述類(lèi)/類(lèi)別Class/Category類(lèi)/類(lèi)別Class/Category類(lèi)/類(lèi)別Class/Category模式識(shí)別是什么？模式識(shí)別的應(yīng)用（舉例）

生物學(xué)自動(dòng)細(xì)胞學(xué)、染色體特性研究、遺傳研究

天文學(xué)天文望遠(yuǎn)鏡圖像分析、自動(dòng)光譜學(xué)

經(jīng)濟(jì)學(xué)股票交易預(yù)測(cè)、企業(yè)行為分析

醫(yī)學(xué)心電圖分析、腦電圖分析、醫(yī)學(xué)圖像分析

工程產(chǎn)品缺陷檢測(cè)、特征識(shí)別、語(yǔ)音識(shí)別、自動(dòng)導(dǎo)航系統(tǒng)、污染分析模式識(shí)別的應(yīng)用模式識(shí)別概述

軍事航空攝像分析、雷達(dá)和聲納信號(hào)檢測(cè)和分類(lèi)、自動(dòng)目標(biāo)識(shí)別

安全指紋識(shí)別、人臉識(shí)別、監(jiān)視和報(bào)警系統(tǒng)幾個(gè)視頻實(shí)例：手印識(shí)別、人工智能、照片掃描識(shí)別、屏幕凌空觸控模式識(shí)別的應(yīng)用模式識(shí)別概述識(shí)別一所大學(xué)里學(xué)生的性別，其中可用的輸入是學(xué)生的幾個(gè)特點(diǎn)（當(dāng)然，性別不能包含在特點(diǎn)中）模式識(shí)別概述被分類(lèi)的學(xué)生稱(chēng)為對(duì)象性別（男或女）稱(chēng)為類(lèi)輸入的學(xué)生信息稱(chēng)為模式例1：性別識(shí)別例如：學(xué)生可能的特征：眼睛的個(gè)數(shù)x{0,1,2}頭發(fā)的顏色 x{0=黑色，1=金色，2=紅色……}戴眼鏡或不戴 x{0,1}頭發(fā)長(zhǎng)度

[厘米]

x[0..100]鞋的大小

[美國(guó)碼]

x[3.5,4,4.5,..,14]身高

[厘米

]

x[40..240]體重

[kg]

x[30..600]特征是一個(gè)標(biāo)量

x，它定量地描述對(duì)象的屬性。模式識(shí)別概述什么是特征？當(dāng)我們有兩個(gè)或多個(gè)類(lèi)，特征提取包括選取那些最有效的保持類(lèi)的可分性的特征假設(shè)我們選擇鞋的大小作為學(xué)生的一個(gè)特征。這種選擇要是啟發(fā)式的，而且是合理的。模式識(shí)別概述在這個(gè)例子中，要求學(xué)生抬高他的腿并讀取鞋的大小的過(guò)程就是特征提取。什么是特征提??？模式是由N個(gè)標(biāo)量構(gòu)成的n元組

X（矢量），這就是所謂的特征。模式的常規(guī)形式是：其中V被稱(chēng)為特征空間，N是特征空間的維數(shù)。模式識(shí)別概述什么是模式？

我們可以用單鞋大小：我們可以結(jié)合身高和體重：如果想要更精確，我們甚至可以結(jié)合身高、體重和鞋的大?。夯蛘?，我們可以使用所有的特征：

模式識(shí)別概述性別問(wèn)題的可能模式假設(shè)我們把大學(xué)里每一個(gè)學(xué)生的身高和體重作為模式。身高和體重都是特征，它們組成2維特征空間。每個(gè)學(xué)生代表特征空間中的一個(gè)點(diǎn)。模式識(shí)別概述每個(gè)學(xué)生的特點(diǎn)是一個(gè)向量的兩個(gè)特征（身高，體重）。由于男生和女生的身高和體重的彼此不同，我們預(yù)計(jì)將有兩個(gè)分隔的群集FemalesMales例子模式識(shí)別概述類(lèi)是一組有一些共同的屬性的模式在我們的例子中，男生和女生是有性別屬性的兩個(gè)類(lèi)兩個(gè)不同的類(lèi)≠兩個(gè)分開(kāi)的集群

什么是類(lèi)？分類(lèi)是把一種特征分配到一個(gè)類(lèi)別中的數(shù)學(xué)函數(shù)或者算法在一個(gè)劃分性別的例子中，首先在兩個(gè)集群之間畫(huà)一條線(xiàn)。

每個(gè)學(xué)生將根據(jù)這條線(xiàn)被歸類(lèi)為女性或男性。1201101009080706050403012013014015016017018019020021022012011010090807060504030120130140150160170180190200210220And,Yes!!!Therearemisclassifications.FamalesMales模式識(shí)別概述什么是分類(lèi)？

錯(cuò)誤分類(lèi)是集群可分性的后果集群的可分性使用兩種主要的量化方法：數(shù)學(xué)的：還有一些可分離性的標(biāo)準(zhǔn)

直觀(guān)的：重疊的集群可分離集群半可分離集群不可分離集群模式識(shí)別概述集群分離性根據(jù)集群的可視化表示來(lái)判斷一個(gè)分類(lèi)質(zhì)量是一個(gè)不好的習(xí)慣。分類(lèi)質(zhì)量在很大程度上依賴(lài)于集群的可分離性集群的可分離性強(qiáng)烈依賴(lài)于特征選擇分類(lèi)質(zhì)量中特征選擇極為重要模式識(shí)別概述分類(lèi)質(zhì)量數(shù)字化模式識(shí)別概述實(shí)例2：手寫(xiě)地址解譯系統(tǒng)地址塊定位模式識(shí)別概述實(shí)例2：手寫(xiě)地址解譯系統(tǒng)地址抽取模式識(shí)別概述實(shí)例2：手寫(xiě)地址解譯系統(tǒng)二值化2023/1/2模式識(shí)別概述實(shí)例2：手寫(xiě)地址解譯系統(tǒng)線(xiàn)分離模式識(shí)別概述實(shí)例2：手寫(xiě)地址解譯系統(tǒng)地址分離模式識(shí)別概述實(shí)例2：手寫(xiě)地址解譯系統(tǒng)州縮寫(xiě)識(shí)別郵政編碼識(shí)別模式識(shí)別概述識(shí)別實(shí)例2：手寫(xiě)地址解譯系統(tǒng)街道號(hào)碼識(shí)別模式識(shí)別概述識(shí)別：街道名稱(chēng)識(shí)別實(shí)例2：手寫(xiě)地址解譯系統(tǒng)模式識(shí)別概述遞送點(diǎn)代碼實(shí)例2：手寫(xiě)地址解譯系統(tǒng)模式識(shí)別概述條形碼譯碼實(shí)例2：手寫(xiě)地址解譯系統(tǒng)............PedestrianNon-PedestrianTest

ImageTrainableSystem…..模式識(shí)別概述實(shí)例3：目標(biāo)檢測(cè)-行人模式識(shí)別概述實(shí)例3：目標(biāo)檢測(cè)-行人模式識(shí)別概述實(shí)例3：目標(biāo)檢測(cè)-車(chē)輛模式識(shí)別概述實(shí)例3：目標(biāo)檢測(cè)-人臉模式識(shí)別概述輸入：網(wǎng)絡(luò)流量數(shù)據(jù)輸出：正常的/入侵類(lèi)型的實(shí)例4：入侵檢測(cè)輸入：股票價(jià)格的時(shí)間序列輸出：有風(fēng)險(xiǎn)/無(wú)風(fēng)險(xiǎn)模式識(shí)別概述實(shí)例5：金融預(yù)測(cè)輸入：HTML文本輸出：主題分類(lèi)實(shí)例6：文本分類(lèi)模式識(shí)別概述輸入：指紋圖像輸出：真實(shí)的/偽造的模式識(shí)別概述實(shí)例7：指紋鑒別輸入：語(yǔ)音波形輸出：?jiǎn)卧~模式識(shí)別概述實(shí)例8：語(yǔ)音識(shí)別

從攝像頭獲取包含車(chē)牌的彩色圖像車(chē)牌定位和獲取字符分割和識(shí)別輸入圖象特征提取粗略定位分割字符確定類(lèi)型精細(xì)定位識(shí)別、輸出實(shí)例9：汽車(chē)車(chē)牌識(shí)別模式識(shí)別概述實(shí)例9：汽車(chē)車(chē)牌識(shí)別實(shí)驗(yàn)結(jié)果：車(chē)牌提取模式識(shí)別概述實(shí)驗(yàn)結(jié)果：字符識(shí)別實(shí)例9：汽車(chē)車(chē)牌識(shí)別模式識(shí)別概述計(jì)算機(jī)自動(dòng)診斷疾病:獲取情況(信息采集)：測(cè)量體溫、血壓、心率、血液化驗(yàn)、X光透射、B超、心電圖、CT等盡可能多的信息，并將這些信息數(shù)字化后輸入電腦。當(dāng)然在實(shí)際應(yīng)用中要考慮采集的成本，這就是說(shuō)特征要進(jìn)行選擇的。運(yùn)行在電腦中的專(zhuān)家系統(tǒng)或?qū)Ｓ贸绦蚩梢苑治鲞@些數(shù)據(jù)并進(jìn)行分類(lèi)，得出正?；虿徽５呐袛?，不正常情況還要指出是什么問(wèn)題。實(shí)例10：計(jì)算機(jī)自動(dòng)診斷疾病模式識(shí)別概述實(shí)例11：遙感影像特征提取模式識(shí)別概述實(shí)例12：遙感影像自動(dòng)分割模式識(shí)別概述實(shí)例12：遙感影像自動(dòng)分割Huet.al.,AutomaticSegmentationofHigh-resolutionSatelliteImagerybyIntegratingTexture,Intensity,andColorFeatures,PE&RS,2005:1399-1406模式識(shí)別概述實(shí)例12：遙感影像自動(dòng)分割模式識(shí)別概述A)SPOT-510mHRGfalsecolorimageB)DTbasedclassificationC)RFbasedclassificationD)SVMbasedclassification實(shí)例13：遙感影像自動(dòng)分類(lèi)模式識(shí)別概述課程考核方法、參考書(shū)及教學(xué)綱要模式識(shí)別

教材：舒寧等，《模式識(shí)別的理論與方法》，武漢大學(xué)出版社，2004

參考書(shū)目：RichardO.Duda,PeterE.HartandDavidG.Stork,PatternClassification,2ndEdition,JohnWiley,2001SergiosTheodoridisandKonstantinosKoutroumbas,PatternRecognition,4ndEdition,ElsevierScience,2009邊肇祺等，模式識(shí)別（第二版），清華大學(xué)出版社，2000OnlineCourseraMachineLearning(AndrewNg,斯坦福大學(xué)）:https:///course/mlNeuralNetworksforMachineLearning(GeoffreyHinton,多倫多大學(xué))：https:///course/neuralnets

教材和參考書(shū)目教材和參考書(shū)目教材和參考書(shū)目教材和參考書(shū)目第一章概論第二章貝葉斯決策理論第三章判別函數(shù)與確定性分類(lèi)器第四章聚類(lèi)分析第五章模式特征分析與選取第六章模糊集合理論在模式識(shí)別中的應(yīng)用第七章句法模式識(shí)別第八章神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用教學(xué)綱要教學(xué)綱要

§1.1模式識(shí)別基礎(chǔ) §1.2模式識(shí)別系統(tǒng)及方法 §1.3模式識(shí)別應(yīng)用 §1.4模式識(shí)別基本問(wèn)題模式識(shí)別第一章概論模式（Pattern）——存在于時(shí)間、空間中可觀(guān)察的事物，具有時(shí)間或空間分布的信息。識(shí)別（Recognition）——對(duì)各種事物或現(xiàn)象的分析、描述、判斷、識(shí)別。模式識(shí)別（PatternRecognition）——用計(jì)算機(jī)實(shí)現(xiàn)人對(duì)各種事物或現(xiàn)象的分析、描述、判斷、識(shí)別。模式識(shí)別是模擬人的某些功能模擬人的視覺(jué)：計(jì)算機(jī)+光學(xué)系統(tǒng)模擬人的聽(tīng)覺(jué)：計(jì)算機(jī)+聲音傳感器模擬人的嗅覺(jué)和觸覺(jué)：計(jì)算機(jī)+傳感器第一章概論§1.1模式識(shí)別基礎(chǔ)樣本（Sample）——一個(gè)具體的研究（客觀(guān)）對(duì)象。如患者，某人寫(xiě)的一個(gè)漢字，一幅圖片等。特征（Feature)——能描述模式特性的量（測(cè)量值）。在統(tǒng)計(jì)模式識(shí)別方法中，通常用一個(gè)矢量表示，稱(chēng)之為特征矢量，記為模式類(lèi)（Class)——具有某些共同特性的模式的集合。

§1.1模式識(shí)別基礎(chǔ)基本概念

可觀(guān)察性可區(qū)分性相似性§1.1模式識(shí)別基礎(chǔ)模式的直觀(guān)特性§1.1模式識(shí)別基礎(chǔ)常見(jiàn)模式目的利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類(lèi)，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與客觀(guān)物體相符合提高計(jì)算機(jī)的感知能力，開(kāi)拓計(jì)算機(jī)的應(yīng)用

X：定義域取自特征集Y：值域?yàn)轭?lèi)別的標(biāo)號(hào)集F：模式識(shí)別的判別方法§1.1模式識(shí)別基礎(chǔ)模式識(shí)別的研究

主要集中在兩個(gè)方面研究生物體(包括人)是如何感知對(duì)象的，是生理學(xué)家、心理學(xué)家、生物學(xué)家、神經(jīng)生理學(xué)家的研究?jī)?nèi)容，屬于認(rèn)知科學(xué)的范疇研究在給定的任務(wù)下，如何用計(jì)算機(jī)實(shí)現(xiàn)模式識(shí)別的理論和方法。是數(shù)學(xué)家、信息學(xué)專(zhuān)家和計(jì)算機(jī)科學(xué)工作者的研究?jī)?nèi)容§1.1模式識(shí)別基礎(chǔ)模式識(shí)別的研究模式采集：從客觀(guān)世界（對(duì)象空間）到模式空間的過(guò)程稱(chēng)為模式采集。特征提取和特征選擇：由模式空間到特征空間的變換和選擇類(lèi)型判別：特征空間到類(lèi)型空間所作的操作。對(duì)象空間模式空間類(lèi)型空間特征空間§1.1模式識(shí)別基礎(chǔ)模式識(shí)別的三大任務(wù)

1929年閱讀機(jī)30年代統(tǒng)計(jì)分類(lèi)理論及統(tǒng)計(jì)模式識(shí)別50年代形式語(yǔ)言理論及句法結(jié)構(gòu)模式識(shí)別60年代模糊集理論80年代神經(jīng)元網(wǎng)絡(luò)模型90年代小樣本學(xué)習(xí)理論及支持向量機(jī)§1.1模式識(shí)別基礎(chǔ)模式識(shí)別的發(fā)展史學(xué)術(shù)組織：國(guó)際模式識(shí)別協(xié)會(huì)（IAPR）、模式分析與機(jī)器智能（PAMI）委員會(huì)；主要期刊：PAMI、PatternRecognition、PatternRecognitionLetter、MachineLearning、Int.JournalofPRandAI、PatternAnalysisandApplications、模式識(shí)別與人工智能、中國(guó)圖形與圖形學(xué)學(xué)報(bào)；主要會(huì)議：ICCV、CVPR、ECCV、ICML、ICPR、ICDAR等?！?.1模式識(shí)別基礎(chǔ)相關(guān)資源

§1.1 模式識(shí)別基礎(chǔ)

§1.2 模式識(shí)別系統(tǒng)及方法 §1.3 模式識(shí)別應(yīng)用 §1.4 模式識(shí)別基本問(wèn)題模式識(shí)別第一章概論預(yù)處理這個(gè)環(huán)節(jié)的內(nèi)容很廣泛，與要解決的具體問(wèn)題有關(guān)，例如，從圖像中將汽車(chē)車(chē)牌的號(hào)碼識(shí)別出來(lái)，就需要先將車(chē)牌從圖像中找出來(lái)，再對(duì)車(chē)牌進(jìn)行劃分，將每個(gè)數(shù)字分別劃分開(kāi)。做到這一步以后，才能對(duì)每個(gè)數(shù)字進(jìn)行識(shí)別。以上工作都應(yīng)該在預(yù)處理階段完成。通常在采集信息過(guò)程中，還要去除所獲取信息中的噪聲，增強(qiáng)有用的信息等工作。這種使信息純化的處理過(guò)程叫做信息的預(yù)處理。數(shù)字化--比特流第一章概論待識(shí)對(duì)象數(shù)據(jù)采集、特征提取二次特征提取與選擇分類(lèi)識(shí)別識(shí)別結(jié)果§1.2模式識(shí)別系統(tǒng)及方法通常能描述對(duì)象的元素很多，為節(jié)約資源和提高處理速度，有時(shí)更為了可行性，在滿(mǎn)足分類(lèi)識(shí)別正確率要求的條件下，按某種準(zhǔn)則盡量選用對(duì)正確分類(lèi)識(shí)別作用較大的特征。使得用較少的特征就能完成分類(lèi)識(shí)別任務(wù)。分類(lèi)識(shí)別是根據(jù)事先確定的分類(lèi)規(guī)則對(duì)前面選取的特征進(jìn)行分類(lèi)（即識(shí)別）。第一章概論待識(shí)對(duì)象數(shù)據(jù)采集、特征提取二次特征提取與選擇分類(lèi)識(shí)別識(shí)別結(jié)果§1.2模式識(shí)別系統(tǒng)及方法§1.2模式識(shí)別系統(tǒng)及方法待識(shí)對(duì)象數(shù)據(jù)采集、特征提取二次特征提取與選擇分類(lèi)識(shí)別識(shí)別結(jié)果正確率測(cè)試訓(xùn)練樣本數(shù)據(jù)采集、特征提取二次特征提取與選擇改進(jìn)分類(lèi)識(shí)別規(guī)則人工干預(yù)數(shù)據(jù)采集、特征提取改正特征提取與選擇制定改進(jìn)分類(lèi)識(shí)別規(guī)則模式識(shí)別系統(tǒng)

通過(guò)各種傳感器把被研究對(duì)象的各種物理變量轉(zhuǎn)換為計(jì)算機(jī)可以接受的數(shù)值或符號(hào)（串）集合。習(xí)慣上，稱(chēng)這種數(shù)值或符號(hào)（串）所組成的空間為模式空間。一維波形：腦電圖、心電圖、季節(jié)震動(dòng)波形等物理參量和邏輯值：體溫、化驗(yàn)數(shù)據(jù)、參量正常與否的描述二維圖像：文字、指紋、地圖、照片等§1.2模式識(shí)別系統(tǒng)及方法數(shù)據(jù)采集

為了從這些數(shù)字或符號(hào)（串）中抽取出對(duì)識(shí)別有效的信息，必須對(duì)它進(jìn)行處理，包括：消除噪聲，排除不相干的信號(hào)提取有用信息，并對(duì)輸入測(cè)量?jī)x器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原（圖像處理）與對(duì)象的性質(zhì)和采用的識(shí)別方法密切相關(guān)的特征的計(jì)算（如表征物體的形狀、周長(zhǎng)、面積等等）必要的變換（如為得到信號(hào)功率譜所進(jìn)行的快速傅里葉變換）等§1.2模式識(shí)別系統(tǒng)及方法預(yù)處理

對(duì)數(shù)據(jù)進(jìn)行加工，包括特征選擇、特征提取、數(shù)據(jù)維數(shù)壓縮和決定可能存在的類(lèi)別等。通過(guò)特征選擇和提取或基元選擇形成模式的特征空間。以后的分類(lèi)決策或模型匹配就在特征空間的基礎(chǔ)上進(jìn)行。系統(tǒng)的輸出或者是對(duì)象所屬的類(lèi)型或者是模型數(shù)據(jù)庫(kù)中與對(duì)象最相似的模型編號(hào)?！?.2模式識(shí)別系統(tǒng)及方法模式表示（數(shù)據(jù)處理）

將客觀(guān)數(shù)據(jù)或現(xiàn)象利用數(shù)值或者編碼方式進(jìn)行描述，從而使其在一定數(shù)學(xué)含義框架下彼此相關(guān)的過(guò)程。常規(guī)表示：統(tǒng)計(jì)表示：模式=d個(gè)特征或測(cè)量值，目前應(yīng)用最多結(jié)構(gòu)化表示：模式=子模式1+子模式2+…+子模式n=基元a+基元b+基元n，符合人類(lèi)習(xí)慣，但難以泛化§1.2模式識(shí)別系統(tǒng)及方法表示

相異度表示：利用對(duì)象與特定對(duì)象集合的相異度來(lái)進(jìn)行相對(duì)表示。相異度可以來(lái)源于原始數(shù)據(jù)，如圖像、譜或時(shí)間樣本，也可來(lái)源于原始的統(tǒng)計(jì)特征向量或結(jié)構(gòu)特征表示，如字串、關(guān)系圖等。主要應(yīng)用于混合分類(lèi)器。

可視化表示：數(shù)據(jù)可視化，通過(guò)交互引入人類(lèi)知識(shí)（疾病醫(yī)學(xué)診斷）。主要用于解決維數(shù)特高（數(shù)萬(wàn)維）、數(shù)據(jù)復(fù)現(xiàn)性差，半定量的數(shù)據(jù)這類(lèi)問(wèn)題?！?.2模式識(shí)別系統(tǒng)及方法表示對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類(lèi)本質(zhì)的特征。測(cè)量空間：原始數(shù)據(jù)組成的空間特征空間：進(jìn)行分類(lèi)識(shí)別的空間特征選擇：維數(shù)較高的測(cè)量空間→維數(shù)較低的特征空間特征提?。嚎迥?洛伊（K-L）變換、二維共生矩陣、主分量分析（PCA）等，消除模式特征之間的相關(guān)性、突出差異性§1.2模式識(shí)別系統(tǒng)及方法特征提取和選擇

通過(guò)訓(xùn)練確定判決規(guī)則，使按此類(lèi)判決規(guī)則決策時(shí)，錯(cuò)誤率最低。把這些判決規(guī)則建成標(biāo)準(zhǔn)庫(kù)。

學(xué)習(xí)：有監(jiān)督學(xué)習(xí)--使用分好類(lèi)的樣本集無(wú)監(jiān)督學(xué)習(xí)--自動(dòng)分類(lèi)

分類(lèi)：根據(jù)待分類(lèi)事物的特征及分類(lèi)規(guī)則進(jìn)行分類(lèi)

評(píng)估：對(duì)分類(lèi)結(jié)果進(jìn)行評(píng)估

調(diào)整：調(diào)整分類(lèi)規(guī)則。主要任務(wù)是將學(xué)習(xí)方法或問(wèn)題描述進(jìn)行調(diào)整或擴(kuò)展，使其更適合決策分類(lèi)決策：利用特征及分類(lèi)規(guī)則對(duì)被識(shí)別對(duì)象進(jìn)行識(shí)別§1.2模式識(shí)別系統(tǒng)及方法模式識(shí)別系統(tǒng)設(shè)計(jì)模板匹配法（templatematching)統(tǒng)計(jì)方法（statisticalpatternrecognition）神經(jīng)網(wǎng)絡(luò)方法（neuralnetwork）模糊方法（fuzzypatternrecognition）結(jié)構(gòu)方法（句法方法）(structuralpatternrecognition)支持向量機(jī)、核方法：1990s-多分類(lèi)器、集成學(xué)習(xí)：1990s-Bayes學(xué)習(xí)：1990s-1990s-：模式識(shí)別技術(shù)大規(guī)模應(yīng)用§1.2模式識(shí)別系統(tǒng)及方法模式識(shí)別的基本方法§1.2模式識(shí)別系統(tǒng)及方法模版匹配法（templatematching）基本步驟：首先對(duì)每個(gè)類(lèi)別建立一個(gè)或多個(gè)模版；輸入樣本和數(shù)據(jù)庫(kù)中每個(gè)類(lèi)別的模版進(jìn)行比較；求相關(guān)或距離；根據(jù)相關(guān)性或距離大小進(jìn)行決策.優(yōu)點(diǎn)：直接、簡(jiǎn)單。缺點(diǎn)：適應(yīng)性差。模式描述方法：特征向量

模式判定：模式類(lèi)用條件概率分布

表示,m類(lèi)就有m個(gè)分布，然后判定未知模式屬于哪一個(gè)分布。根據(jù)訓(xùn)練樣本，建立決策邊界?！?.2模式識(shí)別系統(tǒng)及方法統(tǒng)計(jì)方法統(tǒng)計(jì)決策理論——根據(jù)每一類(lèi)總體的概率分布決定決策邊界。是一種監(jiān)督分類(lèi)的方法，分類(lèi)器是概念驅(qū)動(dòng)的。判別分析方法——給出帶參數(shù)的決策邊界，根據(jù)某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)。是一種監(jiān)督分類(lèi)的方法，分類(lèi)器是概念驅(qū)動(dòng)的。聚類(lèi)分析方法——用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。是一種非監(jiān)督學(xué)習(xí)的方法，解決方案是數(shù)據(jù)驅(qū)動(dòng)的。§1.2模式識(shí)別系統(tǒng)及方法統(tǒng)計(jì)方法

優(yōu)點(diǎn)：比較成熟能考慮干擾噪聲等影響識(shí)別模式基元能力強(qiáng)缺點(diǎn)：對(duì)結(jié)構(gòu)復(fù)雜的模式抽取特征困難不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)難以從整體角度考慮識(shí)別問(wèn)題§1.2模式識(shí)別系統(tǒng)及方法統(tǒng)計(jì)方法

模式描述方法：

以不同活躍度表示的輸入節(jié)點(diǎn)集（神經(jīng)元）

模式判定：一個(gè)非線(xiàn)性動(dòng)態(tài)系統(tǒng)。通過(guò)對(duì)樣本的學(xué)習(xí)建立起記憶，然后將未知模式判決為其最接近的記憶。

受人腦組織的生理學(xué)啟發(fā)而創(chuàng)立§1.2模式識(shí)別系統(tǒng)及方法神經(jīng)網(wǎng)絡(luò)方法（NeuralNetwork）由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強(qiáng)或抑制信號(hào)。增強(qiáng)或抑制是通過(guò)調(diào)整神經(jīng)元相互間聯(lián)系的權(quán)重系數(shù)來(lái)實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)監(jiān)督和非監(jiān)督學(xué)習(xí)條件下的分類(lèi)。利用人工神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)大規(guī)模并行計(jì)算，通過(guò)反饋式學(xué)習(xí)不斷提高分類(lèi)器性能--自適應(yīng)、容錯(cuò)?！?.2模式識(shí)別系統(tǒng)及方法神經(jīng)網(wǎng)絡(luò)方法（NeuralNetwork）

優(yōu)點(diǎn)：可處理一些環(huán)境信息十分復(fù)雜，背景知識(shí)不清楚，推理規(guī)則不明確的問(wèn)題允許樣本有較大的缺損、畸變?nèi)秉c(diǎn)：模型在不斷豐富與完善中，目前能識(shí)別的模式類(lèi)還不夠多。§1.2模式識(shí)別系統(tǒng)及方法神經(jīng)網(wǎng)絡(luò)方法（NeuralNetwork）

模式描述方法：模糊集合

模式判定：是一種集合運(yùn)算。用隸屬度將模糊集合劃分為若干子集，m類(lèi)就有m個(gè)子集，然后根據(jù)擇近原則分類(lèi)。§1.2模式識(shí)別系統(tǒng)及方法模糊方法基于模糊數(shù)學(xué)理論，利用隸屬函數(shù)描述事物的不確定性。使用模糊化的特征來(lái)進(jìn)行模式分類(lèi)，同時(shí)給出模糊化的分類(lèi)結(jié)果，可結(jié)合統(tǒng)計(jì)方法或句法方法來(lái)使用。識(shí)別根據(jù)研究對(duì)象對(duì)于某模糊子集的隸屬程度采用最大隸屬原則識(shí)別法、擇近原則識(shí)別法、模糊聚類(lèi)分析法對(duì)模式進(jìn)行識(shí)別?！?.2模式識(shí)別系統(tǒng)及方法模糊方法

優(yōu)點(diǎn)：由于隸屬度函數(shù)作為樣本與模板間相似程度的度量，故往往能反映整體的與主體的特征，從而允許樣本有相當(dāng)程度的干擾與畸變。

缺點(diǎn)：準(zhǔn)確合理的隸屬度函數(shù)往往難以建立，故限制了它的應(yīng)用?！?.2模式識(shí)別系統(tǒng)及方法模糊方法

模式描述方法：符號(hào)串，樹(shù)，圖

模式判定：是一種語(yǔ)言，用一個(gè)文法表示一個(gè)類(lèi)，m類(lèi)就有m個(gè)文法，然后判定未知模式遵循哪一個(gè)文法。通過(guò)考慮識(shí)別對(duì)象的各部分之間的聯(lián)系來(lái)分類(lèi)§1.2模式識(shí)別系統(tǒng)及方法結(jié)構(gòu)方法許多復(fù)雜的模式可以分解為簡(jiǎn)單的子模式，這些子模式組成所謂“基元”；每個(gè)模式都可以由基元根據(jù)一定的關(guān)系來(lái)組成;基元可以認(rèn)為是語(yǔ)言中的字母，每個(gè)模式都可以認(rèn)為是一個(gè)句子，關(guān)系可以認(rèn)為是語(yǔ)法；模式的相似性由句子的相似性來(lái)決定；通過(guò)檢查組成句子的模式基元的序列是否遵守某種規(guī)則，即句法規(guī)則或語(yǔ)法，來(lái)確定模式的類(lèi)別?！?.2模式識(shí)別系統(tǒng)及方法結(jié)構(gòu)方法 如下圖中一幅圖形，要識(shí)別圖中的物體，選用句法模式識(shí)別方法D墻壁NLTEZYXB地板M§1.2模式識(shí)別系統(tǒng)及方法結(jié)構(gòu)方法D背景C景物A物體B背景C長(zhǎng)方體E地板M三角形T面L面X面Y面Z三角體D

解：圖形結(jié)構(gòu)復(fù)雜，首先應(yīng)分解為簡(jiǎn)單的子圖（背景、物體）。構(gòu)成一個(gè)多級(jí)樹(shù)結(jié)構(gòu)：墻壁N景物A墻壁NLTEZYXB地板M§1.2模式識(shí)別系統(tǒng)及方法結(jié)構(gòu)方法D背景C訓(xùn)練過(guò)程：用已知結(jié)構(gòu)信息的圖像作為訓(xùn)練樣本，先識(shí)別出基元（比如場(chǎng)景圖中的X、Y、Z等簡(jiǎn)單平面）和它們之間的連接關(guān)系（例如長(zhǎng)方體E是由X、Y和Z三個(gè)面拼接而成），并用字母符號(hào)代表之；然后用構(gòu)造句子的文法來(lái)描述生成這幅場(chǎng)景的過(guò)程，由此推斷出生成該場(chǎng)景的一種文法?！?.2模式識(shí)別系統(tǒng)及方法結(jié)構(gòu)方法識(shí)別過(guò)程：先對(duì)未知結(jié)構(gòu)信息的圖像進(jìn)行基元提取及其相互結(jié)構(gòu)關(guān)系的識(shí)別；然后用訓(xùn)練過(guò)程獲得的文法做句法分析；如果能被已知結(jié)構(gòu)信息的文法分析出來(lái)，則該幅未知圖像與訓(xùn)練樣本具有相同的結(jié)構(gòu)（識(shí)別成功），否則就不是這種結(jié)構(gòu)（識(shí)別失?。??！?.2模式識(shí)別系統(tǒng)及方法結(jié)構(gòu)方法

優(yōu)點(diǎn)：識(shí)別方便，可以從簡(jiǎn)單的基元開(kāi)始，由簡(jiǎn)至繁能反映模式的結(jié)構(gòu)特征，能描述模式的性質(zhì)對(duì)圖象畸變的抗干擾能力較強(qiáng)

缺點(diǎn)：當(dāng)存在干擾及噪聲時(shí)，抽取特征基元困難，且易失誤計(jì)算復(fù)雜度高§1.2模式識(shí)別系統(tǒng)及方法結(jié)構(gòu)方法方法表達(dá)識(shí)別函數(shù)識(shí)別函數(shù)模板匹配樣本，像元，曲線(xiàn)相關(guān)，距離度量分類(lèi)錯(cuò)誤統(tǒng)計(jì)方法特征決策函數(shù)分類(lèi)錯(cuò)誤神經(jīng)網(wǎng)絡(luò)樣本，像元，特征網(wǎng)絡(luò)函數(shù)均值方差錯(cuò)誤模糊方法模糊矩陣隸屬函數(shù)模糊分類(lèi)錯(cuò)誤句法方法基元規(guī)則，語(yǔ)法規(guī)則，語(yǔ)法接受錯(cuò)誤§1.2模式識(shí)別系統(tǒng)及方法幾種方法比較自動(dòng)按品種分類(lèi)傳送帶上的魚(yú)類(lèi)（(Sea

bass)和(Salmon））

§1.2模式識(shí)別系統(tǒng)及方法模式識(shí)別過(guò)程實(shí)例數(shù)據(jù)獲取：架設(shè)一個(gè)攝像機(jī)，采集一些樣本圖像，獲取樣本數(shù)據(jù)。預(yù)處理：去噪聲，用一個(gè)分割操作把魚(yú)和魚(yú)之間以及魚(yú)和背景之間分開(kāi)。特征提取和選擇：對(duì)單個(gè)魚(yú)的信息進(jìn)行特征選擇，從而通過(guò)測(cè)量某些特征來(lái)減少信息量。長(zhǎng)度、亮度、寬度、魚(yú)翅的數(shù)量和形狀等等…分類(lèi)決策：把特征送入決策分類(lèi)器?！?.2模式識(shí)別系統(tǒng)及方法模式識(shí)別過(guò)程實(shí)例SeabassPreprocessingFeatureExtractionSalmonClassification§1.2模式識(shí)別系統(tǒng)及方法模式識(shí)別過(guò)程實(shí)例圖：訓(xùn)練樣本的長(zhǎng)度特征直方圖圖：訓(xùn)練樣本的光澤度特征直方圖§1.2模式識(shí)別系統(tǒng)及方法模式識(shí)別過(guò)程實(shí)例圖：訓(xùn)練樣本的光澤度特征和寬度特征的散布圖§1.2模式識(shí)別系統(tǒng)及方法模式識(shí)別過(guò)程實(shí)例圖：訓(xùn)練樣本的光澤度特征和寬度特征的散布圖§1.2模式識(shí)別系統(tǒng)及方法模式識(shí)別過(guò)程實(shí)例圖：訓(xùn)練樣本的光澤度特征和寬度特征的散布圖§1.2模式識(shí)別系統(tǒng)及方法模式識(shí)別過(guò)程實(shí)例計(jì)算結(jié)果和復(fù)雜度分析，反饋特征選取模型選擇開(kāi)始數(shù)據(jù)采集訓(xùn)練和測(cè)試結(jié)束§1.2模式識(shí)別系統(tǒng)及方法模式分類(lèi)器的評(píng)測(cè)過(guò)程訓(xùn)練集：是一個(gè)已知樣本集，在監(jiān)督學(xué)習(xí)方法中，用它來(lái)開(kāi)發(fā)出模式分類(lèi)器。測(cè)試集：在設(shè)計(jì)識(shí)別和分類(lèi)系統(tǒng)時(shí)沒(méi)有用過(guò)的獨(dú)立樣本集。系統(tǒng)評(píng)價(jià)原則：為了更好地對(duì)模式識(shí)別系統(tǒng)性能進(jìn)行評(píng)價(jià)，必須使用一組獨(dú)立于訓(xùn)練集的測(cè)試集對(duì)系統(tǒng)進(jìn)行測(cè)試?！?.2模式識(shí)別系統(tǒng)及方法訓(xùn)練和測(cè)試改進(jìn)判別規(guī)則識(shí)別學(xué)習(xí)識(shí)別結(jié)果輸出未知模式的特征數(shù)據(jù)采集未知模式特征的選擇特征維數(shù)的壓縮模式分類(lèi)訓(xùn)練模式樣本的特征數(shù)據(jù)輸入制定分類(lèi)的判決規(guī)則訓(xùn)練模式樣本的特征的選擇和特征維數(shù)的壓縮錯(cuò)誤率檢測(cè)§1.2模式識(shí)別系統(tǒng)及方法模式識(shí)別過(guò)程總結(jié)§1.1 模式識(shí)別基礎(chǔ)§1.2 模式識(shí)別系統(tǒng)及方法§1.3 模式識(shí)別應(yīng)用§1.4 模式識(shí)別基本問(wèn)題模式識(shí)別第一章概論遙感：數(shù)字?jǐn)z影測(cè)量，衛(wèi)星影像處理；數(shù)字化地球文字：OCR技術(shù)(OpticalCharacterRecognition，光學(xué)字符識(shí)別)--版面分析；印刷體字符識(shí)別；聯(lián)機(jī)手寫(xiě)體字符識(shí)別；脫機(jī)手寫(xiě)體字符識(shí)別可用于：信函分揀、文件處理、卡片輸入、支票查對(duì)、自動(dòng)排板、期刊閱讀、稿件輸入；在線(xiàn)手寫(xiě)字符的識(shí)別（聯(lián)機(jī)），各種書(shū)寫(xiě)輸入板。醫(yī)療診斷：心電圖分析，腦電圖分析，醫(yī)學(xué)圖像分析，染色體，癌細(xì)胞識(shí)別，疾病診斷。文本分類(lèi)：搜索引擎；信息過(guò)濾§1.3模式識(shí)別應(yīng)用第一章概論經(jīng)濟(jì)：國(guó)民經(jīng)濟(jì)分析；股市分析；企業(yè)運(yùn)營(yíng)的分析圖像識(shí)別：反黃軟件；目標(biāo)識(shí)別和跟蹤；條碼識(shí)別；智能交通；火災(zāi)探測(cè)語(yǔ)音識(shí)別：語(yǔ)言控制；話(huà)音監(jiān)控；語(yǔ)言－文字轉(zhuǎn)換

三大障礙：大詞匯量，連續(xù)語(yǔ)言，非特定人

生物特征識(shí)別：指紋、掌紋；虹膜；臉像；聲音；筆跡自然語(yǔ)言處理：智能搜索引擎；機(jī)器翻譯；語(yǔ)音界面§1.3模式識(shí)別應(yīng)用§1.3模式識(shí)別應(yīng)用數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)：從大量數(shù)據(jù)中提取出可信、新穎、有效并能被人理解的模式，找出最有價(jià)值的信息，指導(dǎo)商業(yè)行為或輔助科學(xué)研究。

軍事：敵我識(shí)別；圖像制導(dǎo)；自動(dòng)偵察工業(yè)自動(dòng)化：故障檢測(cè)；過(guò)程控制；產(chǎn)品質(zhì)量檢驗(yàn)環(huán)境氣象：氣象衛(wèi)星影像處理；地震分析；污染分析、大氣、水源、環(huán)境監(jiān)測(cè)§1.3模式識(shí)別應(yīng)用§1.3模式識(shí)別應(yīng)用§1.1 模式識(shí)別基礎(chǔ)§1.2 模式識(shí)別系統(tǒng)及方法§1.3 模式識(shí)別應(yīng)用§1.4 模式識(shí)別基本問(wèn)題模式識(shí)別第一章概論模式識(shí)別的5個(gè)公認(rèn)的假設(shè)（公設(shè)）模式（樣本）表示方法模式類(lèi)的緊致性相似與分類(lèi)特征的生成數(shù)據(jù)的標(biāo)準(zhǔn)化§1.4模式識(shí)別基本問(wèn)題第一章概論存在一個(gè)有代表性的樣本集可供使用，以便獲得一個(gè)問(wèn)題范圍。一個(gè)“簡(jiǎn)單”模式，具有表征其類(lèi)別的類(lèi)屬性特征。一個(gè)類(lèi)的模式，其特征在特征空間中組成某種程度上的一個(gè)集群域，不同類(lèi)的特征組成的區(qū)域是彼此分離的。§1.4模式識(shí)別基本問(wèn)題1.模式識(shí)別的5個(gè)公認(rèn)的假設(shè)（公設(shè)）一個(gè)“復(fù)雜”模式具有簡(jiǎn)單的組成部分，它們之間存在著確定的關(guān)系。模式被分解成這些組成部分，且它們有一個(gè)確定的而不是任意的結(jié)構(gòu)。如果兩個(gè)模式的特征或其簡(jiǎn)單的組成部分僅有微小差別，則稱(chēng)兩個(gè)模式是相似的?！?.4模式識(shí)別基本問(wèn)題1.模式識(shí)別的5個(gè)公認(rèn)的假設(shè)（公設(shè)）向量表示:假設(shè)一個(gè)樣本有n個(gè)變量(特征)

矩陣表示:N個(gè)樣本，n個(gè)變量(特征)

樣本X1X2...XnX1X11X12...X1nX2X12X22...X2n...............XNXN2XN2...XNn變量樣本§1.4模式識(shí)別基本問(wèn)題2.模式（樣本）表示方法幾何表示一維表示二維表示

三維表示x2x2x1x31x11x2x2x12x111122310x1x2§1.4模式識(shí)別基本問(wèn)題2.模式（樣本）表示方法基元（鏈碼）表示：在右側(cè)的圖中八個(gè)基元，分別表示0-7八個(gè)方向和基元線(xiàn)段長(zhǎng)度。

則右側(cè)樣本可以表示為

這種方法將在句法模式識(shí)別中用到?！?.4模式識(shí)別基本問(wèn)題2.模式（樣本）表示方法緊致集：同一類(lèi)模式類(lèi)樣本的分布比較集中，沒(méi)有或臨界樣本很少，這樣的模式類(lèi)稱(chēng)緊致集。⊕⊕⊕＊＊無(wú)臨界點(diǎn)x1x2＊⊕⊕＊＊有臨界點(diǎn)x1x2⊕⊕＊＊⊕⊕⊕＊＊多臨界點(diǎn)x1x2⊕⊕＊§1.4模式識(shí)別基本問(wèn)題3.模式類(lèi)的緊致性臨界點(diǎn)（樣本）：在多類(lèi)樣本中，某些樣本的值有微小變化時(shí)就變成另一類(lèi)樣本稱(chēng)為臨界樣本（點(diǎn)）。緊致集的性質(zhì)要求臨界點(diǎn)很少集合內(nèi)的任意兩點(diǎn)的連線(xiàn),在線(xiàn)上的點(diǎn)屬于同一集合集合內(nèi)的每一個(gè)點(diǎn)都有足夠大的鄰域,在鄰域內(nèi)只包含同一集合的點(diǎn)模式識(shí)別的要求：滿(mǎn)足緊致集，才能很好地分類(lèi)；如果不滿(mǎn)足緊致集，就要采取變換的方法，滿(mǎn)足緊致集?！?.4模式識(shí)別基本問(wèn)題3.模式類(lèi)的緊致性?xún)蓚€(gè)樣本xi，xj之間的相似度量滿(mǎn)足以下要求：應(yīng)為非負(fù)值樣本本身相似性度量應(yīng)最大度量應(yīng)滿(mǎn)足對(duì)稱(chēng)性在滿(mǎn)足緊致性的條件下，相似性應(yīng)該是點(diǎn)間距離的單調(diào)函數(shù)§1.4模式識(shí)別基本問(wèn)題4.相似與分類(lèi)用于模式識(shí)別的相似性測(cè)度:

歐氏距離（歐幾里德距離）絕對(duì)值距離切氏距離（切比雪夫距離）§1.4模式識(shí)別基本問(wèn)題4.相似與分類(lèi)明氏距離（明考夫斯基距離Minkowski）當(dāng)m=1時(shí)為絕對(duì)值距離；當(dāng)m=2時(shí)為歐氏距離；當(dāng)m→∞時(shí)為切氏距離。馬氏距離（馬哈拉諾比斯距離Mahalanobis）其中m為均值向量，C為協(xié)方差矩陣，使用的條件是樣本符合正態(tài)分布?！?.4模式識(shí)別基本問(wèn)題4.相似與分類(lèi)

向量夾角余弦它反映了幾何相似性，在模式向量具有扇形分布時(shí)常采用這種測(cè)度。

Tanimoto測(cè)度當(dāng)模式特征向量各分量取0、1二值時(shí)，常采用此式?！?.4模式識(shí)別基本問(wèn)題4.相似與分類(lèi)分類(lèi)的主觀(guān)性和客觀(guān)性分類(lèi)帶有主觀(guān)性：

模式識(shí)別具有相當(dāng)明顯的主觀(guān)性。目的不同，分類(lèi)不同。例如：遙感影像分類(lèi)，不同的目的會(huì)有不同的分類(lèi)體系。分類(lèi)的客觀(guān)性（科學(xué)性）：判斷分類(lèi)必須有客觀(guān)標(biāo)準(zhǔn)，因此分類(lèi)是追求客觀(guān)性的，但主觀(guān)性也很難避免，這就是分類(lèi)的復(fù)雜性?！?.4模式識(shí)別基本問(wèn)題4.相似與分類(lèi)

低層特征：無(wú)序尺度：有明確的數(shù)量和數(shù)值有序尺度：有先后、好壞次序關(guān)系，如酒分上，中，下三個(gè)等級(jí)名義尺度：無(wú)數(shù)量、無(wú)次序關(guān)系，如有紅、黃兩種顏色

中層特征：經(jīng)過(guò)計(jì)算，變換得到的特征高層特征：在中層特征的基礎(chǔ)上有目的地經(jīng)過(guò)運(yùn)算形成例如：遙感影像--像素的灰度；差分；邊緣跟蹤§1.4模式識(shí)別基本問(wèn)題5.特征的生成極差標(biāo)準(zhǔn)化，一批樣本中，每個(gè)特征的最大值與最小值之差

極差極差標(biāo)準(zhǔn)化方差標(biāo)準(zhǔn)化

Si

為方差

§1.4模式識(shí)別基本問(wèn)題標(biāo)準(zhǔn)化的方法很多，原始數(shù)據(jù)是否應(yīng)該標(biāo)準(zhǔn)化，應(yīng)采用什么方法標(biāo)準(zhǔn)化，都要根據(jù)具體情況來(lái)定。6.數(shù)據(jù)的標(biāo)準(zhǔn)化第一章概論第二章貝葉斯決策理論第三章判別函數(shù)與確定性分類(lèi)器第四章聚類(lèi)分析第五章模式特征分析與選取第六章模糊集合理論在模式識(shí)別中的應(yīng)用第七章句法模式識(shí)別第八章神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用教學(xué)綱要模式識(shí)別第二章

貝葉斯決策理論§2.1引言§2.2基于貝葉斯公式的幾種判別規(guī)則§2.3正態(tài)分布模式的統(tǒng)計(jì)決策§2.4概率密度函數(shù)的估計(jì)§2.5貝葉斯分類(lèi)器的錯(cuò)誤概率模式識(shí)別§2.1引言貝葉斯（ThomasBayes）是英國(guó)數(shù)學(xué)家，1702年出生于倫敦，1761年4月17日卒于坦布里奇韋爾斯。貝葉斯是一位自學(xué)成才的數(shù)學(xué)家，生前是位受人尊敬英格蘭長(zhǎng)老會(huì)牧師。1742年，貝葉斯被選為英國(guó)皇家學(xué)會(huì)會(huì)員。ThomasBayes，一位偉大的數(shù)學(xué)大師，他的理論照亮了今天的計(jì)算領(lǐng)域，和他的同事們不同：他認(rèn)為上帝的存在可以通過(guò)方程式證明，他最重要的作品被別人發(fā)行，而他已經(jīng)去世241年了。搜索巨人Google使用了貝葉斯定理為數(shù)據(jù)搜索提供近似的（但是技術(shù)上不確切）結(jié)果。數(shù)學(xué)家貝葉斯是N個(gè)互斥事件，這一集合構(gòu)成了樣本空間，因此事件B構(gòu)成了的一部分現(xiàn)在事件A是的一個(gè)子集，可以表示為：由于是相互排斥的§2.1引言貝葉斯規(guī)則BayesRuleThomasBayes(1702-1761)這就是著名的貝葉斯規(guī)則鑒于事件A已經(jīng)發(fā)生，現(xiàn)在，我們提出問(wèn)題：B事件里任何單一事件發(fā)生的概率是多少？§2.1引言貝葉斯規(guī)則BayesRule基本概念機(jī)器自動(dòng)識(shí)別分類(lèi)，能不能避免錯(cuò)分類(lèi)，做到百分之百正確？怎樣才能減少錯(cuò)誤？錯(cuò)分類(lèi)往往難以避免，因此就要考慮減小因錯(cuò)分類(lèi)造成的危害損失，那么有沒(méi)有可能對(duì)危害大的錯(cuò)誤嚴(yán)格控制？什么是先驗(yàn)概率、類(lèi)概率密度函數(shù)和后驗(yàn)概率？它們的定義和相互關(guān)系如何？貝葉斯公式正是體現(xiàn)三者關(guān)系的式子?！?.1引言貝葉斯決策：統(tǒng)計(jì)模式識(shí)別的一個(gè)基本方法理論上的最優(yōu)性能分類(lèi)錯(cuò)誤概率與風(fēng)險(xiǎn)最小衡量其他分類(lèi)器設(shè)計(jì)方法的標(biāo)準(zhǔn)

貝葉斯決策的要求：要決策分類(lèi)的類(lèi)別數(shù)是一定的各類(lèi)別總體的概率分布是已知的§2.1引言基本概念在連續(xù)情況下，假設(shè)對(duì)要識(shí)別的物理對(duì)象有d

種特征觀(guān)察，這些特征的所有可能的取值范圍構(gòu)成了d

維特征空間。稱(chēng)向量

為d

維特征向量。假設(shè)要研究的分類(lèi)問(wèn)題有c個(gè)類(lèi)別，類(lèi)型空間表示為：§2.1引言基本概念第二章

貝葉斯決策理論§2.1引言§2.2基于貝葉斯公式的幾種判別規(guī)則§2.3正態(tài)分布模式的統(tǒng)計(jì)決策§2.4概率密度函數(shù)的估計(jì)§2.5貝葉斯分類(lèi)器的錯(cuò)誤概率模式識(shí)別評(píng)價(jià)決策有多種標(biāo)準(zhǔn)，對(duì)于同一個(gè)問(wèn)題，采用不同的標(biāo)準(zhǔn)會(huì)得到不同意義下“最優(yōu)”的決策。貝葉斯決策常用的準(zhǔn)則：最小錯(cuò)誤率準(zhǔn)則最小風(fēng)險(xiǎn)準(zhǔn)則Neyman-Pearson（奈曼–皮爾森）準(zhǔn)則最小最大決策準(zhǔn)則序貫分類(lèi)決策§2.2基于貝葉斯公式的幾種判別規(guī)則§2.2基于貝葉斯公式的幾種判別規(guī)則先驗(yàn)概率：類(lèi)條件概率：后驗(yàn)概率：貝葉斯公式未獲得觀(guān)測(cè)數(shù)據(jù)之前類(lèi)別的分布觀(guān)測(cè)數(shù)據(jù)在各類(lèi)別情況下的分布X屬于哪一類(lèi)的概率其中：§2.2基于貝葉斯公式的幾種判別規(guī)則基本概念一、兩類(lèi)問(wèn)題

例如：細(xì)胞識(shí)別問(wèn)題 已知：為正常細(xì)胞，為異常細(xì)胞 某地區(qū)，經(jīng)大量統(tǒng)計(jì)獲先驗(yàn)概率問(wèn)：該地區(qū)某人細(xì)胞x

屬何種細(xì)胞若，決策結(jié)果總是信息太少§2.2基于貝葉斯公式的幾種判別規(guī)則這種分類(lèi)器決策無(wú)意義最小錯(cuò)誤率準(zhǔn)則對(duì)x再觀(guān)察：有細(xì)胞光密度特征，其類(lèi)條件概率密度：由貝葉斯公式：§2.2基于貝葉斯公式的幾種判別規(guī)則（也稱(chēng)為后驗(yàn)概率）最小錯(cuò)誤率準(zhǔn)則將先驗(yàn)概率轉(zhuǎn)為后驗(yàn)概率，利用后驗(yàn)概率可對(duì)未知細(xì)胞x進(jìn)行識(shí)別§2.2基于貝葉斯公式的幾種判別規(guī)則條件概率密度分布后驗(yàn)概率分布最小錯(cuò)誤率準(zhǔn)則設(shè)N個(gè)樣本分為兩類(lèi)。每個(gè)樣本抽出n個(gè)特征若已知先驗(yàn)概率，類(lèi)條件概率密度

，則可得貝葉斯判別函數(shù)四種形式：1、判別函數(shù)：§2.2基于貝葉斯公式的幾種判別規(guī)則（后驗(yàn)概率）（取對(duì)數(shù)方法）（類(lèi)條件概率密度）（似然比形式）最小錯(cuò)誤率準(zhǔn)則2、決策規(guī)則：§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則

3、決策面方程：

x為一維時(shí)，決策面為一點(diǎn)，x為二維時(shí)決策面為曲線(xiàn)，x為三維時(shí)，決策面為曲面，x大于三維時(shí)決策面為超曲面?！?.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則Bayes決策的基本思想是：要求判別歸屬時(shí)依概率最大作出決策，這樣的結(jié)果可以使分類(lèi)的錯(cuò)誤率最小。證明：設(shè)R1是特征空間中由屬于類(lèi)別的樣本組成區(qū)域，R2由屬于類(lèi)別的樣本組成的區(qū)域。那么當(dāng)而實(shí)際上該模式應(yīng)該是屬于，或者當(dāng)而實(shí)際樣本是屬于時(shí)，發(fā)生了錯(cuò)誤，因此其中表示兩個(gè)事件的聯(lián)合概率。由基礎(chǔ)概率論，上式轉(zhuǎn)換為再使用針對(duì)連續(xù)型的Bayes公式：§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則

由于區(qū)域R1和R2在一起覆蓋整個(gè)區(qū)域，根據(jù)概率密度函數(shù)的定義：

因此上式表明，如果R1是由滿(mǎn)足條件的x組成的區(qū)域，那么錯(cuò)誤率為最小

上述兩個(gè)條件，即是按照最大后驗(yàn)概率的Bayes決策規(guī)則！§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則例子設(shè)正常細(xì)胞為類(lèi)1，異常細(xì)胞為類(lèi)2由一次化驗(yàn)的觀(guān)測(cè)值x在類(lèi)概率密度分布曲線(xiàn)上查得判斷x屬于哪一類(lèi)？§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則解：該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞，先計(jì)算后驗(yàn)概率：因?yàn)閷僬＜?xì)胞因?yàn)?，所以先?yàn)概率起很大作用§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則

4、分類(lèi)器設(shè)計(jì)：g(x)+_判別計(jì)算特征向量閾值單元

決策§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則二、多類(lèi)問(wèn)題

1、判別函數(shù)：m類(lèi)有m個(gè)判別函數(shù)每個(gè)判別函數(shù)有上面的四種形式。

2、決策規(guī)則：或：§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則（取對(duì)數(shù)方法）（類(lèi)條件概率密度）3、決策面方程：4、分類(lèi)器設(shè)計(jì)：Maxg(x)特征向量判別計(jì)算最大選擇器決策§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則實(shí)際計(jì)算中，要利用Bayes公式計(jì)算后驗(yàn)概率，必須有如下兩個(gè)參數(shù)：先驗(yàn)概率每一類(lèi)別的概率密度函數(shù)先驗(yàn)概率通過(guò)事先做統(tǒng)計(jì)調(diào)查、或者根據(jù)已有知識(shí)假定等方法確定，相對(duì)容易類(lèi)概率密度函數(shù)的確定，有兩種情況事先知道概率密度函數(shù)的分布形式，如正態(tài)分布（參數(shù)估計(jì)，parameterestimation）事先不知道概率密度的分布形式（非參數(shù)估計(jì)，nonparameterestimation）§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則 很明顯，各類(lèi)別在多維特征空間中為決策面或界面所分割。這些決策面是特征空間中的超曲面。相鄰的兩個(gè)類(lèi)別在決策面上的判別函數(shù)值是相等的。如果ωi和ωj是相鄰的，則分割它們的決策面就應(yīng)為 gi(x)=gj(x)或gi(x)-gj(x)=0 對(duì)于兩類(lèi)問(wèn)題，決策面方程： P(x|ω1)P(ω1)-P(x|ω2)P(ω2)=0§2.2基于貝葉斯公式的幾種判別規(guī)則最小錯(cuò)誤率準(zhǔn)則（類(lèi)條件概率密度）在某些情況下，引入風(fēng)險(xiǎn)的概念，以求風(fēng)險(xiǎn)最小的決策則更為合理。例如對(duì)癌細(xì)胞的識(shí)別，要判斷某人是正常(ω1)還是患者(ω2),在判斷中可能出現(xiàn)以下情況：第一類(lèi)，判對(duì)(正?！?λ11；第二類(lèi)，判錯(cuò)(正?！惓?λ21；第三類(lèi)，判對(duì)(異常→異常)λ22；第四類(lèi)，判錯(cuò)(異?！?λ12。風(fēng)險(xiǎn)的概念常與損失相聯(lián)系，損失則用損失函數(shù)表示。§2.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則1、損失函數(shù)：損失函數(shù)公式：表示當(dāng)處于狀態(tài)時(shí)采取決策意義為所帶來(lái)的損失。損失函數(shù)λii=λ(αi/ωi)表示模式X本來(lái)屬于ωi類(lèi)而錯(cuò)判為ωi所受損失。因?yàn)檫@是正確判決，故損失最小。損失函數(shù)λij=λ(αi/ωj)表示模式X本來(lái)屬于ωj類(lèi)錯(cuò)判為ωi所受損失。因?yàn)檫@是錯(cuò)誤判決，故損失最大?！?.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則

狀態(tài)

損失決策ω1

ω2

…

ωj

…

ωm

α1

…

…

α2…

…

…

…

αi…

…

…

…

αα…

…

表示：在決策論中，常以決策表表示各種情況下的決策損失?！?.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則2、風(fēng)險(xiǎn)R（期望損失）：對(duì)未知x采取一個(gè)判決行動(dòng)α(x)所付出的代價(jià)（損耗）行動(dòng)αi：表示把模式x判決為ωi類(lèi)的一次動(dòng)作。條件風(fēng)險(xiǎn)（也叫條件期望損失）：將模式x判屬某類(lèi)所造成的損失的條件數(shù)學(xué)期望。已知先驗(yàn)概率及類(lèi)條件概率密度，j=1,2,…m。根據(jù)貝葉斯公式，后驗(yàn)概率為其中§2.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則對(duì)于給定的x，如果采取決策，從決策表可見(jiàn)，對(duì)應(yīng)于決策，可以在m個(gè),j=1,2,…m當(dāng)中任取一個(gè)，其相應(yīng)概率為P(ωj|x)。因此在采取決策情況下的條件期望損失即條件風(fēng)險(xiǎn)為：條件風(fēng)險(xiǎn)R(αi|x)只反映對(duì)某一x的取值采取決策αi所帶來(lái)的風(fēng)險(xiǎn)。

§2.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則期望風(fēng)險(xiǎn)

R（也叫條件期望損失）：dx是特征空間的體積元，積分在整個(gè)特征空間進(jìn)行。（在整個(gè)特征空間中定義期望風(fēng)險(xiǎn)）期望風(fēng)險(xiǎn)R反映對(duì)整個(gè)特征空間所有x的取值采取相應(yīng)的決策α(x)所帶來(lái)的平均風(fēng)險(xiǎn)。平均風(fēng)險(xiǎn)§2.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則3、最小風(fēng)險(xiǎn)貝葉斯決策思想：分類(lèi)識(shí)別決策時(shí)，根據(jù)類(lèi)的概率和概率密度，考慮誤判的損失代價(jià)。決策應(yīng)是統(tǒng)計(jì)意義上使由于誤判而蒙受的損失最小。如果在采取每一個(gè)決策或行動(dòng)時(shí)，都使其條件風(fēng)險(xiǎn)最小，則對(duì)所有的x作出決策時(shí)，其期望風(fēng)險(xiǎn)也必然最小。（條件平均損失最小的判決也必然使總的平均損失最?。?.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則4、最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則如果：

則：§2.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則（3）按確定αk

5、判決實(shí)施步驟：（1）在已知P(ωj),P(x|ωj),j=1,2,…m，并給出待識(shí)別的x的情況下，根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率：（2）利用計(jì)算出的后驗(yàn)概率及決策表，計(jì)算出采取αi(i=1,2,…α)的條件風(fēng)險(xiǎn)

§2.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則6、錯(cuò)誤率最小的貝葉斯決策規(guī)則與風(fēng)險(xiǎn)最小的貝葉斯決策規(guī)則的聯(lián)系在采用0-1損失函數(shù)時(shí)，最小風(fēng)險(xiǎn)貝葉斯決策就等價(jià)于最小錯(cuò)誤率貝葉斯決策。0-1損失函數(shù)對(duì)于正確決策（即i=j），就是說(shuō)沒(méi)有損失；而對(duì)于任何錯(cuò)誤決策，其損失均為1?！?.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則例：已知正常細(xì)胞先驗(yàn)概率為，異常為，從類(lèi)條件概率密度分布曲線(xiàn)上查的由上例中計(jì)算出的后驗(yàn)概率：條件風(fēng)險(xiǎn)：因?yàn)楫惓＜?xì)胞，因決策類(lèi)風(fēng)險(xiǎn)大。因較大，決策損失起決定作用?！?.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則二類(lèi)問(wèn)題：把X歸于ω1時(shí)風(fēng)險(xiǎn)：把X歸于ω2時(shí)風(fēng)險(xiǎn)：最小風(fēng)險(xiǎn)分類(lèi)規(guī)則：用0-1函數(shù)：

后驗(yàn)概率最小，就相當(dāng)于最大，這時(shí)便得到最小誤錯(cuò)誤率?！?.2基于貝葉斯公式的幾種判別規(guī)則最小風(fēng)險(xiǎn)準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則：

后驗(yàn)概率最大化，理論上錯(cuò)誤率最小最小風(fēng)險(xiǎn)準(zhǔn)則：風(fēng)險(xiǎn)函數(shù)最小化，理論上總風(fēng)險(xiǎn)最小在先驗(yàn)概率和損失未知的情況下如何決策？§2.2基于貝葉斯公式的幾種判別規(guī)則Neyman-Pearson準(zhǔn)則

問(wèn)題：先驗(yàn)概率和損失未知通常情況下，無(wú)法確定損失。先驗(yàn)概率未知，是一個(gè)確定的值。某一種錯(cuò)誤較另一種錯(cuò)誤更為重要。

基本思想：要求一類(lèi)錯(cuò)誤率控制在很小，在滿(mǎn)足此條件的前提下再使另一類(lèi)錯(cuò)誤率盡可能小。用Lagrange乘子法求條件極值?！?.2基于貝葉斯公式的幾種判別規(guī)則Neyman-Pearson準(zhǔn)則

兩分類(lèi)問(wèn)題，錯(cuò)誤率可以寫(xiě)為：由于P(ω1)和P(ω2)對(duì)具體問(wèn)題往往是確定的（但是未知），一般稱(chēng)P1(e)和P2(e)為兩類(lèi)錯(cuò)誤率。P1(e)和P2(e)的值決定了P(e)的值。§2.2基于貝葉斯公式的幾種判別規(guī)則Neyman-Pearson準(zhǔn)則在限定類(lèi)錯(cuò)誤率條件下，使類(lèi)錯(cuò)誤率最小（對(duì)分類(lèi)邊界求最?。﹕.t.是個(gè)很小的常數(shù)用Lagrange乘子法：

§2.2基于貝葉斯公式的幾種判別規(guī)則（對(duì)分類(lèi)邊界和求最小）Neyman-Pearson準(zhǔn)則為了求L的極值點(diǎn)，將L分別對(duì)t和λ求偏導(dǎo)：tR1R2注意：這里分析的是兩類(lèi)錯(cuò)誤率，與先驗(yàn)概率無(wú)關(guān)！決策準(zhǔn)則？§2.2基于貝葉斯公式的幾種判別規(guī)則Neyman-Pearson準(zhǔn)則Neyman-Pearson決策規(guī)則tR1R2§2.2基于貝葉斯公式的幾種判別規(guī)則Neyman-Pearson準(zhǔn)則最小錯(cuò)誤率準(zhǔn)則的等價(jià)形式Neyman-Pearson準(zhǔn)則兩者都以似然比為基礎(chǔ)，在未知先驗(yàn)概率時(shí)使用Neyman-Pearson準(zhǔn)則?！?.2基于貝葉斯公式的幾種判別規(guī)則Neyman-Pearson準(zhǔn)則例：兩類(lèi)的模式分布為二維正態(tài)協(xié)方差矩陣為單位矩陣∑1=∑2=I，設(shè)ε2＝0.09求奈曼-皮爾森準(zhǔn)則解：因?yàn)槭莾深?lèi)正態(tài)所以：同理：§2.2基于貝葉斯公式的幾種判別規(guī)則Neyman-Pearson準(zhǔn)則如右圖所示：判別邊界為：判別式為：即有了判別邊界和判別形式對(duì)于不同判別邊界是平行于x2的不同直線(xiàn)

如圖所示：大小，但時(shí)為最小錯(cuò)誤率大；

小

大，但小

§2.2基于貝葉斯公式的幾種判別規(guī)則Neyman-Pearson準(zhǔn)則上式使所以此時(shí)奈曼-皮爾森分類(lèi)器的分界線(xiàn)為：由圖可知為保證ε2足夠小，邊界應(yīng)向ω1一側(cè)靠，則ε1↑λ與ε2的關(guān)系表如右：λ421??ε20.040.08給定由表查的判別式為：此時(shí)最小這就是在給定時(shí)使最小的判別規(guī)則。因?yàn)樗浴?.2基于貝葉斯公式的幾種判別規(guī)則Neyman-Pearson準(zhǔn)則Neyman-Pearson準(zhǔn)則假定先驗(yàn)概率是一個(gè)確定的值，此時(shí)判定結(jié)果會(huì)受到先驗(yàn)概率的影響。實(shí)際中，類(lèi)先驗(yàn)概率P(i)往往不能精確知道或在分析過(guò)程中是變動(dòng)的，從而導(dǎo)致判決域不是最佳的。所以應(yīng)考慮如何解決在P(i)不確知或變動(dòng)的情況下使期望風(fēng)險(xiǎn)變大的問(wèn)題。最小最大決策準(zhǔn)則：在最差的條件下?tīng)?zhēng)取最好的結(jié)果，使最大風(fēng)險(xiǎn)最??！§2.2基于貝葉斯公式的幾種判別規(guī)則最小最大決策準(zhǔn)則分析期望風(fēng)險(xiǎn)R與先驗(yàn)概率P(ω1)的關(guān)系：

對(duì)于兩類(lèi)問(wèn)題，設(shè)一種分類(lèi)識(shí)別決策將特征空間R劃分為兩個(gè)子空間R1和R2，記λij為將屬于ωi類(lèi)的模式判為ωj類(lèi)的損失函數(shù)，各種判決的期望風(fēng)險(xiǎn)為：§2.2基于貝葉斯公式的幾種判別規(guī)則最小最大決策準(zhǔn)則將和代入上式：§2.2基于貝葉斯公式的幾種判別規(guī)則最小最大決策準(zhǔn)則期望風(fēng)險(xiǎn)可寫(xiě)成：一旦R1和R2確定，a和b為常數(shù)一旦R1和R2確定，R與P(ω1)成線(xiàn)性關(guān)系選擇使b=0的R1和R2，期望風(fēng)險(xiǎn)與P(ω1)無(wú)關(guān)！§2.2基于貝葉斯公式的幾種判別規(guī)則最小最大決策準(zhǔn)則PA(1)1p(1)ACDR*BR*B0D'C'R1,R2不變R1,R2改變PB(1)b=0此時(shí)最大風(fēng)險(xiǎn)最小,D'=ab=0時(shí)的p(1)§2.2基于貝葉斯公式的幾種判別規(guī)則最小最大決策準(zhǔn)則求b=0時(shí)的p(1)等價(jià)于在R隨著p(1)的變化曲線(xiàn)上求：時(shí)的p(1)。在b=0時(shí)的決策條件下，期望風(fēng)險(xiǎn)與p(1)無(wú)關(guān)，值為a，此時(shí)，R的最大值最小。這種決策準(zhǔn)則稱(chēng)為最小最大決策準(zhǔn)則?！?.2基于貝葉斯公式的幾種判別規(guī)則最小最大決策準(zhǔn)則由于：當(dāng)采用0-1損失函數(shù)時(shí)，b=0可推導(dǎo)出：此時(shí)，最小最大損失判決所導(dǎo)出的最佳分界面應(yīng)使兩類(lèi)錯(cuò)誤概率相等！§2.2基于貝葉斯公式的幾種判別規(guī)則最小最大決策準(zhǔn)則迄今為止所討論的分類(lèi)問(wèn)題，關(guān)于待分類(lèi)樣本的所有信息都是一次性提供的。但是，在許多實(shí)際問(wèn)題中，觀(guān)察實(shí)際上是序貫的。隨著時(shí)間的推移可以得到越來(lái)越多的信息?！?.2基于貝葉斯公式的幾種判別規(guī)則序貫分類(lèi)決策假設(shè)對(duì)樣品進(jìn)行第i次觀(guān)察獲取一序列特征為：X=(x1,x2,…,xi)T則對(duì)于ω1，ω2兩類(lèi)問(wèn)題：若X∈ω1，則判決完畢。若X∈ω2，則判決完畢。若X不屬ω1也不屬ω2，則不能判決，進(jìn)行第i+1次觀(guān)察，得，再重復(fù)上面的判決，直到所有的樣品分類(lèi)完畢為止。這樣做的好處是使那些在二類(lèi)邊界附近的樣本不會(huì)因某種偶然的微小變化而誤判，當(dāng)然這是以多次觀(guān)察為代價(jià)的?！?.2基于貝葉斯公式的幾種判別規(guī)則序貫分類(lèi)決策由最小錯(cuò)誤概率的Bayes判決，對(duì)于兩類(lèi)問(wèn)題，似然比為：§2.2基于貝葉斯公式的幾種判別規(guī)則如果，則測(cè)量下一個(gè)特征參數(shù)并計(jì)算似然比則

如果

如果

則

序貫分類(lèi)決策若則若則若再測(cè)第三個(gè)特征參數(shù)x3,為重復(fù)以上過(guò)程直到所有樣本的類(lèi)別全部確定為止（其中A，B是上下門(mén)限）現(xiàn)在來(lái)確定A，B的值因?yàn)楸硎镜贜次測(cè)量對(duì)上式兩邊對(duì)應(yīng)于的特征空間內(nèi)取積分可得：左邊的積分代表模式屬于類(lèi)而判決類(lèi)的概率§2.2基于貝葉斯公式的幾種判別規(guī)則序貫分類(lèi)決策即：表示本來(lái)屬于類(lèi)而錯(cuò)判為類(lèi)的分類(lèi)誤差概率。而積分為本來(lái)屬于類(lèi)而錯(cuò)判為類(lèi)的分類(lèi)誤差概率，或同理，因?yàn)樗约从缅e(cuò)誤概率表示為§2.2基于貝葉斯公式的幾種判別規(guī)則序貫分類(lèi)決策序貫分類(lèi)決策規(guī)則：上下門(mén)限A、B是由設(shè)計(jì)給定的錯(cuò)誤概率P1(e),P2(e)來(lái)確定的，Wald已證明，觀(guān)察次數(shù)不會(huì)很大，它收斂的很快。§2.2基于貝葉斯公式的幾種判別規(guī)則序貫分類(lèi)決策時(shí)，繼續(xù)觀(guān)察時(shí)，時(shí)，作業(yè)：論文閱讀BackgroundSubtractioninVideosusingBayesianLearningwithMotionInformationBayesianBackgroundModelingforForegroundDetectionBayesianForegroundandShadowDetectioninUncertainFrameRateSurveillanceVideosBayesianModelingofDynamicScenesforObjectDetection英文文獻(xiàn)閱讀報(bào)告（Word）1）4篇論文的基本思路描述；2）4篇論文的優(yōu)缺點(diǎn)總結(jié)；3）4篇論文的算法比較；4）閱讀心得。作業(yè)提交截止日期：2015年4月6日作業(yè)：論文閱讀模式識(shí)別第二章

貝葉斯決策理論§2.1引言§2.2基于貝葉斯公式的幾種判別規(guī)則§2.3正態(tài)分布模式的統(tǒng)計(jì)決策§2.4概率密度函數(shù)的估計(jì)§2.5貝葉斯分類(lèi)器的錯(cuò)誤概率為什么研究正態(tài)分布？物理上的合理性：較符合很多實(shí)際情況，觀(guān)測(cè)值通常是很多種因素共同作用的結(jié)果，根據(jù)中心極限定理，服從正態(tài)分布。數(shù)學(xué)上比較簡(jiǎn)單：參數(shù)個(gè)數(shù)少單變量正態(tài)分布多元正態(tài)分布§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布模式的統(tǒng)計(jì)決策單變量正態(tài)分布密度函數(shù)（高斯分布）：§2.3正態(tài)分布模式的統(tǒng)計(jì)決策p(x)x記作正態(tài)分布模式的統(tǒng)計(jì)決策§2.3正態(tài)分布模式的統(tǒng)計(jì)決策p(x)2.5%2.5%高斯分布多元正態(tài)分布函數(shù)(1)函數(shù)形式§2.3正態(tài)分布模式的統(tǒng)計(jì)決策為n×n維協(xié)方差矩陣，為的逆陣，為的行列式其中：n維特征向量n維均值向量正態(tài)分布模式的統(tǒng)計(jì)決策多元正態(tài)分布可以由單元正態(tài)分布引入。設(shè)有n個(gè)隨機(jī)變量x1,x2...xn是正態(tài)分布的，即如果它們是相互獨(dú)立的，則其聯(lián)合分布為：§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布模式的統(tǒng)計(jì)決策上面的式子可以寫(xiě)成矩陣的形式，首先注意到這時(shí)的協(xié)方差矩陣為對(duì)角矩陣：§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布模式的統(tǒng)計(jì)決策于是，對(duì)于一般情形，不一定要求對(duì)角陣，即§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布模式的統(tǒng)計(jì)決策對(duì)角線(xiàn)非對(duì)角線(xiàn)是方差是協(xié)方差§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布模式的統(tǒng)計(jì)決策參數(shù)個(gè)數(shù)：d+d(d+1)/2均值向量：d個(gè)參數(shù)協(xié)方差矩陣：對(duì)稱(chēng)的d維矩陣，d(d+1)/2個(gè)參數(shù)等密度點(diǎn)的軌跡為一超橢球面要使密度p(x)值不變，需指數(shù)項(xiàng)為常數(shù)，即：超橢球面常數(shù)§2.3正態(tài)分布模式的統(tǒng)計(jì)決策多元正態(tài)分布的性質(zhì)馬氏距離(MahanlanobisDistance)：與歐式距離：不同，馬氏距離考慮數(shù)據(jù)的統(tǒng)計(jì)分布，在模式識(shí)別中有廣泛的用處?！?.3正態(tài)分布模式的統(tǒng)計(jì)決策多元正態(tài)分布的性質(zhì)正態(tài)分布的隨機(jī)變量，不相關(guān)等價(jià)于獨(dú)立邊緣分布仍是正態(tài)分布不相關(guān)：獨(dú)立：正態(tài)分布不相關(guān)獨(dú)立是對(duì)角陣推論：是對(duì)角陣x的各分量相互獨(dú)立§2.3正態(tài)分布模式的統(tǒng)計(jì)決策多元正態(tài)分布的性質(zhì)線(xiàn)性變換仍是正態(tài)分布線(xiàn)性組合仍是正態(tài)分布（線(xiàn)性變換的特例）一維正態(tài)隨機(jī)變量§2.3正態(tài)分布模式的統(tǒng)計(jì)決策多元正態(tài)分布的性質(zhì)的特征向量決定了主軸方向，主軸長(zhǎng)度與的本征值成正比§2.3正態(tài)分布模式的統(tǒng)計(jì)決策多元正態(tài)分布的性質(zhì)§2.3正態(tài)分布模式的統(tǒng)計(jì)決策類(lèi)別函數(shù)：類(lèi)條件概率密度用正態(tài)來(lái)表示：正態(tài)分布的判別函數(shù)§2.3正態(tài)分布模式的統(tǒng)計(jì)決策決策面方程：最小錯(cuò)誤率（Bayes）分類(lèi)器：從最小錯(cuò)誤率這個(gè)角度來(lái)分Bayes分類(lèi)器正態(tài)分布的判別函數(shù)情況一：各類(lèi)協(xié)方差陣相等，且各特征獨(dú)立，方差相等情況二：各類(lèi)協(xié)方差陣相等情況三：各類(lèi)協(xié)方差陣不相等

任意的§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布的判別函數(shù)情況一：§2.3正態(tài)分布模式的統(tǒng)計(jì)決策即：只有方差，協(xié)方差為零。判別函數(shù)：因?yàn)槎寂ci無(wú)關(guān)。對(duì)分類(lèi)無(wú)影響。正態(tài)分布的判別函數(shù)§2.3正態(tài)分布模式的統(tǒng)計(jì)決策其中如果M類(lèi)先驗(yàn)概率相等：（歐式距離）最小距離分類(lèi)器：未知x與相減，找最近的把x歸類(lèi)正態(tài)分布的判別函數(shù)§2.3正態(tài)分布模式的統(tǒng)計(jì)決策因?yàn)槎雾?xiàng)與i無(wú)關(guān)所以簡(jiǎn)化可得：（線(xiàn)性判別函數(shù)）其中：判別規(guī)則：當(dāng)各類(lèi)先驗(yàn)概率不相等的時(shí)候：正態(tài)分布的判別函數(shù)§2.3正態(tài)分布模式的統(tǒng)計(jì)決策對(duì)于兩類(lèi)情況決策面方程：其中正態(tài)分布的判別函數(shù)§2.3正態(tài)分布模式的統(tǒng)計(jì)決策討論：二類(lèi)情況下（a）因?yàn)閰f(xié)方差為零。所以等概率面是一個(gè)圓形（b）W是決策面的法向量，又因?yàn)樗訵與同向（同方向）故決策面H垂直于的聯(lián)線(xiàn)（c）如果先驗(yàn)概率相等通過(guò)聯(lián)線(xiàn)的中點(diǎn)。否則就是離先驗(yàn)概率大的一類(lèi)。（d）對(duì)多類(lèi)情況，用各類(lèi)的均值聯(lián)線(xiàn)的垂直線(xiàn)作為界面。正態(tài)分布的判別函數(shù)§2.3正態(tài)分布模式的統(tǒng)計(jì)決策情況二：相等，即各類(lèi)協(xié)方差相等因?yàn)榕ci無(wú)關(guān)若先驗(yàn)概率相等（馬氏距離）把展開(kāi)：與i無(wú)關(guān)。（線(xiàn)性函數(shù)）其中正態(tài)分布的判別函數(shù)§2.3正態(tài)分布模式的統(tǒng)計(jì)決策其中為均值向量，為協(xié)方差矩陣歐式距離和馬氏距離之間的差別：歐式距離應(yīng)該來(lái)說(shuō)是屬于第一類(lèi)正態(tài)分布的判別函數(shù)§2.3正態(tài)分布模式的統(tǒng)計(jì)決策例子：二維兩類(lèi)問(wèn)題，設(shè)都服從正態(tài)分布，協(xié)方差矩陣一樣均值向量為計(jì)算向量到這兩類(lèi)的歐式距離和馬氏距離正態(tài)分布的判別函數(shù)可見(jiàn)，給定的向量和第一類(lèi)的中心比較近。但如果從歐式距離類(lèi)看，則是相反的，下圖§2.3正態(tài)分布模式的統(tǒng)計(jì)決策同理，正態(tài)分布的判別函數(shù)決策規(guī)則：§2.3正態(tài)分布模式的統(tǒng)計(jì)決策對(duì)于二類(lèi)情況決策界面：若與相鄰其中正態(tài)分布的判別函數(shù)情況三：任意的

（）去掉與i無(wú)關(guān)的項(xiàng)：可以寫(xiě)為：其中二次項(xiàng)，一次項(xiàng)系數(shù)和常數(shù)項(xiàng)分別為：由于：§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布的判別函數(shù)——對(duì)應(yīng)的決策面為超二次曲面。第i類(lèi)和第j類(lèi)的決策面為：隨著的不同，超二次曲面可以為：超球面、超橢球面、超拋物面、超雙曲面，或超平即：§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布的判別函數(shù)甚至在方差不相等的一維高斯分布情況下，其判決區(qū)域也可以不連通！§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布的判別函數(shù)(b)橢圓，2類(lèi)的方差小情況三：各類(lèi)協(xié)方差不同，決策面為超二次曲面。上述結(jié)果表示在二維特征空間里，如下圖所示：R1R2(a)圓，2類(lèi)的方差小R1R2R1R2(c)拋物線(xiàn)，

2類(lèi)的方差小R1R2(d)雙曲線(xiàn)(e)直線(xiàn)，兩類(lèi)的分布關(guān)于一直線(xiàn)是對(duì)稱(chēng)R1R2§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布的判別函數(shù)例：兩類(lèi)正態(tài)分布樣本：求決策面方程§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布的判別函數(shù)令§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布的判別函數(shù)求決策面方程為：和中點(diǎn)偏下§2.3正態(tài)分布模式的統(tǒng)計(jì)決策正態(tài)分布的判別函數(shù)模式識(shí)別第二章

貝葉斯決策理論§2.1引言§2.2基于貝葉斯公式的幾種判別規(guī)則§2.3正態(tài)分布模式的統(tǒng)計(jì)決策§2.4概率密度函數(shù)的估計(jì)§2.5貝葉斯分類(lèi)器的錯(cuò)誤概率貝葉斯決策分類(lèi)器大都涉及類(lèi)概率密度函數(shù)，對(duì)于正態(tài)分布模式，其概率密度函數(shù)可通過(guò)均值向量和協(xié)方差矩陣的估算而確定。在無(wú)法用參數(shù)表征概率密度函數(shù)時(shí)，則可以通過(guò)某些函數(shù)來(lái)近似地表示。概率密度函數(shù)估