《模式識別》

PatternRecognition全套可編輯PPT課件課程主要內(nèi)容第一章緒論 第二章聚類分析 第三章判別域代數(shù)界面方程法第四章統(tǒng)計判決 第五章統(tǒng)計決策中的學(xué)習(xí)與估計第六章特征提取與選擇 上機(jī)實(shí)驗(yàn)21.1概論1.2特征矢量和特征空間1.3隨機(jī)矢量的描述1.4正態(tài)分布第一章緒論例如1.1.1模式識別概述

人類無時無處不在進(jìn)行分類識別，分類識別是人類的基本活動之一。讀書看報圖像分析人群中找人小孩識字觀察波形醫(yī)生診病1.1概論

隨著社會活動、生產(chǎn)科研廣泛而深入發(fā)展，識別的種類越來越多、內(nèi)容越來越復(fù)雜，要求也越來越高。為了改善工作條件，減輕工作強(qiáng)度，需要利用機(jī)器代替人類完成某種繁瑣的工作；在某些環(huán)境惡劣、存在危險或人類不能接近的場合，需要借助機(jī)器完成識別工作。利用機(jī)器可以提高識別的速度、正確率及擴(kuò)大應(yīng)用的廣度。1.1概論

表示形式

模式(Pattern)

為了能讓機(jī)器執(zhí)行和完成識別任務(wù)，必須對分類識別對象進(jìn)行科學(xué)的抽象，建立它的數(shù)學(xué)模型，用以描述和代替識別對象，這種對象的描述即為模式。

概念

特征矢量

符號串

圖

關(guān)系式1.1概論

應(yīng)用

模式識別(PatternRecognition)

根據(jù)研究對象的特征或?qū)傩?，運(yùn)用一定的分析算法認(rèn)定其類別，并且分類識別的結(jié)果應(yīng)盡可能地符合真實(shí)。

概念

具有視覺的機(jī)器人遙感圖片的機(jī)器判讀武器制導(dǎo)尋的系統(tǒng)汽車自動駕駛系統(tǒng)生物特征識別系統(tǒng)故障診斷

信件分撿文字語言識別1.1概論1.1概論模式識別的發(fā)展前景1智能化23機(jī)器學(xué)習(xí)知識發(fā)現(xiàn)1.1概論模式識別的發(fā)展前景

科技產(chǎn)品發(fā)展趨勢之一是智能化。

是人工智能的重要分支模式識別是知識發(fā)現(xiàn)的主要技術(shù)之一是機(jī)器學(xué)習(xí)的主要技術(shù)之一1.1概論1.1.2

模式識別系統(tǒng)原理框圖學(xué)習(xí)、訓(xùn)練分類、識別特征提取與選擇訓(xùn)練學(xué)習(xí)分類識別111.1概論數(shù)據(jù)采集特征提取二次特征提取與選擇分類識別待識對象識別結(jié)果數(shù)據(jù)采集特征提取改進(jìn)分類識別規(guī)則二次特征提取與選擇訓(xùn)練樣本改進(jìn)采集提取方法改進(jìn)特征提取與選擇制定改進(jìn)分類識別規(guī)則人工干預(yù)正確率測試121.1.2

模式識別系統(tǒng)1.1概論

模式識別系統(tǒng)

模式識別過程從信息層次、形態(tài)轉(zhuǎn)換上講，是由分析對象的物理空間通過特征提取轉(zhuǎn)換為模式的特征空間，然后通過分類識別轉(zhuǎn)換為輸出的類別空間。

過程

物理空間(實(shí)體對象)

特征空間(特征矢量)

類別空間

(類別)131.1概論模式識別的核心問題1特征提取與選擇23學(xué)習(xí)訓(xùn)練分類識別141.1概論

模式識別系統(tǒng)的核心問題特征提取與選擇

特征提取是對研究對象本質(zhì)的特征進(jìn)行量測并將結(jié)果數(shù)值化或?qū)ο蠓纸獠⒎柣纬商卣魇噶?、符號串或關(guān)系圖，產(chǎn)生代表對象的模式。特征選擇是在滿足分類識別正確率的條件下，按某種準(zhǔn)則盡量選用對正確分類識別作用較大的特征，從而用較少的特征來完成分類識別任務(wù)。151.1概論163(1)模式采集

攝象，錄音，數(shù)字相機(jī)，電視，紅外，激光，聲納，雷達(dá)，遙感，超聲波，核磁共振，CT

A/D轉(zhuǎn)換

在模式采集和預(yù)處理中一般要用到模數(shù)（A/D）轉(zhuǎn)換。A/D轉(zhuǎn)換必須注意兩個問題：

（1）采樣率，必須滿足采樣定理；

（2）量化等級，取決于精度要求。1.1概論16(2)預(yù)處理

1）去噪聲：消除或減少模式采集中的噪聲及其它干擾，提高信雜比；

2）去模糊：消除或減少數(shù)據(jù)圖象模糊（包括運(yùn)動模糊）及幾何失真，提高清晰度；

3）模式結(jié)構(gòu)轉(zhuǎn)換：例如把非線性模式轉(zhuǎn)變?yōu)榫€性模式，以利于后續(xù)處理，等等。

預(yù)處理的方法：濾波，變換，編碼，歸一化等。

1.1概論17(3)特征提取/選擇目的：降低維數(shù)，減少處理消耗，使分類錯誤比較小。從模式空間中選擇最有利于模式分類的量作為特征，壓縮模式維數(shù)，以便于處理，減少消耗。特征提取一般以分類中使用的某種判決規(guī)則為準(zhǔn)則。所提取的特征使在某種準(zhǔn)則下的分類錯誤最少。為此需要考慮特征之間的統(tǒng)計關(guān)系，選用適當(dāng)?shù)恼蛔儞Q，才能提取出最有效的特征。特征選擇同樣需要某種分類準(zhǔn)則，在該準(zhǔn)則下選擇對分類貢獻(xiàn)較大的特征，刪除貢獻(xiàn)較小的那些特征。1.1概論18學(xué)習(xí)訓(xùn)練

為使機(jī)器具有分類識別功能，應(yīng)首先對它進(jìn)行訓(xùn)練，將人類的識別知識和方法以及關(guān)于分類識別對象的知識輸入機(jī)器中，產(chǎn)生分類識別的規(guī)則和分析程序。分類識別

機(jī)器中的分類識別知識與待識對象越匹配，知識的運(yùn)用越合理，系統(tǒng)的識別功能就越強(qiáng)、正確率就越高。191.1概論分類：把特征空間劃分成類空間。

把未知類別屬性的樣本確定為類空間中的某一類型。分類錯誤率越小越好。

分類錯誤率的分析和計算比較困難。影響分類錯誤率的因數(shù)分類方法分類器設(shè)計提取的特征樣本質(zhì)量等1.1概論模式識別在計算機(jī)自動診斷疾病中應(yīng)用的例子:獲取情況(信息采集)測量體溫、血壓、心率、血液化驗(yàn)、X光透射、B超、心電圖、CT等盡可能多的信息，并將這些信息數(shù)字化后輸入電腦。當(dāng)然在實(shí)際應(yīng)用中要考慮采集的成本，這就是說特征要進(jìn)行選擇的。運(yùn)行在電腦中的專家系統(tǒng)或?qū)Ｓ贸绦蚩梢苑治鲞@些數(shù)據(jù)并進(jìn)行分類，得出正?；虿徽５呐袛啵徽Ｇ闆r還要指出是什么問題。211.1概論1.1.3模式識別的基本方法模式識別數(shù)學(xué)理論神經(jīng)心理學(xué)信號處理計算機(jī)科學(xué)人工智能數(shù)據(jù)處理與信息分析內(nèi)涵功能221.1概論統(tǒng)計模式識別結(jié)構(gòu)模式識別模糊模式識別人工神經(jīng)網(wǎng)絡(luò)方法主流技術(shù)人工智能方法子空間法231.1概論統(tǒng)計模式識別

直接利用各類的分布特征，或隱含地利用概率密度函數(shù)、后驗(yàn)概率等概念進(jìn)行分類識別?；镜募夹g(shù)有聚類分析、判別類域代數(shù)界面法、統(tǒng)計決策法、最近鄰法等。結(jié)構(gòu)模式識別

將對象分解為若干個基本單元，即基元；其結(jié)構(gòu)關(guān)系可以用字符串或圖來表示，即句子；通過對句子進(jìn)行句法分析，根據(jù)文法而決定其類別。241.1概論模糊模式識別

將模式或模式類作為模糊集，將其屬性轉(zhuǎn)化為隸屬度，運(yùn)用隸屬函數(shù)、模糊關(guān)系或模糊推理進(jìn)行分類識別。

人工神經(jīng)網(wǎng)絡(luò)方法

由大量簡單的基本單元，即神經(jīng)元相互聯(lián)接而成的非線性動態(tài)系統(tǒng)，在自學(xué)習(xí)、自組織、聯(lián)想及容錯方面能力強(qiáng)，能用于聯(lián)想、識別和決策。251.1概論人工智能方法

研究如何使機(jī)器具有人腦功能的理論和方法，故將人工智能中有關(guān)學(xué)習(xí)、知識表示、推理等技術(shù)用于模式識別。子空間法

根據(jù)各類訓(xùn)練樣本的相關(guān)陣通過線性變換由原始模式特征空間產(chǎn)生各類對應(yīng)的子空間，每個子空間與每個類別一一對應(yīng)。261.1概論1.1.4模式識別的基本原則1沒有免費(fèi)23午餐定理丑小鴨定理最小描述原理271.1概論謝謝！282.1聚類分析的概念2.2模式相似性測度2.3類的定義與類間距離2.4準(zhǔn)則函數(shù)2.5聚類的算法第二章聚類分析1702·5聚類的算法最大最小距離和層次聚類算法的一個共同特點(diǎn)是某個模式一旦劃分到某一類之后，在后繼的算法過程中就不改變了，而簡單聚類算法中類心一旦選定后在后繼算法過程中也不再改變了。因此，這些方法效果一般不會太理想。第二章聚類分析1712.確定評估聚類質(zhì)量的準(zhǔn)則函數(shù)。確定模式和聚類的距離測度。當(dāng)采用歐氏距離時，是計算此模式和該類中心的歐氏距離；為能反映出類的模式分布結(jié)構(gòu)，可采用馬氏距離，設(shè)該類的均矢為，協(xié)方差陣為，則模式和該類的與該類均矢的馬氏距離：距離平方為3.確定模式分劃及聚類合并或分裂的規(guī)則。2·5聚類的算法172

2.5.4動態(tài)聚類法建立初始聚類中心，進(jìn)行初始聚類；1732·5聚類的算法

2.5.4動態(tài)聚類法基本步驟：建立初始聚類中心，進(jìn)行初始聚類；1742·5聚類的算法

2.5.4動態(tài)聚類法基本步驟：2.計算模式和類的距離，調(diào)整模式的類別；建立初始聚類中心，進(jìn)行初始聚類；1752·5聚類的算法

2.5.4動態(tài)聚類法基本步驟：2.計算模式和類的距離，調(diào)整模式的類別；3.計算各聚類的參數(shù)，刪除、合并或分裂一些聚類；建立初始聚類中心，進(jìn)行初始聚類；1762·5聚類的算法

2.5.4動態(tài)聚類法基本步驟：2.計算模式和類的距離，調(diào)整模式的類別；3.計算各聚類的參數(shù)，刪除、合并或分裂一些聚類；4.從初始聚類開始，運(yùn)用迭代算法動態(tài)地改變模式的類別和聚類的中心使準(zhǔn)則函數(shù)取得極值或設(shè)定的參數(shù)達(dá)到設(shè)計要求時停止。產(chǎn)生初始聚類中心聚類檢驗(yàn)聚類合理性待分類模式分類結(jié)果合理再迭代/修改參數(shù)不合理1772·5聚類的算法

2.5.4動態(tài)聚類法動態(tài)聚類基本框圖⒈條件及約定設(shè)待分類的模式特征矢量集為：類的數(shù)目C是事先取定的。C-均值法⒉算法思想

該方法取定C個類別和選取

C個初始聚類中心，按最小距離原則將各模式分配到C類中的某一類，之后不斷地計算類心和調(diào)整各模式的類別，最終使各模式到其判屬類別中心的距離平方之和最小。1782·5聚類的算法

2.5.4動態(tài)聚類法⒊算法原理步驟⑴任選C個模式特征矢量作為初始聚類中心：

,令。⑵將待分類的模式特征矢量集中的模式逐個按最小距離原則分劃給C類中的某一類，即:如果 則,式中表示和的中心的距離，上角標(biāo)表示迭代次數(shù)。于是產(chǎn)生新聚類。179C-均值法2·5聚類的算法

2.5.4動態(tài)聚類法⒊算法原理步驟(3)計算重新分類后的各類心

式中為類中所含模式的個數(shù)。(4)如果,則結(jié)束,否則,轉(zhuǎn)至(2)。180C-均值法2·5聚類的算法

2.5.4動態(tài)聚類法例：已知有20個樣本，每個樣本有2個特征，數(shù)據(jù)分布如下圖,使用C－均值法實(shí)現(xiàn)樣本分類（C=2）。樣本序號x1x2x3x4x5x6x7x8x9x10特征x10101212367特征x20011122266x11x12x13x14x15x16x17x18x19x20867897898967777888991812·5聚類的算法第一步：令C=2，選初始聚類中心為182C-均值法2·5聚類的算法

2.5.4動態(tài)聚類法18300000＝））－（（＝第二步：-10100＝））－（（＝-10001＝））－（（＝-所以因?yàn)?-<-1842·5聚類的算法0)01()01(=-=-,?->-所以因?yàn)橥?12,21?\=->-?\=-<-＝＝......20652065都屬于、、離計算出來，判斷與第二個聚類中心的距、、同樣把所有因此分為兩類：),...,,()1(),,()1(205422311==18,221==NNGG二、一、1852·5聚類的算法186

第三步：根據(jù)新分成的兩類建立新的聚類中心TGN)5.0,0()10(21)10()00(21)(21131)1(11==ú?ùê?é+=+==??TGN)33.5,67.5()...(181120542)1(22=++++==??1872·5聚類的算法第四步：因?yàn)?/p>

轉(zhuǎn)第二步。第二步：重新計算到,的距離，把它們歸為最近聚類中心，重新分為兩類1882·5聚類的算法第三步：更新聚類中心1892·5聚類的算法190第四步：第二步：第三步：更新聚類中心1912·5聚類的算法192C均值算法的分類結(jié)果受到取定的類別數(shù)和初始聚類中心的影響，通常結(jié)果只是局部最優(yōu)的，但其方法簡單，結(jié)果尚令人滿意，故應(yīng)用較多。也可以對C均值算法進(jìn)行如下改進(jìn)。2·5聚類的算法C-均值法

2.5.4動態(tài)聚類法C-均值算法的改進(jìn)

利用先驗(yàn)知識選取讓類數(shù)遞增重復(fù)進(jìn)行聚類，選取曲線曲率變化最大點(diǎn)所對應(yīng)的類數(shù)（為準(zhǔn)則函數(shù))類數(shù)的調(diào)整1932·5聚類的算法C-均值法

2.5.4動態(tài)聚類法憑經(jīng)驗(yàn)選取將模式隨機(jī)分為

類計算每類類心按密度大小選取選取相距最遠(yuǎn)的

個特征點(diǎn)隨機(jī)地從個模式中取出部分用譜系聚類法聚成類，以各類類心作為初始類心由類問題得出個類心，再找出最遠(yuǎn)點(diǎn)C-均值算法的改進(jìn)

初始聚類中心的選取可采取的方式1942·5聚類的算法C-均值法

2.5.4動態(tài)聚類法對給定的待分類模式集進(jìn)行初始劃分產(chǎn)生c類；計算各聚類所含模式數(shù)、均值矢量和協(xié)方差陣；將各模式按最小距離原則分劃到某一聚類中。這里采用最小誤判概率準(zhǔn)則下正態(tài)分布情況的判決規(guī)則，計算模式到的距離。如果則如果沒有模式改變其類別，則停止算法；否則轉(zhuǎn)至2.。195基于核函數(shù)的C-均值算法196進(jìn)一步的動態(tài)聚類可以采用ISODATA算法，其基本思想是每輪迭代時，樣本重新調(diào)整類別之后計算類內(nèi)及類間有關(guān)參數(shù)，通過和門限比較確定兩類的合并或分裂，不斷地“自組織”，在滿足設(shè)計參數(shù)條件下，使模式到類心的距離平方和最小。2·5聚類的算法

2.5.4動態(tài)聚類法作業(yè)上機(jī)實(shí)驗(yàn)：P67：2.5197謝謝！198實(shí)驗(yàn)一C均值聚類算法 C均值聚類算法實(shí)驗(yàn)1．實(shí)驗(yàn)?zāi)康恼莆誄均值聚類算法的基本思想；認(rèn)識影響算法性能的因素。編寫對實(shí)際模式樣本正確分類的算法程序。

2．實(shí)驗(yàn)內(nèi)容（1）產(chǎn)生二維正態(tài)分布模式，并將產(chǎn)生的樣本集隨機(jī)地分為參照集和測試集；（2）統(tǒng)計錯分概率，分析產(chǎn)生錯分的原因

；（3）（選做）針對視頻數(shù)據(jù)集或?qū)垘艛?shù)據(jù)集，重復(fù)上述實(shí)驗(yàn)。C均值動態(tài)聚類算法原理動態(tài)聚類:聚類過程中，類心和類別可變要點(diǎn)：⑴確定模式和聚類的距離測度。

可采用歐氏距離；為能反映出類的模式分布結(jié)構(gòu)，也可采用馬氏距離：⑵確定評估聚類質(zhì)量的準(zhǔn)則函數(shù)。確定模式分劃及聚類合并或分裂的規(guī)則。

動態(tài)聚類算法的基本步驟

(1)建立初始聚類中心，進(jìn)行初始聚類；(2)計算模式和類的距離，調(diào)整模式的類別；(3)計算各聚類的參數(shù)，刪除、合并或分裂一些聚類；(4)從初始聚類開始，運(yùn)用迭代算法動態(tài)地改變模式的類別和聚類的中心使準(zhǔn)則函數(shù)取得極值或設(shè)定的參數(shù)達(dá)到設(shè)計要求時停止。

動態(tài)聚類原理框圖產(chǎn)生初始聚類中心再迭代/修改參數(shù)聚類檢驗(yàn)聚類

合理性分類結(jié)果待分類模式不合理合理（一）C-均值法(C-Means)

⒈條件及約定設(shè)待分類的模式特征矢量集為

類的數(shù)目為c。

⒉基本思想取定c個類別和選取c個初始聚類中心，按最小距離原則將各模式分配到類中的某一類，不斷地計算類心和調(diào)整各模式的類別使每個模式特征矢量到其所屬類別中心的距離平方之和最小。⑴任選個模式特征矢量作為初始聚類中心,令k=0：

⑵將待分類的模式特征矢量集中的模式逐個按最小距離原則分劃給類中的某一類，即

得到新的類：⑶計算重新分類后的各類心

⑷

⒊算法步驟

4.算法收斂性分析算法可使準(zhǔn)則函數(shù)J(k)變小，設(shè)某樣本從聚類

j移至聚類

k中，移出后的集合記為，移入后的集合記為?？梢宰C明>1

⒌性能

算法簡單，收斂。如模式呈現(xiàn)類內(nèi)團(tuán)狀分布，效果很好，故應(yīng)用較多。能使各模式到其所判屬類別中心距離平方之和為最小。以確定的類數(shù)c、模式輸入次序、及選定的初始聚類中心為前提，受此限制結(jié)果只是局部最優(yōu)。

⒍改進(jìn)

⑴c的調(diào)整

作一條c-J曲線，其曲率變化的最大點(diǎn)對應(yīng)的類數(shù)是比較接近最優(yōu)的類數(shù)。⑵初始聚類中心選取①憑經(jīng)驗(yàn)選擇初始類心。②將模式隨機(jī)地分成c類，計算每類中心，以其作為初始類心。③選最大密度點(diǎn)為類心

求以每個特征點(diǎn)為球心、某一正數(shù)d為半徑的球形域中特征點(diǎn)個數(shù)，這個數(shù)稱為該點(diǎn)的密度。選取密度最大的特征點(diǎn)作為第一個初始類心，然后在與大于某個距離的那些特征點(diǎn)中選取具有“最大”密度的特征點(diǎn)作為第二個初始類心，如此進(jìn)行，選取個初始聚類中心。

④用相距最遠(yuǎn)的c個特征點(diǎn)作為初始類心

按最大最小距離算法求取c個初始聚類中心。

⑤用譜系聚類法生成初始類心

當(dāng)N較大時，先隨機(jī)地從個模式中取出一部分模式用譜系聚類法聚成類，以每類的重心作為初始類心。⑥累加和“一維投影”法設(shè)已標(biāo)準(zhǔn)化的待分類模式集為

希望將它們分為c類。令模式

定義計算

顯然1

i

c，若

i最接近整數(shù)j，則把分劃至

j中。對所有樣本都實(shí)行上述處理，從而產(chǎn)生初始聚類和聚類中心。

(二）改進(jìn)的c-均值法

(1)對給定的待分類模式集進(jìn)行初始分劃產(chǎn)生c類；(2)計算各聚類

j所含模式數(shù)nj、均值矢量和協(xié)方差陣；(3)將各模式按最小距離原則分劃到某一聚類中。這里采用最小誤判概率準(zhǔn)則下正態(tài)分布情況的判決規(guī)則，計算模式到

j的距離

(4)如果沒有模式改變其類別，則停止算法；否則轉(zhuǎn)至⑵。核函數(shù)：functionXclass=C_MeansFun(X,Z)%c-均值function%Step1.輸入類別數(shù)c；輸入N個樣本矢量x(i),i=1,2,…,N；clear;closeall;clc;c=2; %置類數(shù)X=[00;10;11;01;30;40;32;33;43;44];%[N,d]=size(X); %Nisthenumberofsamples; %disthedeminsionZ=X(1:c,:);N=length(X(:,1));c=length(Z(:,1));c-均值算法（Matlab參考程序）Changed_flag=1;m=0;whileChanged_flag&&m<1000m=m+1;Changed_flag=0; %Step2.按最小距離原則聚類

Xclass=zeros(N,1);fori=1:N forj=1:c D(j)=norm(X(i,:)-Z(j,:),'fro'); end[vXclass(i)]=min(D);endc-均值算法（Matlab程序）

%Step3.計算新的類心

forj=1:ck=0;fori=1:NifXclass(i)~=jk=k+1;Xk(k,:)=X(i,:);endendZnew=mean(Xk);ifZ(j,:)~=ZnewChanged_flag=1;endend%nextjend%whilChanged_flag

c-均值算法（Matlab程序）（1）那些因素影響c-均值算法性能？怎樣改進(jìn)c-均值算法以擴(kuò)展其適用范圍？（2）c-均值算法中可否用馬氏距離代替歐式距離？若可以，利弊如何？（3）給定一幅圖像，如何選取圖像特征，并利用c均值算法實(shí)現(xiàn)圖像分割？怎樣確定像素類別數(shù)？

思考題實(shí)驗(yàn)二感知器算法

感知器算法實(shí)驗(yàn)1．實(shí)驗(yàn)?zāi)康恼莆崭兄魉惴ǖ幕驹?，加深對有監(jiān)督訓(xùn)練、線性可分、解空間、權(quán)空間等概念的理解。編寫能對實(shí)際模式樣本正確分類的感知器算法程序。2．實(shí)驗(yàn)內(nèi)容編寫感知器訓(xùn)練算法程序，驗(yàn)證算法的適用性。

感知器算法實(shí)驗(yàn)3．算法原理任選一初始增廣權(quán)矢量用訓(xùn)練樣本檢驗(yàn)分類正確否校正增廣權(quán)矢量對所有訓(xùn)練樣本都能正確分類？結(jié)束YesYesNoNo

感知器算法實(shí)驗(yàn)3．算法原理判別規(guī)則：對于c類問題，建立c個判別函數(shù)（i=1,2,…,c）則判若則判即沒有不確定區(qū)域的

i/

j兩分法(1)賦初值,分別給c個權(quán)矢量wi(i=1,2,…,c)賦任意的初值，

選擇正常數(shù)

，置步數(shù)k=1(2)輸入已知類別的增廣訓(xùn)練模式xk，xk

{x1,x2,...,xN},

計算c個判別函數(shù)

di(xk)=wi’xk(i=1,2,…,c)(3)權(quán)矢量修正規(guī)則:

if(xk

i)and(di(xk)>dj(xk))(ji)then

wi(k+1)=wi(k)(i=1,2,…,c)(正確分類)

if(xk

i)and(di(xk)

dm(xk))(mi)then

wi(k+1)=wi(k)+

xk

wm(k+1)=wm(k)-

xk

wj(k+1)=wj(k)(ji,m)(4)ifk<N,令k=k+1,返至⑵；

ifk=N，檢驗(yàn)是否對所有樣本都能正確分類，若是，結(jié)束；否則，令k=1，返至⑵。

感知器算法步驟感知器算法解多類問題Matlab參考程序%%PerceptronAlgorithmfor3Classes%3.6已知

1：{(0,0)’},

2：{(1,1)’},

3：{(-1,1)’}。用感知器算法求該三類問題的判別函數(shù)，并畫出解區(qū)域。clear,close

all;%---Step1.InputPatternVectorsXX_input=[0,0;1,1;-1,1];nSampleNum=1;[m,n]=size(X_input);X=[X_input,ones(m,1)];

%構(gòu)成增廣矢量n=n+1;%---Step2.InputInitialWeightVectorsW(1,2,3)W=[0,0,0;0,0,0;0,0,0];nClassNum=m;%---Step3.Theweightvectorcorrectingkk=0;k=0;感知器算法解多類問題Matlab參考程序%---Step3.Theweightvectorcorrectingd=zeros(1,nClassNum);

%判決函數(shù)值while

((k<m)&&(kk<1000))

%repeatuntilthe%algorithmconvergestoasolution

dMax=-Inf;jMax=0;

for

i=1:m

for

j=1:nClassNumd(j)=W(j,1:n)*X(i,1:n)';

if

(d(j)>=dMax)dMax=d(j);jMax=j;

end

end

%nextj

感知器算法解多類問題Matlab參考程序

if

(jMax==i)k=k+1;

elsek=0;

for

j=1:nClassNum

if

(j==i)W(j,1:n)=W(j,1:n)+X(i,1:n);

elseifd(j)>=d(i)W(j,1:n)=W(j,1:n)-X(i,1:n);

end

end

%nextj

end

end

%nextikk=kk+1;end%while((k<m)&&(kk<1000))感知器算法解多類問題Matlab參考程序%---Step4.Displaytheresultif

(kk>=1000)

fprintf('Notlinearlyseparable!k=%i',k);else

fprintf('WeightVectorW=\n');

disp(W);

%Definethemesh

x1=-5:0.5:5;x2=-5:0.5:5;[x1,x2]=meshgrid(x1,x2);

%---DisplaytheDiscriminantplaned1=W(1,1)*x1+W(1,2)*x2+W(1,3);d2=W(2,1)*x1+W(2,2)*x2+W(2,3);d3=W(3,1)*x1+W(3,2)*x2+W(3,3);感知器算法解多類問題Matlab參考程序

hold

on;

h1=surf(x1,x2,d1);h2=surf(x1,x2,d2);h3=surf(x1,x2,d3);

%Setthepropertiesoftheplotset(h1,'EdgeColor',[0.,0.,1.0]);

set(h2,'EdgeColor',[0.,0.,1.0]);

set(h3,'EdgeColor',[0.,0.,1.0]);

感知器算法解多類問題Matlab參考程序%----Displaythepositionofinputpatternvectors

%---1stClass

plot(X_input(1,1),X_input(1,2),'k.','MarkerSize',25,'EraseMode','none');

plot(X_input(1,1),X_input(1,2),'r.','MarkerSize',15,'EraseMode','none');

%---2ndClass

plot(X_input(2,1),X_input(2,2)

,'k.','MarkerSize',25,'EraseMode','none');

plot(X_input(2,1),X_input(2,2),'g.','MarkerSize',15,'EraseMode','none');

感知器算法解多類問題Matlab參考程序%---3rdClass

plot(X_input(3,1),X_input(3,2),'k.','MarkerSize',25,'EraseMode','none');

plot(X_input(3,1),X_input(3,2),'y.','MarkerSize',15,'EraseMode','none');

view(20,50);

%thepositionofviewpoint

%view(0);

title('DiscriminantplaneofPerceptronfor3class');xlabel('x1');

ylabel('x2');zlabel('d(x)');

grid

on;end感知器算法解多類問題Matlab參考程序（1）對非線性可分樣本進(jìn)行訓(xùn)練時，為什么訓(xùn)練迭代過程不收斂？怎么解決？（2）可否對實(shí)驗(yàn)中的感知器算法進(jìn)行改進(jìn)，以實(shí)現(xiàn)對非線性可分問題的求解？（3）利用感知器算法求解代數(shù)判別方程的解時，不同的訓(xùn)練樣本排序是否得到相同的解？為了求得可靠的解，對訓(xùn)練樣本的構(gòu)成有什么要求？怎樣定量地評價所選定訓(xùn)練樣本的好壞？

思考題基于統(tǒng)計判決的紙幣識別實(shí)驗(yàn)基于統(tǒng)計判決的紙幣識別實(shí)驗(yàn)

實(shí)驗(yàn)?zāi)康膶?shí)驗(yàn)內(nèi)容實(shí)驗(yàn)原理實(shí)驗(yàn)步驟結(jié)果分析

隨著經(jīng)濟(jì)的迅速發(fā)展，商品交流日漸頻繁，使得紙幣的流通快速增加，依舊依靠傳統(tǒng)方法進(jìn)行人工現(xiàn)金識別已滿足不了經(jīng)濟(jì)發(fā)展需求。另一方面，隨著機(jī)器的自動化、智能化發(fā)展日漸成熟，如何利用自動化的優(yōu)勢進(jìn)行現(xiàn)金的快速識別和檢測成為了一個亟待解決的實(shí)際問題。本實(shí)驗(yàn)的目的是利用現(xiàn)代模式識別理論，設(shè)計并實(shí)現(xiàn)有效的現(xiàn)金識別算法。實(shí)驗(yàn)?zāi)康?/p>

在紙幣進(jìn)入紙幣機(jī)的過程中，通過布置在紙幣機(jī)中的8個光學(xué)傳感器采集樣本數(shù)據(jù)，并根據(jù)采集到的樣本數(shù)據(jù)對紙幣進(jìn)行幣值識別和真?zhèn)闻卸?。達(dá)到快速識別幣種，并及時判別出真?zhèn)蔚哪康摹?shí)驗(yàn)內(nèi)容

即方案目的有兩點(diǎn)：紙幣的幣值識別和紙幣的真?zhèn)闻卸?/p>

由于樣本數(shù)據(jù)的采集總會受到隨機(jī)因素的干擾，其具有一定的隨機(jī)性，而且同一類的不同個體的某個特征分量的值也是按某種規(guī)律散布的，特征分量數(shù)值的隨機(jī)性反映至個體上就涉及模式類別判決結(jié)果的隨機(jī)性，因此用統(tǒng)計判決解決分類識別問題，從理論上和總體上都將是更為合理和可靠的。

實(shí)驗(yàn)原理與方案（1）

因此，一種可行的實(shí)驗(yàn)方案如下：首先，根據(jù)訓(xùn)練樣本數(shù)據(jù)，運(yùn)用Bayes估計的方法確定了各類的類概密，并運(yùn)用統(tǒng)計判決中的最小損失準(zhǔn)則對紙幣的幣值進(jìn)行了判定。之后，利用基于相關(guān)系數(shù)的最近鄰方法判別紙幣的真?zhèn)巍?/p>

實(shí)驗(yàn)原理與方案（2）紙幣的幣值識別紙幣的真?zhèn)闻卸ň唧w實(shí)驗(yàn)步驟1、數(shù)據(jù)的采集和重排2、各類類概密的計算3、分類識別紙幣的幣值識別對一張紙幣同時使用8路傳感器進(jìn)行采樣，每次就可得到一個8維數(shù)據(jù)矢量。對一張錢幣的采樣次數(shù)設(shè)置為60，因此通過對一張紙幣進(jìn)行完整的采樣，可以得到一個8*60的數(shù)據(jù)矩陣。在本方案中，選取了每次采集得到的8維矢量作為特征矢量。為了能夠更好的調(diào)用數(shù)據(jù)，可將每個樣本文件中的數(shù)據(jù)編排成了一個8*（60*32）的矩陣。其中32指一個樣本文件中每張紙幣的編號。1、數(shù)據(jù)的采集與重排由于所有統(tǒng)計判決的判決準(zhǔn)則都需要知道各類的類概密。確定類概密通常有兩種方法：參數(shù)估計、總體估計。參數(shù)估計適用于類概密函數(shù)類型已知的情況，而總體推斷則適用于類概密函數(shù)類型未知的情況。在本實(shí)驗(yàn)中，首先采用

近鄰估計法確定各類的類概密形式，之后通過參數(shù)估計中的矩法估計得到了各類的類概密

2、各類類概密的計算

近鄰估計法算法思想：根據(jù)極限情況下的貝努利定理，在

點(diǎn)附近選擇一最小的“緊湊”區(qū)域，讓它只含個近鄰樣本，滿足下列條件：

收斂于真實(shí)的概密方案實(shí)施：實(shí)驗(yàn)中選取

，由于8路傳感器之間彼此相互獨(dú)立，因此我們可以根據(jù)前五個訓(xùn)練樣本中所提供的數(shù)據(jù)，得到32類紙幣在每個傳感器上的類概密曲線估計，部分曲線如下圖：100元A面 10元A面 10元E面10元H面從上圖中可以發(fā)現(xiàn)類概密的函數(shù)類型近似服從正態(tài)分布。正態(tài)分布的概密函數(shù)為：

2、各類類概密的計算進(jìn)一步，利用矩估計法，即用樣本矩作為總體矩的估計值

即可估計出了每類的類概密

2、各類類概密的計算均值無偏估計:協(xié)方差陣無偏估計:

統(tǒng)計判決準(zhǔn)則主要有最小誤判概率準(zhǔn)則，最小損失準(zhǔn)則，最小最大損失準(zhǔn)則，N-P準(zhǔn)則等?？紤]到不同幣值的錢幣誤判后付出的代價是不相等的，故采用最小損失準(zhǔn)則更能反映實(shí)際問題，實(shí)驗(yàn)中采用最小損失準(zhǔn)則。最小損失準(zhǔn)則算法思想：

由條件平均損失最小的判決也必然使總的平均損失最小，當(dāng)對一待識模式進(jìn)行分類判別決策時，算出判斷它為各類的條件期望損失之后，判決該模式屬于條件期望損失最小的那一類。

3、分類識別過程最小損失準(zhǔn)則判決形式為：其中由于只需比較

的相對大小，故判別函數(shù)可簡化為：

3、分類識別過