哈工大模式識別緒論圖文哈工大模式識別緒論圖文哈工大模式識別緒論圖文第一章緒論哈工大模式識別緒論圖文哈工大模式識別緒論圖文哈工大模式識別緒1第一章緒論第一章緒論2§1.1模式識別和模式的概念日常生活中的模式識別陌生、但密切相關(guān)語音、圖像、氣味尋找教室、查找資料、醫(yī)生看病見慣不驚§1.1模式識別和模式的概念日常生活中的模式識別3模式識別是六十年代初迅速開展的一門學(xué)科。它所研究的理論和方法在很多科學(xué)和技術(shù)領(lǐng)域中得到了廣泛的重視，推動了人工智能技術(shù)及圖像處理、信號處理、計算機視覺、多媒體技術(shù)等多種學(xué)科的開展，擴大了計算機應(yīng)用的領(lǐng)域。模式識別是六十年代初迅速開展的一門學(xué)科。它所研究的理論和方法4什么是模式識別？模式識別：PatternRecognition通俗一點講就是機器識別，計算機識別，或機器自動識別。模式識別針對讓計算機來判斷事物而提出的該學(xué)科研究的內(nèi)容是使機器能做以前只能由人類才能做的事，具備人所具有的、對各種事物與現(xiàn)象進展分析、描述與判斷的局部能力。什么是模式識別？模式識別：PatternRecogniti5機器與人類識別事物的比較人類：具有提取抽象概念的能力人們在學(xué)習(xí)與認(rèn)識事物中會總結(jié)出規(guī)律，并把這些規(guī)律性的東西抽象成“概念〞。人之所以能“抽象出概念〞，關(guān)鍵能分析事物中哪些是本質(zhì)，哪些是外表現(xiàn)象，或由偶然因素引起的。機器：目前的抽象能力是很差的。對樣本區(qū)分事物的最根本方法是計算。要讓機器準(zhǔn)確地把握事物的本質(zhì)，弄清分辨事物的關(guān)鍵，從而正確區(qū)分事物，實質(zhì)上是要使人能夠研究出好的方法，提出好的算法，從而構(gòu)造出好的系統(tǒng)，使機器區(qū)分事物的本領(lǐng)更強。機器與人類識別事物的比較人類：具有提取抽象概念的能力6機器區(qū)分事物的最根本方法是計算讓機器區(qū)分事物的最根本方法是計算，原那么上講是對計算機要分析的事物與作為標(biāo)準(zhǔn)的稱之為“模板〞的相似程度進展計算。譬如說腦子里有沒有瘤，就要與標(biāo)準(zhǔn)的腦圖像以及有瘤圖像做比較，看跟哪個更相似。要識別一個具體數(shù)字，就要將它與從0到9的樣板做比較，看跟哪個模板最相似，或最接近。因此首先要能從度量中看出不同事物之間的差異，才能分辨當(dāng)前要識別的事物(稱為測試樣本)跟哪類事物更接近。因此找到有效地度量不同類事物的差異的方法是最關(guān)鍵的。

機器區(qū)分事物的最根本方法是計算讓機器區(qū)分事物的最根本方法是計7模式類與模式

模式類與模式：所見到的具體事物稱為模式，而將他們的歸屬類別稱為模式類。樣本與模式(模式類)：所見到的具體事物稱為樣本，而他們所屬的事物類別，代表著這些事物的“概念〞是模式。模式與樣本在集合論中是子集與元素之間的關(guān)系模式識別：將某一具體事物〔樣本〕正確地歸入某一〔模式〕類別。模式類與模式模式類與模式：所見到的具體事物稱為模式，而將8模式的描述方法一種是對事物的屬性進展度量，屬于定量的表示方法。另一種那么是對事務(wù)所包含的成分進展分析，稱為定性的描述或構(gòu)造性描述模式的描述方法一種是對事物的屬性進展度量，屬于定量的表示方9定量的表示方法特征：模式就是用它們所具有的特征(Feature)〔反映事物的本質(zhì)屬性〕描述的。特征向量：對一種模式與它們的樣本來說，將描述它們的所有特征用一特征集表示:例如對水果進展分類：用水果的重量，近似球體直徑表示水果:一只蘋果重0.3斤，直徑10厘米,那么可表示成(0.3,1.0)定量的表示方法特征：模式就是用它們所具有的特征(Featur10特征空間特征空間中的一個樣本點特征空間特征空間中的一個樣本點11時域信號的向量表示法語音信號這種隨時間變化的信號，屬于時域信號。此時，元素之間的時間先后順序很重要，因此可用向量的形式將它們排列起來。說的嚴(yán)格一些，對語音信號進展采樣，然后將在不同時刻采樣值排列起來，組成向量。時域信號的向量表示法語音信號這種隨時間變化的信號，屬于時域信12圖像的表示方法數(shù)字圖像：它由排列整齊的二維網(wǎng)格組成，分為假設(shè)干行與假設(shè)干列，相當(dāng)于一個二維數(shù)組，或稱矩陣。每個元素稱為像素。圖像的運算是向量運算。圖像的表示方法數(shù)字圖像：它由排列整齊的二維網(wǎng)格組成，分為假13構(gòu)造性描述方法構(gòu)造性描述方法：由事物組成成分與相互關(guān)系表示的表示方法。常用的有串、樹、圖等。

例如一幅風(fēng)光圖像中的房屋用向量描述就不一定方便，對房屋而言，它有屋頂、墻、門窗等組成，各種成分之間又有相互關(guān)系，那么墻在屋頂之下，門與窗都在墻上等。構(gòu)造性描述方法構(gòu)造性描述方法：由事物組成成分與相互關(guān)系表示的14統(tǒng)計模式識別統(tǒng)計模式識別在特征空間與特征向量這種表示模式的方法前提下，討論模式識別的根本理論與根本方法。構(gòu)造模式識別基于構(gòu)造性描述方法。統(tǒng)計模式識別統(tǒng)計模式識別15§1.2模式識別系統(tǒng)

對樣本進展分類，執(zhí)行模式識別的計算機系統(tǒng)稱為模式識別系統(tǒng)。模式識別系統(tǒng)的根本構(gòu)成一般由數(shù)據(jù)獲取，預(yù)處理，特征提取與選擇、分類器設(shè)計及分類決策五局部組成。

§1.2模式識別系統(tǒng)對樣本進展分類，執(zhí)行模式識別的計算機16例子：

鱸魚和鮭魚的分類及識別光學(xué)手段，架設(shè)相機，拍攝魚的照片，識別這兩類魚。兩種魚有在一些物理特性上差異明顯：長度、寬度、光澤、鰭的數(shù)目和形狀、嘴的位置。〔特征〕可用于分類識別。預(yù)處理：圖像受到光照的影響、魚在傳送帶上的位置、攝像機電子線路的干擾。例子：

鱸魚和鮭魚的分類及識別光學(xué)手段，架設(shè)相機，拍攝魚的照17兩種魚的長度的分布〔只用長度分類〕不存在一個閾值能分開兩類魚。任何閾值都會存在錯分。最正確閾值：l’’，錯分類數(shù)目最小。鮭魚鱸魚兩種魚的長度的分布〔只用長度分類〕鮭魚鱸魚18鮭魚鱸魚兩種魚的光澤度的分布〔只用光澤度分類〕不存在一個閾值能分開兩類魚。任何閾值都會存在錯分。最正確閾值：x’’，錯分類數(shù)目最小。鮭魚鱸魚兩種魚的光澤度的分布〔只用光澤度分類〕19兩個特征〔光澤度和寬度〕分類，線性分類器中間斜線是分界限，誤差異前述兩種效果好，但仍有一些錯誤。兩個特征〔光澤度和寬度〕分類，線性分類器20復(fù)雜的決策曲線。對訓(xùn)練樣本可得無錯分樣本。但，推廣能力很差。如。新的點“？〞，更像是“鮭魚〞，但分為“鱸魚〞復(fù)雜的決策曲線。對訓(xùn)練樣本可得無錯分樣本。但，推廣能力很差。21判決曲線：分類性能和分界面復(fù)雜度的一個最優(yōu)折中。對新的樣本的分類性能也很好判決曲線：分類性能和分界面復(fù)雜度的一個最優(yōu)折中。對新的樣本的22典型的模式識別系統(tǒng)數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類器設(shè)計分類決策分類器參數(shù)分類結(jié)果訓(xùn)練過程識別過程典型的模式識別系統(tǒng)數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類器設(shè)計分23一、數(shù)據(jù)獲取

數(shù)據(jù)獲取環(huán)節(jié)主要是由不同形式的傳感器構(gòu)成，實現(xiàn)信息獲取與信息在不同媒體之間的轉(zhuǎn)換。

在現(xiàn)階段計算機都只能處理某種形式的電信號，而待識別的樣本大都是非電信息，需要轉(zhuǎn)換成電信號。---話筒將聲音信號轉(zhuǎn)換成電信號----景物信息在攝像機靶面成像并轉(zhuǎn)換成二維的象素矩陣一、數(shù)據(jù)獲取數(shù)據(jù)獲取環(huán)節(jié)主要是由不同形式的傳感器構(gòu)成，實現(xiàn)24二、預(yù)處理

預(yù)處理主要是指去除所獲取信息中的噪聲，增強有用的信息，及一切必要的使信息純化的處理過程。如圖象處理：二值化，圖象的平滑，變換，增強，恢復(fù)，濾波等

二、預(yù)處理預(yù)處理主要是指去除所獲取信息中的噪聲，增強有用的25三、特征選擇和提取

將所獲取的原始量測數(shù)據(jù)轉(zhuǎn)換成能反映事物本質(zhì)，并將其最有效分類的特征表示。輸入：原始的量測數(shù)據(jù)(經(jīng)過必要的預(yù)處理)。輸出：將原始量測數(shù)據(jù)轉(zhuǎn)換成有效方式表示的信息，從而使分類器能根據(jù)這些信息決定樣本的類別。

三、特征選擇和提取將所獲取的原始量測數(shù)據(jù)轉(zhuǎn)換成能反映事物本26對所獲取的信息實現(xiàn)從測量空間〔原始數(shù)據(jù)組成的空間〕到特征空間〔分類識別賴以進展的空間〕的轉(zhuǎn)換。測量空間原始數(shù)據(jù)是由所使用的量測儀器或傳感器獲取的，這些數(shù)據(jù)組成的空間叫測量空間。特征空間待識別的樣本及模式都是用特征進展描述的，識別與訓(xùn)練都是在特征空間中進展的。對所獲取的信息實現(xiàn)從測量空間〔原始數(shù)據(jù)組成的空間〕到特征空間27例：印刷體數(shù)字識別向量表示一個數(shù)字往往用一個N×M的數(shù)組表示。如果N＝5，M＝7，那么一個數(shù)字就用5×7共35個網(wǎng)格是黑是白來表示。如令黑為“1〞，白為“0〞，一個數(shù)字就可用35維的二進制向量表示。優(yōu)點：簡單。缺點：穩(wěn)定性差。這種表示與網(wǎng)格的大小、字的筆劃粗細(xì)、以及字在網(wǎng)格中的位置及轉(zhuǎn)向有關(guān)。例：印刷體數(shù)字識別向量表示28構(gòu)造〔筆劃〕表示也就是將它分成一橫加上一斜杠表示。這種表示方法屬于構(gòu)造表示法范疇。沒有前一種方法的缺點。提取這種構(gòu)造信息也不是一件容易方便的事構(gòu)造〔筆劃〕表示也就是將它分成一橫加上一斜杠表示。這種表示29四、分類器設(shè)計與分類決策模式識別系統(tǒng)工作的兩種方式訓(xùn)練方式和分類決策方式分類器設(shè)計：將該特征空間劃分成由各類占據(jù)的子空間，確定相應(yīng)的決策分界。分類決策：是指分類器在分界形式及其具體參數(shù)都確定后，對待分類樣本進展分類決策的過程。四、分類器設(shè)計與分類決策模式識別系統(tǒng)工作的兩種方式分類器設(shè)計30例：汽車車牌識別從攝像頭取得彩色的包含車牌的圖像。車牌定位和抽取。字符分割與識別。例：汽車車牌識別從攝像頭取得彩色的包含車牌的圖像。31§1.3模式識別的一些根本問題一、學(xué)習(xí)

二、模式的緊致性三、相似性度量

§1.3模式識別的一些根本問題一、學(xué)習(xí)32一、學(xué)習(xí)人的學(xué)習(xí)過程在日常生活中進展模式識別的活動從學(xué)習(xí)過程中掌握了很強的分辨事物的能力。機器的學(xué)習(xí)過程使用包含各種類別的訓(xùn)練樣本勾畫出各類事物在特征空間分布的規(guī)律性確定使用分類的具體數(shù)學(xué)公式及其參數(shù)一、學(xué)習(xí)人的學(xué)習(xí)過程33例：兩類訓(xùn)練樣本圓形分布分類函數(shù)類型確實定：圓形的分布與線性方程。一般來說，決定使用什么類型的分類函數(shù)往往是人為決定的。例：兩類訓(xùn)練樣本圓形分布分類函數(shù)類型確實定：圓形的分布與線性34數(shù)學(xué)式子中參數(shù)確實定是一種學(xué)習(xí)過程。如果當(dāng)前采用的分類函數(shù)會造成分類錯誤，利用錯誤提供給如何糾錯的信息，糾正分類函數(shù)。數(shù)學(xué)式子中參數(shù)確實定是一種學(xué)習(xí)過程。如果當(dāng)前采用的分類函數(shù)會35分類器設(shè)計：求解優(yōu)化問題的過程模式識別中的學(xué)習(xí)與訓(xùn)練是從訓(xùn)練樣本提供的數(shù)據(jù)中找出某種數(shù)學(xué)式子的最優(yōu)解，這個最優(yōu)解使分類器得到一組參數(shù)，按這種參數(shù)設(shè)計的分類器使人們設(shè)計的某種準(zhǔn)那么到達極值。分類器參數(shù)的選擇或者學(xué)習(xí)過程得到的結(jié)果取決于設(shè)計者選擇什么樣的準(zhǔn)那么函數(shù)。不同準(zhǔn)那么函數(shù)的最優(yōu)解對應(yīng)不同的學(xué)習(xí)結(jié)果，得到性能不同的分類器。分類器設(shè)計：求解優(yōu)化問題的過程模式識別中的學(xué)習(xí)與訓(xùn)練是從訓(xùn)練36二、模式的緊致性分類器設(shè)計難易程度與模式在特征空間的分布方式有密切關(guān)系二、模式的緊致性分類器設(shè)計難易程度與模式在特征空間的分布方式37臨界點：處于兩類的邊界上的點為臨界點。內(nèi)點：非臨界點。臨界點與內(nèi)點臨界點：處于兩類的邊界上的點為臨界點。臨界點與內(nèi)點38緊致集，具有以下性質(zhì)：(1)臨界點的數(shù)量與總的點數(shù)相比很少。(2)集合中任意兩個內(nèi)點可以用光滑線連接，在該連線上的點也屬于這個集合。(3)每個內(nèi)點都有一個足夠大的鄰域，在該領(lǐng)域中只包含同一集合中的點。形象說法：不要混迭，分界面干凈利索緊致集，具有以下性質(zhì)：(1)臨界點的數(shù)量與總的點數(shù)相比很少。39影響數(shù)據(jù)緊致性的因素數(shù)據(jù)本身特性-----如手寫體數(shù)字?jǐn)?shù)據(jù)描述方法-----印刷體數(shù)字的網(wǎng)格表示影響數(shù)據(jù)緊致性的因素數(shù)據(jù)本身特性40特征提取：改善數(shù)據(jù)緊致性許多問題在測量空間上不滿足緊致性。假設(shè)可分：通過某種變換，使其在特征空間中可分。具有緊致性特征提取的任務(wù)就是找到這樣一種變換。特征提取：改善數(shù)據(jù)緊致性許多問題在測量空間上不滿足緊致性。41三、相似性度量

在特征空間中用特征向量描述樣本的屬性，就是把相似性度量用距度離量表示。同類樣本應(yīng)具有聚類性，或緊致性好不同類別樣本應(yīng)在特征空間中顯示出具有較大的距離。統(tǒng)計模式識別各種方法實際上都是直接或間接以距離度量為根底的。三、相似性度量在特征空間中用特征向量描述樣本的屬性，就是把42兩個樣本xi，xj之間的相似度量滿足以下要求：①應(yīng)為非負(fù)值②樣本本身相似性度量應(yīng)最大③度量應(yīng)滿足對稱性④在滿足緊致性的條件下，相似性應(yīng)該是點間距離的單調(diào)函數(shù)兩個樣本xi，xj之間的相似度量滿足以下要求：43常用的距離度量歐氏距離差的絕對值總和向量夾角常用的距離度量歐氏距離44模式識別開展歷史1929年G.Tauschek創(chuàng)造閱讀機，能夠閱讀0-9的數(shù)字。30年代Fisher提出統(tǒng)計分類理論,奠定了統(tǒng)計模式識別的根底。因此，在60～70年代，統(tǒng)計模式識別開展很快，但由于被識別的模式愈來愈復(fù)雜，特征也愈多，就出現(xiàn)“維數(shù)災(zāi)難〞。但由于計算機運算速度的迅猛開展，這個問題得到一定抑制。統(tǒng)計模式識別仍是模式識別的主要理論。模式識別開展歷史1929年G.Tauschek創(chuàng)造閱讀機45模式識別開展歷史50年代NoamChemsky提出形式語言理論美籍華人付京蓀提出句法構(gòu)造模式識別。60年代L.A.Zadeh提出了模糊集理論，模糊模式識別理論得到了較廣泛的應(yīng)用。80年代Hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論。近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識別和人工智能上得到較廣泛的應(yīng)用。90年代小樣本學(xué)習(xí)理論，支持向量機也受到了很大的重視。模式識別開展歷史50年代NoamChemsky提出形式46關(guān)于模式識別的國內(nèi)、國際學(xué)術(shù)組織1973年IEEE發(fā)起了第一次關(guān)于模式識別的國際會議“ICPR〞，成立了國際模式識別協(xié)會---“IAPR〞，每2年召開一次國際學(xué)術(shù)會議。1977年IEEE的計算機學(xué)會成立了模式分析與機器智能〔PAMI〕委員會，每2年召開一次模式識別與圖象處理學(xué)術(shù)會議。國內(nèi)的組織有電子學(xué)會，通信學(xué)會，自動化協(xié)會，中文信息學(xué)會….。關(guān)于模式識別的國內(nèi)、國際學(xué)術(shù)組織1973年IEEE發(fā)起了第47模式識別的應(yīng)用領(lǐng)域機器視覺(指紋識別,人臉識別)字符識別語音識別醫(yī)療診斷〔雷達、可見光、紅外等〕目標(biāo)識別〔雷達、可見光、紅外等電子偵察對對抗：頻率、帶寬、脈寬等識別遙感圖像分類信息平安：網(wǎng)絡(luò)入侵檢測模式識別的應(yīng)用領(lǐng)域機器視覺(指紋識別,人臉識別)48謝謝大家！

結(jié)語謝謝大家！結(jié)語49哈工大模式識別緒論圖文哈工大模式識別緒論圖文哈工大模式識別緒論圖文第一章緒論哈工大模式識別緒論圖文哈工大模式識別緒論圖文哈工大模式識別緒50第一章緒論第一章緒論51§1.1模式識別和模式的概念日常生活中的模式識別陌生、但密切相關(guān)語音、圖像、氣味尋找教室、查找資料、醫(yī)生看病見慣不驚§1.1模式識別和模式的概念日常生活中的模式識別52模式識別是六十年代初迅速開展的一門學(xué)科。它所研究的理論和方法在很多科學(xué)和技術(shù)領(lǐng)域中得到了廣泛的重視，推動了人工智能技術(shù)及圖像處理、信號處理、計算機視覺、多媒體技術(shù)等多種學(xué)科的開展，擴大了計算機應(yīng)用的領(lǐng)域。模式識別是六十年代初迅速開展的一門學(xué)科。它所研究的理論和方法53什么是模式識別？模式識別：PatternRecognition通俗一點講就是機器識別，計算機識別，或機器自動識別。模式識別針對讓計算機來判斷事物而提出的該學(xué)科研究的內(nèi)容是使機器能做以前只能由人類才能做的事，具備人所具有的、對各種事物與現(xiàn)象進展分析、描述與判斷的局部能力。什么是模式識別？模式識別：PatternRecogniti54機器與人類識別事物的比較人類：具有提取抽象概念的能力人們在學(xué)習(xí)與認(rèn)識事物中會總結(jié)出規(guī)律，并把這些規(guī)律性的東西抽象成“概念〞。人之所以能“抽象出概念〞，關(guān)鍵能分析事物中哪些是本質(zhì)，哪些是外表現(xiàn)象，或由偶然因素引起的。機器：目前的抽象能力是很差的。對樣本區(qū)分事物的最根本方法是計算。要讓機器準(zhǔn)確地把握事物的本質(zhì)，弄清分辨事物的關(guān)鍵，從而正確區(qū)分事物，實質(zhì)上是要使人能夠研究出好的方法，提出好的算法，從而構(gòu)造出好的系統(tǒng)，使機器區(qū)分事物的本領(lǐng)更強。機器與人類識別事物的比較人類：具有提取抽象概念的能力55機器區(qū)分事物的最根本方法是計算讓機器區(qū)分事物的最根本方法是計算，原那么上講是對計算機要分析的事物與作為標(biāo)準(zhǔn)的稱之為“模板〞的相似程度進展計算。譬如說腦子里有沒有瘤，就要與標(biāo)準(zhǔn)的腦圖像以及有瘤圖像做比較，看跟哪個更相似。要識別一個具體數(shù)字，就要將它與從0到9的樣板做比較，看跟哪個模板最相似，或最接近。因此首先要能從度量中看出不同事物之間的差異，才能分辨當(dāng)前要識別的事物(稱為測試樣本)跟哪類事物更接近。因此找到有效地度量不同類事物的差異的方法是最關(guān)鍵的。

機器區(qū)分事物的最根本方法是計算讓機器區(qū)分事物的最根本方法是計56模式類與模式

模式類與模式：所見到的具體事物稱為模式，而將他們的歸屬類別稱為模式類。樣本與模式(模式類)：所見到的具體事物稱為樣本，而他們所屬的事物類別，代表著這些事物的“概念〞是模式。模式與樣本在集合論中是子集與元素之間的關(guān)系模式識別：將某一具體事物〔樣本〕正確地歸入某一〔模式〕類別。模式類與模式模式類與模式：所見到的具體事物稱為模式，而將57模式的描述方法一種是對事物的屬性進展度量，屬于定量的表示方法。另一種那么是對事務(wù)所包含的成分進展分析，稱為定性的描述或構(gòu)造性描述模式的描述方法一種是對事物的屬性進展度量，屬于定量的表示方58定量的表示方法特征：模式就是用它們所具有的特征(Feature)〔反映事物的本質(zhì)屬性〕描述的。特征向量：對一種模式與它們的樣本來說，將描述它們的所有特征用一特征集表示:例如對水果進展分類：用水果的重量，近似球體直徑表示水果:一只蘋果重0.3斤，直徑10厘米,那么可表示成(0.3,1.0)定量的表示方法特征：模式就是用它們所具有的特征(Featur59特征空間特征空間中的一個樣本點特征空間特征空間中的一個樣本點60時域信號的向量表示法語音信號這種隨時間變化的信號，屬于時域信號。此時，元素之間的時間先后順序很重要，因此可用向量的形式將它們排列起來。說的嚴(yán)格一些，對語音信號進展采樣，然后將在不同時刻采樣值排列起來，組成向量。時域信號的向量表示法語音信號這種隨時間變化的信號，屬于時域信61圖像的表示方法數(shù)字圖像：它由排列整齊的二維網(wǎng)格組成，分為假設(shè)干行與假設(shè)干列，相當(dāng)于一個二維數(shù)組，或稱矩陣。每個元素稱為像素。圖像的運算是向量運算。圖像的表示方法數(shù)字圖像：它由排列整齊的二維網(wǎng)格組成，分為假62構(gòu)造性描述方法構(gòu)造性描述方法：由事物組成成分與相互關(guān)系表示的表示方法。常用的有串、樹、圖等。

例如一幅風(fēng)光圖像中的房屋用向量描述就不一定方便，對房屋而言，它有屋頂、墻、門窗等組成，各種成分之間又有相互關(guān)系，那么墻在屋頂之下，門與窗都在墻上等。構(gòu)造性描述方法構(gòu)造性描述方法：由事物組成成分與相互關(guān)系表示的63統(tǒng)計模式識別統(tǒng)計模式識別在特征空間與特征向量這種表示模式的方法前提下，討論模式識別的根本理論與根本方法。構(gòu)造模式識別基于構(gòu)造性描述方法。統(tǒng)計模式識別統(tǒng)計模式識別64§1.2模式識別系統(tǒng)

對樣本進展分類，執(zhí)行模式識別的計算機系統(tǒng)稱為模式識別系統(tǒng)。模式識別系統(tǒng)的根本構(gòu)成一般由數(shù)據(jù)獲取，預(yù)處理，特征提取與選擇、分類器設(shè)計及分類決策五局部組成。

§1.2模式識別系統(tǒng)對樣本進展分類，執(zhí)行模式識別的計算機65例子：

鱸魚和鮭魚的分類及識別光學(xué)手段，架設(shè)相機，拍攝魚的照片，識別這兩類魚。兩種魚有在一些物理特性上差異明顯：長度、寬度、光澤、鰭的數(shù)目和形狀、嘴的位置。〔特征〕可用于分類識別。預(yù)處理：圖像受到光照的影響、魚在傳送帶上的位置、攝像機電子線路的干擾。例子：

鱸魚和鮭魚的分類及識別光學(xué)手段，架設(shè)相機，拍攝魚的照66兩種魚的長度的分布〔只用長度分類〕不存在一個閾值能分開兩類魚。任何閾值都會存在錯分。最正確閾值：l’’，錯分類數(shù)目最小。鮭魚鱸魚兩種魚的長度的分布〔只用長度分類〕鮭魚鱸魚67鮭魚鱸魚兩種魚的光澤度的分布〔只用光澤度分類〕不存在一個閾值能分開兩類魚。任何閾值都會存在錯分。最正確閾值：x’’，錯分類數(shù)目最小。鮭魚鱸魚兩種魚的光澤度的分布〔只用光澤度分類〕68兩個特征〔光澤度和寬度〕分類，線性分類器中間斜線是分界限，誤差異前述兩種效果好，但仍有一些錯誤。兩個特征〔光澤度和寬度〕分類，線性分類器69復(fù)雜的決策曲線。對訓(xùn)練樣本可得無錯分樣本。但，推廣能力很差。如。新的點“？〞，更像是“鮭魚〞，但分為“鱸魚〞復(fù)雜的決策曲線。對訓(xùn)練樣本可得無錯分樣本。但，推廣能力很差。70判決曲線：分類性能和分界面復(fù)雜度的一個最優(yōu)折中。對新的樣本的分類性能也很好判決曲線：分類性能和分界面復(fù)雜度的一個最優(yōu)折中。對新的樣本的71典型的模式識別系統(tǒng)數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類器設(shè)計分類決策分類器參數(shù)分類結(jié)果訓(xùn)練過程識別過程典型的模式識別系統(tǒng)數(shù)據(jù)獲取預(yù)處理特征提取與選擇分類器設(shè)計分72一、數(shù)據(jù)獲取

數(shù)據(jù)獲取環(huán)節(jié)主要是由不同形式的傳感器構(gòu)成，實現(xiàn)信息獲取與信息在不同媒體之間的轉(zhuǎn)換。

在現(xiàn)階段計算機都只能處理某種形式的電信號，而待識別的樣本大都是非電信息，需要轉(zhuǎn)換成電信號。---話筒將聲音信號轉(zhuǎn)換成電信號----景物信息在攝像機靶面成像并轉(zhuǎn)換成二維的象素矩陣一、數(shù)據(jù)獲取數(shù)據(jù)獲取環(huán)節(jié)主要是由不同形式的傳感器構(gòu)成，實現(xiàn)73二、預(yù)處理

預(yù)處理主要是指去除所獲取信息中的噪聲，增強有用的信息，及一切必要的使信息純化的處理過程。如圖象處理：二值化，圖象的平滑，變換，增強，恢復(fù)，濾波等

二、預(yù)處理預(yù)處理主要是指去除所獲取信息中的噪聲，增強有用的74三、特征選擇和提取

將所獲取的原始量測數(shù)據(jù)轉(zhuǎn)換成能反映事物本質(zhì)，并將其最有效分類的特征表示。輸入：原始的量測數(shù)據(jù)(經(jīng)過必要的預(yù)處理)。輸出：將原始量測數(shù)據(jù)轉(zhuǎn)換成有效方式表示的信息，從而使分類器能根據(jù)這些信息決定樣本的類別。

三、特征選擇和提取將所獲取的原始量測數(shù)據(jù)轉(zhuǎn)換成能反映事物本75對所獲取的信息實現(xiàn)從測量空間〔原始數(shù)據(jù)組成的空間〕到特征空間〔分類識別賴以進展的空間〕的轉(zhuǎn)換。測量空間原始數(shù)據(jù)是由所使用的量測儀器或傳感器獲取的，這些數(shù)據(jù)組成的空間叫測量空間。特征空間待識別的樣本及模式都是用特征進展描述的，識別與訓(xùn)練都是在特征空間中進展的。對所獲取的信息實現(xiàn)從測量空間〔原始數(shù)據(jù)組成的空間〕到特征空間76例：印刷體數(shù)字識別向量表示一個數(shù)字往往用一個N×M的數(shù)組表示。如果N＝5，M＝7，那么一個數(shù)字就用5×7共35個網(wǎng)格是黑是白來表示。如令黑為“1〞，白為“0〞，一個數(shù)字就可用35維的二進制向量表示。優(yōu)點：簡單。缺點：穩(wěn)定性差。這種表示與網(wǎng)格的大小、字的筆劃粗細(xì)、以及字在網(wǎng)格中的位置及轉(zhuǎn)向有關(guān)。例：印刷體數(shù)字識別向量表示77構(gòu)造〔筆劃〕表示也就是將它分成一橫加上一斜杠表示。這種表示方法屬于構(gòu)造表示法范疇。沒有前一種方法的缺點。提取這種構(gòu)造信息也不是一件容易方便的事構(gòu)造〔筆劃〕表示也就是將它分成一橫加上一斜杠表示。這種表示78四、分類器設(shè)計與分類決策模式識別系統(tǒng)工作的兩種方式訓(xùn)練方式和分類決策方式分類器設(shè)計：將該特征空間劃分成由各類占據(jù)的子空間，確定相應(yīng)的決策分界。分類決策：是指分類器在分界形式及其具體參數(shù)都確定后，對待分類樣本進展分類決策的過程。四、分類器設(shè)計與分類決策模式識別系統(tǒng)工作的兩種方式分類器設(shè)計79例：汽車車牌識別從攝像頭取得彩色的包含車牌的圖像。車牌定位和抽取。字符分割與識別。例：汽車車牌識別從攝像頭取得彩色的包含車牌的圖像。80§1.3模式識別的一些根本問題一、學(xué)習(xí)

二、模式的緊致性三、相似性度量

§1.3模式識別的一些根本問題一、學(xué)習(xí)81一、學(xué)習(xí)人的學(xué)習(xí)過程在日常生活中進展模式識別的活動從學(xué)習(xí)過程中掌握了很強的分辨事物的能力。機器的學(xué)習(xí)過程使用包含各種類別的訓(xùn)練樣本勾畫出各類事物在特征空間分布的規(guī)律性確定使用分類的具體數(shù)學(xué)公式及其參數(shù)一、學(xué)習(xí)人的學(xué)習(xí)過程82例：兩類訓(xùn)練樣本圓形分布分類函數(shù)類型確實定：圓形的分布與線性方程。一般來說，決定使用什么類型的分類函數(shù)往往是人為決定的。例：兩類訓(xùn)練樣本圓形分布分類函數(shù)類型確實定：圓形的分布與線性83數(shù)學(xué)式子中參數(shù)確實定是一種學(xué)習(xí)過程。如果當(dāng)前采用的分類函數(shù)會造成分類錯誤，利用錯誤提供給如何糾錯的信息，糾正分類函數(shù)。數(shù)學(xué)式子中參數(shù)確實定是一種學(xué)習(xí)過程。如果當(dāng)前采用的分類函數(shù)會84分類器設(shè)計：求解優(yōu)化問題的過程模式識別中的學(xué)習(xí)與訓(xùn)練是從訓(xùn)練樣本提供的數(shù)據(jù)中找出某種數(shù)學(xué)式子的最優(yōu)解，這個最優(yōu)解使分類器得到一組參數(shù)，按這種參數(shù)設(shè)計的分類器使人們設(shè)計的某種準(zhǔn)那么到達極值。分類器參數(shù)的選擇或者學(xué)習(xí)過程得到的結(jié)果取決于設(shè)計者選擇什么樣的準(zhǔn)那么函數(shù)。不同準(zhǔn)那么函數(shù)的最優(yōu)解對應(yīng)不同的學(xué)習(xí)結(jié)果，得到性能不同的分類器。分類器設(shè)計：求解優(yōu)化問題的過程模式識別中的學(xué)習(xí)與訓(xùn)練是從訓(xùn)練85二、模式的緊致性分類器設(shè)計難易程度與模式在特征空間的分布方式有密切關(guān)系二、模式的緊致性分類器設(shè)計難易程度與模式在特征空間的分布方式86臨界點：處于兩類的邊界上的點為臨界點。內(nèi)點：非臨界點。臨界點與內(nèi)點臨界點：處于兩類的邊界上的點為臨界點。臨界點與內(nèi)點87緊致集，具有以下性質(zhì)：(1)臨界點的數(shù)量與總的點數(shù)相比很少。(2)集合中任意兩個內(nèi)點可以用光滑線連接，在該連線上的點也屬于這個集合。(3)每個內(nèi)點都有一個足夠大的鄰域，在該領(lǐng)域中只包含同一集合中的點。形象說法：不要混迭，分界面干凈利索緊致集，具有以下性質(zhì)：(1)臨界點的數(shù)量與總的點數(shù)相比很少。88影響數(shù)據(jù)緊致性的因素數(shù)據(jù)本身特性-----如手寫體數(shù)字?jǐn)?shù)據(jù)描述方法-----印刷體數(shù)字的網(wǎng)格表示影響數(shù)據(jù)緊致性的因素數(shù)據(jù)本身特性89