1、2021/3/271模式識別導論2021/3/272課程對象 智能科學與技術 自動化 計算機應用技術專業(yè) 本科專業(yè)的高年級學生使用2021/3/273與模式識別相關的學科 統(tǒng)計學 概率論 線性代數(shù)（矩陣計算） 高等數(shù)學 機器學習 人工智能 圖像處理 計算機視覺 2021/3/274教學方法 著重講述模式識別的基本概念,基本方法和算法原理。 注重理論與實踐緊密結合實例教學:通過大量實例講述如何將所學知識運用到實際應用之中 避免引用過多的、繁瑣的數(shù)學推導。 2021/3/275教學目標 掌握模式識別的基本概念和方法 有效地運用所學知識和方法解決實際問題 為研究新的模式識別的理論和方法打下基礎 20

2、21/3/276題外話 基本:完成課程學習,通過考試,獲得學分。 提高:能夠將所學知識和內(nèi)容用于課題研究,解決實際問題。 飛躍:通過模式識別的學習,改進思維方式,為將來的工作打好基礎,終身受益。2021/3/277教材/參考文獻 范九倫范九倫,趙鳳趙鳳,雷博等雷博等,模式識別導論模式識別導論,西安電子科技大學出版社,2012。 邊肇祺,模式識別（第二版）,清華大學出版社,2000。 齊敏,李大建,郝重陽,模式識別導論,清華大學出版社,2009。 R. Duda, P. Hart, D. Stork, Pattern Classification, second edition, 2000（有中

3、譯本）.2021/3/278機構、會議、刊物 1973年 IEEE發(fā)起了第一次關于模式識別的國際會議“ICPR”（此后兩年一次）,成立了國際模式識別協(xié)會-“IAPR” 1977年IEEE成立PAMI委員會,創(chuàng)立IEEE Trans. on PAMI,并支持ICCV, CVPR兩個會議 其他刊物 Pattern Recognition (PR) Pattern Recognition Letters (PRL) Pattern Analysis and Application (PAA) International Journal of Pattern Recognition and Artif

4、icial Intelligence (IJPRAI)2021/3/279第一章 引論2021/3/2710模式識別例子 看云識天氣 判斷今天的天氣的冷暖、晴雨 醫(yī)生對病人的病情進行識別 學生上課時進行語音、文字識別 指紋識別、人臉識別 周圍物體的認知:桌子、椅子 人的識別:張三、李四 聲音的辨別:汽車、火車,狗叫、人語 氣味的分辨:炸帶魚、紅燒肉2021/3/2711模式識別 模式識別 直觀,無所不在,“人以類聚,物以群分” 人和動物的模式識別能力是極其平常的,但對計算機來說卻是非常困難的。隨著計算機科學的發(fā)展和計算機應用的普及,迫切希望計算機也能聽懂我們說的話、看懂我們寫的字,從而代替人去

5、完成某些復雜、繁重以及危險惡劣環(huán)境下的識別工作。 2021/3/2712什么是模式（Pattern）?2021/3/2713什么是模式? 廣義地說,存在于時間和空間中可觀察的物體,如果我們可以區(qū)別它們是否相同或是否相似,都可以稱之為模式模式。 模式所指的不是事物本身,而是從事物獲得的信息,因此,模式往往表現(xiàn)為具有時間和空間分布的信息。 模式的直觀特性: 可觀察性 可區(qū)分性 相似性2021/3/2714認知模式識別 模式識別是生物體的基本活動,與感覺、記憶、學習、思維等心理過程緊密聯(lián)系。因此,模式識別是研究生物體如何感知對象的學科,屬于認識科學的范疇,是生理學家、心理學家、生物學家和神經(jīng)生理學家

6、的研究內(nèi)容,常被稱做認知模式識別。具體而言2021/3/2715 認知模式識別主要經(jīng)歷分析、比較和決策三個階段。 一般說來,模式識別過程是將感覺信息與長時記憶中的信息進行比較,再決定它與哪個長時記憶中的項目有著最佳匹配的過程。2021/3/2716認識模式識別 認知模式識別是認知心理學研究領域的核心問題之一,是人的一種最基本的認知能力。匹配過程可以采用 : 1. 模板匹配理論 2. 原形匹配理論 3. 特征匹配理論 4. 結構優(yōu)勢描述理論2021/3/2717什么是模式? 狹義地講,模式是為了能讓計算機執(zhí)行和完成分類識別任務,通過對具體的個別事物進行觀測所得到的具體時間和空間分布的信息。 把模

7、式所屬的類別或同一類中模式的總體稱為模式類。2021/3/2718計算機模式識別 根據(jù)待識別對象的特征或屬性,利用以計算機為中心的機器系統(tǒng),運用一定的分析算法確定對象類別的學科,是數(shù)學家、信息學專家和計算機專家的研究內(nèi)容 模式識別定義模式識別定義: 研究一些自動技術研究一些自動技術,利用這些技術利用這些技術,計算機自動計算機自動地把待識別模式分到各自的模式類中。地把待識別模式分到各自的模式類中。 例如:數(shù)字識別2021/3/2719計算機模式識別 模式識別系統(tǒng) 模式識別系統(tǒng)的分類識別過程數(shù)據(jù)獲取特征提取和選擇預處理分類決策分類器設計2021/3/2720模式識別系統(tǒng)組成單元 數(shù)據(jù)獲取:用計算機

8、可以運算的符號來表示所研究的對象 二維圖像:文字、指紋、地圖、照片等 一維波形:腦電圖、心電圖、季節(jié)震動波形等 物理參量和邏輯值:體溫、化驗數(shù)據(jù)、參量正常與否的描述 通過各種傳感器把研究對象的各種物理變量轉化為計算機可以接受的數(shù)值和符號集合,習慣上稱這種數(shù)值或符號串所組成的空間為模式空間 預處理單元:去噪聲,提取有用信息,并對輸入測量儀器或其它因素所造成的退化現(xiàn)象進行復原2021/3/2721模式識別系統(tǒng)組成單元 特征提取和選擇:對原始數(shù)據(jù)進行變換,得到最能反映分類本質的特征 測量空間:原始數(shù)據(jù)組成的空間 特征空間:分類識別賴以進行的空間 模式表示:維數(shù)較高的測量空間-維數(shù)較低的特征空間 分類

9、決策:在特征空間中用模式識別方法把被識別對象歸為某一類別 基本做法:在樣本訓練集基礎上確定某個判決規(guī)則,使得按這種規(guī)則對被識別對象進行分類所造成的錯誤識別率最小或引起的損失最小2021/3/2722模式識別系統(tǒng) 一個功能完善的計算機模式識別系統(tǒng)除了具有分類識別過程外, 通常還應該具有學習功能, 具體如下圖.2021/3/2723模式識別系統(tǒng)的原理框圖2021/3/2724統(tǒng)計模式識別過程實例 在傳送帶上用光學傳感器件對魚按品種分類鱸魚(Seabass)品種鮭魚(Salmon)2021/3/2725識別過程 數(shù)據(jù)獲取:架設一個攝像機,采集一些樣本圖像,獲取樣本數(shù)據(jù) 預處理:去噪聲,用一個分割操作

10、把魚和魚之間以及魚和背景之間分開2021/3/2726識別過程 特征提取和選擇:對單個魚的信息進行特征選擇,從而通過測量某些特征來減少信息量 長度 亮度 寬度 魚翅的數(shù)量和形狀 嘴的位置,等等 分類決策:把特征送入決策分類器2021/3/27272021/3/27282021/3/27292021/3/27302021/3/27312021/3/27322021/3/2733模式分類器的獲取和評測過程 數(shù)據(jù)采集 特征選取 模型選擇 訓練和測試 計算結果和復雜度分析,反饋2021/3/27342021/3/2735訓練和測試 訓練集:是一個已知樣本集,在監(jiān)督學習方法中,用它來開發(fā)出模式分類器。

11、測試集:在設計識別和分類系統(tǒng)時沒有用過的獨立樣本集。 系統(tǒng)評價原則:為了更好地對模式識別系統(tǒng)性能進行評價,必須使用一組獨立于訓練集的測試集對系統(tǒng)進行測試。2021/3/2736模式識別的研究 目的:利用計算機對物理對象進行分類,在錯誤概率最小的條件下,使識別的結果盡量與客觀物體相符合。 Y = F(X)X的定義域取自特征集Y的值域為類別的標號集F是模式識別的判別方法2021/3/2737模式識別方法 模式識別系統(tǒng)的目標:在特征空間和解釋空間之間找到一種映射關系,這種映射也稱之為假說。 特征空間:從模式得到的對分類有用的度量、屬性或基元構成的空間。 解釋空間:將c個類別表示為其中 為所屬類別的集

12、合,稱為解釋空間。 2021/3/2738假說的兩種獲得方法 監(jiān)督學習、概念驅動或歸納假說:在特征空間中找到一個與解釋空間的結構相對應的假說。在給定模式下假定一個解決方案,任何在訓練集中接近目標的假說也都必須在“未知”的樣本上得到近似的結果。 依靠已知所屬類別的的訓練樣本集,按它們特征向量的分布來確定假說 （通常為一個判別函數(shù)）,只有在判別函數(shù)確定之后才能用它對未知的模式進行分類; 對分類的模式要有足夠的先驗知識,通常需要采集足夠數(shù)量的具有典型性的樣本進行訓練。2021/3/2739假說的兩種獲得方法（續(xù)） 非監(jiān)督學習、數(shù)據(jù)驅動或演繹假說:在解釋空間中找到一個與特征空間的結構相對應的假說。這種

13、方法試圖找到一種只以特征空間中的相似關系為基礎的有效假說。 在沒有先驗知識的情況下,通常采用聚類分析方法,基于“物以類聚”的觀點,用數(shù)學方法分析各特征向量之間的距離及分散情況; 如果特征向量集聚集若干個群,可按群間距離遠近把它們劃分成類; 這種按各類之間的親疏程度的劃分,若事先能知道應劃分成幾類,則可獲得更好的分類結果。2021/3/2740模式分類的主要方法 數(shù)據(jù)聚類 統(tǒng)計分類 結構模式識別 神經(jīng)網(wǎng)絡2021/3/2741數(shù)據(jù)聚類 目標:用某種相似性度量的方法將原始數(shù)據(jù)組織成有意義的和有用的各種數(shù)據(jù)集。 是一種非監(jiān)督學習的方法,解決方案是數(shù)據(jù)驅動的。2021/3/2742統(tǒng)計分類 基于概率統(tǒng)

14、計模型(概率密度函數(shù)、后驗概率)得到各類別的特征向量的分布,以取得分類的方法。 特征向量分布的獲得是基于一個類別已知的訓練樣本集。 是一種監(jiān)督分類的方法,分類器是概念驅動的。2021/3/2743結構模式識別 對于具有復雜結構特征的對象,僅用一些復雜特征已不能對其進行充分描述,此時需要采用結構模式識別方法。 該方法首先將對象分解為若干基本單元（基元）,然后利用這些基元和它們之間的結構關系來描述對象。 在結構模式識別中,基元以及基元之間的結構關系采用圖和字符串來表示,這些圖和字符串稱為形式語言的句子,再根據(jù)代表類的文法運用形式語言理論和技術對句子進行句法分析,根據(jù)其是否符合某一類的文法來確定其類

15、別。因此,結構模式識別也稱為句法模式識別。2021/3/2744神經(jīng)網(wǎng)絡 神經(jīng)網(wǎng)絡是受人腦組織的生理學啟發(fā)而創(chuàng)立的。 由一系列互相聯(lián)系的、相同的單元（神經(jīng)元）組成。相互間的聯(lián)系可以在不同的神經(jīng)元之間傳遞增強或抑制信號。 增強或抑制是通過調(diào)整神經(jīng)元相互間聯(lián)系的權重系數(shù)來（weight）實現(xiàn)。 神經(jīng)網(wǎng)絡可以實現(xiàn)監(jiān)督和非監(jiān)督學習條件下的分類。2021/3/2745模式識別的一些基本準則 奧卡姆剃刀原理 14世紀邏輯學家、圣方濟各會修士奧卡姆的威廉提出一個原理“如無必要,勿增實體”,殺雞焉用宰牛刀,在多種實現(xiàn)方法中提倡選擇最簡單的假設和模型,盡量不要把問題復雜化,盡力把沒用的和會把問題復雜化的因素去掉

16、。2021/3/2746模式識別的一些基本準則 沒有免費的午餐定理（No Free Lunch, NFL） 該定理指出:沒有最好的算法,每種算法總有它的優(yōu)勢和缺陷。NFL定理可簡單表述為:對于所有可能的問題,任意給定兩個算法A,A,如果A在某些問題上表現(xiàn)得比A好,那么A在其他問題上表現(xiàn)一定比A差。 該定理隱含指出:任何一種分類算法甚至不比搜索空間的線性列舉或者純隨機搜索算法更優(yōu)。2021/3/2747模式識別的一些基本準則 丑小鴨定理 20世紀60年代,美籍日本學者渡邊慧證明了“丑小鴨定理”。定理說:丑小鴨和白天鵝之間的區(qū)別和兩只白天鵝之間的區(qū)別一樣大。這個看起來完全違背常識的定理實際上說的是

17、:世界上不存在分類的客觀標準,一切分類的標準都是主觀的。2021/3/2748 渡邊慧舉了一個鯨魚的例子: 按照生物學的分類方法,鯨魚屬于哺乳類的偶蹄目,和牛是一類;但是在產(chǎn)業(yè)界,鯨和魚同屬于水產(chǎn)業(yè),而不屬于包括牛的畜牧業(yè)。分類結果取決于選擇什么特征作為分類標準,而特征的選擇又依存于人的目的。丑小鴨是白天鵝的幼雛,在畫家的眼里,丑小鴨和白天鵝的區(qū)別大于兩只白天鵝的區(qū)別; 但是在遺傳學家的眼里,丑小鴨與其父親或母親的差別小于父母之間的差別。 由此引出的一個問題是,事物有沒有“本質”?一個蘋果,牛頓看到的是它的質量,遺傳學家看到的是它的染色體中的DNA序列,美食家關心的是它的味道,畫家看到的是它的

18、顏色和形狀,孔融還可能關注其大小并從中看出道德因素。這里面沒有誰對誰錯的問題,所以不可能知道蘋果的“本質”是什么。在說到“本質”的時候,充其量說的只是“我認為最重要的特征”,只代表個人的立場。 2021/3/2749模式識別簡史 1929年 G. Tauschek發(fā)明閱讀機 ,能夠閱讀0-9的數(shù)字。 30年代 Fisher提出統(tǒng)計分類理論,奠定了統(tǒng)計模式識別的基礎。 50年代 Noam Chemsky 提出形式語言理論傅京蓀 提出句法結構模式識別句法結構模式識別。 60年代 L.A.Zadeh提出了模糊集理論,模糊模式識別方法得以發(fā)展和應用。 80年代以Hopfield網(wǎng)、BP網(wǎng)為代表的神經(jīng)網(wǎng)

19、絡模型導致人工神經(jīng)元網(wǎng)絡復活,并在模式識別得到較廣泛的應用。 90年代小樣本學習理論,支持向量機也受到了很大的重視。2021/3/2750模式識別的應用（舉例） 生物學生物特征識別 自動細胞學、染色體特性研究、遺傳研究 天文學 天文望遠鏡圖像分析、自動光譜學 經(jīng)濟學 股票交易預測、企業(yè)行為分析 醫(yī)學 心電圖分析、腦電圖分析、醫(yī)學圖像分析2021/3/2751模式識別的應用（舉例） 工程 產(chǎn)品缺陷檢測、特征識別、語音識別、自動導航系統(tǒng)、污染分析 軍事 航空攝像分析、雷達和聲納信號檢測和分類、自動目標識別 安全 指紋識別、人臉識別、監(jiān)視和報警系統(tǒng)2021/3/2752實例:統(tǒng)計模式識別 19名男女

20、同學進行體檢,測量了身高和體重,但事后發(fā)現(xiàn)其中有4人忘記填寫性別,試問（在最小錯誤的條件下）這4人是男是女?體檢數(shù)值如下:2021/3/2753實例:統(tǒng)計模式識別（續(xù)） 待識別的模式:性別（男或女） 測量的特征:身高和體重 訓練樣本:15名已知性別的樣本特征 目標:希望借助于訓練樣本的特征建立判別函數(shù)（即數(shù)學模型）2021/3/2754實例:統(tǒng)計模式識別（續(xù)） 由訓練樣本得到的特征空間分布圖2021/3/2755實例:統(tǒng)計模式識別（續(xù)） 從圖中訓練樣本的分布情況,找出男、女兩類特征各自的聚類特點,從而求取一個判別函數(shù)（直線或曲線）。 只要給出待分類的模式特征的數(shù)值,看它在特征平面上落在判別函數(shù)

21、的哪一側,就可以判別是男還是女了。2021/3/2756實例:句法模式識別 問題:如何利用對圖像的結構信息描述,識別如下所示圖片:2021/3/2757實例:句法模式識別（續(xù)） 將整個場景圖像結構分解成一些比較簡單的子圖像的組合; 子圖像又用一些更為簡單的基本圖像單元來表示,直至子圖像達到了我們認為的最簡單的圖像單元（基元）; 所有這些基元按一定的結構關系來表示,利用多級樹結構對其進行描述（這種描述可以采用形式語言理論）。2021/3/2758實例:句法模式識別（續(xù)） 多級樹描述結構2021/3/2759實例:句法模式識別（續(xù)） 訓練過程: 用已知結構信息的圖像作為訓練樣本,先識別出基元（比如場景圖中的X、Y、Z等簡單平面）和它們之間的連接關系（例如長方體E是由X、Y和Z三個面拼接而成）,并用字母符號代表之; 然后用構造句子的文法來描述生成這幅場景的過程,由此推斷出生成該場景的一種文法。2021/3/2760實例:句法模式識別（續(xù)） 識