模式識別

PatternRecognition課程教材2《模式識別》

張向榮馮婕劉芳焦李成西安電子科技大學(xué)出版社第一章緒論第二章統(tǒng)計決策方法第三至第四章分類方法第五至第六章特征選擇/提取方法第七章神經(jīng)網(wǎng)絡(luò)第八至第十章現(xiàn)代模式識別課程參考書IEEETrans.OnPatternAnalysisandMachineIntelligence(TPAMI)《模式識別與人工智能》，科學(xué)出版社，自動化學(xué)會主辦，季刊背景知識概率論；線性代數(shù)（矩陣計算）；學(xué)習(xí)要求掌握基本概念，了解理論內(nèi)容；考試形式總學(xué)時：40+16，講授40，實驗16；課程分為：講授+學(xué)生展示+實驗上機；考試：平時成績40%（出勤率，平時作業(yè)，課堂展示，上機課）+考試成績60%；相關(guān)期刊5文獻查找6文獻查找作者個人主頁7文獻查找網(wǎng)址：33/dbNavList.jspx8文獻閱讀第一章

模式識別概論1.1什么是模式識別1.2模式識別的基本概念1.3模式識別系統(tǒng)（基本框架）1.4模式識別的歷史與現(xiàn)狀1.5模式識別方法1.6模式識別應(yīng)用領(lǐng)域第一章

模式識別概論1.1什么是模式識別1.2模式識別的基本概念1.3模式識別系統(tǒng)（基本框架）1.4模式識別的歷史與現(xiàn)狀1.5模式識別方法1.6模式識別應(yīng)用領(lǐng)域1.1什么是模式識別？模式識別的定義

Patternrecognition

isthestudyofhow

machines

canobservetheenvironment,learnto

distinguishpatterns

ofinterestfromtheirbackground,andmakesoundandreasonable

decisions

aboutthecategoriesofthepatterns.

——AnilK.Jain，MichiganStateUniversity

/~jain/

Ref:AnilK.Jainetal.StatisticalPatternRecognition：AReview.IEEETrans.onpatternanalysisandmachineintelligence.2000,22(1):4-3712目標(biāo)識別（人臉識別）：人在環(huán)顧四周的時候，可以認(rèn)出周圍的物體是桌子，椅子；能認(rèn)出你的同學(xué)是張三還是李四；語音識別：聽到聲音，能夠區(qū)分出是汽車?yán)冗€是火車鳴笛，是貓叫還是人在說話，是誰在說話；文本分類：通過閱讀書籍，可以看出哪些屬于藝術(shù)類書籍，哪些屬于體育類書籍；圖像、視頻識別：看到圖像和視頻，可以立刻反映出來是動物的圖片，或者講述動物生活習(xí)性的視頻；人類所具備的這些認(rèn)知能力非常的平常，但如何讓計算機來模擬人的智能，可以同人類一樣具備這種認(rèn)知，學(xué)習(xí)這種模式識別能力是這門課關(guān)注的問題。1.1什么是模式識別？1.1什么是模式識別？人的模式識別過程：剛出生的小朋友，你不斷地給他灌輸知識反復(fù)訓(xùn)練他，比如，介紹一個動物，介紹這種動物的一些主要的特征，叫聲，外形，顏色等，來反復(fù)地讓他加深印象，下一次見到可以認(rèn)出這種動物；機器的模式識別過程：如果讓機器識別一個動物，需要將動物的抽象特征提取出一些機器可以識別的符號、向量，作為機器的輸入；然后，建立一個模型（分類器），讓機器識別出來這是貓，這種動物是狗；這里面就是模式識別的兩個核心：特征提取和分類器設(shè)計，這門課也主要圍繞這兩大模塊進行。因為每一種數(shù)據(jù)，每一種應(yīng)用，都有各自的特點，所以要根據(jù)不同的應(yīng)用，設(shè)計相應(yīng)的特征提取方法和相應(yīng)的分類器模型。14DeepBlue深藍是美國IBM公司生產(chǎn)的一臺超級國際象棋電腦，重1270公斤，有32個大腦（微處理器），每秒鐘可以計算2億步。"深藍”輸入了一百多年來優(yōu)秀棋手的對局兩百多萬局。1997年5月11日，“深藍”超級電腦戰(zhàn)勝了人類有史以來最偉大的國際象棋大師卡斯帕羅夫。這場舉世矚目的人機大戰(zhàn)以計算機取勝而落下帷幕。深藍算法的核心是基于暴力窮舉：生成所有可能的走法，然后執(zhí)行盡可能深的搜索，并不斷對局面進行評估，嘗試找出較佳走法。包括走棋模塊，評估模塊，以及搜索控制器。1.1什么是模式識別？正在與深藍下棋的卡斯帕羅夫1.1什么是模式識別？16Watson2011年，IBMWatson參加綜藝節(jié)目危險邊緣（Jeopardy）來測試它的能力，Watson贏得了第一筆獎金100萬美元。它包括語音的識別，語義的理解，還有對答系統(tǒng)。首先需要語音的識別，他需要識別出，你說的是人工智能四個字，然后需要理解問題，因為語料庫中的問題未必和主持人完全匹配，最后需要在語料庫中找到相應(yīng)的答案。1.1什么是模式識別？17小度小度機器人誕生于百度自然語言處理部。依托于百度強大的人工智能，集成了自然語言處理、對話系統(tǒng)、語音視覺等技術(shù)；2014年9月16日，小度機器人現(xiàn)身江蘇衛(wèi)視《芝麻開門》：40道涉及音樂，影視，歷史，文學(xué)類型的題目全部答對；2017年1月，小度參加江蘇衛(wèi)視《最強大腦》第四季；1.1什么是模式識別？AlphaGo由谷歌（Google）旗下DeepMind公司開發(fā)。2016年3月，

AlphaGo與圍棋世界冠軍、職業(yè)九段選手李世石比賽并獲勝；2016年末2017年初，該程序在中國棋類網(wǎng)站上以“大師”（Master）為注冊帳號與中日韓數(shù)十位圍棋高手進行快棋對決，連續(xù)60局無一敗績。2017年5月，戰(zhàn)勝中國選手柯潔戰(zhàn)勝。2017年10月，發(fā)布AlphaGoZero。核心技術(shù)：深度學(xué)習(xí)+強化學(xué)習(xí)AlphaGo1.1什么是模式識別？1.1什么是模式識別？什么是模式？模板匹配提取車的輪廓、顏色，這個屬于來自圖像本身的底層特征；用底層特征來抽象到這種輪廓這種顏色的車身，它有幾個車輪，上升到了中層特征；有車身和四個車輪的這種物體，上升到汽車這樣一個語義的層次。語義就是人類賦予它的一個定義，這是高層特征。識別的過程是從底層，逐漸抽象到高層，這樣的一個過程。其中，汽車作為物體的一個類別屬性，根據(jù)底層特征，抽象到中層特征，從而獲取物體的類別屬性，就是一個模式分類的過程。1.1什么是模式識別？車身車輪車型顏色底層中層汽車高層品牌什么是模式？廣義地說，存在于時間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。狹義地說，模式是對感興趣的客體的定量的或結(jié)構(gòu)的描述。模式的直觀特性:可觀察性可區(qū)分性相似性1.1什么是模式識別？什么是模式？模式識別的目的：利用計算機對物體（模式）進行分類，在錯誤概率最小的條件下，使識別的結(jié)果盡量與客觀物體相符合。Y=F(X)X的定義域取自特征集

Y的值域為類別的標(biāo)號集

F是模式識別的判別方法1.1什么是模式識別？什么是識別？第一章

模式識別概論1.1什么是模式識別1.2模式識別的基本概念1.3模式識別系統(tǒng)（基本框架）1.4模式識別的歷史與現(xiàn)狀1.5模式識別方法1.6模式識別應(yīng)用領(lǐng)域一個例子：鱸魚和鮭魚識別問題：某魚類制品罐頭廠需將傳送帶上的鱸魚和鮭魚進行區(qū)分，以便于后續(xù)對鱸魚和鮭魚進行分別處理并裝罐。Seabass：鱸魚Salmon：鮭魚1.2模式識別的基本概念一個例子：鱸魚和鮭魚識別1.2模式識別的基本概念1.需要將魚輸入到計算機，我們搭建一個攝像機，然后拍攝很多魚的圖片收集起來；2.由于在傳送帶上，攝像機拍照，有背景，也有可能很多魚交疊在一起，所以要進行一個預(yù)處理；3.需要對魚的圖像進行特征提??；比如，長度、光澤、寬度、鰭的數(shù)目與形狀等；4.設(shè)計分類器，對鱸魚和鮭魚進行分類。1.2模式識別的基本概念一個例子：鱸魚和鮭魚識別傳感器：攝像頭預(yù)處理：統(tǒng)一光照、統(tǒng)一焦距，去除背景，分割…特征提?。洪L度，亮度，重量，鰭的數(shù)目…輸入（測量）：重量，長度，寬度，光澤度（亮還是暗）鰭數(shù)目設(shè)計分類器：線性？非線性？特征選擇：長度

從長度上選一個閾值很難區(qū)分Salmon：鮭魚Seabass：鱸魚1.2模式識別的基本概念特征選擇：亮度錯誤率仍然較高1.2模式識別的基本概念1.如果單一特征不能產(chǎn)生一個滿意的結(jié)果，我們可以考慮融合多種特征；

2.光澤度與寬度(二維特征)，描述魚的數(shù)據(jù)----模式

1.2模式識別的基本概念光澤度寬度特征選擇：光澤度+寬度1.2模式識別的基本概念問題1：是不是特征越多越好？二維特征的分類結(jié)果看起來好于一維特征；我們可以考慮加入更多的特征來進一步提高分類效果，比如背鰭的頂角，嘴的位置等等；1.特征越多，測量的代價就越多；

2.加入冗余或低辨別力的特征，反而可能會帶來負面影響；

3.特征越多，模型就越復(fù)雜，分類邊界也越復(fù)雜，容易過擬合。1.2模式識別的基本概念問題1：訓(xùn)練樣本的完美分類面是不是最好的？分類器設(shè)計的核心目標(biāo)是實現(xiàn)對未知樣本的正確分類，也就是要有好的推廣能力。一個過于復(fù)雜的決策界面一般來說不太可能有好的推廣能力，它過擬合了個別少量的訓(xùn)練樣本。這些訓(xùn)練樣本沒有真正地反映數(shù)據(jù)的真實分布。結(jié)論：我們必須在訓(xùn)練樣本的分類正確率和推廣能力之間權(quán)衡以得到滿意的設(shè)計。1.2模式識別的基本概念非線性分類面圖中的判決面是對訓(xùn)練樣本的分類性能和分界面復(fù)雜度的一個折中，可以解決這種線性不可分問題。避免過擬合的方法：避免過于復(fù)雜的分類面。樣本（sample）：一類事物的一個具體體現(xiàn)，所研究對象的一個個體，也稱模式。樣本集（sampleset）：若干樣本的集合。類或類別（class）：在所有樣本上定義的一個子集，處于同一類的樣本在我們所關(guān)心的性質(zhì)上是不可區(qū)分的，即具有相同的模式，也稱模式類。

特征（feature）：用于表征樣本的觀測信息，通常是數(shù)值表示的，有時也稱為屬性（attribute）；如果是高維則稱為特征向量，樣本的特征（向量）構(gòu)成了特征空間，每個樣本是特征空間中的一個點。1.2模式識別的基本概念已知樣本（knownsample）：事先知道類別標(biāo)號的樣本（訓(xùn)練樣本）。未知樣本（unknownsample）：類別標(biāo)號未知但特征已知的樣本（待識別的樣本，測試樣本）。一般來說，模式識別必須經(jīng)歷如下的過程：1.2模式識別的基本概念1.2模式識別的基本概念模式空間特征空間類型空間在模式空間里，每個樣本模式都是一個點，點的位置由該模式在各維上的測量值確定。對模式空間里的各坐標(biāo)元素進行綜合分析，以提取最能揭示樣本屬性的特征，這些特征就構(gòu)成特征空間。根據(jù)適當(dāng)?shù)呐袥Q規(guī)則，把特征空間里的樣本區(qū)分成不同的類型，從而把特征空間塑造成了類型空間。由特征空間到類型空間所需要的操作就是分類判決。特征提取分類決策模式識別過程：

從物理上可以覺察到的世界，通過模式空間、特征空間到類型空間，經(jīng)歷了模式采集、特征提取和選擇、以及分類決策等過程，這就是一個完整的模式識別過程。模式識別：是從樣本到類別的映射1.2模式識別的基本概念第一章

模式識別概論1.1什么是模式識別1.2模式識別的基本概念1.3模式識別系統(tǒng)（基本框架）1.4模式識別的歷史與現(xiàn)狀1.5模式識別方法1.6模式識別應(yīng)用領(lǐng)域模式識別系統(tǒng)傳感器(Sensing)：信號采集分割(Segmentation)：使模式之間相互獨立，互不重疊，依靠圖象處理技術(shù)。特征提取(Featureextraction)

可判別特征平移、旋轉(zhuǎn)和尺度變換不變性特征分類(Classification)：由特征向量確定對象所屬的類別。后處理(PostProcessing)：利用“上下文”先驗信息提高分類性能。1.3模式識別系統(tǒng)39預(yù)處理特征測量分類器預(yù)處理特征提取/選擇學(xué)習(xí)待識模式(數(shù)據(jù))訓(xùn)練模式(樣本集)訓(xùn)練過程識別過程1.3模式識別系統(tǒng)收集數(shù)據(jù)（collectdata）：收集足夠的代表性樣本特征選擇（choosefeatures）：確定哪個目標(biāo)的屬性可以區(qū)別不同的目標(biāo)選擇模型(choosemodel)：選擇分類器模型，確定分類原理和機理訓(xùn)練分類器(trainclassifier)：確定分類器參數(shù)分類器評估(evaluateclassifier)：估計可能的誤差率模式識別系統(tǒng)設(shè)計的五個步驟:1.3模式識別系統(tǒng)分類器的學(xué)習(xí)和適應(yīng)：給定一般模型或分類器的形式，利用樣本(例子)去學(xué)習(xí)或估計模型的未知參數(shù)。有監(jiān)督學(xué)習(xí)(Supervisedlearning)：已知訓(xùn)練樣本集中每個輸入樣本的類別標(biāo)記和分類代價，尋找能降低總體代價的方向。已知分類情況，計算各類在特征空間的分布，然后對未知樣本進行分類.無監(jiān)督學(xué)習(xí)(Unsupervisedlearning)：樣本的類別標(biāo)記和分類代價未知，由聚類器形成“聚類”(clusters)或者“自然組織(naturalgroupings)”。事先不知有多少類，有哪些類，只能根據(jù)樣本間的相似性進行聚合。1.3模式識別系統(tǒng)第一章

模式識別概論1.1什么是模式識別1.2模式識別的基本概念1.3模式識別系統(tǒng)（基本框架）1.4模式識別的歷史與現(xiàn)狀1.5模式識別方法1.6模式識別應(yīng)用領(lǐng)域1929年GustavTauschek(奧地利)利用光學(xué)和機械手段發(fā)明了閱讀機，能夠閱讀0-9的數(shù)字，在德國獲得了光學(xué)字符識別的專利。20世紀(jì)30年代Fisher提出統(tǒng)計分類理論,奠定了統(tǒng)計模式識別的基礎(chǔ)。統(tǒng)計模式識別發(fā)展很快，但由于被識別的模式愈來愈復(fù)雜，特征也愈來愈多，出現(xiàn)“維數(shù)災(zāi)難”問題。20世紀(jì)40年代電子計算機興起，由于計算機運算速度的迅猛發(fā)展，統(tǒng)計模式識別的“維數(shù)災(zāi)難”問題得到一定克服。統(tǒng)計模式識別仍是模式識別的主要理論。1.4模式識別的歷史與現(xiàn)狀20世紀(jì)50年代人工智能興起。喬姆斯基（Chemsky）提出形式語言理論，用數(shù)學(xué)方法研究自然語言（如英語）和人工語言（如程序設(shè)計語言）的產(chǎn)生方式、一般性質(zhì)和規(guī)則。由于統(tǒng)計方法不能表示和分析模式的結(jié)構(gòu)，20世紀(jì)70年代以后結(jié)構(gòu)和句法模式識別方法受到關(guān)注。尤其是美籍華人付京蓀提出句法結(jié)構(gòu)模式識別理論，在20世紀(jì)70-80年代受到了廣泛的關(guān)注。但是，句法模式識別中的基元提取和文法推斷（學(xué)習(xí)）問題直到現(xiàn)在還沒有很好的解決，因而沒有太多的實際應(yīng)用。1.4模式識別的歷史與現(xiàn)狀20世紀(jì)80年代，BP算法的重新發(fā)現(xiàn)和成功應(yīng)用推動了人工神經(jīng)網(wǎng)絡(luò)的研究熱潮。神經(jīng)網(wǎng)絡(luò)方法與統(tǒng)計學(xué)習(xí)方法相比具有不依賴概率模型、參數(shù)自學(xué)習(xí)、泛化能力強等優(yōu)點。20世紀(jì)90年代，支撐矢量機（SVM）的提出吸引了模式識別領(lǐng)域?qū)π颖窘y(tǒng)計學(xué)習(xí)理論和核方法（KernelMethods）的關(guān)注。與神經(jīng)網(wǎng)絡(luò)相比，SVM通過優(yōu)化一個泛化誤差界限，自動確定一個最優(yōu)的分類器結(jié)構(gòu)，具有更好的泛化能力。核方法的引入使統(tǒng)計方法從線性空間推廣到高維非線性空間。（經(jīng)驗風(fēng)險最小化-結(jié)構(gòu)風(fēng)險最小化）1.4模式識別的歷史與現(xiàn)狀21世紀(jì)以來：蓬勃發(fā)展時期統(tǒng)計學(xué)習(xí)理論越來越多地用于解決具體的模式識別和模型選擇問題新的概率密度估計、特征選擇、特征變換、聚類算法不斷提出模式識別領(lǐng)域和機器學(xué)習(xí)領(lǐng)域的互相滲透模式識別系統(tǒng)大規(guī)模用于實際問題Ref：劉成林,談鐵牛.模式識別研究進展.中科院自動化所,模式識別重點實驗室1.4模式識別的歷史與現(xiàn)狀發(fā)展趨勢半監(jiān)督學(xué)習(xí)（Semi-supervisedLearning）：利用少量的標(biāo)注樣本和大量的未標(biāo)注樣本進行訓(xùn)練和分類

增量學(xué)習(xí)（IncrementalLearning）：樣本逐步積累時,學(xué)習(xí)精度也要隨之提高

遷移學(xué)習(xí)（TransferLearning）：將從一個環(huán)境中學(xué)到的知識用來幫助新環(huán)境中的學(xué)習(xí)任務(wù)

主動學(xué)習(xí)（ActiveLearning）：根據(jù)已標(biāo)記樣本集合，找到未標(biāo)記樣本的子集，主動提出標(biāo)記請求，學(xué)習(xí)器之外的某個系統(tǒng)對這些未標(biāo)記進行標(biāo)記后，加入標(biāo)記樣本中，進行下一次迭代

……1.4模式識別的歷史與現(xiàn)狀第一章

模式識別概論1.1什么是模式識別1.2模式識別的基本概念1.3模式識別系統(tǒng)（基本框架）1.4模式識別的歷史與現(xiàn)狀1.5模式識別方法1.6模式識別應(yīng)用領(lǐng)域模板匹配法統(tǒng)計方法結(jié)構(gòu)方法(句法方法)神經(jīng)網(wǎng)絡(luò)方法1.5模式識別的方法模板匹配首先對每個類別建立一個或多個模板輸入樣本和數(shù)據(jù)庫中每個類別的模板進行比較，求相關(guān)或距離根據(jù)相關(guān)性或距離大小進行決策優(yōu)點：直接、簡單缺點：適應(yīng)性差形變模板1.5模式識別的方法統(tǒng)計方法根據(jù)訓(xùn)練樣本，建立決策邊界(decisionboundary)統(tǒng)計決策理論——根據(jù)每一類總體的概率分布決定決策邊界判別式分析方法——給出帶參數(shù)的決策邊界，根據(jù)某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)本課程的重點內(nèi)容1.5模式識別的方法句法方法許多復(fù)雜的模式可以分解為簡