PPT下載/xiazai/第二章:線性分類器模式識(shí)別及Python實(shí)現(xiàn)前言PREFACE模式識(shí)別的基本問題之一就是通過特定的方式找到不同類別樣本之間的分界面，實(shí)現(xiàn)對(duì)不同類別樣本的分類。一種最直接的方法就是直接使用樣本設(shè)計(jì)分類器，其基本思想是:假定判別函數(shù)的形式是已知的，用樣本直接估計(jì)判別函數(shù)中的參數(shù)。但在實(shí)際應(yīng)用中，通常不知道判別函數(shù)的最優(yōu)形式，此時(shí)可以根據(jù)對(duì)問題的理解設(shè)定判別函數(shù)的類型，進(jìn)而利用樣本求解判別函數(shù)。因此，需要考慮三方面的問題:判別函數(shù)的類型、分類器設(shè)計(jì)的準(zhǔn)則以及使用何種算法計(jì)算出最優(yōu)的判別函數(shù)參數(shù)。本章主要介紹線性分類器的設(shè)計(jì)方法。123基本概念Fisher線性判別分析感知器算法目錄

CONTENT45廣義線性判別函數(shù)多類線性分類器PART

1基本概念PART01??BasicConcept??

(4)線性可分樣本與線性不可分樣本：如果兩類樣本之間有明確的分界線，且可以使用如圖(a)所示的直線將兩類樣本分開，則稱這些樣本是線性可分的；如果兩類樣本之間并沒有明確的分界線，無法使用一條直線將其分開，我們稱樣本是線性不可分的，如圖(b)所示。

下圖給出了在特征空間維度為2時(shí)線性判別函數(shù)的幾何解釋。

PART

2Fisher線性判別分析PART02FisherLinearDiscriminantAnalysis(1)基本思想：尋找一個(gè)投影方向，使不同類的樣本投影后相隔盡可能遠(yuǎn)，同類的樣本投影后分布盡可能聚集。對(duì)于兩類的線性分類問題來說，可以將所有的樣本點(diǎn)從高維特征空間投影至某個(gè)方向上，在投影后的一維特征空間中尋找一個(gè)閾值點(diǎn)將兩類樣本區(qū)分開來。過閾值點(diǎn)且與投影方向垂直的超平面就是該分類問題的決策面。(2)目標(biāo)：解決如何對(duì)樣本進(jìn)行投影以及投影后如何尋找樣本劃分閾值的問題。即：找到一個(gè)投影方向，使得投影后兩類樣本的類間距離盡可能大、類內(nèi)距離盡可能小。有利于分類的投影方向不利于分類的投影方向

PART

3感知器算法PART03PerceptronAlgorithm??

感知器模型

解向量和解區(qū)示意圖

PART

4廣義線性判別函數(shù)PART04GeneralizedLinearDiscriminantFunction

非線性判別函數(shù)示例

PART

5多類線性分類器PART05?MulticlassLinearClassifier??