1、第二章 線性判別函數,主要內容：,線性空間、線性判別函數 矩陣分析簡介 感知器準則 松弛算法 最小平方誤差算法,2.1 線性判別函數和判別界面,線性不可分情況,線性判別函數,x=(x1, x2, xd)t: 特征矢量； w=(w1, w2, , wd)t: 權矢量； w0：偏置(bias)。,線性分類器的分類界面,兩類問題線性判別準則,分類界面的幾何解釋,線性分類界面H是d維空間中的一個超平面； 分類界面將d維空間分成兩部分，R1，R2分別屬于兩個類別； 判別函數的權矢量w是一個垂直于分類界面H的矢量，其方向指向區(qū)域R1 ； 偏置w0與原點到分類界面H的距離有關：,線性判別函數的增廣形式,y=

2、(1, x1, x2, xd)t: 增廣的特征矢量； a=(w0, w1, w2, , wd)t: 增廣的權矢量；,多類問題（情況一）,每一類模式可以用一個超平面與其它類別分開； 這種情況可以把c個類別的多類問題分解為c個兩類問題解決，需要c個線性分類界面； 第i類與其它類別之間的判別函數：,多類問題（情況一）分類界面,多類問題（情況一）判別規(guī)則,若存在i，使得gi(x)0， gj(x)0，ji，則判別x屬于i類； 其它情況，拒識。,多類問題（情況二）,每兩個類別之間可以用一個超平面分開； c個類別的問題需要c(c-1)/2個線性分類界面； 第i類與第j類之間的判別函數為：,多類問題（情況二）

3、分類界面,多類問題（情況二）判別準則,如果對任意ji ，有gij(x)0 ，則決策x屬于i。 其它情況，則拒識。,多類問題（情況三）,情況三是情況二的特例，不存在拒識區(qū)域。,廣義線性判別函數,2.2 矩陣分析簡介,線性代數基礎 模式識別常用距離 矩陣微分初步,線性代數基礎,線性空間（向量空間） 向量內積 歐幾里德范數 線性無關 行列式、跡 矩陣的逆 特征值、特征向量,對稱性：,非負性：,三角不等式：,樣本間的“距離”,常用的距離函數,歐氏距離：(Eucidean Distance),是x與y之間的內積,常用的距離函數,街市距離： （Manhattan/city block/taxicab di

4、stance）,常用的距離函數,明氏距離：(Minkowski Distance),街市距離,歐氏距離,僅當 時，明氏距離具有旋轉平移不變性,角度相似函數：(Angle Distance),為矢量x的長度，也稱為范數,矩陣微分相對于數量變量的微分,對于n維函數向量 對數量變量 t 的導數為： 對于mn階函數矩陣 對數量變量 t 的導數為：,設 及數量函數 對數量變量t均可導，則：,矩陣微分相對于數量變量的微分,例:求二次型 對t 的導數 其中 是n維函數向量 是數字矩陣,矩陣微分相對于數量變量的微分,矩陣微分相對于向量變量的微分,1，數量函數的導數 2，函數向量的導數,設 是以向量 為自變量的

5、數量函數，定義,矩陣微分相對于向量變量的微分,1，數量函數的導數,設 是以向量 為自變量的數量函數，定義,矩陣微分相對于向量變量的微分,1，數量函數的導數,設 ，有：,矩陣微分相對于向量變量的微分,1，數量函數的導數,例：求函數 對 的導數,矩陣微分相對于向量變量的微分,1，數量函數的導數,設 且 是向量 的函數向量，定義：,矩陣微分相對于向量變量的微分,2，函數向量的導數,設 則,矩陣微分相對于向量變量的微分,2，函數向量的導數,例：a）求行向量 對 的導數 b）求列向量 對 的導數 c）求二次型 對 的導數 d）求數量函數 對 的導數,矩陣微分相對于向量變量的微分,2，函數向量的導數,矩陣微分復合函數微分,1，數量函數的求導公式 2，向量函數的求導公式,矩陣微分復合函數微分,