貴州大學(xué)大數(shù)據(jù)與信息工程學(xué)院2015.5.8歐式距離分類器

講述類容線性決策函數(shù)的回顧歐式距離歐式距離的應(yīng)用

線性決策函數(shù)的回顧線性決策函數(shù)為直線方程：式中：為二維特征；為權(quán)參數(shù)。線性決策函數(shù)的回顧

N維情況線性決策函數(shù)：式中：為模式的n維特征向量；

稱為權(quán)向量或參數(shù)向量。線性決策函數(shù)的回顧在兩類情況，決策函數(shù)有以下性質(zhì)：

時為兩類的決策邊界。

模式識別的最終目的是實現(xiàn)對觀察對象的分類，而分類的基礎(chǔ)是模式類的數(shù)學(xué)表達(dá)。在模式識別理論中，模式類是通過特征來表示，特征選擇的好壞，直接影響分類器的性能。特征的特點特征是可獲取的。類內(nèi)穩(wěn)定。類間差異。特征的類別物理特征（性別，身高，胖瘦等外在的特征）結(jié)構(gòu)特征（指紋的識別）數(shù)字特征（學(xué)號）特征形成特征提?。?/p>

從一組特征中挑選出對分類最有利的特征，達(dá)到降低特征空間維數(shù)的目的。特征選擇：

實現(xiàn)特征選擇的前提是確定特征是否有效的標(biāo)準(zhǔn)，在這種情況下尋找最有效的特征子集。特征提取和特征選擇的作用簡化計算。特征空間的維數(shù)越高，需占用的計算機(jī)資源越多，設(shè)計和計算也就越復(fù)雜。簡化特征空間結(jié)構(gòu)。由于特征提取和選擇是去除類間差別小的特征，保留類間差別大的特征，因此，在特征空間中，每類所占據(jù)的子空間結(jié)構(gòu)可分離性更強(qiáng)，從而也簡化了類間分界面形狀的復(fù)雜度。類的可分性判據(jù)與錯誤概率（或是錯誤概率的上，下界）有單調(diào)關(guān)系，使判據(jù)的極大值對應(yīng)錯誤概率的最小值或較小值。非負(fù)性，即其中表示第,兩類間的可分性依據(jù)。對稱性，即該特性表明有效性判斷對類別號沒有方向性，而只有強(qiáng)調(diào)對區(qū)分兩類的貢獻(xiàn)。當(dāng)特征獨(dú)立時，判斷應(yīng)具有可加性，即單調(diào)性，對于特征向量而言，加入新的特征分量不會減少判據(jù)值，即兩類之間的距離設(shè)兩類為,分別有個樣本，即兩類間的距離可由下式給出：其中，為向量間的距離。由點間距離的對稱性可知，類間距離也是具有對稱性。常見的點間距離歐幾里德（Euclidean）距離：

其中，d為向量的維數(shù)。加權(quán)歐幾里德距離：馬氏（Mahalanobis）距離：漢明（Hamming）距離:明可夫斯基（Minkowsky）距離：其中：當(dāng)q=1時，為漢氏距離；當(dāng)q=2時，為歐式距離。歐式距離歐幾里德距離也稱歐式距離，它是一個通常采用的距離定義，它是在m維空間中兩點之間的真實距離。（1）二維平面上兩點與間的歐式距離：（2）三維平面上兩點與間的歐式距離：（3）兩個n維向量與間的歐式距離：歐式距離的應(yīng)用--分類之最小距離分類器

我們討論的是單原型模式表征分類，所謂單模型表示一個集群子域只有一個典型性（代表）模型。如果存在多個典型性模式稱為多原型。單原型分類可以推廣到多原型。分類之最小距離分類器

假設(shè)C類模式，以原型模式為代表，原模式一般可以用均值來表示。則任一模式向量與第i個原型之間的歐式距離為：最小距離分類器是計算機(jī)未知模式X到每一類原型之間的距離并賦予它最?。ㄗ羁拷┑囊活惸Ｊ?。如果則類。

分類之最小距離分類器歐式距離用決策函數(shù)形式表示：

決策函數(shù)如則類從式