機(jī)器學(xué)習(xí)與模式識別第四章模式識別基礎(chǔ)第四章

模式識別基礎(chǔ)跨學(xué)科的領(lǐng)域：涵蓋了計(jì)算機(jī)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)以及人工智能等多個領(lǐng)域模式識別的基本流程：數(shù)據(jù)采集與預(yù)處理、特征提取與選擇、模式分類與識別等環(huán)節(jié)。示例說明：以人臉識別為例，簡述“看到人臉→識別身份”的機(jī)器實(shí)現(xiàn)邏輯

2第四章

模式識別基礎(chǔ)3第四章

模式識別基礎(chǔ)

4.1特征提取與選擇

4.2統(tǒng)計(jì)模式識別

4.3聚類分析

4.4神經(jīng)網(wǎng)絡(luò)44.1特征提取與選擇特征提取與選擇技術(shù)通常介于對象特征數(shù)據(jù)采集和分類識別兩個環(huán)節(jié)之間，所提取與選擇特征的優(yōu)劣,強(qiáng)烈地影響著分類器的設(shè)計(jì)和性能。核心價(jià)值：影響分類器設(shè)計(jì)：好的特征可簡化分類器設(shè)計(jì)、提升性能

解決“維數(shù)災(zāi)難”：壓縮高維特征空間至低維，避免樣本不足時的計(jì)算復(fù)雜與性能下降

特征通常分為物理、結(jié)構(gòu)和數(shù)學(xué)三類。54.1特征提取與選擇特征處理的核心步驟：特征形成

定義：計(jì)算或測量得到的原始特征

原始特征的問題：

-維度過高，如512×512灰度圖像=262144維。

-難反映本質(zhì)，如原始像素受攝像機(jī)位置、照度影響。

64.1特征提取與選擇特征處理的核心步驟：特征提取

定義：通過映射（線性/非線性）將高維原始特征→低維新特征

數(shù)學(xué)表達(dá)：若Y為測量空間、X為特征空間，變換A:Y→X為特征提取器

特征形成

定義：從原始特征中挑選最有效、最具代表性的特征，不生成新特征

目的：進(jìn)一步降低特征維度

74.1特征提取與選擇特征提取和特征選擇8對比維度特征提取特征選擇核心邏輯變換組合原始特征，生成新特征篩選現(xiàn)有特征，無新特征生成實(shí)現(xiàn)方式線性/非線性映射（如K-L變換）專家經(jīng)驗(yàn)/評價(jià)準(zhǔn)則挑選（如可分離性判據(jù)）典型場景原始特征維度極高（如圖像像素）原始特征存在冗余（如多個高度相關(guān)的特征）組合使用：先提取降維→再映射優(yōu)化，或反之。4.1.2類別可分離性判據(jù)定量衡量特征對分類的有效性，為特征篩選/映射提供標(biāo)準(zhǔn)滿足以下要求：與誤判概率或誤判概率的界限有單調(diào)關(guān)系。當(dāng)特征相互獨(dú)立時,判據(jù)有可加性。判據(jù)具有度量特性。特征數(shù)目是單調(diào)不減的,即加入新的特征后,判據(jù)值不減小。94.1.2.1基于類間距離的可分離性判據(jù)類域重疊越小，類別的可分離性越好；用幾何距離/離差測度來構(gòu)造類別可分離性判據(jù)。

點(diǎn)與點(diǎn)的歐氏距離：

點(diǎn)到點(diǎn)集的均方歐氏距離：104.1.2.1基于類間距離的可分離性判據(jù)設(shè)

為

類類內(nèi)離差矩陣，,則總的類內(nèi)離差矩陣定義為：顯然,類內(nèi)離差矩陣的跡等于類內(nèi)均方歐氏距離,即總的類間離差矩陣定義為總體離差矩陣為：114.1.2.1基于類間距離的可分離性判據(jù)

可在原始特征空間中用

、

和

的跡或行列式構(gòu)造許多可分離性判據(jù),如:124.1.2.2基于類概率密度函數(shù)的

可分離性判據(jù)用概率密度重疊程度衡量，重疊越小→可分離性越好

13(a)完全可分(b)完全不可分圖4-1-1：一維情形下兩類概率密度分布的完全可分與完全不可分的情況下面介紹三種常用的基于類概率密度的判據(jù)。Bhattacharyya判據(jù)()：與誤判概率的上界有直接關(guān)系Chernoff判據(jù)()顯然,當(dāng)s=0.5時，144.1.2.2基于類概率密度函數(shù)的可分離性判據(jù)4.1.2.2基于類概率密度函數(shù)的

可分離性判據(jù)3.散度判據(jù)()正態(tài)分布下等于馬氏距離平方15對于多類(C>2)問題,采用加權(quán)和的方法綜合各類別的可分離性判據(jù),可形成平均判據(jù)4.1.2.3基于熵函數(shù)的可分離性判據(jù)

用熵來作為不確定性的度量，熵越小→分類確定性越高

熵的定義是

是后驗(yàn)概率。

應(yīng)選擇使熵最小的那些特征用于分類識別。

目標(biāo)是使164.1.3特征抽取方法

線性變換框架：

求解最優(yōu)W：設(shè)選

前d個最大特征值對應(yīng)的特征向量174.1.3.1基于可分離性判據(jù)的特征抽取方法4.1.3特征抽取方法

多類問題處理：廣義可分離性判據(jù)+候選向量集廣義可分離性判據(jù)定義如下：

先求出一個候選向量集，采用搜索算法從中選出使J(W)最大的d個向量來構(gòu)成特征抽取矩陣。

184.1.3.1基于可分離性判據(jù)的特征抽取方法4.1.3.2基于離散K-L變換的特征抽取方法

K-L變換又稱主成分分析(PrincipalComponentAnalysis,PCA),是一種基于目標(biāo)統(tǒng)計(jì)特性的最佳正交變換,被廣泛應(yīng)用于數(shù)據(jù)壓縮、特征降維等方面。

變換特性：新分量正交、均方誤差最小、能量集中

核心步驟：

求隨機(jī)向量x的自相關(guān)矩陣

求R的特征值和特征向量，構(gòu)成變換矩陣

（選前m個最大特征值）

變換得到m維新向量194.1.3.3特征模糊化與特征模糊評價(jià)特征模糊化：將原有的一個特征轉(zhuǎn)化為若干個模糊特征，如身高的描述可以是“偏高/中等/偏低”等

模糊評價(jià)：根據(jù)各類已知樣本對每一個特征定義某種合理的隸屬度函數(shù),構(gòu)造相應(yīng)的模糊集,然后用其模糊程度作為特征的評價(jià)。

類內(nèi)模糊度大、類間模糊度小→分類好

204.1.4特征選擇方法兩個核心問題：確定選擇特征的標(biāo)準(zhǔn)、設(shè)計(jì)特征選擇搜索算法兩種方法對比：直接利用窮舉耗散搜索方法,往往是不可能實(shí)現(xiàn)的，因此需要優(yōu)化搜索算法。21方法類型定義優(yōu)勢過濾方法與分類器無關(guān)，基于數(shù)據(jù)特性評價(jià)運(yùn)行速度快，適用于大規(guī)模數(shù)據(jù)封裝方法結(jié)合分類器性能評價(jià)泛化能力更強(qiáng)窮舉法的局限性（舉例：m=20，d=10時組合數(shù)達(dá)184756種）4.1.4.1經(jīng)典的優(yōu)化搜索方法1.最優(yōu)搜索算法：自上而下+回溯，利用判據(jù)單調(diào)性剪枝設(shè)原m維空間有六個特征,整個搜索過程可以用樹表示出來,如從6通過“界值”剪枝非最優(yōu)分支

22圖4-1-2應(yīng)用分支定界算法進(jìn)行特征選擇的搜索樹示例4.1.4.1經(jīng)典的優(yōu)化搜索方法2.次優(yōu)搜索算法：單獨(dú)最優(yōu)的特征選擇：只有采用可分離性判據(jù),這種方法才能選出一組最優(yōu)特征。順序前進(jìn)法：最簡單的自下而上，每次加最優(yōu)特征

順序后退法：最簡單的自上而下，每次刪最差特征增

l減

r法

：加入局部回溯

23由于該方法是在高維空間中計(jì)算的,所以計(jì)算量比順序前進(jìn)法更大。4.1.4.2新的優(yōu)化搜索算法遺傳算法：二進(jìn)制編碼→初始群體→適應(yīng)度評估→選擇/交叉/變異模擬退火算法：基于溫度下降的鄰域搜索，避免局部最優(yōu)Tabu搜索算法：用Tabu表記錄歷史解，避免重復(fù)

244.2統(tǒng)計(jì)模式識別25模式：p維向量

設(shè)識別問題含有C個類別，記為分類變量z，記為

，則模式

屬于

4.2.1基本模型圖4-2-1模式分類器雙模型構(gòu)成：描述性模型（反映類間差異）+預(yù)測模型（預(yù)測未知類別）訓(xùn)練：用標(biāo)注樣本確定分類器參數(shù)，即歸納推理：用訓(xùn)練好的模型識別未知樣本，即演繹4.2.2解決模式識別問題的步驟26從問題到特征

：問題表述：明確研究目的與計(jì)劃。

數(shù)據(jù)采集：測量相關(guān)變量記錄采集過程

數(shù)據(jù)初檢：核對數(shù)據(jù)、計(jì)算統(tǒng)計(jì)量、可視化。

特征選擇或提?。?/p>

選擇：從原始變量中挑最優(yōu)子集提?。壕€性/非線性變換生成新特征如均值、方差如直方圖、散點(diǎn)圖4.2.2解決模式識別問題的步驟27從數(shù)據(jù)分析到評估

：無監(jiān)督聚類：探索性數(shù)據(jù)分析或預(yù)處理分類/回歸方法應(yīng)用：用訓(xùn)練集設(shè)計(jì)分類器結(jié)果評估：混淆矩陣，準(zhǔn)確率a的計(jì)算解釋說明:迭代優(yōu)化，補(bǔ)充樣本、調(diào)整特征等。如SVM、決策樹4.2.3問題討論28分類器的設(shè)計(jì)過程涉及

：有限樣本集優(yōu)化有代表性的數(shù)據(jù)圖4-2-2對含噪的一組樣本進(jìn)行曲線擬合,含噪的數(shù)據(jù)取樣于一個二次函數(shù);擬合曲線分別為線性擬合、二次擬合和高階多項(xiàng)式擬合4.2.5基本決策理論29(1)最小錯誤貝葉斯決策規(guī)則貝葉斯定理：后驗(yàn)概率決策規(guī)則：若

，則將x

歸入ωj

類。圖4-2-3和圖4-2-4給出了兩類識別問題的一個簡單說明。4.2.5基本決策理論30(1)最小錯誤貝葉斯決策規(guī)則錯誤概率：貝葉斯錯分概率為最小化錯分概率等價(jià)于最大化正分概率4.2.5基本決策理論31(2)最小錯誤貝葉斯決策規(guī)則—拒絕分類將采樣空間劃分成兩個互補(bǔ)的區(qū)域:拒絕域R和接受域A(或分類域)，定義為：通過貝葉斯最優(yōu)分類器的拒絕函數(shù)計(jì)算錯誤率為如果樣本x位于接受域A,則可用基于最小錯誤的貝葉斯決策規(guī)則將其分類。如果x位于拒絕域R,則拒絕對x的分類。4.2.5基本決策理論32(3)最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則風(fēng)險(xiǎn)定義：考慮錯分代價(jià)，損失矩陣A，其元素決策邏輯：選擇使條件風(fēng)險(xiǎn)最小的類別與最小錯誤的關(guān)聯(lián)：等代價(jià)損失矩陣下，等價(jià)于最小錯誤決策4.2.5基本決策理論33(4)最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則—拒絕分類與最小錯誤貝葉斯決策規(guī)則類似,也可以將拒絕分類引入最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則,定義拒絕域R其貝葉斯風(fēng)險(xiǎn)為4.2.5基本決策理論34(5)Neyman-Pearson決策規(guī)則適用場景：兩類問題，固定一類錯誤率（誤確定率），使另一類錯誤率（誤否定率）最小化

基于似然比的決策規(guī)則示例：雷達(dá)檢測，固定誤警率，最小化漏識率。4.2.5基本決策理論35(6)最小最大決策適用場景：類先驗(yàn)概率未知的情形核心邏輯：使“最大期望損失”

最小，最優(yōu)解滿足

最小最大一詞指的是使最大期望損失或最大錯誤率最小。圖4-2-5最小最大示意圖4.2.6判別函數(shù)36判別函數(shù)的定義與作用

定義：判別函數(shù)是模式x

的函數(shù),通過函數(shù)值大小劃分類別。如兩類問題，判別函數(shù)是

作用：判別函數(shù)的形式是選定的,將概率決策轉(zhuǎn)化為函數(shù)計(jì)算，簡化分類器實(shí)現(xiàn)

4.2.6判別函數(shù)：三類典型判別函數(shù)37類型形式特點(diǎn)與應(yīng)用線性判別函數(shù)（線性機(jī)）超平面劃分，決策域?yàn)橥褂?；如最小距離分類器分段線性判別函數(shù)（每類有多個原型點(diǎn)的情況）非凸決策域；如最近鄰分類器，棋盤形決策邊界廣義線性判別函數(shù)(φ

工作機(jī))解決非線性可分問題；如二次型、徑向基函數(shù)4.2.6判別函數(shù)：三類典型判別函數(shù)38類型形式線性判別函數(shù)（線性機(jī)）

圖4-2-7最小距離分類器的決策域分段線性判別函數(shù)（每類有多個原型點(diǎn)的情況）

圖4-2-9具有狄利克雷棋盤形布局的決策域

廣義線性判別函數(shù)(φ

工作機(jī))圖4-2-10通過對變量的非線性變換,使得允許使用線性判別函數(shù)成為可能4.2.6判別函數(shù)39廣義線性判別函數(shù)中φi的選擇4.2.7多重回歸40回歸的基本概念：研究因變量(或響應(yīng))Y和自變量(或預(yù)測)X1,…,Xp之間的關(guān)系核心是估計(jì)

識別問題是類變量的回歸，即響應(yīng)變量為類變量。

線性回歸：參數(shù)θ是線性的，變量不一定是線性的。用線性回歸實(shí)現(xiàn)二分類4.2.7多重回歸41圖4-2-11對若干虛擬數(shù)據(jù)的回歸梗概圖判別函數(shù)的參數(shù)估計(jì)，如最小平方誤差，與回歸參數(shù)估計(jì)邏輯一致

4.3聚類分析42定義：無監(jiān)督分類，按“相似樣本歸為一類、不相似樣本分入不同類”原則

與統(tǒng)計(jì)模式識別的區(qū)別：無需標(biāo)注訓(xùn)練樣本，依賴數(shù)據(jù)內(nèi)在特性

若選用不同的相似性(或不相似性)度量,會得出不同結(jié)果。圖4-3-1聚類示例

圖4-3-2不同相似性度量4.3.1距離及相似性度量距離應(yīng)滿足三條公理性質(zhì)經(jīng)典距離明考夫斯基距離：馬氏距離：消除量綱與相關(guān)性影響

43特例：當(dāng)p=2時，等價(jià)于歐氏距離當(dāng)p=1時，等價(jià)于絕對值距離當(dāng)p→∞時，等價(jià)于切比雪夫距離不同距離的聚類結(jié)果可能不同4.3.1距離及相似性度量44其他度量名義尺度：相關(guān)系數(shù)：如特征間相關(guān)系數(shù)定義為4.3.2聚類準(zhǔn)則45一個準(zhǔn)則函數(shù),此準(zhǔn)則函數(shù)與樣本的分法有關(guān),于是聚類問題成為找一個最佳劃分,使所定義的準(zhǔn)則函數(shù)極小。離差平方和準(zhǔn)則

定義：

邏輯：類內(nèi)樣本越相似，J越小分類越合理

在某些情況下,以J最小做準(zhǔn)則就不很合適圖4-3-3陰影部分被歸錯類4.3.2聚類準(zhǔn)則46離散度準(zhǔn)則

是建立在離散度矩陣的基礎(chǔ)上的。相關(guān)定義如下：總類內(nèi)離散度矩陣類間離散度矩陣總離散度矩陣等

4.3.2聚類準(zhǔn)則47離散度準(zhǔn)則目標(biāo)：類內(nèi)特性接近,類間特性差別大。

3種判據(jù)形式：-跡準(zhǔn)則：

最小，等價(jià)于離差平方和

-行列式準(zhǔn)則：

最小

-其他準(zhǔn)則：

最大，具有線性變換不變性。

聚類問題中類別總數(shù)C的確定是一個較重要的問題。上面所說的幾個離散度準(zhǔn)則在C值確定以后能夠反映不同分法的合理與否,但對于C值的確定沒有什么幫助。4.3.3系統(tǒng)聚類法48核心邏輯：從單點(diǎn)類開始，逐次合并距離最近的類，直至所有樣本歸為一類

關(guān)鍵要素：類間距離定義

(a)模式空間

(b)聚類圖

圖4-3-4聚類示意圖若門限T取大一些,則最終歸并成兩類,而若門限T取小一些,則歸并為六類4.3.3系統(tǒng)聚類法49方法類間距離定義距離遞推公式最短距離法兩類最近樣本距離新類與其他類間的距離最長距離法和中間距離法兩類最遠(yuǎn)樣本距離

距離修正重心法、類平均和可變類平均法兩類重心距離離差平方和法為若把p,q合并，J的增量：4.3.3系統(tǒng)聚類法50離差平方和法和重心法的類間距離定義很相似,只是相差一個因子

，有關(guān)公式見表4-3-1。八種系統(tǒng)聚類法,并類的原則和步驟是完全一樣的。不同的是類間距離的定義和遞推公式,可以用下述公式將它們統(tǒng)一起來：相應(yīng)的參數(shù)αp,αq,β,γ的取值列于表4-3-2.4.3.3系統(tǒng)聚類法51并類距離單調(diào)性：

若有D1≤D1≤D3≤.....成立,則稱這種系統(tǒng)聚類方法具有并類距離單調(diào)性。具有并類單調(diào)性的系統(tǒng)聚類法：最短距離法、最長距離法離差平方和法、類平均法重心法不滿足并類距離單調(diào)性4.3.3系統(tǒng)聚類法52不同聚類方法的不同結(jié)果

(a)原始數(shù)據(jù)(b)最短距離法分類結(jié)果

(c)重心法分類結(jié)果(d)原始數(shù)據(jù)有幾個點(diǎn)的觀察誤差較大時的最短距離法分類結(jié)果圖4-3-9不同聚類方法的不同結(jié)果4.3.4動態(tài)聚類法53動態(tài)聚類法是先對數(shù)據(jù)粗略地分一下類,然后根據(jù)一定的原則對初始分類進(jìn)行迭代修正,希望經(jīng)過多次迭代,修正收斂到一個合理的分類結(jié)果。圖4-3-10動態(tài)聚類方框圖4.3.4動態(tài)聚類法54(1)K-means算法核心思想：最小化離差平方和J步驟：

選定K個初始中心

樣本歸到最近中心的類

計(jì)算新類均值作為新中心

重復(fù)2-3，直至中心不變

特點(diǎn)：簡單高效，對初始中心敏感4.3.4動態(tài)聚類法55(2)ISODATA算法優(yōu)勢：通過類的分裂或合并自適應(yīng)調(diào)整類別數(shù)輸入?yún)?shù)：核心步驟：分類→丟棄小類→修正中心→分裂/合并→迭代參數(shù)配合：θC與θS的選用較關(guān)鍵,兩者要配合恰當(dāng)。具體來說,若θC小,則必須要兩個類靠得很近才能并類;若θS小,則某些類在某分量上的標(biāo)準(zhǔn)差σi>θS的條件容易滿足,因而容易分裂。小的θC和θS將產(chǎn)生較多的類(難并易分)。反之,大的θC和θS將產(chǎn)生較少的類(難分易合)。4.4神經(jīng)網(wǎng)絡(luò)：簡介56發(fā)展四階段：從淺層網(wǎng)絡(luò)到深層網(wǎng)絡(luò)，從線性可分到復(fù)雜非線性

階段時間關(guān)鍵成果意義啟蒙階段1943-19581943年M-P模型、1949年Hebb規(guī)則、1958年感知器奠定神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，首次實(shí)現(xiàn)機(jī)器分類低潮階段1969-1981《Perceptrons》指出線性感知器局限性暴露技術(shù)瓶頸，研究陷入低谷復(fù)興階段1982-19881982年Hopfield網(wǎng)絡(luò)、1984年Boltzmann機(jī)、1986年BP算法、1988年RBF網(wǎng)絡(luò)突破線性局限，實(shí)現(xiàn)非線性學(xué)習(xí)再次高潮2006-至今2006年深度學(xué)習(xí)、CNN/RNN/GAN、量子神經(jīng)網(wǎng)絡(luò)處理復(fù)雜數(shù)據(jù)，如圖像和語音，性能大幅提升4.4神經(jīng)網(wǎng)絡(luò)：簡介57人工神經(jīng)元圖4-4-1生物神經(jīng)網(wǎng)絡(luò)示意圖圖4-4-2人工神經(jīng)元結(jié)構(gòu)模擬生物神經(jīng)元：輸入→加權(quán)求和→激活函數(shù)→輸出人工神經(jīng)網(wǎng)絡(luò)的輸出取決于網(wǎng)絡(luò)的結(jié)構(gòu)、網(wǎng)絡(luò)的連接方式、權(quán)重和激活函數(shù)。4.4神經(jīng)網(wǎng)絡(luò)：簡介58人工神經(jīng)網(wǎng)絡(luò)特點(diǎn)：聯(lián)想記憶功能、并行性、非線性、自學(xué)習(xí)和自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)分類：前饋網(wǎng)絡(luò)（BP、RBF）和反饋網(wǎng)絡(luò)（Hopfield）激活函數(shù)的性質(zhì)：非線性、可微性、單調(diào)性常見激活函數(shù)：閾值函數(shù)、Sigmoid、tanh、ReLU、P-ReLU、ELU、Maxout4.4神經(jīng)網(wǎng)絡(luò)：簡介59主要激活函數(shù)類型公式特點(diǎn)Sigmoid函數(shù)輸出(0,1)，存在梯度消失tanh函數(shù)輸出(-1,1)，零均值，仍有梯度消失ReLU函數(shù)f(x)=max(0,x)收斂快，x<0時梯度為0P-ReLU函數(shù)f(x)=max(ax,x)（a為參數(shù)）解決ReLU梯度消失，a=0.01時為Leaky-ReLUELU函數(shù)抗干擾強(qiáng)，無梯度消失4.4神經(jīng)網(wǎng)絡(luò)：簡介60激活函數(shù)圖4-4-4tanh函數(shù)圖4-4-3Sigmoid函數(shù)圖4-4-5ReLU函數(shù)圖4-4-6P-ReLU函數(shù)圖4-4-7ELU函數(shù)4.4.2感知器61（1）單層感知器結(jié)構(gòu)：輸入層→一層計(jì)算單元→輸出層超平面方程：局限性：僅解決線性可分問題（2）多層感知器：增加一層或多層處理單元，解決非線性問題，如二層感知器可以解決異或邏輯運(yùn)算問題。4.4.3BP神經(jīng)網(wǎng)絡(luò)62多層前向反饋網(wǎng)絡(luò)結(jié)構(gòu)：輸入層→隱含層→輸出層基本原理：前向傳播計(jì)算誤差,反向傳播調(diào)整權(quán)值和閾值。圖4-4-8BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)4.4.3BP神經(jīng)網(wǎng)絡(luò)63算法步驟：初始化→輸入樣本→計(jì)算各節(jié)點(diǎn)的輸出→誤差判斷→反向調(diào)整→收斂參數(shù)選擇：樣本數(shù)樣本的組成與輸入順序初始權(quán)值隱含層節(jié)點(diǎn)數(shù)圖4-4-9BP神經(jīng)網(wǎng)絡(luò)流程圖4.4.4RBF神經(jīng)網(wǎng)絡(luò)64RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：輸入層→隱含層(徑向基函數(shù)）→輸出層（線性變換）徑向基函數(shù)：RBF網(wǎng)絡(luò)的輸出可表示為圖4-4-10RBF神經(jīng)網(wǎng)絡(luò)4.4.4RBF神經(jīng)網(wǎng)絡(luò)65一種強(qiáng)有力的核方法。主要步驟是選擇基函數(shù)、選取基函數(shù)的中心、寬度參數(shù)選擇和求權(quán)重值。優(yōu)勢：局部逼近能力強(qiáng)、收斂速度快于BP網(wǎng)絡(luò)、泛化性能穩(wěn)定

適用場景：非線性函數(shù)擬合、圖像邊緣檢測、時間序列預(yù)測常用求權(quán)重系數(shù)的方法有最小均方誤差法和遞推最小二乘法。4.4.5Hopfield網(wǎng)絡(luò)(1)離散Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：單層反饋網(wǎng)絡(luò)（神經(jīng)元間相互連接，無明顯輸入輸出層劃分）

每個神經(jīng)元在時刻t的狀態(tài)按式(4-4-10)和式(4-4-11