神經(jīng)網(wǎng)絡計算反饋型神經(jīng)網(wǎng)絡反饋神經(jīng)網(wǎng)絡是一個反饋動力學系統(tǒng),它通過神經(jīng)元的狀態(tài)變遷,最終穩(wěn)定于某一狀態(tài),得到聯(lián)想存儲或神經(jīng)計算的結果Hopfield網(wǎng)絡I可作為初值,也可作為輸入,由于網(wǎng)絡是反饋的,I輸入后可以撤去,網(wǎng)絡仍可運行。如果不撤去永遠,則作為一個閾值,當網(wǎng)絡經(jīng)過適當訓練后(權值已經(jīng)確定),可以認為網(wǎng)絡處于等待工作狀態(tài)。給定一個初始輸入,網(wǎng)絡就處于特定的初始狀態(tài),由此初始狀態(tài)運行,可以得到網(wǎng)絡的輸出(即網(wǎng)絡的下一狀態(tài));將這個輸出反饋到輸入端,形成新的輸入,從而產(chǎn)生下一步的輸出;如此循環(huán)下去,如果網(wǎng)絡是定的,那么,經(jīng)過多次反饋運行,網(wǎng)絡達到穩(wěn)定,由輸出端得到網(wǎng)絡的穩(wěn)態(tài)輸出。徑向基函數(shù)網(wǎng)絡徑向基函數(shù)(RBF)是一種將輸入矢量擴展或者預處理到高維空間中的神經(jīng)網(wǎng)絡學習方法.RBF網(wǎng)絡的理論基礎是函數(shù)逼近,它用一個二層的前向網(wǎng)絡去逼近任意函數(shù)。中間層與輸入完全連接(權值=1).中間層結點選取基函數(shù)作為轉移函數(shù).輸出層的結點是線性組合器,第j個輸出結點為參數(shù)訓練中心調整算法中心調整算法以聚類最小距離為指標,將輸入數(shù)據(jù)集分解為看k類,給出看k個中心。K均值算法。權值更新算法最小二乘法神經(jīng)網(wǎng)絡計算的本質將N維的輸入向量映射到M維，M維是事先確定的，不能通過調整參數(shù)進行改變維數(shù)，使其維數(shù)最佳。對所有的訓練樣本平等對待，不能通過網(wǎng)絡進行自適應選擇樣本網(wǎng)絡構建的平面為線性平面線性分類的條件：

貝葉斯分類:目的是使分類錯誤概率最小。

分類函數(shù)是一個單調增函數(shù)：每類協(xié)方差相等以及各類概率等可能的為常數(shù)

為常數(shù)

在維空間，特征向量相互獨立再將特征向量標準化得到

（分離平面）分類超平面是線性超平面

①利用貝葉斯決策分類時，錯分概率最小為目的。

②要錯分概率最小且簡化計算，常采用線性分類超面。③建立線性分類超平面的假設條件：各類發(fā)生的概率相等，各類平等對待。B.每類中各個樣本呈現(xiàn)Gaussian分布C.類內特征向量相互獨立問題：線性分類計算簡單，在L維空間中N類均能線性可分嗎？N類L維空間線性可分的概率

問題的提出:

在L維空間中有N個待分點（L維空間中，不存在L+1點在同一直線上），能否找到一個線性超平面將這N個點的任意組合分成兩類，如果不能，將他們分成兩類，那能正確分開的概率是多大呢？L維空間中，N個點任意組合的方法有

在L維空間中有N個待分點（不存在L+1點在同一直線上），并且能線性可分的組合個數(shù)為

L維空間中，N個點任意組合成兩類被一個分類的超平面分開的概率為：ABCD線性不可分的組合：

W1ACBDW2BDAC線性可分的組合：

W1ABCDABADABCBCDABDBCDCDBCDBACW2CDBCDBCAABADABCADCBCDBADABCDN趨于無窮大。這是一個具體事實，無法從數(shù)學上和理論上進行改進。故能否把特征向量維數(shù)L增大，以便使得N與L+1很接近，甚至達到??增大特征向量的維數(shù)L增大特征向量維數(shù)L，使得N接近于L+1，即為從L維空間向K維空間投影，這有利于提高線性分離的概率能力。但是維數(shù)較大，計算復雜度較大。多項式麥克勞林級數(shù)展開2階克勞林級數(shù)將2維空間函數(shù)轉化為6維空間函數(shù)的線性組合函數(shù)維空間函數(shù)經(jīng)過階克勞林級數(shù)可以得到空間的線性組合函數(shù)

空間的線性組合函數(shù)可以由維空間的函數(shù)得到。以階為例，在6維空間分類線性超平面方程：

在2維空間分類超曲面方程：

徑向量函數(shù)

在高維空間中的線性分類面等價于低維空間的

從低維空間到高維空間，能夠提高線性分類的概率

高維空間中計算量較大，能否找到一個函數(shù)將高維空間的運算轉化為低維空間的運算呢？(0,0)(0,1)(1,0)(1,1)核函數(shù)低維空間高維空間表示？SVM(0,0,0)(0,1,1)(1,1,0)(1,0,1)在高維空間中，由于維數(shù)增加，造成維數(shù)災難。核函數(shù)

核函數(shù)能夠把高維空間的運算轉化為低維空間的運算RBF(RadialBasisFunction)核函數(shù):

多項式Polynomials核函數(shù)：Sigmond核函數(shù):利用了一個d階可導函數(shù)的泰勒級數(shù)展開的形式：

把展開級數(shù)展開成的級數(shù)之積即為把一維空間函數(shù)交換到所組成的高維空間中的離散數(shù)值內積運算中進行表示因此，與的內積表達的是同一個對象。

通過核函數(shù)，它不僅能把高維空間的運算轉化為低維空間的運算，而且不需要指出高維空間的具體維數(shù)。多項式核函數(shù)(Polynomials)具有明確的數(shù)學意義,即將一個任意可導函數(shù)分解為一個多項式之和.它沒有明確的物理意義.多項式核函數(shù)將低維空間映射到高維空間時,可以算出高維空間的具體維數(shù).Gauss核函數(shù):沒有明確的數(shù)學意義,也沒有明確的物理意義.將低維空間映射到無窮維空間,但是它具有生物意義,它是根據(jù)人眼成像的原理(對目標信息放大)核函數(shù)中支持向量如何得到呢??支撐向量(SV)支撐向量對每類來說，應該是該類中最具有代表性的特征向量，

分類是一個相對的問題，而不是一個絕對的問題。該類中最具有代表性的特征向量不一定具有可分性，而具有可分性的特征向量不一定是該類最有代表性的向量。某類的支持向量也應該是相對的，這是相對其它類而言的。目標：找到一個超平面，使得它能夠盡可能多的將兩類數(shù)據(jù)點正確的分開，同時使分開的兩類數(shù)據(jù)點距離分類面最遠。解決方法：構造一個在約束條件下的優(yōu)化問題，具體的說是一個受限二次規(guī)劃問題(constrainedquadraticprograming),求解該問題，得到分類器簡單最優(yōu)分類面滿足條件條件一：對(xi,yi)分類方程g(x)=wx-b應滿足條件二：空白長度=2x樣本點到直線的距離=2xHH2分類間隔Margin=2/||w||H1最優(yōu)分類面的數(shù)學表示已知：n個觀測樣本，(x1,y1),(x2,y2)……(xn,yn)目標：最優(yōu)分類面wx-b=0這樣得