1、3.4.3 BP算法的程序實現(1)初始化； (4)計算各層誤差信號； (5)調整各層權值； (6)檢查是否對所有樣本完成一次 輪訓； (7)檢查網絡總誤差是否達到精 度要求。 (2)輸入訓練樣本對X Xp、d dp計算各層輸出；(3)計算網絡輸出誤差；13.4.3 BP算法的程序實現然后根據總誤差計算各層的誤差信號并調整權值。 另一種方法是在所有樣本輸入之后，計算網絡的總誤差：23.4.4 多層前饋網(感知器)的主要能力(1)非線性映射能力 多層前饋網能學習和存貯大量輸入-輸出模式映射關系，而無需事先了解描述這種映射關系的數學方程。只要能提供足夠多的樣本模式對供BP網絡進行學習訓練，它便能完

2、成由n維輸入空間到m維輸出空間的非線性映射。33.4.4 多層前饋網(感知器)的主要能力(2)泛化能力 當向網絡輸入訓練時未曾見過的非樣本數據時，網絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網的泛化能力。(3)容錯能力 輸入樣本中帶有較大的誤差甚至個別錯誤對網絡的輸入輸出規(guī)律影響很小。43.4.5誤差曲面與BP算法的局限性 誤差函數的可調整參數的個數 nw 等于各層權值數加上閾值數，即： 誤差 E 是 nw+1 維空間中一個形狀極為復雜的曲面，該曲面上的每個點的“高度”對應于一個誤差值，每個點的坐標向量對應著 nw 個權值，因此稱這樣的空間為誤差的權空間。53.4.5誤差曲

3、面與BP算法的局限性誤差曲面的分布有兩個特點：特點之一：存在平坦區(qū)域 63.4.5誤差曲面與BP算法的局限性特點之二：存在多個極小點 多數極小點都是局部極小，即使是全局極小往往也不是唯一的，但其特點都是誤差梯度為零。 誤差曲面的平坦區(qū)域會使訓練次數大大增加，從而影響了收斂速度；而誤差曲面的多極小點會使訓練陷入局部極小，從而使訓練無法收斂于給定誤差。73.5標準BP算法的改進標準的BP算法在應用中暴露出不少內在的缺陷： 易形成局部極小而得不到全局最優(yōu)； 訓練次數多使得學習效率低，收斂速度慢； 隱節(jié)點的選取缺乏理論指導； 訓練時學習新樣本有遺忘舊樣本的趨勢。 針對上述問題，國內外已提出不少有效的改

4、進算法，下面僅介紹其中3種較常用的方法。83.5標準BP算法的改進1 增加動量項為動量系數，一般有(0，1)2 自適應調節(jié)學習率 設一初始學習率，若經過一批次權值調整后使總誤差，則本次調整無效，且=(1 )。93.5標準BP算法的改進3 引入陡度因子 實現這一思路的具體作法是，在原轉移函數中引入一個陡度因子103.6 BP網絡設計基礎一 、訓練樣本集的準備1.輸入輸出量的選擇 輸出量代表系統(tǒng)要實現的功能目標，例如系統(tǒng)的性能指標，分類問題的類別歸屬，或非線性函數的函數值等等。 輸入量必須選擇那些對輸出影響大且能夠檢測或提取的變量，此外還要求各輸入變量之間互不相關或相關性很小，這是輸入量選擇的兩條

5、基本原則。113.6 BP網絡設計基礎一 、訓練樣本集的準備1.輸入輸出量的選擇從輸入、輸出量的性質來看，可分為兩類：一類是數值變量，一類是語言變量。數值變量的值是數值確定的連續(xù)量或離散量。語言變量是用自然語言表示的概念，其“語言值”是用自然語言表示的事物的各種屬性。當選用語言變量作為網絡的輸入或輸出變量時，需將其語言值轉換為離散的數值量。123.6 BP網絡設計基礎一 、訓練樣本集的準備2. 輸入量的提取與表示(1)文字符號輸入XC=(111100111)T XI=(111100111)T XT=(111100111)T133.6 BP網絡設計基礎一 、訓練樣本集的準備2. 輸入量的提取與表

6、示(2)曲線輸入p=1,2,P143.6 BP網絡設計基礎一 、訓練樣本集的準備2. 輸入量的提取與表示(3)函數自變量輸入 一般有幾個輸入量就設幾個分量，1個輸入分量對應1個輸入層節(jié)點。(4)圖象輸入 在這類應用中，一般先根據識別的具體目的從圖象中提取一些有用的特征參數，再根據這些參數對輸入的貢獻進行篩選，這種特征提取屬于圖象處理的范疇。15(1)“n中取1”表示法 “n中取1”是令輸出向量的分量數等于類別數，輸入樣本被判為哪一類，對應的輸出分量取1，其余 n-1 個分量全取0。例如，用0001、0010、0100和1000可分別表示優(yōu)、良、中、差4個類別。(2)“n-1”表示法 如果用n-

7、1個全為0的輸出向量表示某個類別，則可以節(jié)省一個輸出節(jié)點。例如，用000、001、010和100也可表示優(yōu)、良、中、差4個類別。3.6 BP網絡設計基礎一 、訓練樣本集的準備3. 輸出量的表示(3)數值表示法 對于漸進式的分類，可以將語言值轉化為二值之間的數值表示。數值的選擇要注意保持由小到大的漸進關系，并要根據實際意義拉開距離。163.6 BP網絡設計基礎二、輸入輸出數據的歸一化 歸一化也稱為或標準化，是指通過變換處理將網絡的輸入、輸出數據限制在0，1或-1，1區(qū)間內。 進行歸一化的主要原因：網絡的各個輸入數據常常具有不同的物理意義和不同的量綱，歸一化給各輸入分量以同等重要的地位；BP網的神經元均采用Sigmoid轉移函數，變換后可防止因凈輸入的絕對值過大而使神經元輸出飽和，繼而使權值調整進入誤差曲面的平坦區(qū)；Sigmoid轉移函數的輸出在01或-11之間。教師信號如不進行歸一化處理，勢必使數值大的輸出分量絕對誤差大，數值小的輸出分量絕對誤差小。173.6 BP網絡設計基礎二、輸入輸出數據的歸一化將輸入輸出數據變換為0，1區(qū)間的值常用以下變換式其中，xI代表輸入或輸出數據，xmin代表數據變化的最小值，xman代表數據的最大值。將輸入輸出數據變換為-1，1區(qū)間的值常用以下變換式其中，xmid代表數據變化范圍的中間值。183.6 BP網絡設計基礎三、網絡訓練與