1、第八章 神經網絡模型 前面所介紹的分析方法，都是利用統(tǒng)計方法的推論原理。以邏輯推算數量資料是統(tǒng)計方法的特色，也是它的限制，因為人類對事情的判斷并不只是依靠邏輯數量分析，絕大多數都要參照各方面的信息，包括文字的、畫面的、抽象的信息，才作出最后的判斷與決策。,事實上，人類腦部組織可以縱分為各有所司的兩部分：左腦與右腦。左腦負責邏輯與算術功能，右腦負責情緒、形象辨認與直覺。雖然正常人在生活上兩者都必須應用，但是大多數的人僅擅長其中一個?？茖W家與數學家屬于左腦導向型，藝術家與作家則較傾向右腦導向，即借重右腦來處理感覺、抽象概念的處理。以傳統(tǒng)財務學或投資學中的基本分析與技術分析來說，二者均較傾向于左腦導

2、向，需要大量的數學運算或邏輯推論。,但是在對信用風險進行評價時，除了數量方面的客觀分析外，主觀的定性方面的評價也具有極為重要的份量。也就是說，各項信息在人類大腦中已經累積的知識架構下，經過復雜的接收、處理、傳送等程序，才作出最后的判斷與決策。此一處理過程仍像個黑箱難以掌握，需要借助一個具有右腦導向的工具來處理，而人工神經網絡與模糊分析就是在這樣的目的下,所發(fā)展出來的處理工具，因為人工神經網絡就是設法辨認投入資料當中的隱藏關系，再憑以預測未來趨勢，很像右腦的功能；模糊分析則容許模糊的資料概念，不要求非黑即白的數值特性，更接近人類思考的模式。,第一節(jié) 人工神經網絡 據一般估算，人類腦部是由約1 0

3、00億個神經細胞（neuron）所組成，而每一個神經細胞都是一個處理單元，負責接收與結合來自其他神經細胞的信息。在同一時刻，腦中千千萬萬個神經細胞都在同步處理各種信息的接收與傳遞，這種復雜而精細的過程，使人類能夠記憶、思考、累積經驗，具有極高的學習能力，而非任何統(tǒng)計方法所能完全取代或是模擬出來的。,有基于此，試圖仿照生物神經系統(tǒng)，將學習經驗納入評估模型，即成為一個社會科學努力的目標。人工神經網絡就是在此一信念下所發(fā)展出來的一種方法。 人工神經網絡的發(fā)展可追溯自1943年麥庫洛克與彼特（McCullock & Pitts）兩位教授所發(fā)表的一篇論文“A Logical Calculus of id

4、eas Immanent in Nervous Activity”，該篇論文奠定了人工神經網絡發(fā)展的理論基礎。,一、基本特質與結構 1基本特質 人工神經網絡的構建是由生物神經網絡所得到的靈感，基本上是在模擬生物神經系統(tǒng)，結合相關知識，建立一個簡化的神經系統(tǒng)模式，希望能夠擁有類似人類大腦平行計算及自我學習的能力。所謂自我學習，是利用不斷重復的訓練過程，使系統(tǒng)本身能夠累積經驗，達到學習效果。,在人工神經網絡中，使用了大量的平行網絡，網絡上布滿非線性的計算單元（節(jié)點）。網絡上一個運作周期就是一個訓練過程，由信號運算特性、網絡拓撲及學習算法組成。訓練過程中所有的知識都是以權值方式儲存于節(jié)點上，來自其他

5、的神經元所送出的信號，經過節(jié)點上的整合函數加權總和，再通過非線性函數的轉換，將信號輸出至其他神經元，此一程序通過大量的神經元彼此錯綜復雜的相連，便形成一個基本的人工神經網絡架構。,其中每經過一次訓練過程，就將模擬的結果與實際狀況作比較，將其中的差異回饋到系統(tǒng)中，以調整節(jié)點的強度，如此即能獲致自我組織及自我學習的效果。在與環(huán)境互動時，亦可調整自身的結構，以使系統(tǒng)結果能接近真實狀況；人工神經網絡還具有容錯（fault tolerance）的特性，若是網絡中有數個單元遭到損壞，不致影響整個網絡的功能。,訓練完成后的網絡，就等于具備了一個智慧模組，再有任何資料輸入，即可借助隱含在其中的知識來判斷輸入資

6、料的屬性。 2基本結構 生物的神經細胞可分為三大部分：感知神經元（sensory neuron）、運動神經元（motorneuron）與銜接神經元（Interneuron）。,感知神經元負責接收及傳送訊息，運動神經元負責將信號由腦部傳送出去，而銜接神經元是作為神經間的連接。人工神經網絡的基本結構即是模仿生物的神經細胞，分為三層：輸入層、隱藏層與輸出層。每一層內包括若干代表處理單元的節(jié)點。輸入層的節(jié)點負責接收外在信息（見圖161）。不同于人腦，人腦的輸入機制是五官，負責接收各種影像、聲音、味道、碰觸等的輸入信息，,而人工神經網絡所接受的輸入則是各種變量的數量化資料，個輸入變量對應一個輸入節(jié)點；隱

7、藏層的節(jié)點負責處理輸入層傳來的信息，并轉化成中間結果傳遞給輸出層，隱藏層并不限定一層，也可以增加為兩層甚至更多；而輸出層的節(jié)點就以該輸出值與期望輸出值比較后，得到系統(tǒng)最后的結果，并將結果輸出。,同一層內的節(jié)點相互沒有聯(lián)結，相鄰層的節(jié)點則完全聯(lián)結。每一個聯(lián)結都有一個權值，以權值的大小代表傳來信息的重要程度。事實上，權值正代表了網絡中的知識，是經過許多次的訓練過程所要學到的結果。,圖181 人工神經網絡結構,3學習模式 人工神經網絡借助調整處理單元間的權值來學習輸入/輸出間的關系，使網絡結構能接近真實。但是有一點必須強調，人工神經網絡的設計，基本上是模仿人類右腦辨認型態(tài)的功能，如果是屬于精確邏輯的

8、演算，人工神經網絡并不在行，例如要計算3+3，人類可以利用左腦很精確地算出答案是6，,然而，人工神經網絡卻不具有這樣的能力，而可能估計出5.933或者6.007之類的數字。換言之，如果屬于定義清楚的數學問題，卻利用人工神經網絡來解決，并不妥當。人工神經網絡最擅長之處，在于復雜關系的辨認或是型態(tài)的對比。,人工神經網絡的學習模式，若按照網絡神經間的聯(lián)結強弱來劃分類，大致可分成三類： （1）固定權重型：不需要任何學習法則。 （2）監(jiān)督式學習（supervised learning）：在訓練過程中，直接將網絡結果與實際（正確）結果比較，再不斷調整聯(lián)結強度，來降低實際輸出資料與目標輸出資料之間的差距，一

9、直到此一差距小于一定的臨界值為止。,此種學習模式稱為監(jiān)督式學習。在監(jiān)督式學習模式中，又可因解碼方式的不同而分為前向傳播式與反向傳播式兩種監(jiān)督學習方法。 （3）無監(jiān)督式學習（unsupervised learning）：在訓練過程中，只有輸入值，沒有目標輸出資料，讓網絡自行學習及調整，又稱為自組織（self-organization）學習。 運用在信用風險管理方面，以監(jiān)督式中的反向傳播式為主，以下就對此一方法作一簡要說明。,既然是“監(jiān)督式”學習模式，就要將各樣本的實際結果輸入人工神經網絡系統(tǒng)中，作為每次學習修正的標桿。在反向傳播算法中，以反饋方式修正權重，先由輸出層開始預先計算各節(jié)點的實際輸出值

10、與目標輸出值的均方誤差，在求取最小誤差的目的下，以梯度下降方式，逐次減低實際輸出與目標輸出的均方誤差，據以調整權值與閥值。,每次權值的調整幅度與均方差的大小成正比，均方差愈大，表示目前的權值結構偏離實際愈遠，所需調整幅度愈大。當所有的樣本被送入網絡完成學習，稱為一期（epoch）。經過多期學習，誤差不斷降低，直到收斂至一穩(wěn)定極小值為止。,在各種轉換函數中以Sigmoid函數最常見，以下即以Sigmoid轉換函數例示說明。 以Hk表示隱藏層第k節(jié)點的輸出值： 其中：表示隱藏層的第k節(jié)點的閥值；Wik表示輸入層第i節(jié)點對隱藏層第k節(jié)點的權重。,在運用人工神經網絡的過程中，由干網絡本身錯綜復雜，中間

11、的程序難以找到可資依循的脈絡，因此，所有的“經驗”都經由學習過程以權重的方式儲存在網絡聯(lián)結中，但是整個訓練與執(zhí)行的詳細過程，完全是黑箱操作，外界無從了解。這和一般統(tǒng)計模型或是決策樹模式中，規(guī)則是由專家所制定，恰好相反。,二、實際應用中需要考慮的幾個問題 1、應用范圍。神經網絡模型是通過樣本的學習來構建的因此，應用范圍受到一定限制，尤其是難以適用于訓練樣本不清楚或者訓練集和測試集之間存在較大偏差或者精度要求很高的系統(tǒng)。 2、模型選取。目前人們已推出上百種類型神經網絡，原則上都可以用于信用風險估計，但常用的是BP(Back Propagation ) 神經網絡。,3、訓練樣本特征提取。這是神經網絡

12、建模時最關鍵、最困難的事情。其困難在于樣本本身含有不確定性和噪聲。 4、結構設計。包括網絡層數、節(jié)點數等，其核心問題是隱含層要取幾層，每層節(jié)點數應取多少。隱含層具有抽象的作用，即它能從輸入提取特征。要精確地確定隱含層的節(jié)點數是困難的，一般要求盡可能地減少隱含層節(jié)點數目，這樣有利于提高網絡泛化能力（反映的是網絡對噪聲和失真的處理能力）。,5、激勵函數設計。激勵函數是神經元核心所在，它決定了神經元的運動功能。目前常用的是Sigmoid函數。 6、收斂穩(wěn)定問題。網絡的訓練最終要求收斂到給定的精度，其收斂速度、精度等都和訓練算法有關。BP(Back Propagation ) 神經網絡算法問題，歸根到

13、底是一個非線性優(yōu)化設計問題。,7、性能評價（檢驗）問題。與 傳統(tǒng)的模型一樣，網絡也需要用測試集進行檢驗和評價。主要考察網絡對測試集的學習精度、穩(wěn)定性和泛化能力等指標。,三、神經網絡的優(yōu)點 1、它主要是根據樣本數據，通過學習和訓練，找出輸入和輸出之間的內在聯(lián)系，從而求得問題的解。而不是完全依據對問題的經驗知識和規(guī)則，因而具有自適應功能。 2、能夠處理那些有噪聲或不完全的數據，具有泛化功能。 3、 人工神經網絡是處理非線性問題的強有力工具。,第二節(jié) 計算例 以前面曾舉過的銀行授信樣本為例，將128筆資料輸入人工神經網絡標準軟件，可以得到分類結果如下：將所有樣本分為信用高、中、低及最低四組（見表183），分類正確率93%，另有6%左右的樣本被列入“未知”，是因為在給定的訓練次數下，有很多樣本介于灰色地帶，或是相鄰兩級間的界限亦不清楚，程序無法判斷受測樣本究竟應屬于那一個組。,若將組數由四