1、數(shù)據(jù)挖掘?qū)д?福建醫(yī)科大學(xué) 鄭偉成,人工神經(jīng)網(wǎng)絡(luò),人類早已成功使用機器完成繁重和重復(fù)的體力工作，但人們一直沒有放棄讓機器具有人類思維能力的努力。 電子計算機的出現(xiàn)，使其有了某些實現(xiàn)的可能性，特別是人工智能技術(shù)的發(fā)展，使得人們又向思維機器的研究方向邁進了一步。 人工神經(jīng)網(wǎng)絡(luò)技術(shù)又為我們進一步怎樣模擬人類智能以及了解人腦思維的奧秘開辟了一條新的途徑。,歷史回顧, 1943年，美國McCulloch與Pitts從信息處理的角度，合作提出了第一個神經(jīng)計算模型二元神經(jīng)元模型，簡稱MP模型。 1949年，心理學(xué)家D.O.Hebb對大腦神經(jīng)細胞、學(xué)習與條件反射作了大膽地假設(shè)，提出了著名的Hebb學(xué)習規(guī)則，即

2、由神經(jīng)元之間結(jié) 合強度的改變來實現(xiàn)神經(jīng)學(xué)習的方法。此基本思想至今在神經(jīng)網(wǎng)絡(luò) 的研究中發(fā)揮著重要作用。 50年代末期，Rosenblatt提出感知機（Perceptron），首先從工 程角度，研究了用于信息處理的神經(jīng)網(wǎng)絡(luò)模型。感知機具有神經(jīng)網(wǎng) 絡(luò)的一些基本性質(zhì)，如分布存貯、并行處理、可學(xué)習性、連續(xù)計算 等。,人工神經(jīng)網(wǎng)絡(luò)的發(fā)展,1969年，美國著名人工智能專家Minsky和Papert對Rosenblatt 的工作進行了深入的研究， 出版了有較大影響的Perceptron一 書，指出感知機的功能和處理能力的局限性，甚至連XOR（異或） 這樣的問題也不能解決，同時指出如果在感知機中引入隱含神經(jīng) 元

3、，增加神經(jīng)網(wǎng)絡(luò)的層次，可以提高神經(jīng)網(wǎng)絡(luò)的處理能力，但是無 法給出相應(yīng)的網(wǎng)絡(luò)學(xué)習算法。 Minsky和Papert的觀點是悲觀的。 上世紀60年代以來集成電路和微電子技術(shù)日新月異的發(fā)展，使 得電子計算機的計算速度飛速提高，給人工智能從實驗室走向?qū)嵱?帶來了希望。這些技術(shù)進步給人們造成這樣的認識：以為串行信息 處理及以它為基礎(chǔ)的傳統(tǒng)人工智能技術(shù)的潛力是無窮的，這就暫時 掩蓋了發(fā)展新型計算機和尋找新的人工智能途徑的必要性和迫切性。,人工神經(jīng)網(wǎng)絡(luò)的發(fā)展,在神經(jīng)網(wǎng)絡(luò)發(fā)展遇到危機時，仍有一些學(xué)者在堅持。Grossberg等 提出了自適應(yīng)共振理論，Kohonen提出了自組織映射，F(xiàn)ukushima提 出了認

4、知機網(wǎng)絡(luò)模型理論等。,進入上世紀80年代，首先是基于“知識庫”的專家系統(tǒng)的研究與運 用，在許多方面取得了較大成功。但實際應(yīng)用情況表明，專家系統(tǒng)并 不像人們所希望的那樣高明，特別是在處理視覺、聽覺、形象思維、 聯(lián)想記憶以及運動控制等方面，傳統(tǒng)的計算機和人工智能技術(shù)面臨重 重困難。模擬人腦的智能信息處理過程，如果僅靠串行邏輯和符號處 理等傳統(tǒng)的方法來解決復(fù)雜的問題，會產(chǎn)生計算量的組合爆炸。 因此，具有并行分布處理的神經(jīng)網(wǎng)絡(luò)理論又重新受到人們的重 視，對神經(jīng)網(wǎng)絡(luò)的研究又開始復(fù)興，掀起了第二次研究高潮。,人工神經(jīng)網(wǎng)絡(luò)的突破,1982年，美國加州理工學(xué)院物理學(xué)家Hopfield提出了HNN神經(jīng)網(wǎng) 絡(luò)模型

5、，對神經(jīng)網(wǎng)絡(luò)理論的發(fā)展產(chǎn)生了深遠的影響。他引入了“能量 函數(shù)”的概念，使得網(wǎng)絡(luò)穩(wěn)定性研究有了明確的判決。HNN的電子電 路物理實現(xiàn)為神經(jīng)計算機的研究奠定了基礎(chǔ)，并應(yīng)用于一些計算復(fù)雜 度為NP完全型的問題，如著名的“巡回推銷員問題（TSP）”。 1984年，Hinton等人對Hopfield模型引入模擬退火方法，提出了 Boltzmann機模型。,1986年，Rumelhart提出了反向傳播學(xué)習方法（BP算法），解決 了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習問題，證明了多層前向網(wǎng)絡(luò)具有很強的學(xué) 習能力。,神經(jīng)元,人工神經(jīng)網(wǎng)絡(luò)是對生物神經(jīng)系統(tǒng)的模擬。它的信息處理功能是由 網(wǎng)絡(luò)單元（神經(jīng)元）的輸入輸出特性（激活特性

6、）、網(wǎng)絡(luò)的拓撲結(jié)構(gòu) （神經(jīng)元的連接方式）、連接權(quán)大小（突觸聯(lián)系強度）和神經(jīng)元的閾 值（可視為特殊的連接權(quán)）等決定。,人類神經(jīng)網(wǎng)絡(luò),生物神經(jīng)系統(tǒng)是一個有高度組織和相互作用的數(shù)量巨大的細胞組織群體。,人腦大約有10e11-10e13個左右的神經(jīng)細胞（神經(jīng)元）。,每個神經(jīng)元都是獨立的，均有自己的核和自己的分界線或原生質(zhì)膜。 神經(jīng)元之間的相互連接從而讓信息傳遞的部位被稱為突觸（Synapase）。 當神經(jīng)細胞受到外界一定強度信號的刺激時，會引起興奮，并出現(xiàn)一次可,傳導(dǎo)的動作電位（即神經(jīng)沖動）。,單個神經(jīng)元可以從別的細胞接受多個輸入，由于輸入分布于不同的部位，,對神經(jīng)元影響的比例（權(quán)重）是不相同的。 多

7、個神經(jīng)元以突觸聯(lián)接形成了一個神經(jīng)網(wǎng)絡(luò)。,從宏觀上講，人腦的信息處理過程有如 下特點： 人腦對信息可以進行學(xué)習和記憶 人腦對信息有歸納整理的功能 人腦可以接受多種類型的信息 人腦具有多種思維的能力,人腦的數(shù)據(jù)處理,信息學(xué)中的數(shù)據(jù)處理,并行分布處理的工作模式 與信息存貯合二為一 能接受和處理模糊的、模擬的、隨機的信息 信息處理的系統(tǒng)性 求滿意解而不是精確解,神經(jīng)元結(jié)構(gòu)模型,人工神經(jīng)元模型是生物神經(jīng)元的抽象和模擬，是神經(jīng)網(wǎng)絡(luò)的最基本 處理單元，一般是多輸入-單輸出的非線性器件。 ui 神經(jīng)元模型常用一階微分方程來描述（模擬生物神經(jīng)網(wǎng)絡(luò)突觸膜電 位隨時間變化的規(guī)律），即,神經(jīng)元的輸出轉(zhuǎn)化函數(shù),神經(jīng)元的

8、輸出轉(zhuǎn)化函數(shù),人工神經(jīng)網(wǎng)絡(luò)的互連模式,前向網(wǎng)絡(luò),神經(jīng)元分層排列，組成輸入層、隱含層（可以有若干層）和輸出 層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。輸入模式經(jīng)過 各層的順次變換后，在輸出層輸出。各神經(jīng)元之間不存在反饋。 感知器和誤差反向傳播算法中使用的網(wǎng)絡(luò)都屬于這種類型。,BP神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)等模型均屬于前向網(wǎng)絡(luò)類型。,人工神經(jīng)網(wǎng)絡(luò)的互連模式,輸出反饋的前向網(wǎng)絡(luò),輸出層對輸入層有信息反饋，即每一個輸入節(jié)點都有可能接受來 自外部的輸入和來自輸出神經(jīng)元的反饋，這種模式可用來存儲某 種模式序列，如神經(jīng)認知機即屬于此類。,MP模型,MP模型屬于一種閾值原件模型，由美國Mc Culloch和Pitts提出 的，是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。,MP模型,MP模型,感知器,簡單感知器例子,感知器異或問題無解,層疊感知器求解,多層感知器求異或的一個解,0,0,0,0,0,1,1,0,1,1,-1,1,2,1,1,0,1,2,-2,0,1,0,多層感知器,只要隱層和隱層單元數(shù)足夠多，多層感