前三章以知識為基礎，經(jīng)過符號推理，進行問題求解，通常把這些稱為符號智能。以數(shù)據(jù)為基礎，經(jīng)過訓練建立聯(lián)絡，進行問題求解，普通稱為計算智能。計算智能普通包含：人工神經(jīng)網(wǎng)絡、遺傳算法、含糊系統(tǒng)、進化程序設計、人工生命等。它研究和發(fā)展正反應了當代科學技術多學科交叉與集成主要發(fā)展趨勢。神經(jīng)網(wǎng)絡專題知識專家講座第1頁另首先,1960年前后研究人類直覺思索嘗試,對于人工智能,處理人類含糊性和靈活性是含糊理論,模擬人腦神經(jīng)系統(tǒng)學習機能是神經(jīng)網(wǎng)絡,對生物生命進化進行模型化是遺傳算法.這些內(nèi)容,作為人工智能新方法,受到了人們重視。含糊理論以控制領域,計算機領域為中心進行研究.尤其是在控制領域,含糊控制是一個有效方法.應用含糊控制開發(fā)出一些恒溫控制裝置.含糊控制理論實例比如說洗衣機,依據(jù)被洗滌衣服污染程度以及數(shù)量,再不損傷衣物并清洗掉全部污垢前提下,決定洗滌時間.神經(jīng)網(wǎng)絡專題知識專家講座第2頁什么是計算智能把神經(jīng)網(wǎng)絡（NN）歸類于人工智能（AI）可能不大適當，而歸類于計算智能（CI）更能說明問題實質(zhì)。進化計算、人工生命和含糊邏輯系統(tǒng)一些課題，也都歸類于計算智能。計算智能取決于制造者（manufacturers）提供數(shù)值數(shù)據(jù)，不依賴于知識；另首先，人工智能應用知識精品（knowledgetidbits）。人工神經(jīng)網(wǎng)絡應該稱為計算神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡專題知識專家講座第3頁計算智能與人工智能區(qū)分和關系輸入人類知識(＋)傳感輸入知識(＋)傳感數(shù)據(jù)計算(＋)傳感器C－數(shù)值A－符號B－生物輸入復雜性復雜性BNNBPRBIANNAPRAICNNCPRCI神經(jīng)網(wǎng)絡專題知識專家講座第4頁A－Artificial，表示人工（非生物）；B－Biological，表示物理＋化學＋（？）＝生物；

C－Computational，表示數(shù)學＋計算機計算智能是一個智力方式低層認知，它與人工智能區(qū)分只是認知層次從中層下降至低層而已。中層系統(tǒng)含有知識（精品），低層系統(tǒng)則沒有。神經(jīng)網(wǎng)絡專題知識專家講座第5頁6兩種人工智能技術比較神經(jīng)網(wǎng)絡專題知識專家講座第6頁當一個系統(tǒng)只包括數(shù)值（低層）數(shù)據(jù)，含有模式識別部分，不應用人工智能意義上知識，而且能夠展現(xiàn)出：（1）計算適應性；（2）計算容錯性；（3）靠近人速度；（4）誤差率與人相近，則該系統(tǒng)就是計算智能系統(tǒng)。當一個智能計算系統(tǒng)以非數(shù)值方式加上知識（精品）值，即成為人工智能系統(tǒng)。

神經(jīng)網(wǎng)絡專題知識專家講座第7頁物理結(jié)構(gòu)

計算模擬

存放與操作

訓練

ANN力爭從四個方面去模擬人腦智能行為：神經(jīng)網(wǎng)絡專題知識專家講座第8頁人工神經(jīng)網(wǎng)絡由大量人工神經(jīng)元廣泛互連而成網(wǎng)絡組成。每個神經(jīng)元含有單一輸出，而且能夠與其它神經(jīng)元連接，存在許多輸出連接方法，每種連接方法對應一個連接權系數(shù)。它經(jīng)過將這些人工神經(jīng)元有效組織起來，發(fā)揮并行群體作用和協(xié)同作用。

2人工神經(jīng)網(wǎng)絡研究進展神經(jīng)網(wǎng)絡專題知識專家講座第9頁10別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡（NN）自適應系統(tǒng)（AdaptiveSystems）、自適應網(wǎng)（AdaptiveNetworks）聯(lián)接模型（Connectionism）神經(jīng)計算機（Neurocomputer）神經(jīng)網(wǎng)絡專題知識專家講座第10頁神經(jīng)網(wǎng)絡研究與發(fā)展40年代初，美國McCulloch和PiMs從信息處理角度，研究神經(jīng)細胞行為數(shù)學模型表示．提出了二值神經(jīng)元模型。MP模型提出開始了對神經(jīng)網(wǎng)絡研究進程。1949年心理學家Hebb提出著名Hebb學習規(guī)則，即由神經(jīng)元之間結(jié)合強度改變來實現(xiàn)神經(jīng)學習方法。即使Hebb學習規(guī)則在人們研究神經(jīng)網(wǎng)絡早期就已提出，不過其基本思想至今在神經(jīng)網(wǎng)絡研究中仍發(fā)揮著主要作用。

神經(jīng)網(wǎng)絡專題知識專家講座第11頁

50年代末期，Rosenblatt提出感知機模型(Perceptron)，首先從工程角度出發(fā)，研究了用于信息處理神經(jīng)網(wǎng)絡模型.這是一個學習和自組織心理學模型，它基本符合神經(jīng)生理學原理。感知機即使比較簡單，卻已含有神經(jīng)網(wǎng)絡一些基本性質(zhì)，如分布式存貯、并行處理、可學習性、連續(xù)計算等。這些神經(jīng)網(wǎng)絡特征與當初流行串行、離散、符號處理電子計算機及其對應人工智能技術有本質(zhì)上不一樣，由此引發(fā)許多研究者興趣，在60代掀起了神經(jīng)網(wǎng)絡研究第一次高潮。不過，當初人們對神經(jīng)網(wǎng)絡研究過于樂觀，認為只要將這種神經(jīng)元互連成一個網(wǎng)絡，就能夠處理人腦思維模擬問題，然而，以后研究結(jié)果卻又使人們走到另一個極端上。神經(jīng)網(wǎng)絡專題知識專家講座第12頁

在60年代末，美國著名人工智能教授Minsky和Papert對Rosenblatt工作進行了深人研究，出版了有較大影響(Perceptron)一書，指出感知機功效和處理能力不足，甚至連XOR(異或)這么問題也不能處理，同時也指出假如在感知器中引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡層次，能夠提升神經(jīng)網(wǎng)絡處理能力，不過卻無法給出對應網(wǎng)絡學習算法。所以Minsky結(jié)論是消極。另首先，因為60年代以來集成電路和微電子技術日新月異發(fā)展，使得電子計算機計算速度飛速提升，加上那時以功效模擬為目標、以知識信息處理為基礎知識工程等研究結(jié)果，給人工智能從試驗室走向?qū)嵱脦砹讼Ｍ?，這些技術進步給人們造成這么認識：認為串行信息處理及以它為基礎傳統(tǒng)人工智能技術潛力是無窮，這就暫時掩蓋了發(fā)展新型計算機和尋找新人工智能路徑必要性和迫切性。另外，當初對大腦計算原理、對神經(jīng)網(wǎng)絡計算優(yōu)點、缺點、可能性及其不足等還很不清楚?？傊?，認識上不足使對神經(jīng)網(wǎng)絡研究進入了低潮。神經(jīng)網(wǎng)絡專題知識專家講座第13頁在這一低潮時期，仍有一些學者扎扎實實地繼續(xù)著神經(jīng)網(wǎng)絡模型和學習算法基礎理論研究，提出了許多有意義理論和方法。其中，主要有自適應共振理論，自組織映射，認知機網(wǎng)絡模型理論，BSB模型等等，為神經(jīng)網(wǎng)絡發(fā)展奠定了理論基礎。進入80年代，首先是基于“知識庫”教授系統(tǒng)研究和利用，在許多方面取得了較大成功。但在一段時間以后，實際情況表明教授系統(tǒng)并不像人們所希望那樣高明，尤其是在處理視覺、聽覺、形象思維、聯(lián)想記憶以及運動控制等方面，傳統(tǒng)計算機和人工智能技術面臨著重重困難。模擬人腦智能信息處理過程，假如僅靠串行邏輯和符號處理等傳統(tǒng)方法來濟決復雜問題，會產(chǎn)生計算量組合爆炸。所以，含有并行分布處理模式神經(jīng)網(wǎng)絡理論又重新受到人們重視。對神經(jīng)網(wǎng)絡研究又開始復興，掀起了第二次研究高潮。

神經(jīng)網(wǎng)絡專題知識專家講座第14頁1982年，美國加州理工學院物理學家J．J．Hopfield提出了一個新神經(jīng)網(wǎng)絡HNN。他引入了“能量函數(shù)”概念，使得網(wǎng)絡穩(wěn)定性研究有了明確判據(jù)。HNN電子電路物理實現(xiàn)為神經(jīng)計算機研究奠定了基礎，并將其應用于當前電子計算機尚難處理計算復雜度為NP完全型問題，比如著名“巡回推銷員問題”(TSP)，取得很好效果。從事并行分布處理研究學者，于1985年對Hopfield模型引入隨機機制，提出了Boltzmann機。1986年Rumelhart等人在多層神經(jīng)網(wǎng)絡模型基礎上，提出了多層神經(jīng)網(wǎng)絡模型反向傳輸學習算法(BP算法)，處理了多層前向神經(jīng)網(wǎng)絡學習問題，證實了多層神經(jīng)網(wǎng)絡含有很強學習能力，它能夠完成許多學習任務，處理許多實際問題。神經(jīng)網(wǎng)絡專題知識專家講座第15頁近十幾年來，許多具備不一樣信息處理能力神經(jīng)網(wǎng)絡已被提出來并應用于許多信息處理領域，如模式識別、自動控制、信號處理、決議輔助、人工智能等方面。神經(jīng)計算機研究也為神經(jīng)網(wǎng)絡理論研究提供了許多有利條件，各種神經(jīng)網(wǎng)絡模擬軟件包、神經(jīng)網(wǎng)絡芯片以及電子神經(jīng)計算機出現(xiàn)，表達了神經(jīng)網(wǎng)絡領域各項研究均取得了長足進展。同時，對應神經(jīng)網(wǎng)絡學術會議和神經(jīng)網(wǎng)絡學術刊物大量出現(xiàn)，給神經(jīng)網(wǎng)絡研究者們提供了許多討論交流機會。神經(jīng)網(wǎng)絡專題知識專家講座第16頁即使人們已對神經(jīng)網(wǎng)絡在人工智能領域研究達成了共識，對其巨大潛力也毋庸置疑，不過須知，人類對本身大腦研究，尤其是對其中智能信息處理機制了解，還十分淺薄。因而現(xiàn)有研究結(jié)果僅僅處于起步階段，還需許多有識之士長久艱辛努力。概括以上簡明介紹，能夠看出，當前又處于神經(jīng)網(wǎng)絡理論研究高潮，不但給新一代智能計算機研究帶來巨大影響，而且將推進整個人工智能領域發(fā)展。但另首先，因為問題本身復雜性，不論是神經(jīng)網(wǎng)絡原理本身，還是正在努力進行探索和研究神經(jīng)計算機，當前,都還處于起步發(fā)展階段。為了了解ANN，我們首先分析一下現(xiàn)行計算機所存在問題。盡管馮·諾依曼型計算機在當今世界發(fā)揮著巨大作用，但它在智能化信息處理過程中存在著許多不足。我們簡單分析一下馮·諾依曼型計算機求解某個問題所采取方法。神經(jīng)網(wǎng)絡專題知識專家講座第17頁

(1)依據(jù)該問題特點，建立適當數(shù)學模型。

(2)依據(jù)所建立數(shù)學模型原始數(shù)據(jù)資料，生成適合于輸入計算機程序和數(shù)據(jù)。

(3)計算機控制器命令輸入器將計算步驟初始數(shù)據(jù)統(tǒng)計到存貯器中。

(4)控制器依據(jù)計算步驟次序，依次按存貯器地址讀出第一個計算步驟，然后依據(jù)讀出步驟要求，控制運算器對對應數(shù)據(jù)執(zhí)行要求運算操作。

(5)反饋器從反饋信號中得知運算器操作完成，把所得中間結(jié)果統(tǒng)計到存貯器某個確定位置存貯好。

(6)反饋信號通知控制器再取第二個計算步騾，然后重復上述執(zhí)行過程。一直到整個運算完成后，控制器就命令輸出器把存貯器中存放最終止果用打印、顯示或繪圖等方式輸出。神經(jīng)網(wǎng)絡專題知識專家講座第18頁將以上整個計算過程概括起來，能夠看出現(xiàn)行馮·諾依曼計算機有以下三個主要特點：

(1)它必須不折不如地按照人們已經(jīng)編制好程序步驟來進行對應數(shù)值計算或邏輯運算，它沒有主動學習能力和自適應能力，所以它是被動。

(2)全部程序指令都要調(diào)入CPU一條接一條地次序執(zhí)行。所以．它處理信息方式是集中、串行。

(3)存貯器位置(即地址)和其中歷存貯詳細內(nèi)容無關。所以，在調(diào)用操作指令或數(shù)據(jù)時，總是先找它所在存貯器地址，然后再查出所存貯內(nèi)容。這就是說，存貯內(nèi)容和存貯地址是不相關。因為現(xiàn)行計算機上述特點，首先它在像數(shù)值計算或邏輯運算這類屬于次序性(串行性)信息處理中，表現(xiàn)出遠非人所能及速度；另首先，在包括人類日常信息活動，比如識別圖形、聽懂語言等，卻又顯得那樣低能和拙笨。

神經(jīng)網(wǎng)絡專題知識專家講座第19頁

實際上．腦對外界世界時空客體描述和識別，乃是認知基礎。認知問題離不開對低層次信息處理研究和認識。即使符號處理在腦思維功效模擬等方面取得了很大進展，但它對諸如視覺、聽覺、聯(lián)想記憶和形象思維等問題處理往往感到力不從心。所以符號處理不可能全方面處理認知問題和機器智能化問題．它對高層次腦功效宏觀模擬很有效，而對一些低層次模式處理則至今還有許多困難。神經(jīng)網(wǎng)絡專題知識專家講座第20頁正是因為認識到傳統(tǒng)馮·諾依曼計算機在智能信息處理中這種難以逾越不足．使得人們考慮到有必要深入了解分析人腦神經(jīng)系統(tǒng)信息處理和存貯機理特征．方便尋求一條新人工神經(jīng)網(wǎng)絡智能信息處理路徑。人工神經(jīng)網(wǎng)絡研究是采取自下而上方法，從腦神經(jīng)系統(tǒng)結(jié)構(gòu)出發(fā)來研究腦功效，研究大量簡單神經(jīng)元集團信息處理能力及其動態(tài)行為。當前，神經(jīng)網(wǎng)絡研究使得對多年來困擾計算機科學和符號處理一些難題能夠得到比較令人滿意解答，尤其是對那些時空信息存貯及并行搜索、自組織聯(lián)想記億、時空數(shù)據(jù)統(tǒng)計描述自組織以及從一些相互關聯(lián)活動中自動獲取知識等普通性問題求解，更顯示出獨特能力。由此引發(fā)了智能研究者們廣泛關注，并普遍認為神經(jīng)網(wǎng)絡方法適合于低層次模式處理。

神經(jīng)網(wǎng)絡專題知識專家講座第21頁人腦信息處理機制

生物神經(jīng)系統(tǒng)是一個有高度組織和相互作用數(shù)量巨大細胞組織群體。人類大腦神經(jīng)細胞大約在1011一1013個左右。神經(jīng)細胞也稱神經(jīng)元，是神經(jīng)系統(tǒng)基本單元，它們按不一樣結(jié)合方式組成了復雜神經(jīng)網(wǎng)絡。經(jīng)過神經(jīng)元及其聯(lián)接可塑性，使得大腦含有學習、記憶和認知等各種智能。

人工神經(jīng)網(wǎng)絡研究出發(fā)點是以生物神經(jīng)元學說為基礎。生物神經(jīng)元學說認為，神經(jīng)細胞即神經(jīng)元是神經(jīng)系統(tǒng)中獨立營養(yǎng)和功效單元。生物神經(jīng)系統(tǒng)．包含中樞神經(jīng)系統(tǒng)和大腦，均是由各類神經(jīng)元組成。其獨立性是指每一個神經(jīng)元都有自己核和自己分界限或原生質(zhì)膜。

神經(jīng)網(wǎng)絡專題知識專家講座第22頁生物神經(jīng)元之間相互連接從而讓信息傳遞部位披稱為突觸(Synapse)。突觸按其傳遞信息不一樣機制，可分為化學突觸和電突觸、其中化學突觸占大多數(shù)，其神經(jīng)沖動傳遞借助于化學遞質(zhì)作用。生物神經(jīng)元結(jié)構(gòu)大致描述以下列圖所表示。神經(jīng)網(wǎng)絡專題知識專家講座第23頁24生物神經(jīng)網(wǎng)組成神經(jīng)網(wǎng)絡專題知識專家講座第24頁神經(jīng)元由細胞體和延伸部分組成。延伸部分按功效分有兩類，一個稱為樹突，占延伸部分大多數(shù)，用來接收來自其它神經(jīng)元信息；另一個用來傳遞和輸出信息，稱為軸突。神經(jīng)元對信息接收和傳遞都是經(jīng)過突觸來進行。單個神經(jīng)元能夠從別細胞接收多達上千個突觸輸入。這些輸入可到達神經(jīng)元樹突、胞體和軸突等不一樣部位，但其分布各不相同．對神經(jīng)元影響也不一樣。人類大腦皮質(zhì)全部表面積約有20×104mm2，平均厚度約2．5mm，皮質(zhì)體積則約為50×104mm3。假如皮質(zhì)中突觸平均密度是6×l09／mm3左右，則可認為皮質(zhì)中全部突觸數(shù)為3×1015個。假如再按上述人腦所含全部神經(jīng)元數(shù)目計算，則每個神經(jīng)元平均突觸數(shù)目可能就有1．5—3．0萬個左右。神經(jīng)網(wǎng)絡專題知識專家講座第25頁

神經(jīng)元之間聯(lián)絡主要依賴其突觸聯(lián)接作用。這種突觸聯(lián)接是可塑，也就是說突觸特征改變是受到外界信息影響或本身生長過程影響。生理學研究歸納有以下幾個方面改變：

(1)突觸傳遞效率改變。首先是突觸膨脹以及由此產(chǎn)生突觸后膜表面積擴大，從而突觸所釋放出傳遞物質(zhì)增多，使得突觸傳遞效率提升。其次是突觸傳遞物質(zhì)質(zhì)量改變，包含百分比成份改變所引發(fā)傳遞效率改變。

(2)突觸接觸間隙改變。在突觸表面有許多形狀各異小凸芽，調(diào)整其形狀改變能夠改變接觸間隙，并影響傳遞效率。

(3)突觸發(fā)芽。當一些神經(jīng)纖維被破壞后，可能又會長出新芽，并重新產(chǎn)生附著于神經(jīng)元上突觸．形成新回路。因為新回路形成，使得結(jié)合模式發(fā)生改變，也會引發(fā)傳遞效率改變。

(4)突觸數(shù)目標增減。因為種種復雜環(huán)境條件刺激等原因，或者因為動物本身生長或衰老，神經(jīng)系統(tǒng)突觸數(shù)目會發(fā)生改變，并影響神經(jīng)元之間傳遞效率。

神經(jīng)網(wǎng)絡專題知識專家講座第26頁

神經(jīng)元對信息接收和傳遞都是經(jīng)過突觸來進行。單個神經(jīng)元能夠從別細胞接收多個輸入。因為輸入分布于不一樣部位，對神經(jīng)元影響百分比(權重)是不相同。另外，各突觸輸入抵達神經(jīng)元先后時間也不一祥。所以，一個神經(jīng)元接收信息，在時間和空間上常展現(xiàn)出一個復雜多變形式，需要神經(jīng)元對它們進行積累和整合加工，從而決定其輸出時機和強度。正是神經(jīng)元這種整合作用，才使得億萬個神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復雜信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)各種信息處理功效。多個神經(jīng)元以突觸聯(lián)接形成了一個神經(jīng)網(wǎng)絡。研究表明，生物神經(jīng)網(wǎng)絡功效決不是單個神經(jīng)元生理和信息處理功效簡單疊加，而是一個有層次、多單元動態(tài)信息處理系統(tǒng)。它們有其獨特運行方式和控制機制，以接收生物內(nèi)外環(huán)境輸入信息，加以綜合分折處理，然后調(diào)整控制機體對環(huán)境作出適當反應。

神經(jīng)網(wǎng)絡專題知識專家講座第27頁

以上是從宏觀上分析了人腦信息處理特點。從信息系統(tǒng)研究觀點出發(fā)，對于人腦這個智能信息處理系統(tǒng)，有以下一些固有特征：

(1)并行分布處理工作模式。實際上大腦中單個神經(jīng)元信息處理速度是很慢，每次約1毫秒(ms)，比通常電子門電路要慢幾個數(shù)量級。每個神經(jīng)元處理功效也很有限，預計不會比計算機一條指令更復雜。不過人腦對某一復雜過程處理和反應卻很快，普通只需幾百毫秒。比如要判定人眼看到兩個圖形是否一樣，實際上約需400ms，而在這個處理過程中，與腦神經(jīng)系統(tǒng)一些主要功效，如視覺、記億、推理等相關。按照上述神經(jīng)元處理速度，假如采取串行工作模式，就必須在幾百個串行步內(nèi)完成，這實際上是不可能辦到。所以只能把它看成是一個由眾多神經(jīng)元所組成超高密度并行處理系統(tǒng)。比如在一張照片尋找一個熟人面孔，對人腦而言，幾秒鐘便可完成，但如用計算機來處理，以現(xiàn)有技術，是不可能在短時間內(nèi)完成。由此可見，大腦信息處理并行速度已到達了極高程度。

神經(jīng)網(wǎng)絡專題知識專家講座第28頁

(2)神經(jīng)系統(tǒng)可塑性和自組織性。神經(jīng)系統(tǒng)可塑性和自組織性與人腦生長發(fā)育過程相關。比如，人幼年時期約在9歲左右，學習語言能力十分強，說明在幼年時期，大腦可塑性和柔軟性尤其良好。從生理學角度看，它表達在突觸可塑性和聯(lián)接狀態(tài)改變，同時還表現(xiàn)在神經(jīng)系統(tǒng)自組織特征上。比如在某一外界信息重復刺激下．接收該信息神經(jīng)細胞之間突觸結(jié)合強度會增強。這種可塑性反應出大腦功效現(xiàn)有先天制約原因，也有可能經(jīng)過后天訓練和學習而得到加強。神經(jīng)網(wǎng)絡學習機制就是基于這種可塑性現(xiàn)象，并經(jīng)過修正突觸結(jié)合強度來實現(xiàn)。

(3)信息處理與信息存貯合二為一。大腦中信息處理與信息存貯是有機結(jié)合在一起，而不像現(xiàn)行計算機那樣．存貯地址和存貯內(nèi)容是彼此分開。因為大腦神經(jīng)元兼有信息處理和存貯功效，所以在進行回億時，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容問題，而且還能夠由一部分內(nèi)容恢復全部內(nèi)容。

神經(jīng)網(wǎng)絡專題知識專家講座第29頁(4)信息處理系統(tǒng)性大腦是一個復雜大規(guī)模信息處理系統(tǒng)，單個元件“神經(jīng)元”不能表達全體宏觀系統(tǒng)功效。實際上，能夠?qū)⒋竽X各個部位看成是一個大系統(tǒng)中許多子系統(tǒng)。各個子系統(tǒng)之間含有很強相互聯(lián)絡，一些子系統(tǒng)能夠調(diào)整另一些子系統(tǒng)行為。比如，視覺系統(tǒng)和運動系統(tǒng)就存在很強系統(tǒng)聯(lián)絡，能夠相互協(xié)調(diào)各種信息處理功效。

(5)能接收和處理含糊、模擬、隨機信息。

(6)求滿意解而不是準確解。人類處理日常行為時，往往都不是一定要按最優(yōu)或最準確方式去求解，而是以能處理問題為標準，即求得滿意解就行了。神經(jīng)網(wǎng)絡專題知識專家講座第30頁猴娃真相神經(jīng)網(wǎng)絡專題知識專家講座第31頁最主要顯著特點，病態(tài)方面表現(xiàn)在頭骨上，這個頭骨能夠看到它很低，眉弓很粗壯，最主要是顱縫，矢狀縫、冠狀縫過早地愈合，這兩個骨縫，中間是矢狀縫，過早愈合，冠狀縫過早愈合，所以這么以來整個顱骨限制了往大、往高發(fā)展，所以這個頭骨很低，很小。袁振新：因為我還不是這方面解剖學教授。經(jīng)過我們賈（蘭坡）老，我們張振彪教授一測量，腦量只有700毫升。大腦是一個讓人迷惑器官，是人身體控制中樞，也是人智慧所在。嬰兒剛出生時，大腦重量僅有350～400毫升，1歲左右幼兒，大腦重量到達出生時兩倍，也就是700到800毫升，相當于成人大腦重量二分之一。正常人腦容量普通為1400—1450毫升之間，而猴娃腦容量只有671．97毫升，連正常人二分之一都不到。那么，是什么原因造成猴娃腦容量如此之少呢？袁振新：咱們生出來骨頭都慢慢長，長到一定程度它就不長了。我們小孩腦袋要從產(chǎn)道里出來極難，所以他骨頭是能夠插起來。生出來以后，前面有一個孔點，后頭有個孔點，骨頭沒長滿，前囟點，后囟點。以后分析，猴娃這個小孩，他是骨縫早期愈合，就是腦量700毫升時候它就愈合了。我們?nèi)苏Ｒ搅似骄?450毫升才愈合。700毫升話，恐怕是胎兒時期，不是嬰兒，嬰兒一出來就有1000多毫升了。神經(jīng)網(wǎng)絡專題知識專家講座第32頁

人工神經(jīng)網(wǎng)絡研究與應用主要內(nèi)容人工種經(jīng)網(wǎng)絡研究方興末艾，極難準確地預測其發(fā)展方向。但就當前來看，人工神經(jīng)網(wǎng)絡研究首先須處理全局穩(wěn)定性、結(jié)構(gòu)穩(wěn)定性、可編程性等問題。現(xiàn)今研究工作應包含以下一些基本內(nèi)容：

(1)人工神經(jīng)網(wǎng)絡模型研究。神經(jīng)網(wǎng)絡原型研究，即大腦神經(jīng)網(wǎng)絡生理結(jié)構(gòu)、思維機制。神經(jīng)元生物特征如時空特征、不應期、電化學性質(zhì)等人工模擬易于實現(xiàn)神經(jīng)網(wǎng)絡計算模型。利用物理學方法進行單元間相互作用理論研究如：聯(lián)想記憶模型。神經(jīng)網(wǎng)絡學習算法與學習系統(tǒng)。神經(jīng)網(wǎng)絡專題知識專家講座第33頁(2)神經(jīng)網(wǎng)絡基本理論研究。神經(jīng)網(wǎng)絡非線性特征，包含自組織、自適應等作用。神經(jīng)網(wǎng)絡基本性能，包含穩(wěn)定性、收斂性、容錯性、魯棒性、動力學復雜性。神經(jīng)網(wǎng)絡計算能力與信息存貯容量。開展認知科學研究。探索包含感知、思索、記憶和語言等腦信息處理模型。采取諸如連接機制等方法，將認知信息處理過程模型化，并經(jīng)過建立神經(jīng)計算學來代替算法淪。神經(jīng)網(wǎng)絡專題知識專家講座第34頁(3)神經(jīng)網(wǎng)絡智能信息處理系統(tǒng)應用。認知與人工智能．包含模式識別、計算機視覺與聽覺、特征提取、語音識別語言翻譯、聯(lián)想記憶、邏輯推理、知識工程、教授系統(tǒng)、故障診療、智能機器人等。優(yōu)化與控制，包含優(yōu)化求解、決議與管理、系統(tǒng)辨識、魯棒性控制、自適應控制、并行控制、分布控制、智能控制等。信號處理；自適應信號處理(自適應濾波、時間序列預測、譜預計、消噪、檢測、陣列處理)和非線性信號處理(非線性濾波、非線性預測、非線性譜預計、非線性編碼、中值處理)。傳感器信息處理：模式預處理變換、信息集成、多傳感器數(shù)據(jù)融合。神經(jīng)網(wǎng)絡專題知識專家講座第35頁(4)神經(jīng)網(wǎng)絡軟件模擬和硬件實現(xiàn)。在通用計算機、專用計算機或者并行計算機上進行軟件模擬，或由專用數(shù)字信號處理芯片組成神經(jīng)網(wǎng)絡仿真器。由模擬集成電路、數(shù)字集成電路或者光器件在硬件上實現(xiàn)神經(jīng)芯片。軟件模擬優(yōu)點是網(wǎng)絡規(guī)模能夠較大，適合于用來驗證新模型和復雜網(wǎng)絡特征。硬件實現(xiàn)優(yōu)點是處理速度快，但因為受器件物理原因限制，依據(jù)當前工藝條件，網(wǎng)絡規(guī)模不可能做得太大。僅幾千個神經(jīng)元。但代表了未來發(fā)展方向，所以尤其受到人們重視。神經(jīng)網(wǎng)絡專題知識專家講座第36頁

(5)神經(jīng)網(wǎng)絡計算機實現(xiàn)。計算機仿真系統(tǒng)。專用神經(jīng)網(wǎng)絡并行計算機系統(tǒng)。數(shù)字、模擬、數(shù)—?；旌稀⒐怆娀ミB等。光學實現(xiàn)。生物實現(xiàn)。關于智能本質(zhì)研究是自然科學和哲學重大課題之一，對于智能模擬和機器再現(xiàn)必定能夠開發(fā)拓展出一代新興產(chǎn)業(yè)。因為智能本質(zhì)復雜性，當代智能研究已超越傳統(tǒng)學科界限，成為腦生理學、神經(jīng)科學、心理學、認知科學、信息科學、計算機科學、微電子學，乃至數(shù)理科學共同關心“焦點”學科。人工神經(jīng)網(wǎng)絡重大研究進展有可能使包含信息科學在內(nèi)其它學科產(chǎn)生重大突破和變革。展望人工神經(jīng)網(wǎng)絡成功應用，人類智能有可能產(chǎn)生一次新飛躍。神經(jīng)網(wǎng)絡專題知識專家講座第37頁人工神經(jīng)網(wǎng)絡信息處理能力人工神經(jīng)網(wǎng)絡信息處理能力人工神經(jīng)網(wǎng)絡信息處理能力包含兩方面內(nèi)容：一、神經(jīng)網(wǎng)絡信息存貯能力．即要處理這么一個問題：在一個有N個神經(jīng)元神經(jīng)網(wǎng)絡中，可存貯多少值信息?二、神經(jīng)網(wǎng)絡計算能力。需要處理問題是：神經(jīng)網(wǎng)絡能夠有效地計算哪些問題?在眾多文件中，人們都一致認為：存貯能力和計算能力是當代計算機科學中兩個基本問題，一樣，它們也組成了人工神經(jīng)網(wǎng)絡研究中基本問題。神經(jīng)網(wǎng)絡專題知識專家講座第38頁

前面提到在傳統(tǒng)馮．諾依曼型計算機中，其計算與存貯是完全獨立兩個部分。這兩個獨立部分——存貯器與運算器之間通道，就成為提升計算機計算能力瓶頸，而且只要這兩個部分是獨立存在，這個問題就一直存在。對不一樣計算機而言，只是這一問題嚴重程度不一樣而已。神經(jīng)網(wǎng)絡模型從本質(zhì)上處理了傳統(tǒng)計算機這個問題。它將信息存貯與信息處理完善地結(jié)合在一起。這是因為神經(jīng)網(wǎng)絡運行是從輸入到輸出值傳遞過程，在信息傳遞同時也就完成了信息存貯與計算。神經(jīng)網(wǎng)絡專題知識專家講座第39頁(1)神經(jīng)網(wǎng)絡存貯能力。神經(jīng)網(wǎng)絡存貯能力因不一樣網(wǎng)絡而不相同。這里我們給出Hopfield一些結(jié)論。

定義：一個存貯器信息表示能力定義為其可分辨信息類型對數(shù)值。在一個M×1隨機存貯器RAM中，有M位地址，一位數(shù)據(jù)，它可存貯2M位信息這個RAM中，能夠讀／寫長度為2M信息串，而

M長度為2M信息串有22

種，所以，能夠分辨上述這么各種信息串。按上面定義，M×1RAM存貯能力為：

C＝2M(位)。神經(jīng)網(wǎng)絡專題知識專家講座第40頁

[定理1.1]N個神經(jīng)元神經(jīng)網(wǎng)絡信息表示能力上限為：

C＜(位)。神經(jīng)網(wǎng)絡專題知識專家講座第41頁

[定理1．2]N個神經(jīng)元神經(jīng)網(wǎng)絡信息表示能力下限為：

C(位)。

其中[N／2]指小于或等于N／2最大整數(shù)。[定理1．3]神經(jīng)網(wǎng)絡能夠存貯2N-1個信息，也能夠區(qū)分2N-1個不一樣網(wǎng)絡。神經(jīng)網(wǎng)絡專題知識專家講座第42頁神經(jīng)網(wǎng)絡計算能力●數(shù)學近似映射；識別和分類這些計算都能夠抽象成一個近似數(shù)學映射。如誤差反播模型(BP)、對向傳輸網(wǎng)絡模型(CPN)、小腦模型(CMAC)等都能夠完成這種計算?！窀怕拭芏群瘮?shù)預計：經(jīng)過自組織方式，開發(fā)尋找出一組等概率“錨點”，來響應在空間只“中按照一個確定概率密度函數(shù)選擇到一組矢量樣本。自組織映射模型(SOM)和CPN模型能夠完成這么計算?！駨亩M制數(shù)據(jù)基中提取相關知識：這種計算是形成一個知識聚類模型，這些知識依照數(shù)據(jù)基自組織在它們之間有某種統(tǒng)計上共性，并依此來響應輸入數(shù)據(jù)基統(tǒng)計。腦中盒模型(BSB)有能力進行這種計算?！裥纬赏負溥B續(xù)及統(tǒng)計意義上同構(gòu)映射：它是對固定概率密度函數(shù)選擇適應輸入數(shù)據(jù)一個自組織映射，其最終使得數(shù)據(jù)空間上不一樣項有某種同構(gòu)。SOM模型適累計算這類問題。神經(jīng)網(wǎng)絡專題知識專家講座第43頁●最近相鄰模式分類：經(jīng)過比較大量存貯數(shù)據(jù)來進行模式分類，但首先應經(jīng)過學習樣本模式進行分類?？捎脤哟涡源尜A模式來進行分類信息表示。絕大多數(shù)神經(jīng)網(wǎng)絡模型均能進行這種計算。如自適應共振理論模型(ART)、雙向聯(lián)想記億模型(BAM)、BP模型、玻爾茲曼機模型(BM)、BSB模型、CPN模型、Hopfield模型等等?！駭?shù)據(jù)聚類：采取自組織方法形成所選擇“顆?！被蚰Ｊ骄垲?，以此來響應輸人數(shù)據(jù)。聚類是可變．但要限制其鞍點個數(shù)。對于任何新目標，只要系統(tǒng)中沒有對其提供聚類，都要形成新聚類。很顯然這種能力可直接應用于復雜多目標跟蹤。ART

模型最適合于這種計算?！褡顑?yōu)化問題：用來求解局部甚至是全局最優(yōu)解。Hopfield模型、玻爾茲曼機模型(BM)有能力進行這種計算。神經(jīng)網(wǎng)絡專題知識專家講座第44頁并行分布處理非線性映射經(jīng)過訓練進行學習適應與集成硬件實現(xiàn)人工神經(jīng)網(wǎng)絡特征神經(jīng)網(wǎng)絡專題知識專家講座第45頁80年代末和90年代初出現(xiàn)了混合網(wǎng)絡系統(tǒng)，如把多層感知器與自組織特征級聯(lián)起來，在模式識別中能夠取得比單一網(wǎng)絡更加好結(jié)果。1991年美國wardSystemGroup企業(yè)推出軟件產(chǎn)品Neurowindows(Brain—1)是這方面經(jīng)典代表。它能夠產(chǎn)生128個交互作用神經(jīng)網(wǎng)絡，每個網(wǎng)可是自組織網(wǎng)也可是多層感知器網(wǎng)，最多可達32層，每層可達32個節(jié)點，且能夠與其它8層相聯(lián)。據(jù)稱這是近年來神經(jīng)網(wǎng)絡發(fā)展方面一個躍進。它在微軟企業(yè)VB上運行，被認為是近些年來最主要軟件進展和最高水平智能工具。神經(jīng)網(wǎng)絡專題知識專家講座第46頁最近所出現(xiàn)把神經(jīng)網(wǎng)絡與人工智能系統(tǒng)結(jié)合起來方式大致可分為兩類，一類是把人工智能系統(tǒng)作為神經(jīng)網(wǎng)絡前端，一類是把神經(jīng)網(wǎng)絡作為人工智能系統(tǒng)前端。在前一類中，人工智能系統(tǒng)能夠與使用者交互作用(如向使用者提出問題，了解使用者需求)，然后利用知識與神經(jīng)網(wǎng)絡準備數(shù)據(jù)。這方面第一個商用系統(tǒng)是美國杜邦企業(yè)LAM系統(tǒng)。它把人工智能系統(tǒng)、神經(jīng)網(wǎng)絡和文本檢索系統(tǒng)結(jié)合起來，供建筑師、玻璃切割與裝配工程師使用，使得對建筑物玻璃結(jié)構(gòu)設計、選配和施工更簡單、靈活、省時，適應性更強。當前正在建筑行業(yè)大力推廣。也能夠利用人工智能系統(tǒng)作為信息流控制器，利用教師機制和基于規(guī)則指南，幫助使用者從大量選擇項中選擇正確神經(jīng)網(wǎng)絡來處理某一專門問題。這種系統(tǒng)已在化工領域中得到應用，幫助用戶由所需化合物性質(zhì)來確定化學公式，或由公式產(chǎn)生出對應物理特征，或由性質(zhì)產(chǎn)生出對應化合物．神經(jīng)網(wǎng)絡專題知識專家講座第47頁5人工神經(jīng)網(wǎng)絡基本模型MP模型感知器模型EBP網(wǎng)絡(反向傳輸算法）Hopfield網(wǎng)絡模型隨機型神經(jīng)網(wǎng)絡聯(lián)想記憶神經(jīng)網(wǎng)絡線性聯(lián)想記憶LAM雙向聯(lián)想記憶BAM時間聯(lián)想記憶TAM自組織神經(jīng)網(wǎng)絡自適應共振理論(ART)模型自組織特征映射(SOM)模型

CPN模型神經(jīng)網(wǎng)絡專題知識專家講座第48頁1.MP模型

MP模型屬于一個閾值元件模型，它是由美國McCulloch和Pitts提出最早神經(jīng)元模型之一。MP模型是大多數(shù)神經(jīng)網(wǎng)絡模型基礎。神經(jīng)網(wǎng)絡專題知識專家講座第49頁2感知器模型感知器是一個早期神經(jīng)網(wǎng)絡模型，由美國學者F.Rosenblatt于1957年提出.感知器中第一次引入了學習概念，使人腦所具備學習功效在基于符號處理數(shù)學到了一定程度模擬，所以引發(fā)了廣泛關注。簡單感知器簡單感知器模型實際上依然是MP模型結(jié)構(gòu)，不過它經(jīng)過采取監(jiān)督學習來逐步增強模式劃分能力，到達所謂學習目標。神經(jīng)網(wǎng)絡專題知識專家講座第50頁51人工神經(jīng)元

神經(jīng)元是組成神經(jīng)網(wǎng)絡最基本單元（構(gòu)件）。人工神經(jīng)元模型應該含有生物神經(jīng)元六個基本特征。

神經(jīng)網(wǎng)絡專題知識專家講座第51頁人工神經(jīng)元基本組成

wk1wk2wkn∑x1

x2xn

…φvkYk突觸權值輸入信號輸出求和節(jié)點激活函數(shù)神經(jīng)網(wǎng)絡專題知識專家講座第52頁人工神經(jīng)網(wǎng)絡結(jié)構(gòu)-1Wj1X1X2Wj2XnWjn···Σ()Yi圖神經(jīng)元模型神經(jīng)網(wǎng)絡專題知識專家講座第53頁

圖中神經(jīng)元單元由多個輸入xi，i=1,2,...,n和一個輸出y組成。中間狀態(tài)由輸入信號權和表示，而輸出為 （4.1）式中，j為神經(jīng)元單元偏置，wji為連接權系數(shù)。n為輸入信號數(shù)目，yj為神經(jīng)元輸出，t為時間，f()為輸出變換函數(shù)，

神經(jīng)網(wǎng)絡專題知識專家講座第54頁(a)xf(x)1x00神經(jīng)元中一些變換（激發(fā)）函數(shù)(a)二值函數(shù) (b)S形函數(shù)(c)雙曲正切函數(shù)(c)xf(x)1-1(b)f(x)x10神經(jīng)網(wǎng)絡專題知識專家講座第55頁其結(jié)構(gòu)以下列圖所表示

感知器處理單元對n個輸入進行加權和操作v即：其中，Wi為第i個輸入處處理單元連接權值θ為閾值。f取階躍函數(shù).神經(jīng)網(wǎng)絡專題知識專家講座第56頁連接權wij通常在[-1,1]之間取值：

wij>0，稱為正連接，表示神經(jīng)元uj對ui有激活作用

wij<0，稱為負連接，表示神經(jīng)元uj對ui有抑制作用神經(jīng)網(wǎng)絡各種學習算法不一樣特點反應在調(diào)整權值標準、方法、步驟和迭代過程參數(shù)選擇上。神經(jīng)網(wǎng)絡專題知識專家講座第57頁

感知器在形式上與MP模型差不多，它們之間區(qū)分在于神經(jīng)元間連接權改變。感知器連接權定義為可變，這么感知器就被賦予了學習特征。利用簡單感知器能夠?qū)崿F(xiàn)邏輯代數(shù)中一些運算。

Y=f(w1x1+w2x2-θ)(1)“與”運算。當取w1＝w2＝1，θ＝1.5時，上式完成邏輯“與”運算。神經(jīng)網(wǎng)絡專題知識專家講座第58頁(2)“或”運算，當取wl＝w2＝1，θ

＝0.5時，上式完成邏輯“或”運算。(3)“非”運算，當取wl=-1，w2＝0，θ

＝-1時．完成邏輯“非”運算。神經(jīng)網(wǎng)絡專題知識專家講座第59頁與許多代數(shù)方程一樣，上式中不等式含有一定幾何意義。對于一個兩輸入簡單感知器，每個輸入取值為0和1，如上面結(jié)出邏輯運算，全部輸入樣本有四個，記為(x1，x2)：(0，0)，(0，1)，(1，0)，(1，1)，組成了樣本輸入空間。比如，在二維平面上，對于“或”運算，各個樣本分布以下列圖所表示。直線

1*x1+1*x2-0．5＝0將二維平面分為兩部分，上部為激發(fā)區(qū)(y，=1，用★表示)，下部為抑制區(qū)(y＝0，用☆表示)。神經(jīng)網(wǎng)絡專題知識專家講座第60頁簡單感知器引入學習算法稱之為誤差學習算法。該算法是神經(jīng)網(wǎng)絡學習中一個主要算法，并已被廣泛應用?，F(xiàn)介紹以下：

誤差型學習規(guī)則：

(1)選擇一組初始權值wi(0)。

(2)計算某一輸入模式對應實際輸出與期望輸出誤差δ

神經(jīng)網(wǎng)絡專題知識專家講座第61頁(3)假如δ小于給定值，結(jié)束，不然繼續(xù)。(4)更新權值(閾值可視為輸入恒為1一個權值)：Δwi（t+1）＝wi（t+1）-wi（t）＝η[d—y(t)]xi。式中η為在區(qū)間(0，1)上一個常數(shù)，稱為學習步長，它取值與訓練速度和w收斂穩(wěn)定性相關；d、y為神經(jīng)元期望輸出和實際輸出；xi為神經(jīng)元第i個輸入。

(5)返回(2)，重復，直到對全部訓練樣本模式，網(wǎng)絡輸出均能滿足要求。神經(jīng)網(wǎng)絡專題知識專家講座第62頁神經(jīng)網(wǎng)絡專題知識專家講座第63頁對于學習步長V取值普通是在(0，1)上一個常數(shù)，不過為了改進收斂速度，也能夠采取變步長方法，這里介紹一個算法以下式：式中，α為一個正常量．這里取值為0.1。所以，對應于輸入(0，0)，修正權值(注意：θ=w0,x0=-1)

Δw0（1）＝η[d—y]x0

＝0.1(1—0)(—1)＝—0.1，

W0(1)=0.1+Δw0（1）=0.1-0.1=0.0依次進行。

神經(jīng)網(wǎng)絡專題知識專家講座第64頁一樣方法，對其它輸入樣本都進行學習。整個學習過程就是某一超平面在樣本空間中幾何位置調(diào)整過程。初值w1(7)＝—0．225．w2(7)＝—0．0875，

θ(7)＝—0．1875。這么一組網(wǎng)絡參數(shù)滿足計算要求。神經(jīng)網(wǎng)絡專題知識專家講座第65頁神經(jīng)網(wǎng)絡專題知識專家講座第66頁

感知器對線性不可分問題不足決定了它只有較差歸納性，而且通常需要較長離線學習才能到達收效。神經(jīng)網(wǎng)絡專題知識專家講座第67頁多層感知器假如在輸入和輸出層間加上一層或多層神經(jīng)元(隱層神經(jīng)元)，就可組成多層前向網(wǎng)絡，這里稱為多層感知器。

這里需指出是：多層感知器只允許調(diào)整一層連接權。這是因為按感知器概念，無法給出一個有效多層感知器學習算法。神經(jīng)網(wǎng)絡專題知識專家講座第68頁上述三層感知器中，有兩層連接權，輸入層與隱層單元間權值是隨機設置固定值，不被調(diào)整；輸出層與隱層間連接權是可調(diào)整。神經(jīng)網(wǎng)絡專題知識專家講座第69頁對于上面述及異或問題，用一個簡單三層感知器就可得到處理實際上，該三層感知器輸入層和隱層連接，就是在模式空間中用兩個超平面去劃分樣本，即用兩條直線：

x1+x2=0.5x1十x2＝1.5。神經(jīng)網(wǎng)絡專題知識專家講座第70頁神經(jīng)網(wǎng)絡專題知識專家講座第71頁神經(jīng)網(wǎng)絡專題知識專家講座第72頁

能夠證實，只要隱層和隱層單元數(shù)足夠多，多層感知器網(wǎng)絡可實現(xiàn)任何模式分類。不過，多層網(wǎng)絡權值怎樣確定，即網(wǎng)絡怎樣進行學習，在感知器上沒有得到處理：當年Minsky等人就是因為對于非線性空間多層感知器學習算法未能得到處理，使其對神經(jīng)網(wǎng)絡研究作出消極結(jié)論。神經(jīng)網(wǎng)絡專題知識專家講座第73頁感知器收斂定理

對于一個N個輸入感知器，假如樣本輸入函數(shù)是線性可分，那么對任意給定一個輸入樣本x，要么屬于某一區(qū)域F+，要么不屬于這一區(qū)域，記為F—。F+，F(xiàn)—兩類樣本組成了整個線性可分樣本空間。神經(jīng)網(wǎng)絡專題知識專家講座第74頁[定理]假如樣本輸入函數(shù)是線性可分，那么下面感知器學習算法經(jīng)過有限次迭代后，可收斂到正確權值或權向量。假設樣本空間F是單位長度樣本輸入向量集合，若存在一個單位權向量w*。和一個較小正數(shù)δ＞0，使得w*·x>=δ對全部樣本輸入x都成立，則權向量w按下述學習過程僅需有限步就可收斂。神經(jīng)網(wǎng)絡專題知識專家講座第75頁神經(jīng)網(wǎng)絡專題知識專家講座第76頁神經(jīng)網(wǎng)絡專題知識專家講座第77頁神經(jīng)網(wǎng)絡專題知識專家講座第78頁

所以，感知器學習迭代次數(shù)是一有限數(shù)，經(jīng)過有限次迭代，學習算法可收斂到正確權向量w*。對于上述證實，要說明是：正數(shù)δ越小，迭代次數(shù)越多：其次，若樣本輸入函數(shù)不是線性可分，則學習過程將出現(xiàn)振蕩，得不到正確結(jié)果。神經(jīng)網(wǎng)絡專題知識專家講座第79頁[定理]假定隱含層單元能夠依據(jù)需要自由設置，那么用雙隱層感知器能夠?qū)崿F(xiàn)任意二值邏輯函數(shù)(證實略)。神經(jīng)網(wǎng)絡專題知識專家講座第80頁下列圖給出了感知器層數(shù)與模式劃分區(qū)域關系。神經(jīng)網(wǎng)絡專題知識專家講座第81頁人工神經(jīng)網(wǎng)絡是含有以下特征有向圖：對于每個節(jié)點

i

存在一個狀態(tài)變量xi

；從節(jié)點j至節(jié)點i，存在一個連接權系統(tǒng)數(shù)wij；對于每個節(jié)點i

，存在一個閾值i；對于每個節(jié)點

i，定義一個變換函數(shù)fi；對于最普通情況，此函數(shù)取形式。人工神經(jīng)網(wǎng)絡基本特征和結(jié)構(gòu)神經(jīng)網(wǎng)絡專題知識專家講座第82頁2.人工神經(jīng)網(wǎng)絡結(jié)構(gòu)

1)前饋型網(wǎng)絡前饋神經(jīng)網(wǎng)絡是整個人工神經(jīng)網(wǎng)絡體系中最常見一個網(wǎng)絡，其網(wǎng)絡中各個人工神經(jīng)元接收前一級輸入，并輸出到下一級，網(wǎng)絡中沒有反饋，如圖所表示。節(jié)點分為兩類，即輸入單元和計算單元，每一計算單元可有任意個輸入，但只有一個輸出（它可耦合到任意多個其它節(jié)點作為輸入）。神經(jīng)網(wǎng)絡專題知識專家講座第83頁前饋網(wǎng)絡:前饋網(wǎng)絡含有遞階分層結(jié)構(gòu)，由同層神經(jīng)元間不存在互連層級組成，如圖。x1x2輸入層輸出層隱層y1ynw11w1m前饋網(wǎng)絡反向傳輸神經(jīng)網(wǎng)絡專題知識專家講座第84頁

2)反饋型網(wǎng)絡在反饋網(wǎng)絡中（FeedbackNNs），輸入信號決定反饋系統(tǒng)初始狀態(tài)，然后系統(tǒng)經(jīng)過一系列狀態(tài)轉(zhuǎn)移后，逐步收斂于平衡狀態(tài)。這么平衡狀態(tài)就是反饋網(wǎng)絡經(jīng)計算后輸出結(jié)果，由此可見，穩(wěn)定性是反饋網(wǎng)絡中最主要問題之一。假如能找到網(wǎng)絡Lyapunov函數(shù)，則能確保網(wǎng)絡從任意初始狀態(tài)都能收斂到局部最小點。神經(jīng)網(wǎng)絡專題知識專家講座第85頁

遞歸（反饋）網(wǎng)絡:在遞歸網(wǎng)絡中，多個神經(jīng)元互連以組織一個互連神經(jīng)網(wǎng)絡，如圖。神經(jīng)網(wǎng)絡專題知識專家講座第86頁3.人工神經(jīng)網(wǎng)絡工作方式人工神經(jīng)網(wǎng)絡工作過程主要分為兩個階段：第一階段是學習期，此時各計算單元狀態(tài)不變，各連接權上權值可經(jīng)過學習來修改；第二階段是工作期，此時各連接權固定，計算單元改變，以到達某種穩(wěn)定狀態(tài)。神經(jīng)網(wǎng)絡專題知識專家講座第87頁有師學習算法：能夠依據(jù)期望輸出（對應于給定輸入）和實際網(wǎng)絡輸出間差來調(diào)整神經(jīng)元間連接強度或權。無師學習算法：不需要知道期望輸出。強化學習算法：采取一個“評論員”來評價與給定輸入相對應神經(jīng)網(wǎng)絡輸出優(yōu)度（質(zhì)量因數(shù)）。強化學習算法一個例子是遺傳算法（GA）。人工神經(jīng)網(wǎng)絡主要學習算法神經(jīng)網(wǎng)絡專題知識專家講座第88頁人工神經(jīng)網(wǎng)絡經(jīng)典模型神經(jīng)網(wǎng)絡專題知識專家講座第89頁續(xù)前表：神經(jīng)網(wǎng)絡專題知識專家講座第90頁基于神經(jīng)網(wǎng)絡知識表示

在這里，知識并不像在產(chǎn)生式系統(tǒng)中那樣獨立地表示為每一條規(guī)則，而是將某一問題若干知識在同一網(wǎng)絡中表示。比如，在有些神經(jīng)網(wǎng)絡系統(tǒng)中，知識是用神經(jīng)網(wǎng)絡所對應有向權圖鄰接矩陣及閾值向量表示?；谏窠?jīng)網(wǎng)絡知識表示與推理神經(jīng)網(wǎng)絡專題知識專家