第一節(jié)人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 第八章地理計(jì)算模型 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 第1部分從生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 大腦與神經(jīng)細(xì)胞 神經(jīng)細(xì)胞與神經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級(jí)的高度復(fù)雜的網(wǎng)絡(luò)系統(tǒng) 也正是有了這樣的復(fù)雜巨系統(tǒng) 大腦才能擔(dān)負(fù)起人類認(rèn)識(shí)世界和改造世界的任務(wù) 世界上最大的未開(kāi)發(fā)疆域 是我們兩耳之間的空間 美國(guó)漢諾威保險(xiǎn)公司總裁比爾 奧伯萊恩 一 生物神經(jīng)系統(tǒng)和大腦的復(fù)雜性 生物系統(tǒng)是世界上最為復(fù)雜的系統(tǒng) 生物神經(jīng)系統(tǒng)活動(dòng)和腦的功能 其復(fù)雜性是難以想象的 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 人大腦平均只有3磅左右 只占身體重量比例的1 30 它令你的心臟每天不假思索地跳動(dòng)10萬(wàn)多次 它令你的眼睛可以辨別1000萬(wàn)種細(xì)微的顏色 它使你的肌肉 如果全部向同一個(gè)方向運(yùn)動(dòng) 產(chǎn)生25噸的拉力 它是由100億個(gè)腦細(xì)胞和10兆個(gè)神經(jīng)交匯叢組成 整個(gè)大腦的神經(jīng)網(wǎng)絡(luò)足足有10英里長(zhǎng) 大腦的有關(guān)數(shù)據(jù) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 你的大腦就像一個(gè)沉睡的巨人 英國(guó)的心理學(xué)家 教育家托尼 布贊 如果我們迫使頭腦開(kāi)足1 4的馬力 我們就會(huì)毫不費(fèi)力地學(xué)會(huì)40種語(yǔ)言 把整個(gè)百科全書(shū)從頭到尾背下來(lái) 還可以完成十幾個(gè)大學(xué)的博士學(xué)位 前蘇聯(lián)學(xué)者伊凡 一個(gè)正常的大腦記憶容量有大約6億本書(shū)的知識(shí)總量 相當(dāng)于一部大型電腦儲(chǔ)存量的120萬(wàn)倍 大腦使你從出生開(kāi)始每一秒鐘可存儲(chǔ)1000條信息 直到老死為止 全世界的電話線路的運(yùn)作只相當(dāng)于大約一粒綠豆體積的腦細(xì)胞 即使世界上記憶力最好的人 其大腦的使用也沒(méi)有達(dá)到其功能的1 人類的知識(shí)與智慧 仍是 低度開(kāi)發(fā) 人的大腦是個(gè)無(wú)盡寶藏 可惜的是每個(gè)人終其一生 都忽略了如何有效地發(fā)揮它的 潛能 潛意識(shí)中激發(fā)出來(lái)的能量 大腦復(fù)雜性的無(wú)限性 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 二 人工智能及其三個(gè)學(xué)派 人類的夢(mèng)想重新構(gòu)造人腦 并讓其代替人類完成相應(yīng)的工作 無(wú)數(shù)科幻故事 探索智能的奧秘智能 intelligence 觀察 學(xué)習(xí) 理解和認(rèn)識(shí)的能力 牛津大辭典 理解和各種適應(yīng)性行為的能力 韋氏大辭典 智能是個(gè)體有目的地行為 合理的思維 以及有效的適應(yīng)環(huán)境的綜合能力 也可以說(shuō)是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問(wèn)題的能力 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 人類智能的具體含義 感知與認(rèn)識(shí)客觀事物 客觀世界和自我的能力 通過(guò)學(xué)習(xí)獲得經(jīng)驗(yàn) 積累知識(shí)的能力 理解知識(shí) 運(yùn)用知識(shí)和經(jīng)驗(yàn)分析 解決問(wèn)題的能力 聯(lián)想 推理 判斷 決策的能力 運(yùn)用語(yǔ)言進(jìn)行抽象 概括的能力 以上5點(diǎn)是人類智能的基本能力 發(fā)現(xiàn) 發(fā)明 創(chuàng)造 創(chuàng)新的能力 實(shí)時(shí) 迅速 合理地應(yīng)付復(fù)雜環(huán)境的能力 預(yù)測(cè) 洞察事物發(fā)展 變化的能力 以上3點(diǎn)是前5種能力新的綜合表現(xiàn)形式 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 人工智能 人工智能 ArtificialIntelligence 1956年初次引入人工智能研究怎樣用計(jì)算機(jī)模仿人腦從事推理 設(shè)計(jì) 思考 學(xué)習(xí)等思維活動(dòng) 以解決和處理較復(fù)雜的問(wèn)題 目的之一 增加人類探索世界 推動(dòng)社會(huì)前進(jìn)的能力 通過(guò)制造和使用工具來(lái)加強(qiáng)和延伸人類的生存 發(fā)展 目的之二 進(jìn)一步認(rèn)識(shí)自己 用物化的智能來(lái)考察和研究人腦智能的物質(zhì)過(guò)程和規(guī)律 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 人工智能的3個(gè)主要流派 1991年 人工智能學(xué)家D Krish在 Int J ArtificialIntelligence 上提出人工智能的5個(gè)基本問(wèn)題 知識(shí)和概念化是否人工智能的核心 認(rèn)知能力能否與載體分開(kāi)來(lái)研究 認(rèn)知的軌跡是否可以用類自然語(yǔ)言來(lái)描述 學(xué)習(xí)能力能否與認(rèn)知分開(kāi)來(lái)研究 所有的認(rèn)識(shí)是否有一種統(tǒng)一的結(jié)構(gòu) 對(duì)以上5個(gè)基本問(wèn)題的不同回答已經(jīng)形成3個(gè)主要的學(xué)術(shù)流派 符號(hào)主義 Symbolicisim 聯(lián)結(jié)主義 connetionism 行為主義 actionism 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 人工智能的符號(hào)主義流派 即傳統(tǒng)的人工智能 認(rèn)為人工智能源于數(shù)理邏輯 主張以知識(shí)為基礎(chǔ) 通過(guò)推理來(lái)進(jìn)行問(wèn)題求解 在研究方法上采用計(jì)算機(jī)模擬人類認(rèn)知系統(tǒng)功能的功能模擬方法Simon Minsky和Newell等認(rèn)為 人和計(jì)算機(jī)都是一個(gè)物理符號(hào)系統(tǒng) 因此可用計(jì)算機(jī)的符號(hào)演算來(lái)模擬人的認(rèn)知過(guò)程 作為智能基礎(chǔ)的知識(shí)是可用符號(hào)表示的一種信息形式 因此人工智能的核心問(wèn)題是知識(shí)表示 知識(shí)推理和知識(shí)運(yùn)用的信息處理過(guò)程 符號(hào)主義對(duì)符號(hào)系統(tǒng)的描述 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 人工智能的聯(lián)結(jié)主義流派 又稱仿生學(xué)派 認(rèn)為人工智能源于仿生學(xué) 人思維的基本單元是神經(jīng)元 而非符號(hào)處理過(guò)程 主張用大腦工作模式取代符號(hào)操作的電腦工作模式 智能的本質(zhì)是聯(lián)結(jié)機(jī)制 神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng) 結(jié)構(gòu) 功能 的研究方法 認(rèn)為功能 結(jié)構(gòu)和智能行為是密切相關(guān)的 1943年 McCulloch和Pitts從神經(jīng)元入手研究神經(jīng)網(wǎng)絡(luò)模型 MP模型 此為人工神經(jīng)網(wǎng)絡(luò)研究之始 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 人工神經(jīng)網(wǎng)絡(luò) ArtificialNeuralNetwork ANN 從四個(gè)方面刻畫人腦的基本特征 1 物理結(jié)構(gòu)模仿生物神經(jīng)元的功能 構(gòu)造人工神經(jīng)元的聯(lián)結(jié)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 2 計(jì)算模擬人腦神經(jīng)元既有局部的計(jì)算和存儲(chǔ)功能 又通過(guò)聯(lián)結(jié)構(gòu)成統(tǒng)一的系統(tǒng) 人腦的計(jì)算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎(chǔ)之上 ANN以具有局部計(jì)算能力的神經(jīng)元為基礎(chǔ) 同樣實(shí)現(xiàn)信息的大規(guī)模并行處理 3 存儲(chǔ)與操作大腦對(duì)信息的記憶是通過(guò)改變突觸的強(qiáng)度來(lái)實(shí)現(xiàn)并分布存儲(chǔ) ANN模擬信息的大規(guī)模分布存儲(chǔ) 4 訓(xùn)練后天的訓(xùn)練使得人腦具有很強(qiáng)的自組織和自適應(yīng)性 ANN根據(jù)人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)特性 使用不同的訓(xùn)練過(guò)程 自動(dòng)從 實(shí)踐 即訓(xùn)練樣本 中獲取相關(guān)知識(shí) 并存儲(chǔ)在系統(tǒng)中 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 人工智能的行為主義流派 進(jìn)化主義學(xué)派 控制論學(xué)派 認(rèn)為人工智能來(lái)源于控制論 智能取決于感知和行動(dòng) 提出智能行為的 感知 動(dòng)作 模式 采用行為模擬方法 對(duì)符號(hào)主義 聯(lián)結(jié)主義采取批判的態(tài)度 智能不需要知識(shí) 表示和推理 只需要與環(huán)境交互作用 20世紀(jì)80年代誕生智能控制和智能機(jī)器人系統(tǒng)學(xué)科 R A Brooks 為機(jī)器人研究開(kāi)創(chuàng)了新的方法 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 ANN是基于聯(lián)結(jié)主義流派的人工智能 聯(lián)結(jié)主義學(xué)派與高速發(fā)展的計(jì)算機(jī)技術(shù)相結(jié)合 發(fā)展為計(jì)算智能學(xué)派 是人工智能在1980年代后的深化和發(fā)展 計(jì)算智能 借助現(xiàn)代計(jì)算機(jī)技術(shù)模擬人的智能控制 生命演化過(guò)程和人的智能行為 從而進(jìn)行信息獲取 處理 應(yīng)用的理論和方法 計(jì)算智能是以數(shù)學(xué)模型 計(jì)算模型為基礎(chǔ) 以分布 并行 仿生計(jì)算為特征 包含數(shù)據(jù) 算法和實(shí)現(xiàn)的信息系統(tǒng) 計(jì)算智能強(qiáng)調(diào)模型的建立和構(gòu)成 強(qiáng)調(diào)系統(tǒng)的自組織 自學(xué)習(xí)和自適應(yīng) 計(jì)算智能的3個(gè)主要分支 人工神經(jīng)網(wǎng)絡(luò) 模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu) 遺傳算法 模擬生命生成過(guò)程與智能進(jìn)化過(guò)程 模糊邏輯 模擬智能的表現(xiàn)行為 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 三 人工神經(jīng)網(wǎng)絡(luò)概述 生物神經(jīng)元系統(tǒng) 人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)構(gòu)造而成 James 心理學(xué) 1890年 大腦皮層每一點(diǎn)的活力產(chǎn)生于其它點(diǎn)勢(shì)能釋放的綜合效能 即其它點(diǎn)的興奮次數(shù) 強(qiáng)度和所接受的能量 大腦含約1011個(gè)神經(jīng)元 它們通過(guò)1015個(gè)聯(lián)結(jié)構(gòu)成一個(gè)網(wǎng)絡(luò) 每個(gè)神經(jīng)元具有獨(dú)立的接受 處理和傳遞電化學(xué)信號(hào)的能力 這種傳遞由神經(jīng)通道來(lái)完成 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 神經(jīng)元的結(jié)構(gòu)樹(shù)突從細(xì)胞體伸向其它神經(jīng)元 神經(jīng)元之間的接受信號(hào)的聯(lián)結(jié)點(diǎn)為突觸 通過(guò)突觸輸入的信號(hào)起著興奮 抑制作用 當(dāng)細(xì)胞體接受的累加興奮作用超過(guò)某閾值時(shí) 細(xì)胞進(jìn)入興奮狀態(tài) 產(chǎn)生沖動(dòng) 并由軸突輸出 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 神經(jīng)元系統(tǒng)的基本特征神經(jīng)元及其聯(lián)結(jié)神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變信號(hào)分為興奮型和抑制型一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài)每個(gè)神經(jīng)元有一個(gè)閾值 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 ANN理論及其發(fā)展階段 軸突 突觸 樹(shù)突 內(nèi)核 軸突 第一階段1943年 心理學(xué)家McCulloch和數(shù)學(xué)家Pitts對(duì)神經(jīng)元進(jìn)行形式化研究 提出了神經(jīng)元的數(shù)學(xué)模型 MP模型 1944年 D O Hebb提出改變神經(jīng)元聯(lián)結(jié)強(qiáng)度的Hebb學(xué)習(xí)規(guī)則 至今仍然是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的一個(gè)基本原則 1957年 Rosenblatt首次引進(jìn)感知器 Perceptron 概念來(lái)模擬生物的感知 學(xué)習(xí)能力 1962年 Widros提出用于自適應(yīng)系統(tǒng)的連續(xù)取值的線性網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 第二階段1969年 M L Minsky和S Papert從理論上證明了當(dāng)時(shí)單隱含層感知器網(wǎng)絡(luò)模型無(wú)法解決的許多簡(jiǎn)單問(wèn)題 包括最基本的 異或 XOR 問(wèn)題 使ANN理論的發(fā)展進(jìn)入一個(gè)低谷 1974年 Webos提出BP學(xué)習(xí)理論 S Grossberg提出自適應(yīng)共振理論 ART 第三階段突破性進(jìn)展 1982年 CalTech的物理學(xué)家J Hopfield提出Hopfield神經(jīng)網(wǎng)絡(luò)系統(tǒng) HNNS 模型 提出能量函數(shù)的概念 用非線性動(dòng)力學(xué)方法來(lái)研究ANN 開(kāi)拓了ANN用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑 1988年 McClelland和Rumelhart利用多層反饋學(xué)習(xí)算法解決了 異或 XOR 問(wèn)題 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 人工神經(jīng)網(wǎng)絡(luò)的幾種形式 無(wú)反饋前向網(wǎng)多輸入 多輸出的多層無(wú)環(huán)圖 同一層間無(wú)聯(lián)結(jié) 神經(jīng)元分層排列 組成輸入層 中間層 隱層 輸出層 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 有反饋前向網(wǎng)從輸出層到輸入層存在反饋的前向網(wǎng) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 層內(nèi)有聯(lián)結(jié)的前向網(wǎng)在無(wú)反饋前向網(wǎng)中同一層內(nèi)存在神經(jīng)元間的聯(lián)結(jié)回路 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 有向網(wǎng)任意兩個(gè)神經(jīng)元間都可能存在有向聯(lián)結(jié) 網(wǎng)絡(luò)處在動(dòng)態(tài)中 直至達(dá)到某一平衡態(tài) 周期態(tài)或者混沌狀態(tài) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 第2部分感知器 Perceptron 人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)件 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 感知器 Perceptron 是最早被設(shè)計(jì)并實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò) W McCulloch和W Pitts總結(jié)生物神經(jīng)元的基本生理特征 提出一種簡(jiǎn)單的數(shù)學(xué)模型與構(gòu)造方法 建立了閾值加權(quán)和模型 簡(jiǎn)稱M P模型 ALogicalCalculusImmanentinNervousActivity BulletinofMathematicalBiophysics 1943 5 115 133 人工神經(jīng)元模型是M P模型的基礎(chǔ) 一 感知器的數(shù)學(xué)模型 WarrenMcCulloch 1898 1969 WalterPitts 1923 1969 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 生物神經(jīng)元的基本特征神經(jīng)元及其聯(lián)結(jié)神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱神經(jīng)元之間的聯(lián)結(jié)強(qiáng)度可以隨訓(xùn)練而改變信號(hào)分為興奮型和抑制型一個(gè)神經(jīng)元接受的信號(hào)的累計(jì)效果決定該神經(jīng)元的狀態(tài)每個(gè)神經(jīng)元有一個(gè)閾值 軸突 突觸 樹(shù)突 內(nèi)核 軸突 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 模擬神經(jīng)元的首要目標(biāo) 輸入信號(hào)的加權(quán)和人工神經(jīng)元可以接受一組來(lái)自系統(tǒng)中其它神經(jīng)元的輸入信號(hào) 每個(gè)輸入對(duì)應(yīng)一個(gè)權(quán) 所有輸入的加權(quán)和決定該神經(jīng)元的激活狀態(tài) 每個(gè)權(quán)就相當(dāng)于突觸的聯(lián)結(jié)強(qiáng)度 1 人工神經(jīng)元數(shù)學(xué)模型 多輸入 單輸出的加權(quán)和結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 設(shè)X x1 x2 xn 表示n個(gè)輸入 W w1 w2 wn 表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重 故神經(jīng)元所獲得的輸入信號(hào)累計(jì)效果為 稱u x 為整合函數(shù) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 感知器的激活函數(shù) 神經(jīng)元獲得網(wǎng)絡(luò)輸入信號(hào)后 信號(hào)累計(jì)效果整合函數(shù)u x 大于某閾值 時(shí) 神經(jīng)元處于激發(fā)狀態(tài) 反之 神經(jīng)元處于抑制狀態(tài) 構(gòu)造激活函數(shù) 用于表示這一轉(zhuǎn)換過(guò)程 要求 是 1 1 之間的單調(diào)遞增函數(shù) 激活函數(shù) 通常為3種類型 由此決定了神經(jīng)元的輸出特征 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 1 激活函數(shù) 為符號(hào)函數(shù) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 2 激活函數(shù) 為分段線性函數(shù) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 3 激活函數(shù) 為Sigmoid函數(shù) 其特點(diǎn)是單調(diào)遞增 光滑且具有漸近值 具有解析上的優(yōu)點(diǎn)和神經(jīng)生理學(xué)特征 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 2 M P模型 將人工神經(jīng)元的基本模型與激活函數(shù) 結(jié)合 即McCulloch Pitts模型 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 二 感知器的學(xué)習(xí)算法 什么是 學(xué)習(xí) Theconceptualschemefor learning inthiscontextisamachinewithaninputchannelforfigures apairofYESandNOoutputindicators andareinforcementor reward buttonthatthemachine soperatorcanusetoindicatehisapprovalordisapprovalofthemachine sbehavior M L MinskyandS A Papert Perceptron 1988 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 ANN可以學(xué)會(huì)它表達(dá)的任何東西 Rosenblatt 1962年 ANN的表達(dá)能力有限 其學(xué)習(xí)能力也受到限制 ANN的學(xué)習(xí)過(guò)程就是訓(xùn)練過(guò)程 在將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)的過(guò)程中 按照一定的方式來(lái)調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值 使得網(wǎng)絡(luò)能夠?qū)⒂?xùn)練樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲(chǔ)起來(lái) 從而使得網(wǎng)絡(luò)在接受輸入時(shí) 能夠給出適當(dāng)?shù)妮敵?有監(jiān)督的學(xué)習(xí) Supervisedlearning 無(wú)監(jiān)督的學(xué)習(xí) Unsupervisedlearning 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 基本思想感知器的學(xué)習(xí)是有監(jiān)督的學(xué)習(xí) 學(xué)習(xí)的問(wèn)題歸結(jié)為求權(quán)重系數(shù)W w1 w2 wn 和閾值 的問(wèn)題 基本思想 逐步將訓(xùn)練集中的樣本輸入到網(wǎng)絡(luò)中 根據(jù)輸出結(jié)果和理想輸出之間的差別來(lái)調(diào)整網(wǎng)絡(luò)中的權(quán)重值 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 設(shè)X x1 x2 xn 表示n個(gè)輸入 W w1 w2 wn 表示它們對(duì)應(yīng)的聯(lián)結(jié)權(quán)重 假設(shè)取符號(hào)函數(shù)為激活函數(shù) 此為經(jīng)典的M P模型 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 訓(xùn)練集的樣本 輸入向量 輸出值 為 t為樣本數(shù)目 其中 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 三 關(guān)于感知器的基本理論問(wèn)題 線性不可分 問(wèn)題的困境及其解決 MarvinMinskyMITMediaLabandMITAILabToshibaProfessorofMediaArtsandSciencesProfessorofE E andC S M I Tminsky media mit edu 1969年 Minsky和Papert在 Perceptron 一書(shū)中從理論上證明單層感知器無(wú)法解決許多簡(jiǎn)單的問(wèn)題 包括 異或 XOR 問(wèn)題 使得ANN理論的發(fā)展在1970 80年代處于低潮 導(dǎo)致政府和企業(yè)資助減少 研究人員撤退 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 異或 Exclusive OR 運(yùn)算 是一個(gè)雙輸入 單輸出問(wèn)題 對(duì)應(yīng)的單層感知器為 無(wú)論如何選擇參數(shù)a b 都無(wú)法滿足劃分 這種由單層感知器不能表達(dá)的問(wèn)題稱為線性不可分問(wèn)題 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 考慮n個(gè)自變量的二值函數(shù) 當(dāng)n 4時(shí) 線性不可分的函數(shù)個(gè)數(shù)遠(yuǎn)遠(yuǎn)超過(guò)線性可分函數(shù)的個(gè)數(shù) R O Windner 1960 表明單層感知器不能表達(dá)的問(wèn)題的數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)它可以表達(dá)的問(wèn)題的數(shù)量 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 解決途徑 多層網(wǎng)絡(luò) 一個(gè)單層網(wǎng)絡(luò)可以將空間劃分成兩部分 用多個(gè)單層網(wǎng)絡(luò)組合在一起 并用其中的一個(gè)去綜合其它單層網(wǎng)絡(luò)的結(jié)果 構(gòu)成一個(gè)二層網(wǎng)絡(luò) 即可用來(lái)在空間劃分出一個(gè)封閉或開(kāi)放的凸域 子空間 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 感知器學(xué)習(xí)算法的計(jì)算問(wèn)題 算法的收斂性對(duì)于線性可分問(wèn)題 感知器的學(xué)習(xí)算法是收斂的 算法的復(fù)雜度 略 算法的容量 略 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 非線性感知器 取權(quán)重函數(shù)為非線性函數(shù)的單級(jí)傳感器系統(tǒng) 其學(xué)習(xí)過(guò)程涉及到求解非線性方程組的方法 高階感知器 主要討論可線性化的非線性傳感器系統(tǒng) 第3部分單層前向網(wǎng) 多層前向網(wǎng)與BP學(xué)習(xí)算法簡(jiǎn)介 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 一 單層前向網(wǎng)絡(luò) 單層前向網(wǎng)模型 設(shè)有c 1個(gè)感知器 其中第k個(gè)感知器的輸出為yk 對(duì)于輸入信號(hào)x x1 x2 xn 每個(gè)感知器有d個(gè)輸入uj x j 1 2 d 輸入層 輸出層 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 一個(gè)單層前向網(wǎng)可表示為 激活函數(shù) wk wk1 wk2 wkd 第k個(gè)感知器的權(quán)重系數(shù) k 第k個(gè)感知器的閾值 u u1 u2 ud 基函數(shù)x Rn u x Rn若記wk0 k u0 1 則上式變換為 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 記yk wk x 為第k個(gè)感知器當(dāng)權(quán)重系數(shù)為wk Rd 輸入為x Rn時(shí)的輸出 設(shè)訓(xùn)練集為A x t 1 2 N 其中 表示訓(xùn)練集數(shù)據(jù)編號(hào) x Rn為輸入 t Rc為輸出 tk 為第k個(gè)感知器的期望輸出 基于訓(xùn)練集A的誤差函數(shù)定義為 單層前向網(wǎng)的學(xué)習(xí)目標(biāo)函數(shù) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 學(xué)習(xí)的目標(biāo)就是求wk k 1 2 c 使得誤差函數(shù)E w 取最小值 這就是目標(biāo)函數(shù) 單層前向網(wǎng)的學(xué)習(xí)原理本質(zhì)上仍是感知器的學(xué)習(xí)原理 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 線性單層前向網(wǎng)的解 關(guān)于基函數(shù)u x 對(duì)學(xué)習(xí)集的每一個(gè)數(shù)據(jù) 記 其中 1 2 N 由此 定義學(xué)習(xí)集A的擴(kuò)展集B 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 不妨假設(shè)激活函數(shù) 為恒等函數(shù) 此時(shí)網(wǎng)絡(luò)為線性單層前向網(wǎng) 由此寫出誤差函數(shù) 優(yōu)化的目標(biāo)函數(shù)為 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 根據(jù)最小二乘法求解目標(biāo)函數(shù) 由多元函數(shù)取極值的必要條件 有 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 寫成矩陣形式 W c d 1 U N d 1 T N c 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 解的形式為 解存在的條件 略 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 二 多層前向網(wǎng)絡(luò) BP學(xué)習(xí)算法 雙層前向網(wǎng) 多層前向網(wǎng)的結(jié)構(gòu)特點(diǎn) 1 允許網(wǎng)絡(luò)具有數(shù)層相連的處理單元 2 聯(lián)結(jié)是從前一層的每一個(gè)節(jié)點(diǎn)到下一層所有節(jié)點(diǎn) 不存在其它聯(lián)結(jié) 3 同一層內(nèi)的節(jié)點(diǎn)之間不存在聯(lián)結(jié) 4 不含任何反饋 故輸出可以用輸入和權(quán)重來(lái)表示 L層神經(jīng)網(wǎng)絡(luò) 具有L層可調(diào)節(jié)權(quán)重參數(shù) 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 雙層前向網(wǎng)模型 具有兩層可調(diào)節(jié)參數(shù)且同層無(wú)聯(lián)結(jié)的不含反饋的人工神經(jīng)網(wǎng)絡(luò) X層 輸入層Y層 輸出層Z層 隱層兩層可調(diào)節(jié)權(quán)重參數(shù) W 1 W 2 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 設(shè)輸入層的輸入為 x1 x2 xn Rn 首先考察隱層 設(shè)隱層神經(jīng)元的激活函數(shù)為 第j個(gè)隱層神經(jīng)元的整合函數(shù)為aj 輸出值為zj 第1層 隱層 權(quán)重矩陣中第i個(gè)輸入聯(lián)結(jié)到第j個(gè)隱神經(jīng)元的權(quán)重 第j個(gè)隱神經(jīng)元的閾值 人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介 同樣考察輸出層 設(shè)輸出層神經(jīng)元的激活函數(shù)為 第k個(gè)輸出神經(jīng)元以z z1 z2 zM RM為輸入 其整合函數(shù)為bk 輸出值為yk 第2層 輸出層 權(quán)重矩陣中第j個(gè)隱神經(jīng)元聯(lián)結(jié)到第k個(gè)輸出神經(jīng)元的權(quán)重 第k個(gè)輸出神經(jīng)元的閾值 人工神經(jīng)網(wǎng)絡(luò)