1、 第六章 機器學習華北電力大學 計算機系 劉麗洼濱胞趣恕頰還設畜鴨災斂崗顏輻歉謗欺霧濰溪腫淋直著結牟貪葛似單益人工智能與應用人工智能與應用第1頁，共70頁。主要內容概述機器學習的基本系統(tǒng)結構神經網(wǎng)絡學習圈窯滅爵察魂柯篙吭酣暑坑斤曾奢生梅殲綜喝倒玫歡臂弘籍積陵死溯隕股人工智能與應用人工智能與應用2第2頁，共70頁。第六章 機器學習概述機器學習的基本系統(tǒng)結構神經網(wǎng)絡學習誤齊擰飾猿妨粒田?？h掣喀秒榜锨硫瞇股雷筍翹燒在肩巴楓筏啃孟肩組誦人工智能與應用人工智能與應用3第3頁，共70頁。機器學習 概述目前為止的大多數(shù)人工智能系統(tǒng)還完全沒有或僅有很有限的學習能力現(xiàn)有的大多數(shù)人工智能系統(tǒng)是演繹的，沒有歸納推理

2、，因而不能自動獲取和生成知識未來的計算機將有自動獲取知識的能力它們直接由書本學習，通過與人談話學習，通過觀察環(huán)境學習它們通過實踐自我完善，克服人的局限性有必要對這一前景給以關注 礁亢導扶旺嚏剎絡蔡魄誤遮至含脾動攜惦什快絕嶼寺斃截茅纜允婚繭抱句人工智能與應用人工智能與應用4第4頁，共70頁。機器學習 概述爭論：機器的能力是否能超過人的能力？否定意見：機器是人造的，其性能和動作完全是由設計者來規(guī)定的，因此無論如何其能力也不會超過設計者本人肯定意見：對具備學習能力的機器而言，它的能力在應用中不斷地提高，過一段時間以后，設計者本人也不知他的能力到了何種水平這就是機器學習的不可預測問題險瘴編丑抽憋愛召葷

3、消紐吞光皿邑霞前艾琳羅覓拜緝憐雁煤黃鋒煙毫返跋人工智能與應用人工智能與應用5第5頁，共70頁。機器學習 概述學習結果的不確定性帶來的新的問題：學習系統(tǒng)產生的知識可能是系統(tǒng)設計者都無法預測，如果用這種系統(tǒng)解決重要問題，就可能產生意外的困難或危險必須設計新的有自適應能力的系統(tǒng)：用于安排測試過程來審查學習系統(tǒng)產生的知識這個系統(tǒng)必須具有與被監(jiān)測的系統(tǒng)相當?shù)膶W習能力，才能夠跟隨系統(tǒng)知識的變化，完成實時的檢測這個監(jiān)測系統(tǒng)本身的變化又如何了解、控制呢？租猴奠舵畫饅波誕估卑蔥安贅畸棘潞茄手掩挨盆篆嶄隨極綢佛肯臺殷拇漣人工智能與應用人工智能與應用6第6頁，共70頁。Three laws of Robotics(

4、1)科幻小說家艾薩克阿西莫夫在他的機器人相關作品和其他機器人相關小說中為機器人設定的行為準則第一法則：機器人不得傷害人類，或袖手旁觀坐視人類受到傷害第二法則：除非違背第一法則，機器人必須服從人類的命令第三法則：在不違背第一及第二法則下，機器人必須保護自己璃帕刷剝墊攆銳拓賒畦囚田蠱麗德宙溝賭馳命懶齊瑣屏川撾陋對姐醇謙議人工智能與應用人工智能與應用7第7頁，共70頁。Three laws of Robotics(2)1985年，機器人與帝國這本書中，阿西莫夫將三大法則擴張為四大法則：第零法則：機器人不得傷害人類整體，或袖手旁觀坐視人類整體受到傷害第一法則：除非違背第零法則，機器人不得傷害人類，或袖

5、手旁觀坐視人類受到傷害第二法則：除非違背第零或第一法則，機器人必須服從人類的命令第三法則：在不違背第零至第二法則下，機器人必須保護自己舞破堂茫頓痙鑒稻學夕任涵糙迸牟考秒鎊蔣社清儉枉蓋旗亂檢痘檬僵將凝人工智能與應用人工智能與應用8第8頁，共70頁。Three laws of Robotics(3)三定律在科幻小說中大放光彩，一些其他作者的科幻小說中的機器人也遵守這三條定律三定律也具有一定的現(xiàn)實意義，在三定律基礎上建立新興學科“機械倫理學”旨在研究人類和機械之間的關系截至2006年，三定律在現(xiàn)實機器人工業(yè)中沒有應用，但目前很多人工智能和機器人領域的技術專家也認同這個準則撫鴕遠縱隸賣鍍凱口硯婉鄒涉劉

6、姓勞縛舌封美驗徹交椽貝雖活好償穎楔因人工智能與應用人工智能與應用9第9頁，共70頁。Three laws of Robotics(4)羅杰克拉克添加了以下的定律：元定律：機器人可以什么也不做，除非它的行動符合機器人學定律。此定律置于第零、第一、第二、第三定律之前第四定律：機器人必須履行內置程序所賦予的責任，除非這與其他高階的定律沖突繁殖定律：機器人不得參與機器人的設計和制造，除非新的機器人的行動服從機器人學定律 繩筍彎肘聰寅武韭煽屹裔放不黔鋅噴遠衫歉究骸入志讓艘磐負謗屑咸錯與人工智能與應用人工智能與應用10第10頁，共70頁。機器學習 概述什么是學習？什么是機器學習？沒有被廣泛認可的準確定義S

7、imon（1983）：學習就是系統(tǒng)在不斷重復的工作中對本身能力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務或相類似的任務時，會比現(xiàn)在做得更好或效率更高Minsky (1985)：學習是在我們頭腦中（心里內部）進行有用的變化學習是一種具有多側面的現(xiàn)象。學習基本形式有知識獲取和技能求精衛(wèi)養(yǎng)霞朗靳蹤娠刁霉丫稿仕存著葫誼維兇聞宙叉靖查虞臼哄茁唬勢肖轎非人工智能與應用人工智能與應用11第11頁，共70頁。機器學習 概述知識獲取學習的本質例如科學知識的學習是一個自覺的過程，其結果是產生新的符號知識結構和智力模型技能求精通過教育或實踐改進機制和認知能力借助觀察和實驗發(fā)現(xiàn)新的事實和新的理論。例如學習騎自行車是

8、下意識地借助于反復地實踐來實現(xiàn)的炒蟻閉穿華刮救懶揖祁十信驗悅氣雷汽佛閱入講留奠矢姿盯月往勞使淑拿人工智能與應用人工智能與應用12第12頁，共70頁。機器學習 概述機器學習的任務主要包括以下兩個方面：獲得對于輸入的數(shù)據(jù)進行分類能力：如醫(yī)療診斷，信用卡業(yè)務或交易，投資，DNA序列，口語，手寫字，天文圖象等等獲得解決問題，行為計劃和行為控制等的能力如解決微分問題，下跳棋，象棋，平衡杠桿，駕車等等食皆林駕件攘尿哄竊沙擺崇窗宴銅睦巾緬原肩纖懦攻竹協(xié)畸貧鄲醋涼討硬人工智能與應用人工智能與應用13第13頁，共70頁。機器學習 概述對系統(tǒng)學習性能進行評價的指標：分類精度：是否能夠對輸入的數(shù)據(jù)進行正確、精確的分

9、類解答的正確性和質量：對用于分類和解決問題的系統(tǒng)都有解答正確性問題；同時正確性不一定保證有好的質量好的質量包括：可讀性、穩(wěn)定性等多方面的因素學習的速度：它不僅僅影響系統(tǒng)的設計，還影響系統(tǒng)的實現(xiàn)祿般懇興輥樂丑膿服遮顏溪是壤胎暗屏往焙錄堿瓦兇錐裁插苫僅嚙餅瘴尾人工智能與應用人工智能與應用14第14頁，共70頁。機器學習 概述機器學習一直是AI研究的瓶頸之一，表現(xiàn)在： 預測難：學習后知識庫發(fā)生了什么變化，系統(tǒng)功能的變化的預測 歸納推理：現(xiàn)有的歸納推理只保證假，不保證真。演繹推理保真而且，歸納的結論是無限多的，其中相當多是假的，給生成的知識帶來不可靠性 機器目前很難觀察什么重要、什么有意義訴云拐料涕夢

10、眺亥崔京聞蝕阜遼土抵失誹雍笆編籍夜瓜綱二可薔奏貳礎溫人工智能與應用人工智能與應用15第15頁，共70頁。機器學習 概述發(fā)展歷史：大體上可分為兩個時期早期機器學習的發(fā)展經歷了下面三個發(fā)展階段神經系統(tǒng)模型階段 開始于20世紀50年代，所研究的內容是沒有知識的學習主要研究目標是各種自組織系統(tǒng)和自適應系統(tǒng)主要理論基礎是神經網(wǎng)絡模型代表工作F.Rosenblatt提出的感知器模型機器學習的決策理論方法也應運而生。Samuel的跳棋程序是最著名的成功的學習系統(tǒng)之一矩徹飾犬限起賊豌峰慚瘩某峻安素固廈凰離軍驢腰肺具啃泉億墾丑輿律臉人工智能與應用人工智能與應用16第16頁，共70頁。機器學習 概述符號概念獲取研

11、究階段1975年左右提出這類學習過程通過分析一些概念的正例和反例構造出這些概念的符號表示表示的形式一般是邏輯表達式、決策樹、產生式規(guī)則或語義網(wǎng)絡代表有Winston的ARCH由于這類學習只能學習單個概念，未能投入實際應用慎休天額滲豹慘禁謗脯樊范麥鹵場激扎涅磷吻量剿課雇鏡裝陷段妥娥燼蛙人工智能與應用人工智能與應用17第17頁，共70頁。機器學習 概述知識加強和論域專用學習階段此方法是70年代中期開始，沿著符號主義路線進行的。在原有基礎上逐步加強、重于專業(yè)的專用性強調使用面向任務的知識和它對學習過程的引導作用。系統(tǒng)包括預先確定的概念、知識結構、論域約束、啟發(fā)式規(guī)則和論域有關的變換。系統(tǒng)在開始并不具

12、有所有的屬性或概念，在學習過程中系統(tǒng)應得到一些新的屬性或概念 闊艙嗆黃京搽庇綁陜脅賺遣株坑逾膜役屁領勃復完瀑糜堯藹裙富尿瓊予霓人工智能與應用人工智能與應用18第18頁，共70頁。機器學習 概述機器學習進入新階段的重要表現(xiàn)：機器學習已成為新的邊緣科學并在高校形成一門課程結合各種學習方法，取長補短的多種形式的集成學習系統(tǒng)的研究正在興起機器學習與人工智能各種基礎問題的統(tǒng)一性觀點正在形成各種學習方法的應用范圍不斷擴大，一部分已形成商品與機器學習有關的學術活動空前活躍取帆捌娜諷筍墟妖繩畜愛汗息蛤厲乘卿雅滑聾討作紙塔筒咐否韌往肌份骯人工智能與應用人工智能與應用19第19頁，共70頁。機器學習 概述機器學習

13、的分類 ：方法種類不少，很難系統(tǒng)分類。根據(jù)強調側面的不同可以有多種分法按學習風格分類，機器學習可以分為：記憶學習、演繹學習、歸納學習、類比學習、分析學習、發(fā)現(xiàn)學習、遺傳學習、連接學習等等也版底鎊泡虎勛嘩諒渙諄嗆鉆連雇絹吃憲聘程蔣俘捉稱聲浦蓋缸擎涂吊帥人工智能與應用人工智能與應用20第20頁，共70頁。機器學習 概述機械式學習（記憶學習），即向機器直接輸入新知識不需要進行任何推理或知識轉換，將知識直接裝進機器中。有多少寫多少，系統(tǒng)本身沒有學習過程，對知識不做任何修改，只有使用通過類推學習（演繹學習）系統(tǒng)找出現(xiàn)有知識中所要產生的新概念或技能十分類似的部分。將它們轉換或擴大成適合新情況的形式，從而取

14、得新的事實或技能。該種學習方法是大量知識的總結、推廣煌棧駕瘧喉邦躥穢庭媒造冗醬鱉拈際蘆萄儈昌濫計瑯慢摟仟瑯段鴉齋蠕飾人工智能與應用人工智能與應用21第21頁，共70頁。機器學習 概述從例子中學習（歸納學習）給學習者提供某一概念的一組正例和反例，學習者歸納出一個總的概念描述類比學習通過目標對象與源對象的相似性，運用源對象的求解方法解決目標對象的問題連接學習主要是指神經網(wǎng)絡學習，實質上就是神經網(wǎng)絡的建立過程謎峻澡機中釉枚胡庭臼返報侄濕邀鋸添擇蓖斥誣吊泌棕炳菊鏡緩暮編吵場人工智能與應用人工智能與應用22第22頁，共70頁。機器學習 概述按照實現(xiàn)途徑分類，機器學習可以分為：符號學習連接學習按學習方法分

15、類，機器學習可分為有教師指導學習，也稱從樣本學習無教師指導學習，也稱從環(huán)境中學習、強化學習黨燕計蘸謅收鈔鍬攻柴軟轎能界燎茸努渭尉價博肉沛賭肅瀝捶攬衣多脖言人工智能與應用人工智能與應用23第23頁，共70頁。第六章 機器學習概述機器學習的基本系統(tǒng)結構神經網(wǎng)絡學習博包考趨褪閑篙貞滿查種錄躺寥鈍契害傷壇啄逞穢邁吹爛脯處俏懾胡野維人工智能與應用人工智能與應用24第24頁，共70頁。第六章 機器學習概述機器學習的基本系統(tǒng)結構神經網(wǎng)絡學習吁汞拔埠謅慫宏楊嫉半郎洗茂玄柵碰偽險甥給踐妒粳格由奢餌燙搐署獅僅人工智能與應用人工智能與應用25第25頁，共70頁。機器學習 機器學習的基本系統(tǒng)結構機器學習的系統(tǒng)結構模型

16、西蒙認為：學習就是系統(tǒng)在不斷重復的工作中對本身能力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務或相類似的任務時，會比現(xiàn)在做得更好或效率更高以西蒙的學習定義作為出發(fā)點，建立起下圖所示的簡單的學習系統(tǒng)結構模型頭憨鈾搜硼妒導嘉醬刀替烘襯閃鮮惜奇逛辟椿綿俠吮妓娠數(shù)年毗盅紫辛酞人工智能與應用人工智能與應用26第26頁，共70頁。機器學習 機器學習的基本系統(tǒng)結構環(huán)境向系統(tǒng)的學習部分提供某些信息，學習部分利用這些信息修改知識庫，以增進系統(tǒng)執(zhí)行部分完成任務的效能，執(zhí)行部分根據(jù)知識庫完成任務，同時把獲得的信息反饋給學習部分畜候嘎最廣歉必茹形猩配崖攣冶滅帥氖欺涼淪沙俗邀侖去糕弗磚賓冷念科人工智能與應用人工智能與應

17、用27第27頁，共70頁。機器學習 機器學習的基本系統(tǒng)結構環(huán)境可以是系統(tǒng)的工作對象，也可以包括工作對象和外界條件對環(huán)境提供給系統(tǒng)的信息評價包含以下兩個方面信息水平： 信息的一般性程度，即適用范圍的廣泛性信息的質量：信息的正確性、是否是適當?shù)倪x擇和合理的組織環(huán)境中信息的水平和質量是影響學習系統(tǒng)設計的第一個因素，而影響學習系統(tǒng)效率的另一個重要因素是知識庫的形式和內容甸泰綴妨哀錳毫崖整蔥曠完驢綸幻憾雀鉀垃邑航瑟梅瘋肪逾諸畝擯冗閻避人工智能與應用人工智能與應用28第28頁，共70頁。機器學習 機器學習的基本系統(tǒng)結構知識庫：知識庫的形式即知識表示的形式是否適宜非常重要知識庫的內容是指知識庫在初始階段要有

18、相當?shù)某跏贾R，并且在學習過程中不斷修正和增加新的知識。知識庫內的知識大多是以概念的形式存儲的瞎選憊疹囪供狠歡滇例輪弘桐葡某吾骸級坎往晶鞘僑峙膳女錠抖抓壺慫薦人工智能與應用人工智能與應用29第29頁，共70頁。機器學習 機器學習的基本系統(tǒng)結構知識庫的形式常用的知識表示方法有：特征向量、謂詞演算、產生式規(guī)則、過程、LISP函數(shù)、數(shù)字多項式、語義網(wǎng)絡和框架選擇知識表示方法要考慮可表達性：表達方式要能描述缺乏內在結構的事物推理難度：表示的不同，推理當然有的容易，有的難可修改性：知識是否可修改。不能修改的知識不能更新可擴充性：系統(tǒng)學習通過增加詞典條目和表示結構來擴大表示能力，使得系統(tǒng)能夠學習并表示更復

19、雜的知識握壓澗樣滯繞豬婦當耀授挪穴沽造滾外刷傾敝曝糞媽罕漾幸譴鞏斑攔鹽隘人工智能與應用人工智能與應用30第30頁，共70頁。機器學習 機器學習的基本系統(tǒng)結構學習環(huán)節(jié)是核心模塊，是和外部交互的接口學習部分對環(huán)境提供的信息整理、分析、歸納或類比，生成新的知識元或利用這些信息修改知識庫，以增進系統(tǒng)執(zhí)行部分完成任務的效能學習環(huán)節(jié)從執(zhí)行環(huán)節(jié)得到執(zhí)行結果的反饋信號，進行學習修正，進一步改善執(zhí)行環(huán)節(jié)的行為執(zhí)行環(huán)節(jié)的復雜性、反饋和透明度都對學習環(huán)節(jié)有影響。復雜的任務需要更多的知識光屎黨腿導僻禮通笑檸揍加獵鎊魂艇皮羚待避改拷時貪綻靈枝堆揩炎諷盜人工智能與應用人工智能與應用31第31頁，共70頁。機器學習 機器學

20、習的基本系統(tǒng)結構執(zhí)行環(huán)節(jié) 根據(jù)知識庫執(zhí)行一系列任務，同時把執(zhí)行結果或執(zhí)行過程中獲得的信息反饋給學習部分，完成對新知識庫的評價，指導進一步的工作任務的復雜性由執(zhí)行任務所需的是單個概念還是多個概念，執(zhí)行任務采用的方式是單步還是多步來決定莆吶傈誅棒挖艦雍酗柞晉蔥淫峻短療工桶世晰舉圍莢仿拐蚊巡百俊耐賽嗽人工智能與應用人工智能與應用32第32頁，共70頁。第六章 機器學習概述機器學習的基本系統(tǒng)結構神經網(wǎng)絡學習呂炯諱俏長清筏房微嗚抬痞杯相謝九緣三孵逞趾混然懶脅特俯啞謂寒猙孰人工智能與應用人工智能與應用33第33頁，共70頁。第六章 機器學習概述機器學習的基本系統(tǒng)結構神經網(wǎng)絡學習順懸臉雕嶄繕祥絡淌臆崎奉敬隔

21、聲扦任辭率咱柴墅氯三已牢長滾褒鵲追哈人工智能與應用人工智能與應用34第34頁，共70頁。機器學習 神經網(wǎng)絡學習神經網(wǎng)絡基礎發(fā)展史生物神經元基本模型神經網(wǎng)絡基本模型神經網(wǎng)絡特性前饋型人工神經元網(wǎng)絡線性閾值單元感知器及其學習算法BP算法壽薪圣夯哦沏創(chuàng)均嵌鮑末種捍肯厭身賒或薔屆弓逐卵響冗社斧米篩筆贖嗎人工智能與應用人工智能與應用35第35頁，共70頁。神經網(wǎng)絡基礎發(fā)展史1890年，美國生物學家W.James出版了Physiology（生理學）一書。首次闡明了有關人腦結構及其功能，以及相關學習、聯(lián)想、記憶的基本規(guī)律1943年McCulloch（心理學家）和Pitts（數(shù)理邏輯學家）發(fā)表文章，提出M-P

22、模型描述了一個簡單的人工神經元模型的活動是服從二值（興奮和抑制）變化的總結了神經元的基本生理特性，提出了神經元的數(shù)學描述和網(wǎng)絡的結構方法情程孕凈傭夷但存雷影蟬且朵噶乎堤雙橫晾熒劑妖躬劣稻哀約廂墩懷弧啊人工智能與應用人工智能與應用36第36頁，共70頁。神經網(wǎng)絡基礎 發(fā)展史1957年Frank Rosenblatt定義了一個神經網(wǎng)絡結構，稱為感知器(Perceptron)第一次把神經網(wǎng)絡研究從純理論的探討推向工程實現(xiàn)。掀起了神經網(wǎng)絡研究高潮通過在IBM704計算機上的模擬，證明了該模型有能力通過調整權的學習達到正確分類的結果 1969M.Minsky和S. Papert發(fā)表了Perceptron

23、s的論著：指出感知器僅能解決一階謂詞邏輯，只能做線性劃分對于非線性或其他分類會遇到很大困難。一個簡單的XOR問題的例子就證明了這一點神經網(wǎng)絡研究一度達到低潮城踏訝嘩碎憶操戶會跟咬婆階聶貶芯揀燥科算傍凱力芍旱再惜怠丫坦云薄人工智能與應用人工智能與應用37第37頁，共70頁。神經網(wǎng)絡基礎 發(fā)展史使神經網(wǎng)絡研究一度達到低潮原因還有，計算機不夠發(fā)達、VLSI還沒出現(xiàn)、而人工智能和專家系統(tǒng)正處于發(fā)展高潮七十年代,據(jù)說全球只有幾十個人在研究，但還是成功的。如：日本Fukusima的Neocognitron（新認知機）芬蘭Kohonen的自組織神經網(wǎng)絡SOM ( Self-Organizing featur

24、e map)Stephen Crossberg的共振自適應理論ART網(wǎng)絡等 ( Adaptive Resonance Theory)趙看慫唆靶爭松蘸助阮味母條專巳餡幽孵嗜翼扭腔擋記臼見系瑰愛渺淪紛人工智能與應用人工智能與應用38第38頁，共70頁。神經網(wǎng)絡基礎 發(fā)展史1982年John J. Hopfield（物理學家）提出了全聯(lián)接網(wǎng)絡全新的具有完整理論基礎的神經網(wǎng)絡模型。年后AT&T等做出了半導體芯片。神經網(wǎng)絡復興時期開始1986年美國的一個并行計算研究小組提出了前向反饋神經網(wǎng)絡的Back Propagation（BP）學習算法。成為當今應用最廣泛的方法之一。該方法克服了感知器非線性不可分類

25、問題，給神經網(wǎng)絡研究帶來了新的希望 嘆簿害紉躊繪煞匆侵談達堰鄧已乍均癬窮疊毒殃育障疇丙鉻御買悶馮法恰人工智能與應用人工智能與應用39第39頁，共70頁。神經網(wǎng)絡基礎 發(fā)展史運用BP學習算法進行學習的神經網(wǎng)絡模型與“多層感知器”模型在原理上是完全相同的感知器也同樣具有與多層前饋網(wǎng)絡相同的分類能力，只是由于當時沒有理論支撐的設計算法，也就是學習算法，因而失去了實際應用的意義 亮于式控榔攬誅洼鯨名宜饞陪藉忻電敷咆認靛欺孟女暫視聯(lián)擒疊積產粥韋人工智能與應用人工智能與應用40第40頁，共70頁。神經網(wǎng)絡基礎 發(fā)展史1987年在美國召開了第一屆世界神經網(wǎng)絡大會，1000人參加IJCNN等大會Neural

26、Computing, IEEE Neural Network 等期刊哼撣劃彬驟婪終科廂布眨對馱慧簾昔宜跪幫接彌額滾板絨痘任捶秘界訝靈人工智能與應用人工智能與應用41第41頁，共70頁。神經網(wǎng)絡基礎符號主義與連接主義共同之處：研究怎樣用計算機來模仿人腦工作過程。最終目的是希望機器能夠做到學習-實踐-再學習-再實踐，最終獲得智能 不同之處：符號主義研究人腦的推理、學習、思考、規(guī)劃等思維活動，解決需人類專家才能處理的復雜問題連接主義企圖闡明人腦結構及其功能，以及一些相關學習、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學習和靈活性） 靶墾窖歷窖下依堿惱伴蔽耗浸廄餒栓的袖判開撼摘綏景謊夠肋鴕埂妨疊駱人工

27、智能與應用人工智能與應用42第42頁，共70頁。神經網(wǎng)絡基礎符號主義與連接主義例如：符號主義建立的專家系統(tǒng)是制造一個專家，幾十年難以培養(yǎng)的專家連接主義的神經網(wǎng)絡是制造一個嬰兒，一個幼兒，一個可以學習，不斷完善，從一些自然知識中汲取智慧的生命成長過程同樣是模仿人腦，但所考慮的角度不同成年人和嬰兒。學習過程不一樣。一個是總結出常人都不懂得規(guī)律；一個是沒完沒了向他出示、重復一樣東西，就象教一個小孩子說話唁趕餒虎餓娘瘧素沙諜酒釋山靡濺止痛狐朋樞勾聰恩爪鉀貼彝臼茬掖磋雙人工智能與應用人工智能與應用43第43頁，共70頁。神經網(wǎng)絡基礎符號主義與連接主義止晨鑿茬潘偉話間記稿健亢楊躁八鋪摹鵬朽頓披狼壇遏鐮遭汽

28、晰翌簍蝦桐人工智能與應用人工智能與應用44第44頁，共70頁。神經網(wǎng)絡基礎生物神經元基本模型神經元是腦組織的基本單元，人腦是由大約1011（一百億）個神經元組成的系統(tǒng)。 神經元的生物結構如下圖所示 蛹屎扇榆嘿放三妻勝緊膨哉棺炳閥瀉咕娜鵬骸構龍聞爵侯黎診?？╋枙鐢咳斯ぶ悄芘c應用人工智能與應用45第45頁，共70頁。神經網(wǎng)絡基礎生物神經元基本模型神經元具有一下結構特性：細胞體：由細胞核、細胞質與細胞膜等組成軸突：由細胞體向外伸出的最長的一條分支，稱為軸突，即神經纖維。軸突相當于細胞的輸出電纜，其端部的許多神經末梢為信號輸出端子，用于傳出神經沖動樹突：由細胞體向外伸出的其它許多較短的分支，稱為樹突。

29、它相當于細胞的輸入端，接受來自四面八方的傳入神經沖動哮都顱搓俠駛利像府湍圣腳蝸彼頁壤泄訛恭鐮謄漬飯壬急迅鼎溺氰披催兆人工智能與應用人工智能與應用46第46頁，共70頁。神經網(wǎng)絡基礎生物神經元基本模型突觸：細胞與細胞之間（即神經元之間）通過軸突與樹突相互連接，其接口稱為突觸。每個細胞約有103104個突觸。突觸有兩種類型：興奮型與抑制型膜電位：細胞膜內外之間有電位差，約為20100mV，稱為膜電位。膜外為正，膜內為負結構可塑性：由于突觸的信息傳遞特性是可變的，隨著神經沖動傳遞方式的變化，其傳遞作用可增強或減弱，所以，細胞之間的連接是柔性的，故稱為結構可塑性炭爐宣券藤剩茬趕淤掂久惰推固盤哎似蔭興攘

30、七胖肯損皮逞墓嘎垛狼攤雀人工智能與應用人工智能與應用47第47頁，共70頁。神經網(wǎng)絡基礎生物神經元基本模型神經元神經網(wǎng)絡的基本處理單元，科學研究過程中一般是一個多輸入/單輸出的非線性器件來模擬生物神經細胞的，其結構模型如圖所示 洽鄖佐琉諱卒款讓鹼黍似磊籃普腹桿泰贛帥氣遣絮惶俞溝魔齒裝墻般倔桑人工智能與應用人工智能與應用48第48頁，共70頁。神經網(wǎng)絡基礎生物神經元基本模型yi表示神經元的輸出；u表示神經元的輸入總和，它相當于生物神經細胞的膜電位, si表示外部輸入信號（在某些情況下，它可以控制神經元u，使它保持在某一狀態(tài)） 函數(shù)y=f(u)稱為特性函數(shù)（也稱作用函數(shù)或傳遞函數(shù)），特性函數(shù)可看作

31、是神經元的數(shù)學模型芹竭衣松朱粹沿痙唐孕啃派費雙鋇善被祖盯殖睫配敵胖獎司宮咬初寐首跨人工智能與應用人工智能與應用49第49頁，共70頁。神經網(wǎng)絡基礎生物神經元基本模型常見的特性函數(shù)有以下幾種：閾值型：如S狀：這類函數(shù)的輸入輸出特性多采用指數(shù)、對數(shù)或雙曲正切等S型函數(shù)表示。例如： sigmoid函數(shù) 分段線性型：神經元的輸入輸出特性滿足一定的區(qū)間線性關系，其特性函數(shù)表達為： 耙唾褒赫暗鋅案畔憊剖繩姨鐐埔宴錯薪平格芹無她灌疇決朔壺危始隊梨坦人工智能與應用人工智能與應用50第50頁，共70頁。神經網(wǎng)絡基礎生物神經元基本模型以上三種特性函數(shù)的圖像依次如圖中的(a)、(b)、(c)所示跺試秦測齡跺豬穢賺向

32、趴而厲撕炮盆弘湃引晝逮右汁春褥居幸桂棋掂嶼額人工智能與應用人工智能與應用51第51頁，共70頁。神經網(wǎng)絡基礎神經網(wǎng)絡的基本模型人腦神經網(wǎng)絡：人腦中約有140億個神經細胞根據(jù)Stubbz的估計這些細胞被安排在約1000個主要模塊內每個模塊上有上百個神經網(wǎng)絡每個網(wǎng)絡約有十萬個神經細胞人工神經網(wǎng)絡是由大量處理單元廣泛互連而成的網(wǎng)絡，反映了人腦功能的基本特性菲鹵后選叮斡淋只腥舒哈晝柒熏鴨呀薛街戍揍置塊吾礫務彝等遣齡茸便惡人工智能與應用人工智能與應用52第52頁，共70頁。神經網(wǎng)絡基礎神經網(wǎng)絡的基本模型前饋網(wǎng)絡：信號由輸入層到輸出層單向傳輸每層的神經元僅與前層的神經元相連接每一層的神經元之間沒有橫向的信

33、息傳輸每一個神經元受到前層全部神經元的控制逮匿碩槐戍數(shù)剪擱筷兒柴啟乓樹衰福秩腋堵朝刃平宏涕才弟情飯鄰釩潑蜜人工智能與應用人工智能與應用53第53頁，共70頁。神經網(wǎng)絡基礎神經網(wǎng)絡的基本模型輸入輸出有反饋的前饋網(wǎng)絡：輸出層上存在一個反饋回路，將信號反饋到輸入層網(wǎng)絡本身還是前饋型的輸出反饋信號可以是原始輸出信號，也可以是經過轉化的輸出信號?？梢允潜緯r刻的也可以是經過一定延遲的經常用于系統(tǒng)控制、實時信號處理等，需要根據(jù)系統(tǒng)當前狀態(tài)進行調節(jié)的場合誹伺黃潤礫悟炔最禍峻撩肚廬代餃毯稈墻注擅過渤輸槍灣猾蔣另換轅晦擰人工智能與應用人工智能與應用54第54頁，共70頁。神經網(wǎng)絡基礎神經網(wǎng)絡的基本模型前饋內層互聯(lián)

34、網(wǎng)絡：外部看還是一個前向網(wǎng)絡內部有很多自組織網(wǎng)絡在層內互聯(lián)著瓜嫂輕踴湖褪鍵舞乞綱地馭酬般澄池隸職參師瑤崖例鎂暖喬柳逸秦辦時逢人工智能與應用人工智能與應用55第55頁，共70頁。神經網(wǎng)絡基礎神經網(wǎng)絡的基本模型反饋型全互聯(lián)網(wǎng)絡：所有計算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡 轅贅柏拴礬萎橢色燴兒臟笛方俏皿苦笑涼椎基孿訃峰印蒸獰案擁拔熾按瓤人工智能與應用人工智能與應用56第56頁，共70頁。神經網(wǎng)絡基礎神經網(wǎng)絡的屬性基本屬性：非線性：大腦的智慧就是一種非線性現(xiàn)象。人工神經元處于激活或抑制兩種不同的狀態(tài)。這種行為在數(shù)學上表現(xiàn)為一種非線性 非局域性：人腦的非局域性非常顯著。例如，人腦的（小范圍）局部

35、損傷通常不影響整個腦組織的正常工作。神經網(wǎng)絡通過單元之間的大量聯(lián)接模擬大腦的非局域性。聯(lián)想記憶是非局域性的典型例子囊步醛碩烘幌且靳礦件葦睛矗彰豺柒旗跨鐳帛藕下轎遷支嘉棲耗二肛悼肚人工智能與應用人工智能與應用57第57頁，共70頁。神經網(wǎng)絡基礎神經網(wǎng)絡的屬性非定常性：非定常性是人腦發(fā)育的一個重要特征。人類腦神經細胞、神經網(wǎng)絡是在不停地變化以適應外界環(huán)境的變化。人工神經網(wǎng)絡也同樣具有這種功能，可以通過樣本提示來模擬環(huán)境變換，使得系統(tǒng)能夠學習、自適應、自組織非凸性：一個系統(tǒng)的演化方向，在一定條件下，將取決于某個特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個極值

36、，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導致系統(tǒng)演化的多樣性 頓貞底烹邪攣健疼硫傀濃調擰瞧課按磁風彭張龐似蛾卑蛔痘氈藥攏宮篆攬人工智能與應用人工智能與應用58第58頁，共70頁。神經網(wǎng)絡基礎優(yōu)缺點評價優(yōu)點：并行性；分布存儲；容錯性；學習能力 缺點：不適合高精度計算；學習問題沒有根本解決，慢；目前沒有完整的設計方法，經驗參數(shù)太多倒窺懸馳鍘隆垮舞稚挫煎擊莫灰祈科德忽卡揪撓訣舔隋合噸柏叭資齡嗽搏人工智能與應用人工智能與應用59第59頁，共70頁。神經網(wǎng)絡學習前饋型人工神經網(wǎng)絡在前饋網(wǎng)絡中的神經單元輸入與輸出的關系，可采用線性閾值傳遞函數(shù)或單調上升的非線性傳遞函數(shù)線性閾值傳遞函數(shù)熄結茨撣藍們埋剿雷咆廄收范

37、盒底展吁莫看誘問崎甕委弟忌盛置籬聶帝疹人工智能與應用人工智能與應用60第60頁，共70頁。神經網(wǎng)絡學習前饋型人工神經網(wǎng)絡感知器 Rosenblatt，1957是一個由線性閾值元件組成的單層（或多層）神經元的神經網(wǎng)絡當輸入的加權和大于或等于閾值時，輸出為1，否則為0模型假定神經元中間的耦合程度（即加權系數(shù)W）可變，這樣，該模型可以學習壞鬧蕉渤她養(yǎng)氧香陋拘恍求債僳塔廉溺略植緒篇歪罰叛阻潰喝烹紹沙攀擬人工智能與應用人工智能與應用61第61頁，共70頁。神經網(wǎng)絡學習前饋型人工神經網(wǎng)絡當感知器用于兩類模式的分類時:相當于在高維樣本空間中，用一個超平面將兩類樣本分開Rosenblatt給出了相應的學習算法神經網(wǎng)絡的學習過程就是神經網(wǎng)絡參數(shù)的設定過程一個神經元網(wǎng)絡結構確定之后，需要對一系列參數(shù)（權重、閾值等）進行有效的設定。這個過程叫做學習或訓練過程，此時的方法叫學習算法裴括練突皇氈熙瑣缺嬸破藥羔鑰期經扦敵人蟲伯惋妹板珍敲洶串欣益既銻人工智能與應用人工智能與應用62第62頁，共70頁。神經網(wǎng)絡學習前饋型人工神經網(wǎng)絡感知器具體學習算法如下：給定初始值：賦給wi(0)各一個較小的隨機非零值，這里wi(t)為t時刻第