智能計算基礎(chǔ)第一章緒論第二章不精確推理第三章人工神經(jīng)網(wǎng)絡(luò)計算第四章演化計算第五章數(shù)據(jù)挖掘第六章粗集與模糊邏輯1第一章緒論智能的概念智能的發(fā)展歷史智能學(xué)的產(chǎn)生智能計算的分支2智能的概念哲學(xué)（philosophy）一詞來自于希臘語philosophia，是由愛好（philo）和智慧（sophia）組成。什么是智能？智能在哪里？智能什么樣？智能：個體有目的的行為、合理的思維，以及有效的適應(yīng)環(huán)境的綜合性能力。智能在人體中，是腦的重要功能。智能的表現(xiàn)形式多樣。其他動物是否具有智能？人類和一些動物具有的智力和行為能力。蚊子、蝙蝠、信天翁、海豚、猴子。電腦具有智能嗎？3最早的智力工具從起源中理解事物，就是從本質(zhì)上理解事物。4最早的智力工具最早的智力工具（大約公元前3500年）數(shù)的認識計數(shù)數(shù)制計算算盤的發(fā)明算盤的樣子算盤的使用算盤的未來5思維邏輯研究公孫龍（約前320年-前250年）白馬論指物論通變論堅白論名實論跡府白馬非馬6思維邏輯研究白馬論白和馬是兩個不同的概念白馬不同于馬白馬的“白”和“馬”可以分開黃馬和馬不同馬的顏色屬性并不固定7思維邏輯研究堅白論石頭的白色和堅硬是可以分離的屬性。眼睛看不到石之堅，只能見石之白，這時堅硬性等于沒有；手摸不到石之白，只能感到石之堅，這時白等于沒有。有時感到堅硬，有時感到白色，感覺到的和感覺不到的，彼此分離。彼此不聯(lián)在一起的，叫分離。分離就是潛在于自身之中。8思維邏輯研究名實論討論名詞（名）與其所指（實）的關(guān)系時，提出了名詞的所指必須有確定的規(guī)律。故彼彼止于彼，此此止于此，可。彼此而彼且此，此彼而此且彼，不可。如果認為那個就是那個，這個就是這個，是正確的；而認為那個也是這個，這個也是那個，則不正確。9思維邏輯研究墨子（約前468年-前376年）研究了類比推理、直接推理定義了具體名詞、抽象名詞區(qū)分了全稱判斷和特稱判斷兩個互相矛盾的判斷不能同時成立，必定有一個不能成立。墨子是中國邏輯學(xué)的奠基者。10思維邏輯研究荀子（約前313年-前238年）批判地改造了先秦諸子的學(xué)術(shù)思想，反對天命、神鬼迷信，形成了比較完整的唯物主義哲學(xué)體系。對于智力，有一定的認識。他認為“智力在心里?！倍?、目、口、鼻、形，能各有接而不相能也，夫是之謂天官。心居中虛，以治五官，夫是之謂天君。11腦的作用和發(fā)現(xiàn)腦的發(fā)現(xiàn)，在公元前600年—前250年希臘哲學(xué)家、醫(yī)學(xué)教師希波克拉底，得出結(jié)論：大腦是人類感情的源地。亞里士多德也研究過腦，“在所有的動物中，人擁有相對于身體比例而言最大的大腦?！?2哲學(xué)的發(fā)展蘇格拉底：（前470—前399年），最早提出“歸納論證”方法。要求認真考察前提和結(jié)論，精確地說明和定義概念，推斷必須有嚴格演繹，假設(shè)必須論證或駁斥。柏拉圖：（約前427年－前347年），把蘇格拉底的言論學(xué)說記錄，與自己的思想融合到一起，創(chuàng)建了哲學(xué)學(xué)科，史稱哲學(xué)王。亞里士多德：（前384—前322年），創(chuàng)造了形式邏輯學(xué)。主要著作有：形而上學(xué)、物理學(xué)、詩學(xué)、工具論、政治學(xué)、論靈魂、論產(chǎn)生與毀滅、倫理學(xué)。被稱為“動物學(xué)之父”。與柏拉圖同在，與亞里士多德同在。13邏輯學(xué)判斷語句是對事物有所肯定或否定的思維形式。命題是具有真假意義的一句話。三段論如果所有闊葉植物都是落葉的，并且所有葡萄樹都是闊葉植物，則所有葡萄樹都是落葉的。14邏輯學(xué)證明指出了要通過推理獲得知識，就必須由已有的知識出發(fā)。駁斥了“一切知識都要經(jīng)過證明”的言論。公理、設(shè)定和定義都不需要證明。形而上學(xué)提出矛盾律、排中律和歸納法把矛盾律看作關(guān)于事物的規(guī)律承認有一種“直覺推理”的思維方式不受邏輯支配。15形而上學(xué)形而上學(xué)(metaphysics)是哲學(xué)術(shù)語，哲學(xué)史上指哲學(xué)中探究宇宙根本原理的部分。形而上學(xué)可以理解為：對“終極實在”的研究。廣義上說，研究超越感性經(jīng)驗存在的學(xué)問，都可以叫做形而上學(xué)。中文譯名“形而上學(xué)”取自《易經(jīng)》中“形而上者謂之道，形而下者謂之器”一語。16近代智能世界笛卡爾笛卡爾（1596-1650）提出了運動量守恒定律。他的學(xué)說導(dǎo)致關(guān)于人類存在與思維問題的理解發(fā)生了革命性的變化?！缎味蠈W(xué)的沉思》、《方法論》、《哲學(xué)原理》、《心靈感受》發(fā)明了笛卡爾坐標，被稱為“解析幾何之父”。現(xiàn)代哲學(xué)之父、啟蒙之父17近代智能世界笛卡爾發(fā)生在腦部的任何特定的活動，會立即影響人的心靈，并產(chǎn)生相應(yīng)的感受。如果每當小提琴聲響時，你抽打一條狗五六次，那么，一旦它再聽到提琴聲，它就會吼叫而跑。18概率論的產(chǎn)生概率論源于意大利的賭博業(yè)。法國科學(xué)家Pascal和Fermat提出了概率論的概念。貝努力提出了“置信度”的概念。當有了新的證據(jù)時，主觀概率可以更改。Bayes提出了Bayes公式，奠定了人工智能系統(tǒng)中不確定推理的現(xiàn)在方法論的基礎(chǔ)。拉普拉斯：把古典概率論推進到現(xiàn)代概率論，形成了概率與統(tǒng)計。19數(shù)字計算器的發(fā)明Pascal于1642年發(fā)明了機械加減法機。Leibniz改進了Pascal的機器，于1673年造出了四則運算器，并提出了二進制的想法。Babbage于1821年發(fā)明了通用計算機，可以存儲地址和程序，用于自動計算數(shù)學(xué)表，貼近了現(xiàn)代電子計算機。20邏輯數(shù)學(xué)化布爾于1847年提出了邏輯代數(shù)，把邏輯學(xué)引入到數(shù)學(xué)領(lǐng)域。布爾名著《思想規(guī)律的研究》曾提出：用符號語言與運算可以表示任何事物。提出了“類”的概念，類與集合相近，類由屬于它的元素組成，它們都可以用符號表示。邏輯可以看作是類的演算，即相應(yīng)的符號的代數(shù)。21邏輯數(shù)學(xué)化布爾指出：交換律X+Y=Y+XXY=YX分配率X(Y+Z)=XY+XZ結(jié)合律X+(Y+Z)=(X+Y)+ZX(YZ)=(XY)Z22生命進化論法國博物學(xué)家拉馬克于1809年提出了進化學(xué)說。闡述了物種是可變的，其穩(wěn)定性是相對的。拉馬克被認為是科學(xué)進化論的創(chuàng)始人。達爾文，于1859年發(fā)表了《物種起源》。繁殖過剩，生存競爭，適者生存，自然定向選擇，構(gòu)成了達爾文進化論的核心。孟德爾，于1865年發(fā)表了《植物雜交試驗》，為遺傳學(xué)奠定了基礎(chǔ)，也為生物進化中的遺傳變異提供了理論基礎(chǔ)。被稱為現(xiàn)代遺傳學(xué)之父。23腦的研究腦部功能區(qū)的確定大腦左半側(cè)控制身體右側(cè)，右腦控制身體左側(cè)。左半部主管語言、數(shù)學(xué)解析和分析思維；右半部主管空間思維和樂感、理解普通名詞、簡單句子和簡單算術(shù)。24腦的研究大腦的解剖腦是由什么組成的：高爾基于1872年發(fā)現(xiàn)了神經(jīng)元，并且認為它們是直接連接在一起的?？訝栒J為神經(jīng)元之間存在間隙，即突觸?？訝柋徽J為是神經(jīng)元學(xué)說的創(chuàng)立者。25神經(jīng)網(wǎng)絡(luò)詹姆斯：由神經(jīng)元組成的神經(jīng)系統(tǒng)，其功能是調(diào)節(jié)生物體內(nèi)各器官的活動和適應(yīng)外部環(huán)境。聯(lián)想是由事件A聯(lián)想起事件B的過程，是大腦皮層活動區(qū)A去激活大腦皮層活動區(qū)B的過程。1943年，由生理學(xué)家麥克卡洛和數(shù)理邏輯學(xué)家皮茨成立了腦模型，稱為MP模型，開創(chuàng)了用電子裝置模仿人腦結(jié)構(gòu)和功能的研究方向。26心理學(xué)心理學(xué)是研究心理過程和行為的科學(xué)，即研究認識、感情、意志等心理過程和能力、性格等心理特性。實驗心理學(xué)、認知心理學(xué)取得了很重要的理論和應(yīng)用。在機器的心理學(xué)研究上未取得有效的突破。27計算機模型的提出圖靈，于1934年提出邏輯設(shè)計和通用機器的概念。被稱作人工智能之父，計算機科學(xué)之父。于1936年發(fā)表論文《論可計算數(shù)及其在判定問題中的應(yīng)用》，是闡明現(xiàn)代計算和計算機原理的開山之作。28計算機模型的提出圖靈機，是通過一條紙帶讀入某種符號，一次讀入一個符號。機器內(nèi)部有一個動作表，決定具體的動作。這些動作組成一組計算的基本動作，由它們構(gòu)成不同的數(shù)學(xué)運算。通用圖靈機，就是能完成各種行為表的圖靈機，相當于現(xiàn)代計算機。29計算機的出現(xiàn)馮諾依曼于1945年提出了“在計算機內(nèi)部存儲器中儲存指令”的工作原理，以及基于這一原理的計算機系統(tǒng)結(jié)構(gòu)?？刂破鳌⑦\算器、存儲器、輸入和輸出設(shè)備的結(jié)構(gòu)仍然是主流計算機的結(jié)構(gòu)。30控制論和信息論的出現(xiàn)控制論：維納于1948年提出。自動控制和自我調(diào)節(jié)是生物智能行為的核心?？刂普摰幕舅枷胧怯媒y(tǒng)一的觀點討論控制、通信與計算機，指出了計算機與神經(jīng)系統(tǒng)工作機理的相似性。信息論：香農(nóng)于1948年提出。香農(nóng)的論文“通信的數(shù)學(xué)理論”，采用了信息編碼和概率論方法，研究信號傳輸過程中的波形和干擾問題，發(fā)展了關(guān)于信息量的計算方法和統(tǒng)計理論，解釋了通信過程的本質(zhì)。31神經(jīng)元學(xué)習(xí)Hebb，提出了著名的Hebb學(xué)習(xí)規(guī)則。神經(jīng)元是通過不斷的學(xué)習(xí)獲得能力的增長的。學(xué)習(xí)能力的大小與神經(jīng)元的特征及神經(jīng)元的學(xué)習(xí)強度有關(guān)。某些學(xué)習(xí)是由遺傳決定的。外界環(huán)境也會影響神經(jīng)元的學(xué)習(xí)。32人工智能的誕生1956年在美國Dartmouth大學(xué)舉行了2個月的研討會。會上首次提出了“ArtificialIntelligence”這個概念，討論如何使機器模擬人類智能這個中心問題。由Newell和Shannon研制的邏輯理論機LT數(shù)學(xué)定理證明程序，是第一個處理符號而不是數(shù)字的程序，是機器證明數(shù)學(xué)定理的最早嘗試。Samuel編制的跳棋程序具有學(xué)習(xí)能力，后來超過了設(shè)計者本人。1969年，第一屆國際人工智能聯(lián)合會召開。我國從1978年開始計劃人工智能的研究。33進化計算生物從低級進化到高級、從不完善到完善的過程，類似于計算機處理事務(wù)的過程。一個生命體用一組特征數(shù)據(jù)表示，用它對生存環(huán)境的的適應(yīng)程度來評價它的優(yōu)劣，讓適應(yīng)性更強的特征繁殖得更快，最終取代適應(yīng)性差的。這就是生物進化的抽象過程，對它編程后就得到進化計算。代表：遺傳算法34計算智能人工神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)和進化計算統(tǒng)稱為計算智能，這三者都是模仿人的智能或自然規(guī)律，給出解決實際問題的一套計算方法，稱之為智能計算方法。35專家系統(tǒng)與知識工程Feigenbaum，1969年與同事開發(fā)出DENDRAL專家系統(tǒng)，該系統(tǒng)能從光譜儀提供的信息中推斷出物質(zhì)的分子結(jié)構(gòu)。1976年，他們又開發(fā)出MYCIN醫(yī)療專家系統(tǒng)，用于抗生素藥物治療和血液感染診斷。1977年，F(xiàn)eigenbaum提出了專家系統(tǒng)和知識工程的概念。36知識工程知識工程是人工智能的一種技藝，它運用人工智能的原理和方法，對那些需要專家知識才能解決的應(yīng)用難題提供求解的手段。恰當運用專家知識的獲取、表達和推理過程的構(gòu)成與解釋，是設(shè)計基于知識的系統(tǒng)的重要技術(shù)問題。37人機大戰(zhàn)下棋是很抽象的活動，是機器可以和人競爭的智能領(lǐng)域之一。香農(nóng)和圖靈都編寫過下棋程序。香農(nóng)提出的評估函數(shù)，至今還在廣泛應(yīng)用。Samuel編寫的西洋跳棋程序，首次引入了自適應(yīng)的概念。1997年，深藍和卡斯帕羅夫大戰(zhàn)。2004年，紫光計算機和諸宸大戰(zhàn)。38智能計算的分支人工智能專家系統(tǒng)機器學(xué)習(xí)語音識別機器翻譯人機對弈人工神經(jīng)網(wǎng)絡(luò)演化計算數(shù)據(jù)挖掘39第二章不精確推理不精確推理的概念不精確推理的方法可信度方法主觀Bayes方法證據(jù)理論40推理的類型演繹推理：由一組前提必然推導(dǎo)出某個結(jié)論的過程。演繹推理的核心是三段論。演繹推理沒有增加新的知識。演繹推理的結(jié)果是保真的。歸納推理：以某命題為前提，推論出與其有歸納關(guān)系的其他命題的過程。歸納推理增加了新的知識，但是不保真。在系統(tǒng)應(yīng)用時，先根據(jù)一些事實進行歸納推理，得出一些結(jié)論，再根據(jù)一些事實對這些結(jié)論進行驗證，去掉錯誤的，保留正確的。41推理的類型外展推理：已知某一結(jié)果已經(jīng)發(fā)生，去尋找這個結(jié)果的原因。也即由因到果的解釋論證過程。菜中放了糖會有甜味，放了醋會有酸味，放了鹽會有咸味。當我們從菜中吃出了某種味道，推理出菜中放了什么。概率推理：按照事件發(fā)生概率的大小來進行推理的過程。非單調(diào)推理：推理過程中，在增加某些新的事實時，能夠取消以前的一些結(jié)論。不確定推理：42不精確推理的因素知識不完備、不精確知識描述的模糊性知識的隨機性原因的多樣性解決方案不唯一43不精確推理的概念不精確推理就是在知識的不確定性和證據(jù)的不精確性基礎(chǔ)上進行的具有一定程度不精確但卻是合理的結(jié)論的思維過程。

44不精確推理的基本問題不精確推理的基本問題，包括關(guān)于證據(jù)的不確定性表示，規(guī)則的不確定性表示，不確定性的計算。這些問題的不同解決方法形成了各種不精確推理方法。45證據(jù)的不確定性為C（E），它表示證據(jù)E為真的程度。規(guī)則的不確定性為f（H，E），它稱為規(guī)則強度，表示證據(jù)E為真的前提下，假設(shè)H為真的程度。不精確推理就是在規(guī)則強度和證據(jù)的不確定性的基礎(chǔ)上，定義一組函數(shù)，求出結(jié)論的不確定性度量。不精確推理模型的算法46（1）根據(jù)規(guī)則前提E的不確定性C(E)和規(guī)則強度f(H，E)求出假設(shè)H的不確定性C(H)，即定義函數(shù)g1，使C(H)=g1[C(E)，f(H，E)]（2）根據(jù)分別由獨立的證據(jù)E1、E2求得的假設(shè)H的不確定性C1(H)和C2(H)，求出證據(jù)E1和E2的組合所導(dǎo)致的假設(shè)H的不確定性C(H)，即定義函數(shù)g2，使C(H)=g2[C1(H)，C2(H)]不精確推理模型的算法47（3）根據(jù)兩個證據(jù)E1和E2的不確定性C(E1)和C(E2)，求出證據(jù)E1和E2的合取的不確定性，即定義函數(shù)g3，使C(E1ANDE2)=g3[C(E1)，C(E2)]（4）根據(jù)兩個證據(jù)E1和E2的不確定性C(E1)和C(E2)，求出證據(jù)E1和E2的析取的不確定性，即定義函數(shù)g4，使C(E1ORE2)=g4[C(E1)，C(E2)]不精確推理模型的算法48可信度方法：可信度方法是MYCIN系統(tǒng)使用的不精確推理模型，它以確定性理論為基礎(chǔ)，方法簡單實用。主觀Bayes方法：主觀Bayes方法是PROSPECTOR系統(tǒng)使用的不精確推理模型，它是對Bayes公式進行修正后形成的一種不精確推理方法。缺點是難以給出每個命題的先驗概率。證據(jù)理論：證據(jù)理論通過引進信任函數(shù)，把不確定和不知道區(qū)別開來。這些函數(shù)滿足比概率函數(shù)還弱的公理。主要的不精確推理模型491．知識的不確定性 IfEthenH，CF規(guī)則強度（規(guī)則可信度）：CF(H，E)=MB(H，E)-MD(H，E)其中MB為信任增長度(MeasureBelief)，MB(H，E)>0表示因證據(jù)E的出現(xiàn)增加了相信假設(shè)H為真的程度，即P(H|E)>P(H)。MD為不信增長度(MeasureDisbelief)，MD(H，E)>0表示因證據(jù)E的出現(xiàn)減少了相信假設(shè)H為真的程度，即P(H|E)<P(H)?？尚哦确椒?0

1 ifP(H)=1MB(H,E)=max[P(H,E),P(H)]-P(H)else 1-P(H) 因E而對H信任的增長 不相信H的概率

1 ifP(H)=0MD(H,E)=min[P(H,E),P(H)]-P(H)else -P(H) 因E而對H信任的減小 相信H的概率51性質(zhì)：（1）互斥性 當MB(H，E)>0時MD(H，E)=0 當MD(H，E)>0時MB(H，E)=0（2）值域 0MB(H，E)1 0MD(H，E)1 -1CF(H，E)152（3）典型值若P(H|E)=1，即E為真時H為真，則CF(H，E)=1若P(H|E)=0，即E為真時H為假，則CF(H，E)=-1若P(H|E)=P(H)，即E對H無影響，則CF(H,E)=0，稱為單位元。（4）CF(H，E)+CF(~H，E)=0 此點與概率不同：P(H|E)+P(~H|E)=153證明CF(H，E)+CF(~H，E)=0CF(H，E)+CF(~H，E)=MB(H，E)–MD(H，E)+MB(~H，E)–MD(~H，E)IfP(H|E)>P(H)，P(~H|E)<P(~H)則MB(H，E)–MD(~H，E)={P(H|E)–P(H)}/(1–P(H))–{P(~H|E)–P(~H)}/(-P(~H))=54(P(H|E)–P(H)+P(~H|E)–P(~H))/(1-P(H))=0IfP(H|E)<P(H)，P(~H|E)>P(~H)則-MD(H，E)+MB(~H，E)=(P(H|E)–P(H))/P(H)+(P(~H|E)–P(~H))/(1-P(~H))=055（5）互斥假設(shè) 若同一證據(jù)E有K個互不相容的假設(shè)Hi，(i=1，2，…，K)，則

只有當E邏輯蘊含某個Hi時，等式才成立。562．證據(jù)的不確定性 原始證據(jù)的不確定性（可信度）由用戶在系統(tǒng)運行時提供。 非原始證據(jù)的不確定性（可信度）由不精確推理而來。57性質(zhì)：（1）值域 當證據(jù)E以某種程度為真時0<CF(E)1 反之 -1CF(E)<0（2）典型值 當證據(jù)E肯定為真時，取CF(E)=1 當證據(jù)E肯定為假時，取CF(E)=-1 當對證據(jù)一無所知時，取CF(E)=0 單位元58

3．算法(1)動態(tài)強度----組合規(guī)則前提與規(guī)則的可信度 CF(H)=CF(H，E).max{0，CF(E)}(2)新證據(jù)法則----組合兩個獨立證據(jù)導(dǎo)出的同一假設(shè)的可信度。IfE1thenH，CF1 IfE2thenH，CF259

CF1(H)+CF2(H)-CF1(H).CF2(H) CF1(H)0且CF2(H)0CF(H)=CF1(H)+CF2(H)+CF1(H).CF2(H) CF1(H)<0且CF2(H)<0

CF1(H)+CF2(H) 其它60 組合多個獨立證據(jù)導(dǎo)出的同一假設(shè)的可信度，分別組合MB和MD：

0 當MD(H)=1MB(H)=

MB1(H)+MB2(H)-MB1(H).MB2(H) 其他

0 當MB(H)=1MD(H)=

MD1(H)+MD2(H)-MD1(H).MD2(H) 其他CF(H)=MB(H)-MD(H)61對3個獨立證據(jù)E1，E2，E3導(dǎo)出同一假設(shè):MB(H)=MB1(H)+MB2(H)+MB3(H)-MB1(H).MB2(H)-MB1(H).MB3(H)-MB2(H).MB3(H)+MB1(H).MB2(H).MB3(H)MD(H)=MD1(H)+MD2(H)+MD3(H)-MD1(H).MD2(H)-MD1(H).MD3(H)-MD2(H).MD3(H)+MD1(H).MD2(H).MD3(H) CF(H)=MB(H)-MD(H)62（3）證據(jù)的邏輯合取IfE1andE2and…andEnThenH IfEthenHCF(E)=CF(E1andE2and…andEn)=min{CF(E1)，CF(E2)，…，CF(En)}（4）證據(jù)的邏輯析取IfE1orE2or…orEnThenH IfEthenHCF(E)=CF(E1orE2or…orEn)=max{CF(E1)，CF(E2)，…，CF(En)}63例：有如下推理規(guī)則：rule1:ifE1thenH，0.9rule2:ifE2thenH，0.7rule3:ifE3thenH，-0.8rule4:ifE4andE5thenE1，0.7rule5:ifE6and(E7orE8)thenE2，1已知：CF(E3)=0.3，CF(E4)=0.9，CF(E5)=0.6，CF(E6)=0.7，CF(E7)=-0.3，CF(E8)=0.864 H 0.9 0.7 -0.8 E1 E2 E3 0.7 1 0.3 E4 E5 E6 0.9 0.6 0.7 E7 E8 -0.30.865CF(E4andE5)=min{E4，E5}=E5=0.6CF(E1)=0.6*0.7=0.42CF1(H)=0.9x

0.42 CF(E7orE8)=max{E7，E8}=E8=0.8CF(E6and(E7orE8))=min{E6and(E7orE8)}=E6=0.7CF2(H)=0.7x0.7 CF3(H)=-0.8x0.366使用MB和MD組合：MB1=0.378，MB2=0.49，MB3=0MD1=0，MD2=0，MD3=0.24MB(H)=MB1+MB2+MB3-MB1xMB2-MB1xMB3-MB2xMB3+MB1xMB2xMB3=0.68278MD(H)=MD1+MD2+MD3-MD1xMD2-MD1xMD3-MD2xMD3+MD1xMD2xMD3=0.24CF(H)=MB(H)-MD(H)=0.4427867練習(xí)題已知：R1:IFA1THENB10.8R2:IFA2THENB10.5R3:IFB1∧A3THENB20.8初始證據(jù)A1、A2、A3的可信度分別假設(shè)為0.9，0.8，1，畫出網(wǎng)絡(luò)圖，并求CF(B1)和CF(B2)。68主觀Bayes方法 以概率論Bayes公式為基礎(chǔ)1．知識的不確定性 IfEthenH，(LS，LN) 規(guī)則表示為 LS，LN E H PROSPECTOR的非精確推理過程，就是根據(jù)證據(jù)E的概率P(E)，利用規(guī)則的LS，LN，把結(jié)論H的先驗概率P(H)更新為后驗概率P(H|E)的過程，也稱為概率傳播。69Bayse公式為：70兩式相除，得：

71記為結(jié)論的先驗幾率(priorodds)記結(jié)論的后驗幾率(posteriorodds)72上式變成：同理可得：73記得

O(H|E)=LS.O(H) (1) O(H|~E)=LN.O(H) (2)上式為修改的Bayes公式74LS，LN的性質(zhì)：(1)LS當LS=1時，O(H|E)=O(H)，即E對H沒有影響。當LS>1時，O(H|E)>O(H)，即E支持H。當LS<1時，O(H|E)<O(H)，即E排斥H。故LS稱為充分性量度。75LS,LN的性質(zhì)：(2)LN當LN=1時，O(H|~E)=O(H)，即~E對H沒有影響。當LN>1時，O(H|~E)>O(H)，即~E支持H。當LN<1時，O(H|~E)<O(H)，即~E排斥H,且LN0時O(H|~E)0,即LN越接近0，E對H越是必要的。故LN稱為必要性量度。76(3)LS,LN的關(guān)系，只有三種情況：LS>1且LN<1LS<1且LN>1LS=LN=1772．證據(jù)的不確定性 P(E)=1時，O(E)= P(E)=0時，O(E)=0 對E一無所知時，取E的先驗概率----單位元783．算法(1)概率傳播 ifEthenH，(LS，LN)在P(E)=1或P(~E)=1時，已有：如果用概率來表示，則有：79同樣，對于后驗幾率，也有：80對于不確定證據(jù)，在0<P(E)<1時，如何根據(jù)P(E)更新P(H)。即在觀察S之下，證據(jù)E有概率P(E|S)，求解P(H|S)。有：81對于上式，可以在P(E|S)的三個特殊點上求得P(H|S)的值。三個特殊值如下：P(E|S) P(H|S) 1 P(H|E) P(E) P(H) 0 P(H|~E)82 P(H|S) 1-P(H|E)-P(H)-P(H|~E)- 0 P(E) 1P(E|S)83分段線性插值，得

上式稱為EH公式。84(2)獨立證據(jù)導(dǎo)出同一假設(shè) ifE1thenH，(LS1，LN1) …… ifEnthenH，(LSn，LNn) 設(shè)獨立證據(jù)E1，E2，…，En的觀察為S1，S2，…，Sn，假設(shè)為H85(3)證據(jù)的合取 ifE1andE2and…thenH P(E1andE2and…|S)=min{P(E1|S，P(E2|S)，…}(4)證據(jù)的析取 ifE1orE2or…thenH P(E1orE2or…|S)=max{P(E1|S，P(E2|S)，…}86例：設(shè)有假設(shè)H，證據(jù)E1，E2，規(guī)則R1，R2：R1:E1H，(20，1)R2:E2H，(300，1)已知先驗概率P(H)=0.03，若證據(jù)E1，E2依次出現(xiàn)，求P(H|E1，E2)。87解法1：O(H)=P(H)/[1-P(H)]=0.03/(1-0.03)=0.0309O(H|E1)=LS1O(H)=200.0309=0.618O(H|E1,E2)=LS2O(H|E1)=3000.618=185.5

88解法2：按獨立證據(jù)的組合公式：其中 O(H|E1)=LS1O(H) O(H|E2)=LS2O(H) O(H|E1，E2)=LS1LS2O(H)=185.5 與解1相同。89 最大相關(guān)：只要概率小的事件發(fā)生，則概率大的事件肯定發(fā)生。 P(AANDB)=min[P(A)，P(B)] P(AORB)=max[P(A)，P(B)]90 最小相關(guān)：兩個事件同時發(fā)生的概率盡量小，如果兩個事件發(fā)生的概率之和小于0，則同時發(fā)生的概率為0。P(AANDB)=max[0，P(A)+P(B)-1]P(AORB)=min[1，P(A)+P(B)]91 相互獨立： P(AANDB)=P(A).P(B) P(AORB)=P(A)+P(B)–P(A).P(B)92例：推理網(wǎng)絡(luò)如下 HYPE0.01 65，0.01 300，0.0001 0.1STIR SMIR0.032，0.000001 100，0.000001

0.2 FMGS FMGS&PT0.4用戶給出： P(FMGS|S1)=0.7, P(FMGS&PT|S2)=0.6,P(SMIR|S3)=0.02求P(HYPE|S1S2S3)93求解過程（1）根據(jù)P(FMGS|S1)計算P(STIR|S1)。由于P(FMGS|S1)=0.7>0.2，因此利用EH公式的后半部分。94（2）根據(jù)P(FMGS&PT|S2)計算P(STIR|S2)。由于P(FMGS&PT|S2)=0.6>0.4，故利用EH公式的后半部分。95（3）根據(jù)獨立證據(jù)FMGS和FMGS&PT計算P(STIR|S1&S2)。先計算后驗幾率O(STIR|S1&S2)，由于96因此得然后得到后驗概率P(STIR|S1&S2)97（4）根據(jù)P(STIR|S1&S2)計算P(HYPE|S1&S2)，由于P(STIR|S1&S2)=0.4875>0.1，故利用EH公式的后半部分。98（5）根據(jù)P(SMIR|S3)計算P(HYPE|S3)，由于P(SMIR|S3)=0.02<0.03，故利用EH公式的前半部分。99（6）根據(jù)獨立證據(jù)STIR和SMIR計算P(HYPE|S1&S2&S3)。先計算后驗幾率O(HYPE|S1&S2&S3)，由于100因此得最后得到后驗概率P(HYPE|S1&S2&S3)101經(jīng)過推理，假設(shè)HYPE的概率已從先驗概率0.01增強到0.1245。102主觀Bayes方法小結(jié)主觀Bayes方法優(yōu)點：修正了概率論Bayes公式，應(yīng)用于不精確推理，取得了很好的效果。主觀Bayes方法缺點：先驗概率難以合理的給出。103證據(jù)理論Dempster/Shafer證據(jù)理論1041．基本理論設(shè)為變量x的所有可能值的窮舉集合，且設(shè)中的各元素是相互排斥的，稱為辨別框。為簡單，以后假定為有限集合，中的元素也可以是連續(xù)變量。由于是可窮舉的，對于一個提問只能有一個答案是正確的。的所有子集對應(yīng)著論域中的所有可能的有效答案。105定義1：對任意一個屬于的子集A（命題），命它對應(yīng)一個數(shù)M(A)[0，1]，而且滿足

M()=0

則稱函數(shù)M為命題的基本概率分配函數(shù)bpa(basicprobabilityassignment)，稱數(shù)M(A)為A的基本概率數(shù)。 若A，且A，則M(A)表示對A的精確信任程度。 若A=，則M(A)表示這個數(shù)不知如何分配。106在Bayes理論中，后驗概率隨證據(jù)的變化而變化是需要的；同樣在D-S證據(jù)理論中，關(guān)于證據(jù)的信任也可以改變。D-S證據(jù)理論和概率論的區(qū)別是對無知的處理。概率論即便是在無知的情況下，也必須分布一個等量的概率值；而證據(jù)理論不要求必須對無知假設(shè)H賦予信任值，而是將基本概率分配給用戶希望對其分配的環(huán)境子集。107定義2：若A且M(A)0，稱A為M的一個焦元(Focalelement)。例：對={紅，黃，白}的bpa為 M({紅}，{黃}，{白}，{紅，黃}，{紅，白}，{黃，白},{紅，黃，白}，{}) ={0.3，0，0.1，0.2，0.2，0，0.2，0}108定義3：命題的信任函數(shù)(Belieffunction)Bel:2

[0，1]為

其中2表示的所有子集。109 Bel(A)表示對A的總的信任。包含了這個集合和這個集合的所有包含A的任何一個子集。如上例： M({紅}，{黃}，{白}，{紅，黃}，{紅，白}，{黃，白}，{紅，黃，白}，{}) Bel(A)=Bel({紅，白})=M({紅})+M({白})+M({紅，白})=0.3+0.1+0.2=0.6易見：Bel()=0 Bel()=1110 定義4：命題的似然函數(shù)(不能排斥函數(shù)，plausibilityfunction)Pl:2

[0,1]為

其中~A=–

APl(A)表示不否定A的信任程度。111信任函數(shù)與似然函數(shù)的關(guān)系： Pl(A)Bel(A)稱Bel(A)和Pl(A)為命題A的下限函數(shù)和上限函數(shù)，記作A[Bel(A)，Pl(A)]。上下限的意義： A[0，1]說明對A一無所知。因為 Bel(A)=0說明A缺少信任。 Pl(A)=1–Bel(~A)=1Bel(~A)=0，說明對~A也缺少信任。112A[0，0]說明A是假 因為Bel(A)=0，Bel(~A)=1A[1，1]說明A是真 因為Bel(A)=1，Bel(~A)=0A[0.6，1]說明對A部分信任 因為Bel(A)=0.6，Bel(~A)=0A[0，0.4]說明對~A部分信任 因為Bel(A)=0，Bel(~A)=0.6A[0.3，0.9]說明同時對A和~A部分信任1132．證據(jù)的組合函數(shù)定義5：當多個Mi可組合時，它們的正交和：M=M1M2…Mn為 M()=0 A其中

若k-1=0，則Mi之間是矛盾的。K表示兩個被組合證據(jù)的沖突程度。114組合證據(jù)：通過多個證據(jù)得到關(guān)于某件事物的更客觀的判斷。假設(shè)={airliner，bomber，fighter}，有兩種類型的傳感器，一種類型的傳感器觀察結(jié)果為m1（{B，F(xiàn)}）=0.7，m1（）=0.3另一種類型的傳感器觀察結(jié)果為m2（{B}）=0.9，m2()=0.1計算：m1m2=115Dempster采用了表格十字相乘法m2（{B}）=0.9M2()=0.1M1（{B，F(xiàn)}）=0.7{B}0.63{B，F(xiàn)}0.07M1（）=0.3{B}0.270.03116M3({B})=M1+M2({B})=0.63+0.27=0.9M3({B，F(xiàn)})=M1+M2({B，F(xiàn)})=0.07M3()=M1+M2()=0.03證據(jù)區(qū)間：支持目標飛機是轟炸機的最大可能是0.9+0.07+0.03=1，最小可能是0.9。因此證據(jù)區(qū)間是[0.9，1]。117這時，第三個傳感器報告了關(guān)于飛機的一個沖突的證據(jù)：m3({a})=0.95，m3()=0.05，則應(yīng)繼續(xù)采用十字相乘法118M1+M2（{B}）=0.9M1+M2（{B，F(xiàn)}）=0.07M1+M2（）=0.03M3（{A}）=0.950.8550.0665{A}0.0285M3（）=0.05{B}0.045{B，F(xiàn)}0.0035（）0.0015119{A}0.0285{B}0.045{B，F(xiàn)}0.0035（）0.00150.9215把的情形按比例分給上面的前四種，使得=0120最終得：{A}0.0285+0.3346=0.3631{B}0.045+0.5282=0.5732{B，F(xiàn)}0.0035+0.0411=0.0446（）0.0015+0.0176=0.0191121第三章人工神經(jīng)網(wǎng)絡(luò)計算人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器及其訓(xùn)練算法BP算法Hopfield網(wǎng)與Boltzmann機122人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡記作ANN），是對人類大腦系統(tǒng)的一階特性的一種描述。簡單地講，它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種方法。人工神經(jīng)網(wǎng)絡(luò)是一個由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)。123一、存儲組織ANN力求從四個方面去模擬人腦的智能行為物理結(jié)構(gòu)計算模擬存儲與操作訓(xùn)練概述124生物神經(jīng)網(wǎng)胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）125生物神經(jīng)網(wǎng)基本特征1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；3）神經(jīng)元之間的聯(lián)接強度是可以隨訓(xùn)練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6)每個神經(jīng)元可以有一個“閾值”。126生物神經(jīng)元和人工神經(jīng)元的對照關(guān)系生物神經(jīng)元人工神經(jīng)元作用樹突輸入層接收輸入的信號細胞體加權(quán)和加工和處理信號軸突閾值函數(shù)（激活函數(shù)）控制輸出突觸輸出層輸出結(jié)果127神經(jīng)元的結(jié)構(gòu)模型神經(jīng)元是一個多輸入、單輸出的非線形結(jié)構(gòu)。樹突相當于輸入，軸突相當于輸出，圓相當于神經(jīng)元的胞體。M-P的簡化模型：興奮性輸入抑制性輸入

T128人工神經(jīng)元的模擬人工神經(jīng)元模擬生物神經(jīng)元的一階特性輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入： net=∑xiwi向量形式： net=XW129激活函數(shù)(ActivationFunction)

激活函數(shù)：執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)或活化函數(shù)：o=f（net）

1301、線性函數(shù)（LinerFunction）f（net）=k*net+c

netooc1312、斜面函數(shù)(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

1322、斜面函數(shù)（RampFunction）γ-γθ

-θ

net

o

1333、閾值函數(shù)（ThresholdFunction）階躍函數(shù)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負實數(shù)，θ為閾值二值形式： 1 ifnet>θf（net）= 0 ifnet≤θ雙極形式： 1 ifnet>θf（net）= -1 ifnet≤θ

1343、閾值函數(shù)（ThresholdFunction）階躍函數(shù)β

-γθonet01354、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯函數(shù)（LogisticFunction）f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制

1364、S形函數(shù)

a+bo(0,c)netac=(a+b)/21375、其它函數(shù)

小波基函數(shù)如果采用小波基函數(shù)來做激活函數(shù)，則成為小波神經(jīng)網(wǎng)絡(luò)概率密度函數(shù)如果采用概率密度函數(shù)來做激活函數(shù)，則成為概率神經(jīng)網(wǎng)絡(luò)

138M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也稱為處理單元。139人工神經(jīng)元拓撲圖連接的拓撲表示

ANi wij ANj

140聯(lián)接模式

用正號（“+”，可省略）表示傳送來的信號起刺激作用，用于增加神經(jīng)元的活躍度；用負號（“-”）表示傳送來的信號起抑制作用，用于降低神經(jīng)元的活躍度。141神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，有正向網(wǎng)絡(luò)和反向網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）；按照學(xué)習(xí)方式區(qū)分，有有監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)和無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)；按照網(wǎng)絡(luò)性能區(qū)分，有連續(xù)型網(wǎng)絡(luò)和離散型網(wǎng)絡(luò)，隨機型網(wǎng)絡(luò)和確定型網(wǎng)絡(luò)；按照突觸性質(zhì)區(qū)分，有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高價非線性關(guān)聯(lián)網(wǎng)絡(luò)。142聯(lián)接模式

層次（又稱為“級”）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的互連模式：

1、層（級）內(nèi)聯(lián)接層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)聯(lián)接或側(cè)聯(lián)接用來加強和完成層內(nèi)神經(jīng)元之間的競爭2、

循環(huán)聯(lián)接反饋信號

143聯(lián)接模式3、層（級）間聯(lián)接

層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實現(xiàn)層間的信號傳遞。前饋信號反饋信號

144簡單單級網(wǎng)……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 145簡單單級網(wǎng)W=（wij）輸出層的第j個神經(jīng)元的網(wǎng)絡(luò)輸入記為netj： netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）146單級橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V147單級橫向反饋網(wǎng)

V=（vij）NET=XW+OVO=F（NET）時間參數(shù)——神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化。148多級網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn………………149信號只被允許從較低層流向較高層。層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：記作第0層。該層負責(zé)接收來自網(wǎng)絡(luò)外部的信息。第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。層次劃分150輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號，負責(zé)輸出網(wǎng)絡(luò)的計算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號。輸出層隱藏層輸入層o1o2om…x1x2xn………………151約定:輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級網(wǎng)絡(luò)。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。一般用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)152循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn…………………153循環(huán)網(wǎng)

如果將輸出信號反饋到輸入端,就可構(gòu)成一個多層的循環(huán)網(wǎng)絡(luò)。輸入的原始信號被逐步地“加強”、被“修復(fù)”。大腦的短期記憶特征——看到的東西不是一下子就從腦海里消失的。穩(wěn)定性：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。通常希望這種變化逐漸減小，并且最后消失。當變化最后消失時，網(wǎng)絡(luò)就達到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。

154網(wǎng)絡(luò)信息流向類型根據(jù)神經(jīng)網(wǎng)絡(luò)內(nèi)部信息傳遞方向來分，有以下兩種類型：前饋型網(wǎng)絡(luò)網(wǎng)絡(luò)信息處理方向是從輸入層到中間層再到輸出層逐層進行的，不存在反饋環(huán)路。多層前饋型網(wǎng)絡(luò)可用一個有向無環(huán)圖來表示。反饋型網(wǎng)絡(luò)網(wǎng)絡(luò)信息既可以從外界接受收入，也可以向外界輸出，存在反饋環(huán)路。155神經(jīng)網(wǎng)絡(luò)的知識表示網(wǎng)絡(luò)中的每個神經(jīng)元只存儲少量的信息；神經(jīng)元只對輸入的數(shù)據(jù)進行簡單的邏輯運算或算術(shù)運算；運算操作由神經(jīng)元自主進行，不由外部程序決定。156神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它可以表達的任何東西。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程。157學(xué)習(xí)過程是一種經(jīng)過訓(xùn)練而使個體在行為上產(chǎn)生較為持久改變的過程。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法很多，可以大體分為三類：有導(dǎo)師學(xué)習(xí)：監(jiān)督學(xué)習(xí)，采用的是糾錯規(guī)則。無導(dǎo)師學(xué)習(xí)：無監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)自行調(diào)整權(quán)值。灌輸式學(xué)習(xí)：特定輸入輸出結(jié)果，學(xué)習(xí)是一次性的。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)158有導(dǎo)師學(xué)習(xí)在學(xué)習(xí)訓(xùn)練過程中，需要不斷給網(wǎng)絡(luò)提供一個輸入模式和一個期望網(wǎng)絡(luò)正確輸出的模式，這兩個模式是一一對應(yīng)的，通常稱為“教師信號”。將神經(jīng)網(wǎng)絡(luò)的實際輸出和期望輸出相比較，當網(wǎng)絡(luò)輸出和期望的教師信號不符時，根據(jù)誤差的方向和大小按一定規(guī)則調(diào)整權(quán)值，以使下一步網(wǎng)絡(luò)的輸出更接近期望結(jié)果。當網(wǎng)絡(luò)對于各種給定的輸入均能產(chǎn)生所期望的輸出時，即認為網(wǎng)絡(luò)已經(jīng)在導(dǎo)師的訓(xùn)練下學(xué)會了訓(xùn)練集中包含的知識和規(guī)則，可以用來工作了。159有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括： 1）

從樣本集合中取一個樣本（Ai，Bi）； 2）

計算出網(wǎng)絡(luò)的實際輸出O； 3）

求D=Bi-O； 4）

根據(jù)D調(diào)整權(quán)矩陣W；5）對每個樣本重復(fù)上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍，或者達到一定的運算次數(shù)。160無導(dǎo)師學(xué)習(xí)學(xué)習(xí)過程中，需要不斷地給網(wǎng)絡(luò)提供動態(tài)輸入信息，網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)值。這個過程稱為網(wǎng)絡(luò)的自組織，其結(jié)果是使網(wǎng)絡(luò)能對屬于同一類的模式進行自動分類。在無導(dǎo)師學(xué)習(xí)模式中，網(wǎng)絡(luò)權(quán)值的調(diào)整不取決于外來教師信號的影響，認為學(xué)習(xí)評價標準來自于網(wǎng)絡(luò)內(nèi)部。161Hebb學(xué)習(xí)規(guī)則若第i與第j個神經(jīng)元同時處于興奮狀態(tài)，則它們之間的連接應(yīng)當加強，否則被減弱，增量與它們各自的興奮程度si及sj成比例即Wij=asisj，0〈a〈1162競爭學(xué)習(xí)規(guī)則在學(xué)習(xí)過程中，網(wǎng)絡(luò)各輸出單元互相競爭，最好達到只有一個最強者激活。最常用的競爭規(guī)則可寫為：163感知器（感知機）感知機是一種由單層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)。感知器的訓(xùn)練算法的基本原理來源于著名的Hebb學(xué)習(xí)律?；舅枷耄褐鸩降貙颖炯锏臉颖据斎氲骄W(wǎng)絡(luò)中，根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣。164感知機算法二值網(wǎng)絡(luò)：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權(quán)向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓(xùn)練樣本集：{(X，Y)|Y為輸入向量X對應(yīng)的輸出}165感知機算法1、賦初值：各Wi一個較小的隨機非零值；2、重復(fù)下列過程，直至完成：對每個樣本，輸入X和它的期望輸出D；計算實際輸出o=F（XW）；如果輸出不正確，則修正權(quán)W。

當o=0時，取W=W+X， 當o=1時，取W=W-X；166多層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)，由輸入層、一個或多個隱層和一個輸出層組成。學(xué)習(xí)過程由信號正向傳播和誤差反向傳播兩個過程組成。信號正向傳播和誤差反向傳播的各層權(quán)值調(diào)整過程是周而復(fù)始進行的。權(quán)值的不斷調(diào)整的過程，就是學(xué)習(xí)訓(xùn)練的過程。該過程一直進行到誤差減少到可以接受的程度，或者進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。167用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程。168多層前向網(wǎng)絡(luò)算法采用了誤差反向傳播的方法，因此稱為BP算法。（errorBackPropagation）算法使網(wǎng)絡(luò)的學(xué)習(xí)可以收斂。優(yōu)點：廣泛的適應(yīng)性和有效性。可以采用逐次修正法或一括修正法調(diào)整權(quán)值向量。弱點：訓(xùn)練速度非常慢、局部極小點的逃離問題。169網(wǎng)絡(luò)的拓撲結(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)170基本BP算法神經(jīng)元的網(wǎng)絡(luò)輸入： neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：171輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)?？梢杂闷渌暮瘮?shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的。172訓(xùn)練過程概述樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)習(xí)。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計算相應(yīng)的實際輸出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))173訓(xùn)練過程概述2、向后傳播階段——誤差傳播階段：（1）計算實際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣；（3）網(wǎng)絡(luò)關(guān)于第p個樣本的誤差測度：（4）網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度：174誤差傳播分析1、輸出層權(quán)的調(diào)整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op=αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq1752、隱藏層權(quán)的調(diào)整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……1762、隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk有關(guān)。不妨認為δpk-1通過權(quán)wp1對δ1k做出貢獻，通過權(quán)wp2對δ2k做出貢獻，……通過權(quán)wpm對δmk做出貢獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)1772、隱藏層權(quán)的調(diào)整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……178算法改進收斂速度問題局部極小點問題網(wǎng)絡(luò)癱瘓問題穩(wěn)定性問題步長問題179Hopfield網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)的神經(jīng)單元是全連接的，每兩個單元都通過權(quán)值連接在一起。它的學(xué)習(xí)過程是一次完成的，工作過程則是模擬人的聯(lián)想記憶，通過反復(fù)迭代完成的。Hopfield網(wǎng)絡(luò)屬于循環(huán)型網(wǎng)絡(luò)，可分為離散型和連續(xù)型兩種形式。離散型采用加權(quán)無向圖表示，所有神經(jīng)元都存在雙向連接，每邊都附有權(quán)值，每結(jié)點都附有閾值，經(jīng)過符號函數(shù)作用后，形成兩個狀態(tài)。180網(wǎng)絡(luò)結(jié)構(gòu)

X1Xno1om………………181網(wǎng)絡(luò)的輸入輸出神經(jīng)元的網(wǎng)絡(luò)輸入：閾值函數(shù)：oj=1 ifnetj>θj0 ifnetj<θj

oj ifnetj=θj激活函數(shù)改為S形函數(shù)后，系統(tǒng)就成為一個連續(xù)系統(tǒng)。182Hopfield網(wǎng)絡(luò)的工作方式Hopfield網(wǎng)絡(luò)有兩種工作方式：異步方式：在任一時刻t，只有某一個神經(jīng)元狀態(tài)發(fā)生變化，而其余神經(jīng)元的狀態(tài)保持不變。同步方式：在任一時刻t，有部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時發(fā)生變化。當從某一時刻起神經(jīng)網(wǎng)絡(luò)不再發(fā)生變化，則稱該Hopfield網(wǎng)絡(luò)是穩(wěn)定的。183Hopfield網(wǎng)絡(luò)穩(wěn)定性定理：對由N=（W，θ）描述的離散型Hopfield神經(jīng)網(wǎng)絡(luò)，若W為具有非負對角元的對稱陣，則該網(wǎng)絡(luò)具有串行穩(wěn)定性；若W為非負定矩陣，則該網(wǎng)絡(luò)具有并行穩(wěn)定性。184Boltzmann機

統(tǒng)計Hopfield網(wǎng)在網(wǎng)絡(luò)運行中，神經(jīng)元狀態(tài)與“人工溫度”確定的概率相關(guān)網(wǎng)絡(luò)運行模擬金屬退火過程pi：ANi的狀態(tài)取1的概率neti：ANi所獲網(wǎng)絡(luò)輸入；θi：ANi的閾值；T：系統(tǒng)的人工溫度。

185Boltzmann機的訓(xùn)練

固體退火原理，將固體加溫至充分高，再讓其徐徐冷卻，加溫時，固體內(nèi)部粒子隨溫度上升變?yōu)闊o序狀，內(nèi)能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都達到平衡態(tài)，最后在常溫時達到基態(tài)，內(nèi)能減為最小。186Boltzmann機的訓(xùn)練

模擬退火過程，是模擬金屬退火過程，其實是一種貪心算法，但是它的搜索過程引入了隨機因素。模擬退火算法以一定的概率來接受一個比當前解要差的解，因此有可能會跳出這個局部的最優(yōu)解，達到全局的最優(yōu)解。模擬退火算法在搜索到局部最優(yōu)解后，會以一定的概率向其它方向移動。也許經(jīng)過幾次這樣的不是局部最優(yōu)的移動后會到達全局最優(yōu)點，于是就跳出了局部最大值。187Boltzmann機的訓(xùn)練

Boltzmann機是多級循環(huán)網(wǎng)絡(luò)，是Hopfield網(wǎng)的一種擴展。神經(jīng)元ANi實際輸出狀態(tài)oi=1的概率為：T趨近于0時，神經(jīng)元的狀態(tài)不再具有隨機性，Boltzmann機退化成一般Hopfield網(wǎng)。188神經(jīng)元ANi在運行中狀態(tài)發(fā)生了變化：

Boltzmann機的能量函數(shù)(一致性函數(shù))Boltzmann機的訓(xùn)練189如果ΔΕi>0，則應(yīng)該選ANi輸出為1，否則，應(yīng)該選ANi輸出為0。ΔΕi的值越大，神經(jīng)元ANi應(yīng)該處于狀態(tài)1的概率就應(yīng)該越大。反之，ΔΕi的值越小，神經(jīng)元ANi應(yīng)該處于狀態(tài)1的概率就應(yīng)該越小。從而，oi=1的概率為：

Boltzmann機的訓(xùn)練190處于狀態(tài)a，b的概率Pa和Pb，對應(yīng)于oi=1和oi=0，其它的神經(jīng)元在a，b狀態(tài)下不變。

Pa=γpi

Pb=γ（1-pi）

Boltzmann機的訓(xùn)練191網(wǎng)絡(luò)進行足夠多次迭代后，處于某狀態(tài)的概率與此狀態(tài)下的能量和此時系統(tǒng)的溫度有關(guān)。由于高溫時網(wǎng)絡(luò)的各個狀態(tài)出現(xiàn)的概率基本相同，這就給它逃離局部極小點提供了機會。當系統(tǒng)的溫度較低時，如果Ea<Eb，則Pa>Pb：網(wǎng)絡(luò)處于較低能量狀態(tài)的概率較大。

Boltzmann機的訓(xùn)練192Hopfield網(wǎng)解決TSP問題1985年，J.J.Hopfield和D.W.Tank用循環(huán)網(wǎng)求解TSP。試驗表明，當城市的個數(shù)不超過30時，多可以給出最優(yōu)解的近似解。而當城市的個數(shù)超過30時，最終的結(jié)果就不太理想了。

n個城市間存在n!/(2n)條可能路徑。設(shè)問題中含有n個城市,用n*n個神經(jīng)元構(gòu)成網(wǎng)絡(luò)。

193Hopfield網(wǎng)解決TSP問題dxy——城市X與城市Y之間的距離；yxi——城市X的第i個神經(jīng)元的狀態(tài)：

1 城市X在第i個被訪問 yxi= 0 城市X不在第i個被訪問wxi,yj——城市X的第i個神經(jīng)元到城市Y的第j個神經(jīng)元的連接權(quán)。

194Hopfield網(wǎng)解決TSP問題例如：四個城市X、Y、Z、W城市名訪問順序標示1234X0100Y0001Z1000W0010195Hopfield網(wǎng)解決TSP問題

聯(lián)接矩陣

wxi,yj=-Aδxy(1-δij)–Bδij(1-δxy)–C–ζdxy(δji+1+δji-1)

1 如果i=jδj= 0 如果i≠j

196網(wǎng)絡(luò)的能量函數(shù)197網(wǎng)絡(luò)的能量函數(shù)

僅當所有的城市最多只被訪問一次時取得極小值0。A、B、C、D為懲罰因子第1項198網(wǎng)絡(luò)的能量函數(shù)僅當每次最多只訪問一個城市時取得極小值0。第2項199網(wǎng)絡(luò)的能量函數(shù)當且僅當所有的n個城市一共被訪問n次時才取得最小值0。第3項200網(wǎng)絡(luò)的能量函數(shù)表示按照當前的訪問路線的安排，所需要走的路徑的總長度。

第4項201神經(jīng)網(wǎng)絡(luò)的特點大規(guī)模并行處理與容錯能力信息的分布式存儲與處理學(xué)習(xí)與自適應(yīng)能力聯(lián)想與記憶能力202神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域信息處理領(lǐng)域信號處理模式識別數(shù)據(jù)壓縮自動化領(lǐng)域系統(tǒng)辨識神經(jīng)控制器智能檢測203神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域工程領(lǐng)域汽車工程軍事工程化學(xué)工程水利工程醫(yī)學(xué)領(lǐng)域檢測數(shù)據(jù)分析生物活性研究醫(yī)學(xué)專家系統(tǒng)經(jīng)濟領(lǐng)域信貸分析市場預(yù)測204第四章演化計算演化計算的概念遺傳算法的基本術(shù)語遺傳算法的理論基礎(chǔ)模式定理遺傳算法的實現(xiàn)技術(shù)205優(yōu)化搜索問題優(yōu)化問題，是針對某種問題，去尋找最好的、或者盡可能好的解。隨著問題復(fù)雜度的增加，算法的效率成為選擇的關(guān)鍵。206優(yōu)化搜索問題207優(yōu)化搜索問題208優(yōu)化搜索問題209優(yōu)化搜索問題210優(yōu)化搜索問題211優(yōu)化搜索問題212優(yōu)化搜索問題213214215染色體216演化計算演化計算（EvolutionaryComputation）是一類模擬生物進化過程求解的人工智能計算方法。實際上是一種自適應(yīng)的機器學(xué)習(xí)方法，核心思想是利用進化信息指導(dǎo)搜索或計算。生物進化是通過遺傳、繁殖、變異、競爭和選擇來實現(xiàn)的，如果把待解決的問題理解為對某個目標函數(shù)的全局優(yōu)化，則演化計算就是建立在模擬生物進化過程基礎(chǔ)上的隨機搜索優(yōu)化技術(shù)。217囚犯困境問題囚犯困境問題是一個古老的游戲問題。假設(shè)有兩個囚犯共同參與了某項犯罪而被關(guān)在兩個不同的牢房里。每個囚犯都被要求供出犯罪事實，依據(jù)他們的表現(xiàn)，審問人員將對他們進行懲罰或者給出不同程度的獎勵。每個囚犯或者選擇背叛同伴，或者選擇與對方訂立攻守同盟，即兩人合作。如果只有一人選擇背叛，則該人就會受到獎勵，另一人會被懲罰；如果兩人都選擇背叛，則兩人都會被懲罰；如果兩人都選擇合作，則兩人都會受到中等程度的獎勵。218囚犯困境問題對囚犯的獎勵與懲罰以下表決定，則囚犯困境問題是指：對每一個囚犯而言，如何選擇背叛與合作，以使自己能獲得最高的獎勵。219囚犯困境問題囚犯1囚犯2P1P2評注背叛背叛11相互背叛受懲罰背叛合作50背叛者受獎勵合作背叛05受獎?wù)T發(fā)背叛合作合作33相互合作受獎220遺傳算法概述遺傳算法(GeneticAlgorithms)是一類以Darwin自然進化論與Mendal遺傳變異理論為基礎(chǔ)的求解復(fù)雜全局優(yōu)化問題的仿生型算法。由美國學(xué)者Holland等人在1975年發(fā)展起來的。GA對包含可能解的群體反復(fù)使用遺傳學(xué)的基本操作，不斷生成新的群體，使種群不斷優(yōu)化，以求解滿足要求的最優(yōu)解或準最優(yōu)解。221遺傳算法概述遺傳算法的主要特點是：處理參數(shù)集合的編碼，而不是參數(shù)的本身；始終保持整個種群而不是個體的進化；只需知道目標函數(shù)的信息，僅用適應(yīng)度來評估個體，無需搜索空間的其它知識；使用隨機轉(zhuǎn)換規(guī)則而不是確定性規(guī)則指導(dǎo)搜索，不易陷入局部極值點，并能以較大概率找到全局最優(yōu)點。算法具有很強的并行性，適合于大規(guī)模復(fù)雜問題求解。222若干術(shù)語染色體：生物遺傳物質(zhì)的主要載體稱為染色體。DNA：染色體中的最主要遺傳物質(zhì)。基因：基因是控制生物性狀的遺傳物質(zhì)的功能單位和結(jié)構(gòu)單位。基因座：染色體中基因的位置稱為基因座。等位基因：基因所取的值稱為等位基因。單倍體：細胞核中有n個正常的不配對染色體。二倍體、多倍體：細胞核中有2n或更多倍的正常配對染色體。223若干術(shù)語一定數(shù)量的個體（individual）組成了群體（population）。一個群體是若干個個體的集合。群體中個體的數(shù)目稱為群體規(guī)模（populationsize）。各個個體對環(huán)境的適應(yīng)程度稱為適應(yīng)度（fitness）。適應(yīng)度越大，說明個體對環(huán)境越適應(yīng)。224若干術(shù)語位串：個體的表示形式，對應(yīng)于遺傳學(xué)中的染色體?；蚓幋a：生物的基因編碼決定生物的性狀，一個基因編碼對應(yīng)著遺傳算法中的某個解。繁殖：重組染色體基因，形成新的個體。交叉：有性生殖生物在繁殖下一代時，兩個同源染色體在某一相同位置處被切斷，其前后兩個串分別交叉組合形成兩個新的染色體，這個過程稱為交叉。遺傳算法中把交叉當作一個算子。在很多應(yīng)用中，交叉是以一定概率發(fā)生的，稱為交叉概率。225若干術(shù)語選擇：選擇是從當前群體中選擇出優(yōu)良的個體，使它們有機會作為父代產(chǎn)生后代個體。判斷個體優(yōu)良與否的準則就是各自的適應(yīng)度的值。變異：在染色體中的某個基因發(fā)生突變。遺傳算法中把變異當作一個算子，變異同樣是以一定概率發(fā)生的，稱為變異概率。變異的目的是為了克服陷入局部解的可能。226名詞意義對照表生物遺傳遺傳算法群體問題搜索空間的一組有效解種群經(jīng)過選擇產(chǎn)生的新群體染色體問題解的編碼串基因染色體的一個編碼單元適應(yīng)能力染色體的適應(yīng)值交配兩個染色體交換部分基因得到兩個新的子代染色體變異染色體某些基因的數(shù)值發(fā)生改變進化結(jié)束算法滿足終止條件時結(jié)束，找到全局最優(yōu)解227遺傳算法的要素參數(shù)編碼初始群體的設(shè)定適應(yīng)度函數(shù)的設(shè)計控制參數(shù)設(shè)定遺傳參數(shù)設(shè)定228遺傳算法概述遺傳算法可描述如下：1、定義問題與目標函數(shù)F；2、選擇候選解作為初始種群，每個解用一個二進制位串X表示；3、計算每個染色體的適應(yīng)度值F（Xi）；4、指定與其適值成正比的繁殖概率pi；5、根據(jù)概率pi選擇染色體，通過交叉變異等產(chǎn)生新一代染色體種群；6、如果找到了滿意解或其他條件，則結(jié)束；否則返回3。229遺傳算法的框圖產(chǎn)生初始群體是否滿足停止準則是輸出結(jié)果并結(jié)束計算個體適應(yīng)度值比例選擇運算單點交叉運算基本位變異運算否產(chǎn)生新一代群體執(zhí)行n/2次230遺傳算法的偽代碼/*p(t)表示某一代的群體，t為當前進化代數(shù)，Best表示目前已找到