Bayesiannetworks

貝葉斯網(wǎng)絡(luò)Frequentistvs.Bayesian客觀vs.主觀Frequentist（頻率主義者）:概率是長期的預(yù)期出現(xiàn)頻率.P(A)=n/N,wherenisthenumberoftimeseventAoccursinNopportunities.“某事發(fā)生的概率是0.1”意味著0.1是在無窮多樣本的極限

條件下能夠被觀察到的比例

但是，在許多情景下不可能進(jìn)行重復(fù)試驗(yàn)

發(fā)生第三次世界大戰(zhàn)的概率是多少?Bayesian:degreeofbelief.Itisameasureoftheplausibility（似然性）ofaneventgivenincompleteknowledge.相信的程度，是在不確定知識的環(huán)境下對事件似然性的衡量Probability概率Probabilityisarigorousformalismforuncertainknowledge概率是對不確定知識一種嚴(yán)密的形式化方法Jointprobabilitydistributionspecifiesprobabilityofeveryatomicevent全聯(lián)合概率分布指定了對隨機(jī)變量的每種完全賦值，即每個原子事件的概率Queriescanbeansweredbysummingoveratomicevents可以通過把對應(yīng)于查詢命題的原子事件的條目相加的方式來回答查詢Fornontrivialdomains,wemustfindawaytoreducethejointsize

IndependenceandconditionalindependenceprovidethetoolsIndependence

/ConditionalIndependenceAandBareindependentiff

P(A|B)=P(A)orP(B|A)=P(B)orP(A,B)=P(A)P(B)AisconditionallyindependentofBgivenC:

P(A|B,C)=P(A|C)在大多數(shù)情況下，使用條件獨(dú)立性能將全聯(lián)合概率的表示由n的指數(shù)關(guān)系減為n的線性關(guān)系。Conditionalindependenceisourmostbasicandrobustformofknowledgeaboutuncertainenvironments.ProbabilityTheoryProbabilitytheorycanbeexpressedintermsoftwosimpleequations概率理論可使用兩個簡單線性方程來表達(dá)–SumRule（加法規(guī)則）?變量的概率是通過邊緣化或者求和其他變量獲得的–ProductRule（乘法規(guī)則）?用條件表達(dá)聯(lián)合概率所有的概率推理和學(xué)習(xí)相當(dāng)于不斷重復(fù)加法和乘法法則大綱Graphicalmodels（概率圖模型）Bayesiannetworks

–Syntax（語法）

–Semantics（語義）Inference（推導(dǎo)）inBayesiannetworks

什么是圖模型？概率分布的圖表示

–概率論和圖論的結(jié)合

?Alsocalled概率圖模型?Theyaugmentanalysisinsteadofusingpure

algebra（代數(shù)）WhatisaGraph??Consistsofnodes(alsocalledvertices)andlinks(alsocallededgesorarcs)?在概率圖模型中

–每個節(jié)點(diǎn)表示一個隨機(jī)變量(or一組隨機(jī)變量)

–邊表示變量間的概率關(guān)系GraphicalModelsinCS?處理不確定性和復(fù)雜性的天然工具

–貫穿整個應(yīng)用數(shù)學(xué)和工程領(lǐng)域?圖模型中最重要的思想是模塊性概念

–acomplexsystemisbuiltbycombiningsimplerparts.WhyareGraphicalModelsuseful?概率理論提供了“黏合劑”whereby

–使每個部分連接起來,確保系統(tǒng)作為一個整體是一致的

–提供模型到數(shù)據(jù)的連接方法.?圖理論方面提供:

–直觀的接口

?bywhichhumanscanmodelhighly-interactingsetsofvariables

–數(shù)據(jù)結(jié)構(gòu)

?thatlendsitselfnaturallytodesigningefficientgeneral-purpose（通用的）algorithmsGraphicalmodels:統(tǒng)一的框架?考慮傳統(tǒng)的多變量的概率系統(tǒng)作為一般基礎(chǔ)形式的實(shí)例

–mixturemodels（混合模型）,factoranalysis（因子分析）,hiddenMarkovmodels,Kalmanfilters（卡爾曼濾波器）,etc.

–在系統(tǒng)工程，信息論，模式識別和統(tǒng)計力學(xué)中被用到?優(yōu)勢:

–在某一領(lǐng)域中的專業(yè)技術(shù)能夠在該領(lǐng)域中相互轉(zhuǎn)化并被充分利用

–Providesnaturalframeworkfordesigningnewsystems圖模型在機(jī)器學(xué)習(xí)中的角色形象化概率模型結(jié)構(gòu)的簡單方法Insightsintopropertiesofmodel

Conditionalindependencepropertiesbyinspectinggraph執(zhí)行推理和學(xué)習(xí)表示為圖形化操作需要復(fù)雜的計算圖的方向性?有向圖模型

–方向取決于箭頭?貝葉斯網(wǎng)絡(luò)

–隨機(jī)變量間的因果關(guān)系?MorepopularinAIand

statistics?無向圖模型

–邊沒有箭頭?Markovrandomfields

（馬爾科夫隨機(jī)場）

–更適合表達(dá)變量之間的軟約束?MorepopularinVisionandphysicsBayesiannetworks一種簡單的，圖形化的數(shù)據(jù)結(jié)構(gòu)，用于表示變量之間的依賴

關(guān)系（條件獨(dú)立性），為任何全聯(lián)合概率分布提供一種簡

明的規(guī)范。Syntax語法:

asetofnodes,onepervariable

adirected（有向）,acyclic（無環(huán)）graph(link≈"directinfluences")

aconditionaldistributionforeachnodegivenitsparents:

P(Xi|Parents(Xi))—量化其父節(jié)點(diǎn)對該節(jié)點(diǎn)的影響Inthesimplestcase,conditionaldistributionrepresentedasa

conditionalprobabilitytable條件概率表(CPT)givingthe

distributionoverXi

foreachcombinationofparentvaluesExampleTopology（拓?fù)浣Y(jié)構(gòu)）ofnetworkencodesconditionalindependenceassertions:

Weather獨(dú)立于其他變量

ToothacheandCatchareconditionallyindependentgivenCavityExample我晚上在單位上班，此時鄰居John給我打電話說我家警報響了，但是鄰居Mary沒有給打電話。有時輕微的地震也會引起警報。那么我家真正遭賊了嗎？Variables:Burglary（入室行竊）,Earthquake,Alarm,JohnCalls,MaryCalls網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)反映出因果關(guān)系:

–Aburglarcansetthealarmoff

–Anearthquakecansetthealarmoff

–ThealarmcancauseMarytocall

–ThealarmcancauseJohntocallExamplecontd.Compactness（緊致性）ACPTforBooleanXiwithkBooleanparentshas2k

rowsforthecombinationsofparentvalues一個具有k個布爾父節(jié)點(diǎn)的布爾變量的條件概率表中有2k個獨(dú)立的可指定概率EachrowrequiresonenumberpforXi=true

(thenumberforXi

=falseisjust1-p)Ifeachvariablehasnomorethankparents,thecompletenetworkrequiresO(n·2k)numbersI.e.,growslinearlywithn,vs.O(2n)forthefulljointdistributionForburglarynet,1+1+4+2+2=10numbers(vs.25-1=31)Globalsemantics（全局語義）Thefulljointdistributionisdefinedastheproductofthelocalconditionaldistributions:

全聯(lián)合概率分布可以表示為貝葉斯網(wǎng)絡(luò)中的條件概率分布的乘積Globalsemantics（全局語義）Thefulljointdistributionisdefinedastheproductofthelocalconditionaldistributions:

全聯(lián)合概率分布可以表示為貝葉斯網(wǎng)絡(luò)中的條件概率分布的乘積LocalsemanticsLocalsemantics:eachnodeisconditionallyindependentofitsnondescendants（非后代）givenitsparents給定父節(jié)點(diǎn)，一個節(jié)點(diǎn)與它的非后代節(jié)點(diǎn)是條件獨(dú)立的Theorem:LocalsemanticsglobalsemanticsCausalChains因果鏈一個基本形式：–IsXindependentofZgivenY?

–Evidencealongthechain“blocks”theinfluenceCommonCause共同原因另一個基礎(chǔ)的形態(tài):two

effectsofthesamecause

–AreXandZindependent?

–AreXandZindependentgivenY?–Observingthecauseblocksinfluence

betweeneffects.CommonEffect共同影響最后一種配置形態(tài):twocausesofone

effect(v-structures)

–AreXandZindependent?

?Yes:remembertheballgameandtherain

causingtraffic,nocorrelation?

–AreXandZindependentgivenY?

?No:rememberthatseeingtrafficputtherain

andtheballgameincompetition?

–Thisisbackwardsfromtheothercases

?Observingtheeffectenablesinfluencebetween causes.構(gòu)造貝葉斯網(wǎng)絡(luò)Needamethodsuchthataseriesoflocallytestableassertionsofconditionalindependenceguaranteestherequiredglobalsemantics需要一種方法使得局部的條件獨(dú)立關(guān)系能夠保證全局語義得以成立ChooseanorderingofvariablesX1,…,XnFori=1ton

addXi

tothenetwork

selectparentsfromX1,…,Xi-1

suchthat

P(Xi|Parents(Xi))=P(Xi|X1,...Xi-1)該父親選擇保證了全局語義:構(gòu)造貝葉斯網(wǎng)絡(luò)要求網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)確實(shí)反映了合適的父節(jié)點(diǎn)集對每個變量的那些直接影響。添加節(jié)點(diǎn)的正確次序是首先添加“根本原因”節(jié)點(diǎn)，然后加入受它們直接影響的變量，以此類推。ExampleExampleExampleExampleExampleExamplecontd.在非因果方向決定條件獨(dú)立性是很難的

(Causalmodelsandconditionalindependenceseemhardwiredforhumans!)

Networkislesscompact:1+2+4+2+4=13numbersneeded因果關(guān)系??當(dāng)貝葉斯網(wǎng)絡(luò)反映真正的因果模式時:

–Oftensimpler(nodeshavefewerparents)

–Ofteneasiertothinkabout

–Ofteneasiertoelicitfromexperts（專家）?BNs不一定必須是因果

–有時無因果關(guān)系的網(wǎng)絡(luò)是存在的(especiallyifvariablesaremissing)

–箭頭反映相關(guān)性，而不是因果關(guān)系?箭頭的真正含義是什么?

–Topologymayhappentoencodecausalstructure

–TopologyreallyencodesconditionalindependenceInferenceinBayesiannetworks推理任務(wù)簡單查詢:計算后驗(yàn)概率P(Xi|E=e)

e.g.,P(NoGas|Gauge油表=empty,Lights=on,Starts=false)聯(lián)合查詢:

P(Xi,Xj|E=e)=P(Xi|E=e)P(Xj|Xi,E=e)最優(yōu)決策:decisionnetworksincludeutilityinformation;probabilisticinferencerequiredfor

P(outcome|action,evidence)通過枚舉進(jìn)行推理上一章解釋了任何條件概率都可以通過將全聯(lián)合分布表中的某些項(xiàng)相加而計算得到在貝葉斯網(wǎng)絡(luò)中可以通過計算條件概率的乘積并求和來回答查詢。通過枚舉進(jìn)行推理上一章解釋了任何條件概率都可以通過將全聯(lián)合分布表中的某些項(xiàng)相加而計算得到Evaluationtree變量消元法Variableelimination（變量消元）:carryoutsummationsright-to-left,storingintermediateresults(factors：因子)toavoidrecomputation精確推理的復(fù)雜度Singlyconnectednetworks單聯(lián)通網(wǎng)絡(luò)(orpolytrees多樹):

—anytwonodesareconnectedbyatmostone(undirected)path

—timeandspacecostofvariableeliminationareO(dkn)

多樹上的變量消元的時間和空間復(fù)雜度都與網(wǎng)絡(luò)規(guī)模呈線性關(guān)系。Multiplyconnectednetworks多聯(lián)通網(wǎng)絡(luò):

—canreduce3SATtoexactinference?NP-hard

—equivalenttocounting3SATmodels?#P-completeExample:Na?veBayesmodel單一父親變量和一批孩子變量，孩子變量在給定父親變量下是相互獨(dú)立的

Na?veBayesmodelTotalnumberofparameters（參數(shù)）islinearinn

Example:垃圾郵件檢測想象一下試圖去自動檢測垃圾郵件的問題.一個簡單的方案是只檢測主題，然后根據(jù)郵件的標(biāo)題檢查一些簡單的特征來嘗試識別垃圾郵件.我們先考慮兩個簡單的特征:

Caps:是否標(biāo)題是徹底大寫的Free:是否標(biāo)題中包含大寫或小寫的單詞‘free’

e.g.:amessagewiththesubjectheader“NEWMORTGAGERATE“islikelytobespam.Similarly,for“MoneyforFree”,“FREElunch”,etc.Example:垃圾郵件檢測模型的構(gòu)建基于以下三個隨機(jī)變量,

Caps,FreeandSpam,eachofwhichtakeonthevaluesY(forYes)orN(forNo)Caps=Yifandonlyifthesubjectofthemessagedoesnot

containlowercaselettersFree=Yifandonlyiftheword`free'appearsinthesubject

(lettercaseisignored)Spam=YifandonlyifthemessageisspamP(Free,Caps,Spam)=P(Spam)P(Caps|Spam)P(Free|Spam)Example:垃圾郵件檢測P(Free,Caps,Spam)=P(Spam)P(Caps|Spam)P(Free|Spam)

Example:垃圾郵件檢測Example:垃圾郵件檢測Example:Learningtoclassifytext

documents文本分類是在文檔所包含的文本基礎(chǔ)上，把給定的文檔分配

到固定類別集合中某一個類別的任務(wù)。這個任務(wù)中常常用

到樸素貝葉斯模型。在這些模型中，查詢變量是文檔類別

，“結(jié)果”變量則是語言中每個詞是否出現(xiàn)。我們假設(shè)文

檔中的詞的出現(xiàn)都是獨(dú)立的，其出現(xiàn)頻率由文檔類別確定

。

a.準(zhǔn)確地解釋當(dāng)給定一組類別已經(jīng)確定的文檔作為“訓(xùn)練數(shù)據(jù)”時，這樣的模型是如何構(gòu)造的。

b.準(zhǔn)確地解釋如何對新文檔進(jìn)行分類。

c.這里獨(dú)立性假設(shè)合理嗎？請討論。Example:Learningtoclassifytext

documents模型包含先驗(yàn)概率P(Category)和

條件概率P(wordi|Category)?P(Category=c)isestimatedasthefractionofalldocumentsthatareofcategoryc?P(wordi=true|Category=c)isestimatedasthefractionofdocumentsofcategorycthatcontainwordiTwentyNewsgroupsGiven1000trainingdocumentsfromeachgroup.Learntoclassifynewdocumentsaccordingtowhichnewsgroupitcamefrom

Na?veBayes:89%classificationaccuracyLearningCurvefor20NewsgroupsExample:ADigitRecognizerNa?veBayesforDigits簡單版本:

–一種特征F

ijforeachgridposition<i,j>

–可能的特征值是on/off,基于圖像中像素的亮度是否大于或小于0.5

–每一個輸入映射到一個特征向量,e.g.

–Here:lotsoffeatures,eachisbinaryNa?veBayesmodel:Whatdoweneedtolearn?Examples:CPTsCommentsonNa?veBayesMakesprobabilisticinferencetractablebymakinga

strongassumptionofconditionalindependence.Tendstoworkfairlywelldespitethisstrong

assumption.Experimentsshowittobequitecompetitivewith

otherclassificationmethodsonstandarddatasets.Particularlypopularfortextcategorization,e.g.

spamfiltering.Summary?Bayesiannetworksprovideanaturalrepresentation

for(causallyinduced)conditionalindependence?Topology+CPTs=compactrepresentationofjoint

distribution?Generallyeasyfordomainexpertstoconstruct?Exactinferencebyvariableelimination:

–polytimeonpolytrees,NP-hardongeneralgraphs

–space=time,verysensitivetotopology?Na?veBayesmodel作業(yè)?14.3(a,b,c)，14.4，14.7(a,b,c)(不交)

演講完畢，謝謝觀看！附錄資料：人工智能簡介?AboutTeachingPlan基本要求：人工智能是計算機(jī)科學(xué)中涉及研究、設(shè)計和應(yīng)用智能機(jī)器的一個分支，是目前迅速發(fā)展的一門新興學(xué)科，新思想新方法層出不窮。其基本思想是利用機(jī)器來模仿和執(zhí)行人腦的功能，如判斷、推理、證明、識別、感知、理解、設(shè)計、思考、規(guī)劃、學(xué)習(xí)和問題求解等思維活動。對于培養(yǎng)學(xué)生計算機(jī)技術(shù)的應(yīng)用能力，開闊思路和視野，有重要意義。

?AboutTeachingPlan因此，要求學(xué)生掌握知識表示和問題求解的幾種常用方法，尤其是不確定性推理；掌握機(jī)器學(xué)習(xí)基本概念，了解幾種機(jī)器學(xué)習(xí)方法尤其是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法；掌握專家系統(tǒng)的概念，了解專家系統(tǒng)設(shè)計方法，掌握一些智能控制方法，了解國內(nèi)外人工智能研究尤其是機(jī)器人的最新進(jìn)展；具有一定的人工智能編程設(shè)計能力（利用Lisp或Prolog語言）。?AboutTeachingPlan課程內(nèi)容以及學(xué)時分配人工智能引論(1) 人工智能概念及與計算機(jī)的關(guān)系，研究途徑、內(nèi)容和應(yīng)用領(lǐng)域概況介紹，其他最新材料。符號主義、連接主義、行為主義三大流派人工智能數(shù)學(xué)基礎(chǔ)(1)知識表示方法（2） 狀態(tài)空間法、問題歸約法，謂詞邏輯法、產(chǎn)生式表示法（動物識別系統(tǒng)）；CLIPS語言；語義網(wǎng)絡(luò)法、框架法（這是結(jié)構(gòu)化表示）；劇本、過程、Petri網(wǎng)、面向?qū)ο蟮谋硎尽?AboutTeachingPlan 搜索技術(shù)和策略（3-4）狀態(tài)空間法，盲目搜索和啟發(fā)式搜索，A*算法；海伯倫理論、消解原理和策略；與\或形推理和搜索策略；其他求解技術(shù)。 不確定推理技術(shù)（3-4）主觀Bayes理論；可信度方法和證據(jù)理論；系統(tǒng)組織技術(shù)；非單調(diào)推理；Rete快速算法；模糊推理技術(shù)；基于語義網(wǎng)絡(luò)和框架不確定推理； 專家系統(tǒng)（2）專家系統(tǒng)概念、結(jié)構(gòu)和知識獲取；黑板模型、知識組織、管理及系統(tǒng)建造和開發(fā)工具；專家系統(tǒng)舉例及編程。

人工智能程序設(shè)計（1）人工智能語言基本機(jī)制：LISP和PROLOG。?AboutTeachingPlan 模式識別導(dǎo)論（3）模式識別專題：概率模式識別。模式識別專題：結(jié)構(gòu)模式識別 機(jī)器學(xué)習(xí)（1）：機(jī)械,解釋經(jīng)驗(yàn),事例,歸納,概念,類比學(xué)習(xí)等；統(tǒng)計,結(jié)構(gòu),模糊模式識別。 專題講座（3次） 1)神經(jīng)網(wǎng)絡(luò)基本理論和應(yīng)用 (史奎凡課程：安排于人工智能理論與應(yīng)用課程內(nèi))； 2)智能體（Agent）； 3)自然語言處理； 4)智能控制和機(jī)器人科學(xué) 智能控制的結(jié)構(gòu)理論和研究領(lǐng)域，智能控制系統(tǒng)及應(yīng)用示例；機(jī)器人規(guī)劃、機(jī)器視覺和自然語言理解等。?AboutTeachingPlan 實(shí)踐：1) 搜索技術(shù)和策略2) 不確定推理技術(shù)3) 專家系統(tǒng)：動物識別系統(tǒng)4) 模式識別技術(shù)5) 調(diào)研： 搜索技術(shù)和策略、不確定推理技術(shù)、統(tǒng)計模式識別、機(jī)器學(xué)習(xí)等四個領(lǐng)域進(jìn)展報告。?ChapterOne:BriefIntroductiontoArtificialIntelligence1.WhatisAI?人工智能（ArtificialIntelligence,AI）是當(dāng)前科學(xué)技發(fā)展的一門前沿學(xué)科，同時也是一門新思想，新觀念，新理論，新技術(shù)不斷出現(xiàn)的新興學(xué)科以及正在發(fā)展的學(xué)科。它是在計算機(jī)科學(xué)，控制論，信息論，神經(jīng)心理學(xué)，哲學(xué)，語言學(xué)等多種學(xué)科研究的基礎(chǔ)發(fā)展起來的，因此又可把它看作是一門綜合性的邊緣學(xué)科。它的出現(xiàn)及所取得的成就引起了人們的高度重視,并取得了很高的評價。有的人把它與空間技術(shù)，原子能技術(shù)一起并譽(yù)為20世紀(jì)的三大科學(xué)技術(shù)成就。?Intelligence智能是知識與智力的總合。 知識——智能行為的基礎(chǔ)； 智力——獲取知識并運(yùn)用知識求解問題的能力。智能具有以下特征：(1)具有感知能力——指人們通過視覺、聽覺、觸覺、味覺、嗅覺等感覺器官感知外部世界的能力；(2)具有記憶與思維的能力——這是人腦最重要的功能，亦是人之所以有智能的根本原因；(3)具有學(xué)習(xí)能力及自適應(yīng)能力；(4)具有行為能力。ArtificialIntelligence人工智能——計算機(jī)科學(xué)的一個分支，是智能計算機(jī)系統(tǒng)，即人類智慧在機(jī)器上的模擬，或者說是人們使機(jī)器具有類似于人的智慧（對語言能理解、能學(xué)習(xí)、能推理）。?2.BriefHistoryofAI (1) 孕育（1956年前）古希臘的Aristotle（亞里士多德）（前384-322），給出了形式邏輯的基本規(guī)律。英國的哲學(xué)家、自然科學(xué)家Bacon（培根）（1561-1626），系統(tǒng)地給出了歸納法。“知識就是力量”德國數(shù)學(xué)家、哲學(xué)家Leibnitz（布萊尼茨）（1646-1716）。提出了關(guān)于數(shù)理邏輯的思想，把形式邏輯符號化，從而能對人的思維進(jìn)行運(yùn)算和推理。做出了能做四則運(yùn)算的手搖計算機(jī)英國數(shù)學(xué)家、邏輯學(xué)家Boole（布爾）（1815-1864）實(shí)現(xiàn)了布萊尼茨的思維符號化和數(shù)學(xué)化的思想，提出了一種嶄新的代數(shù)系統(tǒng)——布爾代數(shù)。?美籍奧地利數(shù)理邏輯學(xué)家Godel（哥德爾）（1906-1978），證明了一階謂詞的完備性定；任何包含初等數(shù)論的形式系統(tǒng)，如果它是無矛盾的，那么一定是不完備的。意義在于，人的思維形式化和機(jī)械化的某種極限，在理論上證明了有些事是做不到的。英國數(shù)學(xué)家Turing(圖靈)（1912-1954）,1936年提出了一種理想計算機(jī)的數(shù)學(xué)模型（圖靈機(jī)），1950年提出了圖靈試驗(yàn)，發(fā)表了“計算機(jī)與智能”的論文。圖靈獎。美國數(shù)學(xué)家Mauchly，1946發(fā)明了電子數(shù)字計算機(jī)ENIAC美國神經(jīng)生理學(xué)家McCulloch，建立了第一個神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型。美國數(shù)學(xué)家Shannon（香農(nóng)）,1948年發(fā)表了《通訊的數(shù)學(xué)理論》，代表了“信息論”的誕生。? (2) 形成（1956-1969）1956年提出了“ArtificialIntelligence（人工智能）”1956年夏由麻省理工學(xué)院的J.McCarthy、M.L.Minsky,IBM公司信息研究中心的N.Rochester,貝爾實(shí)驗(yàn)室的C.E.Shannon共同發(fā)起，邀請了Moore,Samuel,Selfridge,Solomonff,Simon,Newell等人，10位數(shù)學(xué)家、信息學(xué)家、心理學(xué)家、神經(jīng)生理學(xué)家、計算機(jī)科學(xué)家，在Dartmouth大學(xué)召開了一次關(guān)于機(jī)器智能的研討會，會上McCarthy提議正式采用了ArtificialIntelligence（人工智能）這一術(shù)語。這次會議，標(biāo)志著人工智能作為一門新興學(xué)科正式誕生了。 McCarthy（麥卡錫）——人工智能之父。這次會議之后的10年間，人工智能的研究取得了許多引人矚目的成就.機(jī)器學(xué)習(xí)方面：塞繆爾于1956年研制出了跳棋程序，該程序能從棋譜中學(xué)習(xí)，也能從下棋實(shí)踐中提高棋藝；?在定理證明方面：王浩于1958年在IBM機(jī)上證明了《數(shù)學(xué)原理》中有關(guān)命題演算的全部定理（220條），還證明了謂詞演算中150條定理85%；1965年，魯賓遜（Robinson）提出了消解原理；在模式識別方面：1959年塞爾夫里奇推出了一個模式識別程序；1965年羅伯特（Robert）編制出可辨別積木構(gòu)造的程序；在問題求解方面：1960年紐厄爾等人通過心理學(xué)試驗(yàn)總結(jié)出了人們求解問題的思維規(guī)律，編制了通用問題求解程序GPS,可以用來求解11種不同類型的問題；在專家系統(tǒng)方面：斯坦福大學(xué)的費(fèi)根鮑姆（E.A.Feigenbaum）自1965年開始進(jìn)行專家系統(tǒng)DENDRAL（化學(xué)分析專家系統(tǒng)），1968年完成并投入使用；在人工智能語言方面：1960年McCarthy等人建立了人工智能程序設(shè)計語言Lisp，該語言至今仍是建造智能系統(tǒng)的重要工具；1969年成立了國際人工智能聯(lián)合會議（InternationalJointConferencesOnArtificialIntelligence）? (3) 發(fā)展（1970年以后）70年代，開始從理論走向?qū)嵺`，解決一些實(shí)際問題。同時很快就發(fā)現(xiàn)問題：歸結(jié)法費(fèi)時、下棋贏不了全國冠軍、機(jī)器翻譯一團(tuán)糟。以Feigenbaum為首的一批年輕科學(xué)家改變了戰(zhàn)略思想，1977年提出知識工程的概念，以知識為基礎(chǔ)的專家咨詢系統(tǒng)開始廣泛的應(yīng)用。著名專家系統(tǒng)的有：DENDRAL化學(xué)分析專家系統(tǒng)（斯坦福大學(xué)1968）MACSYMA符號數(shù)學(xué)專家系統(tǒng)（麻省理工1971）MYCIN診斷和治療細(xì)菌感染性血液病的專家咨詢系統(tǒng)（斯坦福大學(xué)1973）CASNET(CausalASsciationalNetwork)診斷和治療青光眼的專家咨詢系統(tǒng)（拉特格爾斯（Rutgers）大學(xué)70年代中）CADUCEUS(原名INTERNIST)醫(yī)療咨詢系統(tǒng)（匹茲堡大學(xué)）；HEARSAYI和II語音理解系統(tǒng)（卡內(nèi)基-梅隆大學(xué)）PROSPECTOR地質(zhì)勘探專家系統(tǒng)（斯坦福大學(xué)1976）XCON計算機(jī)配置專家系統(tǒng)（卡內(nèi)基-梅隆大學(xué)1978）??80年代，人工智能發(fā)展達(dá)到階段性的頂峰。?87,89年世界大會有６－７千人參加。硬件公司有上千個。并進(jìn)行Lisp硬件、Lisp機(jī)的研究。?在專家系統(tǒng)及其工具越來越商品化的過程中,國際軟件市場上形成了一門旨在生產(chǎn)和加工知識的新產(chǎn)業(yè)——知識產(chǎn)業(yè)。應(yīng)該說，知識工程和專家系統(tǒng)是近十余年來人工智能研究中最有成就的分支之一。?同年代，1986年Rumlhart領(lǐng)導(dǎo)的并行分布處理研究小組提出了神經(jīng)元網(wǎng)絡(luò)的反向傳播學(xué)習(xí)算法，解決了神經(jīng)網(wǎng)絡(luò)的根本問題之一。從此，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入新的高潮。?90年代，計算機(jī)發(fā)展趨勢為小型化、并行化、網(wǎng)絡(luò)化、智能化。?人工智能技術(shù)逐漸與數(shù)據(jù)庫、多媒體等主流技術(shù)相結(jié)合，并融合在主流技術(shù)之中，旨在使計算機(jī)更聰明、更有效、與人更接近。?日本政府于1992年結(jié)束了為期十年的稱為“知識信息處理體統(tǒng)”的第五代計算機(jī)系統(tǒng)研究開發(fā)計劃。并開始了為期十年的實(shí)況計算（RealWordComputing）計劃。?3.ResearchObjectsandMainContents

(1)人工智能的研究目標(biāo)

人工智能的長期研究目標(biāo)：構(gòu)造智能計算機(jī)。

人工智能的近期研究目標(biāo)：使現(xiàn)有的電子計算機(jī)更聰明，更有用，使它不僅能做一般的數(shù)值計算及非數(shù)值信息的數(shù)據(jù)處理，而且能運(yùn)用知識處理問題，能模擬人類的部分智能行為。?(2)人工智能研究的基本內(nèi)容

1.機(jī)器感知以機(jī)器視覺與機(jī)器聽覺為主。機(jī)器感知是機(jī)器獲取外部信息的基本途徑，是使機(jī)器具有智能不可或缺的組成部分，對此人工智能中已形成兩個專門的研究領(lǐng)域——

模式識別和自然語言理解。2.機(jī)器思維指通過感知的外部信息及機(jī)器內(nèi)部的各種工作信息進(jìn)行有目的的處理。主要開展以下幾方面的研究：(1)知識表示(2)知識的組織，累計，管理技術(shù)(3)知識的推理(4)各種啟發(fā)式搜索及控制策略(5)神經(jīng)網(wǎng)絡(luò)，人腦的結(jié)構(gòu)及其工作原理?3.機(jī)器學(xué)習(xí)

使計算能自動獲取知識，能直接向書本學(xué)習(xí)，能通過與人談話學(xué)習(xí)，能通過對環(huán)境的觀察學(xué)習(xí)，并能在實(shí)踐中自我完善。4.機(jī)器行為機(jī)器行為主要指計算機(jī)的表達(dá)能力，即“說”、“寫”、“畫”等，對智能機(jī)器人，還應(yīng)該有人的四肢功能，即能走路，能取物，能操作等。5.智能系統(tǒng)及智能計算機(jī)的構(gòu)造技術(shù)?4.ResearchObjectsandMainContents人工智能面世以來，其研究途徑存在兩種不同的觀點(diǎn)：以符號處理為核心的方法——主張通過運(yùn)用計算機(jī)科學(xué)的方法進(jìn)行研究，實(shí)現(xiàn)人工智能在計算機(jī)的模擬。以網(wǎng)絡(luò)連接為主的連接機(jī)制方法——主張用生物學(xué)的方法進(jìn)行研究，搞清楚人類智能的本質(zhì)。(1)以符號處理為核心的方法該方法起源于紐厄爾等人的通用問題求解系統(tǒng)（GPS），用于模擬人類求解問題的心理過程，逐漸形成為物理符號系統(tǒng)，這種方法認(rèn)為： 人類研究的目標(biāo)是實(shí)現(xiàn)機(jī)器智能，而計算機(jī)自身具有符號處理能力，這種能力本身就蘊(yùn)含著演繹推理的內(nèi)涵，因而可通過運(yùn)行相應(yīng)的程序來體現(xiàn)某種基于邏輯思維的智能行為，達(dá)到模擬人類智能活動的效果。目前人工智能的大部分研究成果都是基于這種方法實(shí)現(xiàn)的。?

該方法的主要特征是：

?立足于邏輯運(yùn)算和符號操作，適合于模擬人的邏輯思維過程，解決需要進(jìn)行邏輯推理的復(fù)雜問題；

?知識可用顯式的符號表示；

?便于模塊化；?能與傳統(tǒng)的符號數(shù)據(jù)庫鏈接；?可對推理結(jié)論做出解釋，便于對各種可能性進(jìn)行選擇。

但該方法不適合于形象思維；而且在用符號表示概念時其有效性在很大程度上取決于符號表示的正確性，且對帶噪聲的信息及不完整的信息難以處理。(2)以網(wǎng)絡(luò)連接為主的連接機(jī)制方法該方法是在人腦神經(jīng)元及其相互連接而成網(wǎng)絡(luò)的啟示下，試圖通過多人工神經(jīng)元間的并行協(xié)同作用來實(shí)現(xiàn)對人類智能的模擬。該方法認(rèn)為：大腦是人類一切智能活動的基礎(chǔ)，因而從大腦神經(jīng)元及其連接機(jī)制著手進(jìn)行研究，搞清楚大腦的結(jié)構(gòu)及它進(jìn)行信息處理的過程及機(jī)理，可望揭示人類智能的奧秘，從而真正實(shí)現(xiàn)人類智慧在機(jī)器上的模擬。?該方法的主要