第六章機(jī)器學(xué)習(xí)北京物資學(xué)院管理科學(xué)與工程系趙明茹第六章機(jī)器學(xué)習(xí)北京物資學(xué)院1機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)系統(tǒng)的基本模型機(jī)械學(xué)習(xí)實(shí)例學(xué)習(xí)解釋學(xué)習(xí)機(jī)器學(xué)習(xí)概述2概述到目前為止的大多數(shù)人工智能系統(tǒng)還完全沒(méi)有或僅有有限的學(xué)習(xí)能力。系統(tǒng)中的知識(shí)是由人工編程送入的，知識(shí)中的錯(cuò)誤也不能自動(dòng)改正。概述到目前為止的大多數(shù)人工智能系統(tǒng)還完全沒(méi)有或僅有有限的學(xué)習(xí)3機(jī)器的能力是否能超過(guò)人的能力？否定意見：機(jī)器是人造的，其性能和動(dòng)作是由設(shè)計(jì)者規(guī)定的，因此無(wú)論如何其能力也不會(huì)超過(guò)設(shè)計(jì)者本人。對(duì)于不具備學(xué)習(xí)能力的機(jī)器來(lái)說(shuō)是正確的，可是對(duì)于具備學(xué)習(xí)能力的機(jī)器就值得考慮了。機(jī)器學(xué)習(xí)的不可預(yù)測(cè)問(wèn)題。機(jī)器的能力是否能超過(guò)人的能力？否定意見：機(jī)器是人造的，其性能4跳棋程序20世紀(jì)50年代末，阿瑟.塞繆爾（samuel）編寫了著名的跳棋程序。啟發(fā)式搜索技術(shù)，跳棋程序可以向前看幾步然后再走棋?？梢詮慕?jīng)驗(yàn)中學(xué)習(xí)，從棋譜中學(xué)習(xí)。不斷調(diào)整棋盤評(píng)價(jià)函數(shù)，提高自己的棋藝。經(jīng)過(guò)三年的學(xué)習(xí)，打敗了Samuel，又三年，打敗了州冠軍。同時(shí)刺激了“搜索”和“機(jī)器學(xué)習(xí)”這兩個(gè)人工智能的重要領(lǐng)域的發(fā)展。跳棋程序20世紀(jì)50年代末，阿瑟.塞繆爾（samuel）編5塞繆爾塞繆爾6塞繆爾1901年生于美國(guó)堪薩斯州的恩波利亞，恩波利亞學(xué)院上學(xué)。1923年大學(xué)畢業(yè)以后，他進(jìn)入MIT念研究生，1926年取得碩士學(xué)位。留校工作兩年以后，他加盟貝爾實(shí)驗(yàn)室，從事電子器件的研究。二次世界大戰(zhàn)爆發(fā)以后，他的研究工作集中于雷達(dá)技術(shù)。戰(zhàn)爭(zhēng)結(jié)束后，到伊利諾大學(xué)電氣工程系任教，積極參與了該校研制電子計(jì)算機(jī)的工作。1949年即轉(zhuǎn)至IBM公司在普凱潑茜的研發(fā)實(shí)驗(yàn)室工作，參與其第一臺(tái)大型科學(xué)計(jì)算機(jī)701的開發(fā)。塞繆爾1901年生于美國(guó)堪薩斯州的恩波利亞，恩波利亞學(xué)院上學(xué)7塞繆爾在下棋程序方面的工作對(duì)IBM公司早期計(jì)算機(jī)的指令系統(tǒng)產(chǎn)生了很大影響。由于下棋程序是計(jì)算機(jī)應(yīng)用中最早的一種典型的非數(shù)值計(jì)算，因此在701中加入了許多邏輯指令，這類指令后來(lái)迅速被所有計(jì)算機(jī)的設(shè)計(jì)者所采用和推廣，成為計(jì)算機(jī)指令集中的基本成分。1966年塞繆爾從IBM公司退休以后，到斯坦福大學(xué)從事教學(xué)和研究工作，指導(dǎo)博士生，直到1982年。塞繆爾晚年得了帕金森綜合癥。病中他開始撰寫自傳，但只寫到20世紀(jì)60年代中期，即于1990年7月29日在加利福尼亞州的家中撒手西去。塞繆爾生前除了獲得IZEE的計(jì)算機(jī)先驅(qū)獎(jiǎng)以外，沒(méi)有別的榮譽(yù)和獎(jiǎng)勵(lì)。塞繆爾在下棋程序方面的工作對(duì)IBM公司早期計(jì)算機(jī)的指令系統(tǒng)產(chǎn)8什么是機(jī)器學(xué)習(xí)Simon認(rèn)為“學(xué)習(xí)就是系統(tǒng)中的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作”。Minsky認(rèn)為“學(xué)習(xí)是在我們的頭腦中進(jìn)行有用的變化”。有的觀點(diǎn)認(rèn)為“機(jī)器學(xué)習(xí)就是知識(shí)的獲取”，但獲取的知識(shí)有時(shí)不會(huì)使系統(tǒng)有所改善。什么是機(jī)器學(xué)習(xí)Simon認(rèn)為“學(xué)習(xí)就是系統(tǒng)中的變化，這種變化9學(xué)習(xí)的基本形式知識(shí)獲取

學(xué)習(xí)的本質(zhì)就是獲取新的知識(shí)，包括物理系統(tǒng)、行為的描述和模型的建立，構(gòu)造客觀現(xiàn)實(shí)的表示。技能求精

通過(guò)實(shí)踐改造機(jī)制和認(rèn)知技能。這些技能包括意識(shí)的或機(jī)制的。這種改變是通過(guò)反復(fù)實(shí)踐和從失敗中糾正錯(cuò)誤來(lái)進(jìn)行的。學(xué)習(xí)騎自行車。學(xué)習(xí)的基本形式知識(shí)獲取10為什么要研究機(jī)器學(xué)習(xí)？人工智能主要是為了研究人的智能，模仿其機(jī)理將其應(yīng)用于工程的科學(xué)，在這個(gè)過(guò)程中，必然會(huì)問(wèn)到“人類怎么做才能獲得這種特殊技能（或知識(shí)）？”當(dāng)前的人工智能研究的主要障礙和發(fā)展方向之一就是機(jī)器學(xué)習(xí)。包括學(xué)習(xí)的計(jì)算理論和構(gòu)造學(xué)習(xí)系統(tǒng)。為什么要研究機(jī)器學(xué)習(xí)？人工智能主要是為了研究人的智能，模仿其11未來(lái)的計(jì)算機(jī)將有自動(dòng)獲取知識(shí)的能力，直接從書本中學(xué)習(xí)，通過(guò)與人談話學(xué)習(xí)，通過(guò)觀察學(xué)習(xí)。通過(guò)實(shí)踐自我完善?？朔说拇鎯?chǔ)少，效率低，注意力分散，難以傳送所獲取知識(shí)等局限性。一臺(tái)計(jì)算機(jī)獲取的知識(shí)很容易復(fù)制給任何其他機(jī)器。為什么要研究機(jī)器學(xué)習(xí)？未來(lái)的計(jì)算機(jī)將有自動(dòng)獲取知識(shí)的能力，直接從書本中學(xué)習(xí)，通過(guò)與12機(jī)器學(xué)習(xí)實(shí)現(xiàn)的困難預(yù)測(cè)難：學(xué)習(xí)后知識(shí)庫(kù)發(fā)生了什么變化，系統(tǒng)功能的變化的預(yù)測(cè)。歸納推理：現(xiàn)有的歸納推理保假，不保真。演繹推理保真。而且，歸納的結(jié)論是無(wú)限多的，其中相當(dāng)多的是假的，給生成知識(shí)帶來(lái)不可靠性。機(jī)器目前很難觀察什么重要，什么有意義。機(jī)器學(xué)習(xí)實(shí)現(xiàn)的困難預(yù)測(cè)難：學(xué)習(xí)后知識(shí)庫(kù)發(fā)生了什么變化，系統(tǒng)功13機(jī)器學(xué)習(xí)的發(fā)展史第一階段是在50年代中葉到60年代中葉，屬于熱烈時(shí)期。在這個(gè)時(shí)期，所研究的是“沒(méi)有知識(shí)”的學(xué)習(xí)，即“無(wú)知”學(xué)習(xí)；其研究目標(biāo)是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基礎(chǔ)是早在40年代就開始研究的神經(jīng)網(wǎng)絡(luò)模型。在這個(gè)時(shí)期，我國(guó)研制了數(shù)字識(shí)別學(xué)習(xí)機(jī)。機(jī)器學(xué)習(xí)的發(fā)展史第一階段是在50年代中葉到60年代中葉，14機(jī)器學(xué)習(xí)的發(fā)展史第二階段在60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。本階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。這個(gè)時(shí)期正是我國(guó)“史無(wú)前例”的十年，對(duì)機(jī)器學(xué)習(xí)的研究不可能取得實(shí)質(zhì)進(jìn)展。機(jī)器學(xué)習(xí)的發(fā)展史第二階段在60年代中葉至70年代中葉，被15機(jī)器學(xué)習(xí)的發(fā)展史第三階段從70年代中葉至80年代中葉，稱為復(fù)興時(shí)期。在這個(gè)時(shí)期，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。本階段已開始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，中國(guó)科學(xué)院自動(dòng)化研究所進(jìn)行質(zhì)譜分析和模式文法推斷研究，表明我國(guó)的機(jī)器學(xué)習(xí)研究得到恢復(fù)。1980年西蒙來(lái)華傳播機(jī)器學(xué)習(xí)的火種后，我國(guó)的機(jī)器學(xué)習(xí)研究出現(xiàn)了新局面。機(jī)器學(xué)習(xí)的發(fā)展史第三階段從70年代中葉至80年代中葉，稱16機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的最新階段始于1986年。一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視。我國(guó)的機(jī)器學(xué)習(xí)研究開始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時(shí)期。機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的最新階段始于1986年。一方面，由17機(jī)器學(xué)習(xí)的主要策略學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略大體上可分為：機(jī)械學(xué)習(xí)、傳授學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)和歸納學(xué)習(xí)。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。機(jī)器學(xué)習(xí)的主要策略學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的，按照學(xué)習(xí)中18機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)又稱為記憶學(xué)習(xí)，是最簡(jiǎn)單的學(xué)習(xí)策略。這種學(xué)習(xí)策略不需要任何推理過(guò)程。外面輸入知識(shí)的表示方式與系統(tǒng)內(nèi)部表示方式完全一致，不需要任何處理和變化。機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)又稱為記憶學(xué)習(xí)，是最簡(jiǎn)單的學(xué)習(xí)策略。19傳授學(xué)習(xí)傳授學(xué)習(xí)又稱指導(dǎo)式學(xué)習(xí)或指點(diǎn)學(xué)習(xí)。在使用傳授學(xué)習(xí)系統(tǒng)時(shí)，外界輸入知識(shí)的表達(dá)方式與系統(tǒng)內(nèi)部表達(dá)方式不完全一致，系統(tǒng)在接受外部知識(shí)時(shí)，需要一點(diǎn)推理、翻譯和轉(zhuǎn)化工作。傳授學(xué)習(xí)傳授學(xué)習(xí)又稱指導(dǎo)式學(xué)習(xí)或指點(diǎn)學(xué)習(xí)。20演繹學(xué)習(xí)在演繹學(xué)習(xí)中，學(xué)習(xí)系統(tǒng)由給定的知識(shí)進(jìn)行演繹的保真推理，并存儲(chǔ)有用的結(jié)論。演繹學(xué)習(xí)在演繹學(xué)習(xí)中，學(xué)習(xí)系統(tǒng)由給定的知識(shí)進(jìn)行演繹的保真推理21歸納學(xué)習(xí)歸納學(xué)習(xí)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一類學(xué)習(xí)方法。按其又無(wú)教師的指導(dǎo)，可以分為實(shí)例學(xué)習(xí)及觀察與發(fā)現(xiàn)學(xué)習(xí)。歸納學(xué)習(xí)歸納學(xué)習(xí)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一類學(xué)習(xí)方法。按其又22實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為概念獲取，它是通過(guò)向?qū)W習(xí)者提供某一概念的一組正例和反例，使學(xué)習(xí)者從這些正反例中歸納推理出概念的一般描述，這個(gè)描述應(yīng)能解釋所有給定的正例并排除所有給定的反例。這些正反例是由信息源提供的，信息源可能是已經(jīng)知道概念的教師，也可以是學(xué)習(xí)者本身，還可能是學(xué)習(xí)者以外的外部環(huán)境。實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為概念獲取，它是通過(guò)向?qū)W習(xí)者提供某一概念23觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)又稱為描述的一般化。這類學(xué)習(xí)沒(méi)有教師的指導(dǎo)，它要產(chǎn)生對(duì)所有或大多數(shù)觀察到的規(guī)律和規(guī)則的解釋。這類學(xué)習(xí)包括概念聚類、構(gòu)造分類、曲線擬合（使方程符合數(shù)據(jù)）、發(fā)現(xiàn)并解釋觀察到的定律并形成理論。觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)又稱為描述的一般化。這類學(xué)習(xí)沒(méi)有24類比學(xué)習(xí)類比學(xué)習(xí)就是在遇到新的問(wèn)題時(shí)，可以學(xué)習(xí)以前解決過(guò)的類似問(wèn)題的解決方法，來(lái)解決當(dāng)前的問(wèn)題。所以尋找與當(dāng)前問(wèn)題相似的已知問(wèn)題就很重要，并且必須要能夠發(fā)現(xiàn)當(dāng)前任務(wù)與已知任務(wù)的相似之點(diǎn)，由此制定出完成當(dāng)前任務(wù)的方案。類比學(xué)習(xí)可以由系統(tǒng)已有的某一領(lǐng)域知識(shí)得到另一領(lǐng)域中類似的知識(shí)。類比學(xué)習(xí)類比學(xué)習(xí)就是在遇到新的問(wèn)題時(shí)，可以學(xué)習(xí)以前解決過(guò)的類25機(jī)器學(xué)習(xí)系統(tǒng)的基本模型以西蒙關(guān)于學(xué)習(xí)的定義作為出發(fā)點(diǎn)，建立機(jī)器學(xué)習(xí)系統(tǒng)的基本模型。環(huán)境學(xué)習(xí)環(huán)節(jié)知識(shí)庫(kù)執(zhí)行環(huán)節(jié)機(jī)器學(xué)習(xí)系統(tǒng)的基本模型以西蒙關(guān)于學(xué)習(xí)的定義作為出發(fā)點(diǎn)，建立機(jī)26學(xué)習(xí)系統(tǒng)的基本模型環(huán)境和知識(shí)庫(kù)是以某種知識(shí)表示形式表達(dá)的信息的集合，分別代表外界信息來(lái)源和系統(tǒng)所具有的知識(shí)；“學(xué)習(xí)環(huán)節(jié)”和“執(zhí)行環(huán)節(jié)”代表兩個(gè)過(guò)程。“環(huán)境”向系統(tǒng)的“學(xué)習(xí)環(huán)節(jié)”提供某些信息，而“學(xué)習(xí)環(huán)節(jié)”則利用這些信息對(duì)系統(tǒng)的“知識(shí)庫(kù)”進(jìn)行改進(jìn)，以增進(jìn)系統(tǒng)“執(zhí)行環(huán)節(jié)”完成任務(wù)的效能，“執(zhí)行環(huán)節(jié)”根據(jù)知識(shí)庫(kù)中的知識(shí)來(lái)完成某種任務(wù)，同時(shí)把獲得的信息反饋給“學(xué)習(xí)環(huán)節(jié)”。學(xué)習(xí)系統(tǒng)的基本模型環(huán)境和知識(shí)庫(kù)是以某種知識(shí)表示形式表達(dá)的信息27環(huán)境環(huán)境可以是系統(tǒng)的工作對(duì)象，也可以包括工作對(duì)象和外界條件。例如在醫(yī)療系統(tǒng)中，環(huán)境就是病人當(dāng)前的癥狀、檢驗(yàn)的數(shù)據(jù)和病歷。在模式識(shí)別中，環(huán)境就是待識(shí)別的圖形或景物。環(huán)境就是為學(xué)習(xí)系統(tǒng)提供獲取知識(shí)所需的信息。信息的水平和質(zhì)量，對(duì)學(xué)習(xí)系統(tǒng)獲取知識(shí)的能力有很大的影響。環(huán)境環(huán)境可以是系統(tǒng)的工作對(duì)象，也可以包括工作對(duì)象和外界條件。28學(xué)習(xí)環(huán)節(jié)學(xué)習(xí)環(huán)節(jié)通過(guò)獲得外部信息，并將這些信息與執(zhí)行環(huán)節(jié)所反饋回的信息進(jìn)行比較。一般情況下環(huán)境提供的信息水平與執(zhí)行環(huán)節(jié)所需的信息水平之間往往有差距，經(jīng)分析、綜合、類比、歸納等思維過(guò)程，學(xué)習(xí)環(huán)節(jié)就要從這些差距中獲取相關(guān)對(duì)象的知識(shí)，并將這些知識(shí)存入知識(shí)庫(kù)中。學(xué)習(xí)環(huán)節(jié)學(xué)習(xí)環(huán)節(jié)通過(guò)獲得外部信息，并將這些信息與執(zhí)行環(huán)節(jié)所反29知識(shí)庫(kù)知識(shí)庫(kù)用于存放由學(xué)習(xí)環(huán)節(jié)所學(xué)到的知識(shí)。影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素是知識(shí)庫(kù)的形式和內(nèi)容。知識(shí)庫(kù)的形式就是知識(shí)表示的形式。選擇知識(shí)表示方法要考慮下列準(zhǔn)則：可表達(dá)性、推理難度、可修改性和可擴(kuò)充性。知識(shí)庫(kù)知識(shí)庫(kù)用于存放由學(xué)習(xí)環(huán)節(jié)所學(xué)到的知識(shí)。30表達(dá)能力強(qiáng)人工智能系統(tǒng)研究的一個(gè)重要問(wèn)題是所選擇的表示方式能很容易地表達(dá)有關(guān)的知識(shí)。例如，如果我們研究的是一些孤立的木塊，則可選用特征向量表示方式。用(<顏色>,<形狀>,<體積>)這樣形式的一個(gè)向量表示木塊，比方說(shuō)(紅，方，大)表示的是一個(gè)紅顏色的大的方形木塊，(綠，方，小)表示一個(gè)綠顏色的小方形木塊。但是，如果用特征向量描述木塊之間的相互關(guān)系，比方說(shuō)要說(shuō)明一個(gè)紅色的木塊在一個(gè)綠色的木塊上面，則比較困難了。

(x)(y)xy(RED(X)∧GREEN(Y)∧ONTOP(X,Y))

表達(dá)能力強(qiáng)人工智能系統(tǒng)研究的一個(gè)重要問(wèn)題是所選擇的表示方式能31易于推理在具有較強(qiáng)表達(dá)能力的基礎(chǔ)上，為了使學(xué)習(xí)系統(tǒng)的計(jì)算代價(jià)比較低，我們希望知識(shí)表示方式能使推理較為容易。例如，在推理過(guò)程中經(jīng)常會(huì)遇到判別兩種表示方式是否等價(jià)的問(wèn)題。在特征向量表示方式中，解決這個(gè)問(wèn)題比較容易；在一階邏輯表示方式中，解決這個(gè)問(wèn)題要花費(fèi)較高的計(jì)算代價(jià)。因?yàn)閷W(xué)習(xí)系統(tǒng)通常要在大量的描述中查找，很高的計(jì)算代價(jià)會(huì)嚴(yán)重地影響查找的范圍。因此如果只研究孤立的木塊而不考慮相互的位置，則應(yīng)該使用特征向量表示。易于推理在具有較強(qiáng)表達(dá)能力的基礎(chǔ)上，為了使學(xué)習(xí)系統(tǒng)的計(jì)算32容易修改知識(shí)庫(kù)學(xué)習(xí)系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識(shí)庫(kù)，當(dāng)推廣得出一般執(zhí)行規(guī)則后，要加到知識(shí)庫(kù)中。當(dāng)發(fā)現(xiàn)某些規(guī)則不適用時(shí)要將其刪除。因此學(xué)習(xí)系統(tǒng)的知識(shí)表示，一般都采用明確、統(tǒng)一的方式，如特征向量，產(chǎn)生式規(guī)則等，以利于知識(shí)庫(kù)的修改。從理論上看，知識(shí)庫(kù)的修改是個(gè)較為困難的課題，因?yàn)樾略黾拥闹R(shí)可能與知識(shí)庫(kù)中原有的知識(shí)矛盾，有必要對(duì)整個(gè)知識(shí)庫(kù)做全面調(diào)整。刪除某一知識(shí)也可能使許多其它的知識(shí)失效，需要進(jìn)一步做全面檢查。容易修改知識(shí)庫(kù)學(xué)習(xí)系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識(shí)庫(kù)，當(dāng)33知識(shí)表示易于擴(kuò)展隨著系統(tǒng)學(xué)習(xí)能力的提高，單一的知識(shí)表示已經(jīng)不能滿足需要；一個(gè)系統(tǒng)有時(shí)同時(shí)使用幾種知識(shí)表示方式。不但如此，有時(shí)還要求系統(tǒng)自己能構(gòu)造出新的表示方式，以適應(yīng)外界信息不斷變化的需要。因此要求系統(tǒng)包含如何構(gòu)造表示方式的元級(jí)描述。現(xiàn)在，人們把這種元級(jí)知識(shí)也看成是知識(shí)庫(kù)的一部分。這種元級(jí)知識(shí)使學(xué)習(xí)系統(tǒng)的能力得到極大提高，使其能夠?qū)W會(huì)更加復(fù)雜的東西，不斷地?cái)U(kuò)大它的知識(shí)領(lǐng)域和執(zhí)行能力。知識(shí)表示易于擴(kuò)展隨著系統(tǒng)學(xué)習(xí)能力的提高，單一的知識(shí)表示已經(jīng)34執(zhí)行環(huán)節(jié)執(zhí)行環(huán)節(jié)是整個(gè)機(jī)器學(xué)習(xí)系統(tǒng)的核心。執(zhí)行環(huán)節(jié)用于處理系統(tǒng)面臨的現(xiàn)實(shí)問(wèn)題，即應(yīng)用知識(shí)庫(kù)中所學(xué)到的知識(shí)求解問(wèn)題，如智能控制、自然語(yǔ)言理解和定理證明等，并對(duì)執(zhí)行的效果進(jìn)行評(píng)價(jià)，將評(píng)價(jià)的結(jié)果反饋回學(xué)習(xí)環(huán)節(jié)，以便系統(tǒng)進(jìn)一步的學(xué)習(xí)。執(zhí)行環(huán)節(jié)的問(wèn)題復(fù)雜性、反饋信息和執(zhí)行過(guò)程的透明度都對(duì)學(xué)習(xí)環(huán)節(jié)有影響。執(zhí)行環(huán)節(jié)執(zhí)行環(huán)節(jié)是整個(gè)機(jī)器學(xué)習(xí)系統(tǒng)的核心。執(zhí)行環(huán)節(jié)用于處理系35執(zhí)行環(huán)節(jié)執(zhí)行部分是整個(gè)學(xué)習(xí)系統(tǒng)的核心，因?yàn)閳?zhí)行部分的動(dòng)作就是學(xué)習(xí)部分力求改進(jìn)的動(dòng)作。同執(zhí)行部分有關(guān)的問(wèn)題有3個(gè)：復(fù)雜性、反饋和透明性。復(fù)雜的任務(wù)比簡(jiǎn)單的任務(wù)需要更多的知識(shí)，對(duì)于這類簡(jiǎn)單任務(wù)，有一條分組規(guī)則就可以了。有的要使用幾百條規(guī)則。對(duì)于通過(guò)例子學(xué)習(xí)的計(jì)算機(jī)系統(tǒng)，最簡(jiǎn)單的執(zhí)行任務(wù)是按照單一的概念或規(guī)則進(jìn)行分類或預(yù)測(cè)。比較復(fù)雜一點(diǎn)的任務(wù)涉及多個(gè)概念。學(xué)習(xí)系統(tǒng)最復(fù)雜的任務(wù)是小型計(jì)劃任務(wù)，系統(tǒng)必須給出一組規(guī)則序列，執(zhí)行部分依次執(zhí)行這些規(guī)則。執(zhí)行環(huán)節(jié)執(zhí)行部分是整個(gè)學(xué)習(xí)系統(tǒng)的核心，因?yàn)閳?zhí)行部分的動(dòng)作就是36反饋信息所有的學(xué)習(xí)系統(tǒng)必須以某種方式評(píng)價(jià)學(xué)習(xí)部分提出的假設(shè)。有些程序有一部分獨(dú)立的知識(shí)專門從事這種評(píng)價(jià)。例如AM系統(tǒng)就有許多探索規(guī)則評(píng)價(jià)學(xué)習(xí)部分提出的新概念的意義。然而最常用的方法是由教師提出外部執(zhí)行標(biāo)準(zhǔn)，然后觀察執(zhí)行部分相對(duì)這個(gè)標(biāo)準(zhǔn)做的如何，再把執(zhí)行結(jié)果反饋給學(xué)習(xí)部分，以決定假設(shè)的取舍。反饋信息所有的學(xué)習(xí)系統(tǒng)必須以某種方式評(píng)價(jià)學(xué)習(xí)部分提出的假設(shè)。37透明性透明性即要求從系統(tǒng)執(zhí)行部分的動(dòng)作效果可以很容易地對(duì)知識(shí)庫(kù)的規(guī)則進(jìn)行評(píng)價(jià)。例如下完一盤棋之后從輸贏總的效果判斷所走每一步的優(yōu)劣則比較困難，但若記錄了每一步之后的局勢(shì)，從局勢(shì)判斷優(yōu)劣則比較直觀和容易。透明性透明性即要求從系統(tǒng)執(zhí)行部分的動(dòng)作效果可以很容易地對(duì)知識(shí)38機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)是最簡(jiǎn)單的機(jī)器學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ)起來(lái)，供需要時(shí)檢索調(diào)用，而不需要計(jì)算和推理。機(jī)械學(xué)習(xí)又是最基本的學(xué)習(xí)過(guò)程。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識(shí)。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識(shí)的獲取是以較為穩(wěn)定和直接的方式進(jìn)行的，不需要系統(tǒng)進(jìn)行過(guò)多的加工。機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)是最簡(jiǎn)單的機(jī)器學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶，即39當(dāng)機(jī)械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問(wèn)題之后，系統(tǒng)就記住該問(wèn)題及其解。我們可把學(xué)習(xí)系統(tǒng)的執(zhí)行部分抽象地看成某個(gè)函數(shù)，該函數(shù)在得到自變量輸入值(X1,X2,…,Xn)之后，計(jì)算并輸出函數(shù)值(Y1,Y2,…,Yp)。機(jī)械學(xué)習(xí)在存儲(chǔ)器中簡(jiǎn)單地記憶存儲(chǔ)對(duì)((X1,X2,…,Xn),(Y1,Y2,…,Yp))。當(dāng)需要f(X1,X2,…,Xn)時(shí),執(zhí)行部分就從存儲(chǔ)器中把(Y1,Y2,…,Yp)簡(jiǎn)單地檢索出來(lái)而不是重新計(jì)算它。當(dāng)機(jī)械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問(wèn)題之后，系統(tǒng)就記住該問(wèn)題及其40機(jī)械學(xué)習(xí)的主要問(wèn)題（1）存儲(chǔ)組織信息：采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度，盡可能地快，是機(jī)械學(xué)習(xí)中的重要問(wèn)題。（2）環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問(wèn)題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要，這也就是所謂的信息適用性問(wèn)題。（3）存儲(chǔ)與計(jì)算之間的權(quán)衡：對(duì)于機(jī)械學(xué)習(xí)來(lái)說(shuō)很重要的一點(diǎn)是它不能降低系統(tǒng)的效率機(jī)械學(xué)習(xí)的主要問(wèn)題（1）存儲(chǔ)組織信息：采用適當(dāng)?shù)拇鎯?chǔ)方式，使41歸納學(xué)習(xí)歸納學(xué)習(xí)按有無(wú)教師的指導(dǎo)可分為實(shí)例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)兩種形式。在歸納學(xué)習(xí)中，變換過(guò)程是對(duì)輸入信息的一般化和選擇最合理的預(yù)期結(jié)果，這就是歸納推理。歸納學(xué)習(xí)歸納學(xué)習(xí)按有無(wú)教師的指導(dǎo)可分為實(shí)例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)42實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為示例學(xué)習(xí)或通過(guò)事例學(xué)習(xí)。它是通過(guò)例子，經(jīng)歸納得出一般性概念的一種方法。在這種學(xué)習(xí)方法中，外部環(huán)境提供給系統(tǒng)一些特殊的實(shí)例，這些實(shí)例事先又被施教者劃分為正例和反例。實(shí)例學(xué)習(xí)系統(tǒng)由此進(jìn)行歸納推理，得到一般的規(guī)則或一般性的知識(shí)，這些一般性知識(shí)應(yīng)能解釋所有給定的正例，并排除所有給定的反例。實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為示例學(xué)習(xí)或通過(guò)事例學(xué)習(xí)。它是通過(guò)例子，43實(shí)例學(xué)習(xí)的兩個(gè)空間模型實(shí)例學(xué)習(xí)中有兩個(gè)重要的概念：例子空間和規(guī)則空間。例子空間就是向系統(tǒng)提供的訓(xùn)練例子集合，如教系統(tǒng)識(shí)別狗時(shí)提供的狗、其它動(dòng)物和物品。規(guī)則空間是事物所具有的某種規(guī)律，例如“狗有四條腿”、“狗有兩只眼睛”、“狗有一條尾巴”等實(shí)例學(xué)習(xí)的兩個(gè)空間模型實(shí)例學(xué)習(xí)中有兩個(gè)重要的概念：例子空間和44實(shí)例學(xué)習(xí)的兩個(gè)空間模型實(shí)例學(xué)習(xí)的兩個(gè)空間模型45例子空間要考慮的問(wèn)題示教例子的質(zhì)量：要求無(wú)二義性。例子空間的組織和搜索方法：選擇適當(dāng)?shù)睦右员阕C實(shí)或否決規(guī)則空間中某些假設(shè)規(guī)則集。為了提高搜索效率，需要設(shè)計(jì)合適的搜索算法，并把它與例子空間的組織結(jié)構(gòu)進(jìn)行統(tǒng)籌考慮。例子空間要考慮的問(wèn)題示教例子的質(zhì)量：要求無(wú)二義性。46規(guī)則空間要考慮的問(wèn)題

所謂規(guī)則空間用規(guī)定的描述語(yǔ)言可以表示的所有規(guī)則的集合即為規(guī)則空間。與規(guī)則空間有關(guān)的兩個(gè)問(wèn)題是對(duì)規(guī)則空間的要求和規(guī)則空間的搜索方法。規(guī)則的表示與實(shí)例的表示一致。規(guī)則的表示形式應(yīng)適應(yīng)歸納推理。規(guī)則空間中應(yīng)包括所有可能產(chǎn)生的規(guī)則。規(guī)則空間要考慮的問(wèn)題

所謂規(guī)則空間用規(guī)定的描述語(yǔ)言可以表示的47常用的幾種歸納推理方法常量化成變量去掉條件增加選擇曲線擬合常用的幾種歸納推理方法48常量化成變量示例1：花色(C1,梅花)∧花色(C2,梅花)∧花色(C3,梅花)∧花色(C4,梅花)∧花色(C5,梅花)→同花(C1,C2,C3,C4,C5)示例2：花色(C1,紅桃)∧花色(C2,紅桃)∧花色(C3,紅桃)∧花色(C4,紅桃)∧花色(C5,紅桃)→同花(C1,C2,C3,C4,C5)其中示例1表示5張梅花牌是同花，示例2表示5張紅桃牌是同花。把常量“梅花”和“紅桃”換成變量x，就歸納出一條假設(shè)規(guī)則。規(guī)則1：花色(C1,x)∧花色(C2,x)∧花色(C3,x)∧花色(C4,x)∧花色(C5,x)→同花(C1,C2,C3,C4,C5)常量化成變量示例1：花色(C1,梅花)∧花色(C2,梅花)∧49去掉條件去掉條件就是把示例中的某些無(wú)關(guān)的子條件去掉。如：示例3：花色(C1,紅桃)∧點(diǎn)數(shù)(C1,3)∧花色(C2,紅桃)∧點(diǎn)數(shù)(C2,5)∧花色(C3,紅桃)∧點(diǎn)數(shù)(C3,7)∧花色(C4,紅桃)∧點(diǎn)數(shù)(C4,10)∧花色(C5,紅桃)∧點(diǎn)數(shù)(C5,K)→同花(C1,C2,C3,C4,C5)為了得到上述規(guī)則1，不但要把常量“紅桃”化為變量x，而且要去掉所有的“點(diǎn)數(shù)”謂詞。去掉條件去掉條件就是把示例中的某些無(wú)關(guān)的子條件去掉。如：50增加選擇例如要程序來(lái)學(xué)習(xí)“人面牌”的概念，“人面牌”是指點(diǎn)數(shù)為J、Q、K的牌。提供的兩個(gè)真例是：示例4：點(diǎn)數(shù)（C1，J）→人面牌（C1）示例5：點(diǎn)數(shù)（C1，K）→人面牌（C1）將兩個(gè)示例的前件進(jìn)行析取合并后等價(jià)地得到點(diǎn)數(shù)（C1，J）∨點(diǎn)數(shù)（C1，K）→人面牌（C1）如果在析取條件中增加一種選擇，就得到要求的規(guī)則規(guī)則2：點(diǎn)數(shù)（C1，J）∨點(diǎn)數(shù)（C1，Q）∨點(diǎn)數(shù)（C1，K）→人面牌（C1）增加選擇就是在析取條件中增加一個(gè)新的析取項(xiàng)。增加選擇例如要程序來(lái)學(xué)習(xí)“人面牌”的概念，“人面牌”是指點(diǎn)數(shù)51“常量化成變量”是一種由具體到一般的演變或歸納；“去掉條件”就是去掉合取項(xiàng)，也就是去掉部分約束；“增加選擇”就是增加析取項(xiàng)，也就是擴(kuò)大范圍。后兩種方法都是直接擴(kuò)大范圍，但方法①更強(qiáng)，歸納過(guò)快，因此更容易出錯(cuò)，方法③較弱，不易出錯(cuò)，但歸納較慢。例如對(duì)示例4和示例5使用方法①就會(huì)得到下列錯(cuò)誤：點(diǎn)數(shù)（C1，x）→人（C1）.....(錯(cuò)誤)“常量化成變量”是一種由具體到一般的演變或歸納；52歸納推理這個(gè)結(jié)果說(shuō)明歸納過(guò)程很容易出錯(cuò)，歸納推理不是保真的，是保假的（前提為真則結(jié)論不一定為真，前提為假則結(jié)論一定為假）。歸納過(guò)程就是從多種歸納方法中選擇正確的方法，以得到正確的結(jié)果。因此歸納過(guò)程就是搜索過(guò)程，在歸納的過(guò)程中，出現(xiàn)錯(cuò)誤后要進(jìn)行回溯。發(fā)現(xiàn)錯(cuò)誤的方法，一般是選用新的例子去否定歸納出的錯(cuò)誤規(guī)則，在實(shí)例學(xué)習(xí)的兩個(gè)空間模型中也正是這樣表示的。歸納推理這個(gè)結(jié)果說(shuō)明歸納過(guò)程很容易出錯(cuò)，歸納推理不是保真的，53規(guī)則空間的要求：規(guī)則表示與例子表示的一致性規(guī)則表示方法應(yīng)適應(yīng)歸納推理規(guī)則空間應(yīng)包含所要求的規(guī)則規(guī)則空間的要求：規(guī)則表示與例子表示的一致性54搜索規(guī)則空間的方法搜索規(guī)則空間的方法有兩大類，一類稱為數(shù)據(jù)驅(qū)動(dòng)方法，另一類稱為模型驅(qū)動(dòng)方法。數(shù)據(jù)驅(qū)動(dòng)方法就是指從例子空間出發(fā)，通過(guò)對(duì)例子進(jìn)行解釋，再根據(jù)解釋，在規(guī)則空間中搜索合適的規(guī)則，例子空間的例子就看做是搜索的前提數(shù)據(jù)。模型驅(qū)動(dòng)是指從規(guī)則集中找到一個(gè)合適的規(guī)則（模型），然后到例子空間去選取例子，對(duì)規(guī)則進(jìn)行驗(yàn)證。搜索規(guī)則空間的方法搜索規(guī)則空間的方法有兩大類，一類稱為數(shù)據(jù)驅(qū)55變型空間法變型空間方法是一種數(shù)據(jù)驅(qū)動(dòng)方法，這種方法使用統(tǒng)一的形式表示規(guī)則和例子。該方法以整個(gè)規(guī)則空間作為初始的假設(shè)規(guī)則集合H，H中包括滿足第一個(gè)示教正例的所有規(guī)則，在得到下一個(gè)示教例子時(shí)，依據(jù)示教例子中的信息，對(duì)集合H進(jìn)行一般化或特殊化處理，逐步縮小集合H，最后使H收斂為只含有所要求的規(guī)則。由于被搜索的空間H逐步縮小，故稱為變形空間。變型空間法變型空間方法是一種數(shù)據(jù)驅(qū)動(dòng)方法，這種方法使用統(tǒng)一的56變型空間方法變型空間方法的優(yōu)點(diǎn)是可以逐步接受示教例子逐步學(xué)習(xí)，不需要程序回溯就可以利用例子空間中的新例子，對(duì)規(guī)則集合H進(jìn)行修改。其缺點(diǎn)是抗干擾能力差。變型空間方法難以處理有干擾的例子。由于學(xué)習(xí)算法所得到的概念應(yīng)滿足每一個(gè)示教例子的要求，因此例子空間中的一個(gè)錯(cuò)誤例子就會(huì)造成很大影響，使學(xué)習(xí)系統(tǒng)得到錯(cuò)誤的概念，有時(shí)甚至得不到概念，這時(shí)H將稱為空集。變型空間方法變型空間方法的優(yōu)點(diǎn)是可以逐步接受示教例子逐步學(xué)習(xí)57第七章-機(jī)器學(xué)習(xí)課件58泛化特化更一般更特殊沒(méi)有描述GS四、變型(版本)空間方法(VersionSpace)以整個(gè)規(guī)則空間為初始的假設(shè)規(guī)則集合H，依據(jù)訓(xùn)練例子中的信息，對(duì)集合H進(jìn)行泛化和特化處理，逐步縮小集合H。Mitchell假定這個(gè)空間是一偏序結(jié)構(gòu)，并將單個(gè)概念學(xué)習(xí)定義為在這個(gè)空間的搜索。泛化特化更一般更特殊沒(méi)有描述GS四、變型(版本)空間方法(59步驟①：把集合G初始化為最一般的概念，把集合S初始化為包含所有可能的情況，

G={(x,y)}

S={(sm,squ),(sm,cir),(sm,tri),(lg,squ),(lg,cir),(lg,tri)}

現(xiàn)在提供第一個(gè)示教正例(sm,cir)，表示小圓是圓。由于集合G滿足正例的要求，所以不發(fā)生變化，而集合S原有的元素太多，先將其刪去，僅保留符合該次正例的元素，接下來(lái)的學(xué)習(xí)過(guò)程中，再由陸續(xù)示教的正例進(jìn)行補(bǔ)充集合S。

S={(sm,cir)步驟①：把集合G初始化為最一般的概念，把集合S初始化為包含60步驟②：接受新的示教例子，這個(gè)例子是(lg,tri)。這表示大三角不是圓。這個(gè)是反例，必須刪去G中符合反例的元素，使得G集合特殊化。在規(guī)則空間中的變化是G下降。由于示教的是反例，所以集合S沒(méi)有變化。得到：

G={(x,cir),(sm,y)}

S={(sm,cir)}

如圖所示，此時(shí)H僅含有二個(gè)概念。這二個(gè)概念是滿足第一個(gè)例子，但不滿足第二個(gè)例子的全部概念。

接受第三個(gè)示教例子(lg,cir)，這是一個(gè)正例，表示大圓是圓。首先從G中刪除不滿足此正例的概念(sm,y)，再對(duì)S中原有的元素S={(sm,cir)}和本示教例子的(lg,cir)做一般化操作（將常量變成變量），得到：G={(x,cir)}S={(x,cir)}

步驟②：接受新的示教例子，這個(gè)例子是(lg,tri)61步驟③：由于此時(shí)G=S，且兩個(gè)集合中僅包含一個(gè)元素，因此算法結(jié)束，并輸出概念：(x,cir)

步驟③：由于此時(shí)G=S，且兩個(gè)集合中僅包含一個(gè)元素，因此算法62

初始變形空間

初始變形空間63第一個(gè)示教例子后的變形空間第一個(gè)示教例子后的變形空間64第二個(gè)示教例子后的變形空間第二個(gè)示教例子后的變形空間65第七章-機(jī)器學(xué)習(xí)課件66第六章機(jī)器學(xué)習(xí)北京物資學(xué)院管理科學(xué)與工程系趙明茹第六章機(jī)器學(xué)習(xí)北京物資學(xué)院67機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)系統(tǒng)的基本模型機(jī)械學(xué)習(xí)實(shí)例學(xué)習(xí)解釋學(xué)習(xí)機(jī)器學(xué)習(xí)概述68概述到目前為止的大多數(shù)人工智能系統(tǒng)還完全沒(méi)有或僅有有限的學(xué)習(xí)能力。系統(tǒng)中的知識(shí)是由人工編程送入的，知識(shí)中的錯(cuò)誤也不能自動(dòng)改正。概述到目前為止的大多數(shù)人工智能系統(tǒng)還完全沒(méi)有或僅有有限的學(xué)習(xí)69機(jī)器的能力是否能超過(guò)人的能力？否定意見：機(jī)器是人造的，其性能和動(dòng)作是由設(shè)計(jì)者規(guī)定的，因此無(wú)論如何其能力也不會(huì)超過(guò)設(shè)計(jì)者本人。對(duì)于不具備學(xué)習(xí)能力的機(jī)器來(lái)說(shuō)是正確的，可是對(duì)于具備學(xué)習(xí)能力的機(jī)器就值得考慮了。機(jī)器學(xué)習(xí)的不可預(yù)測(cè)問(wèn)題。機(jī)器的能力是否能超過(guò)人的能力？否定意見：機(jī)器是人造的，其性能70跳棋程序20世紀(jì)50年代末，阿瑟.塞繆爾（samuel）編寫了著名的跳棋程序。啟發(fā)式搜索技術(shù)，跳棋程序可以向前看幾步然后再走棋。可以從經(jīng)驗(yàn)中學(xué)習(xí)，從棋譜中學(xué)習(xí)。不斷調(diào)整棋盤評(píng)價(jià)函數(shù)，提高自己的棋藝。經(jīng)過(guò)三年的學(xué)習(xí)，打敗了Samuel，又三年，打敗了州冠軍。同時(shí)刺激了“搜索”和“機(jī)器學(xué)習(xí)”這兩個(gè)人工智能的重要領(lǐng)域的發(fā)展。跳棋程序20世紀(jì)50年代末，阿瑟.塞繆爾（samuel）編71塞繆爾塞繆爾72塞繆爾1901年生于美國(guó)堪薩斯州的恩波利亞，恩波利亞學(xué)院上學(xué)。1923年大學(xué)畢業(yè)以后，他進(jìn)入MIT念研究生，1926年取得碩士學(xué)位。留校工作兩年以后，他加盟貝爾實(shí)驗(yàn)室，從事電子器件的研究。二次世界大戰(zhàn)爆發(fā)以后，他的研究工作集中于雷達(dá)技術(shù)。戰(zhàn)爭(zhēng)結(jié)束后，到伊利諾大學(xué)電氣工程系任教，積極參與了該校研制電子計(jì)算機(jī)的工作。1949年即轉(zhuǎn)至IBM公司在普凱潑茜的研發(fā)實(shí)驗(yàn)室工作，參與其第一臺(tái)大型科學(xué)計(jì)算機(jī)701的開發(fā)。塞繆爾1901年生于美國(guó)堪薩斯州的恩波利亞，恩波利亞學(xué)院上學(xué)73塞繆爾在下棋程序方面的工作對(duì)IBM公司早期計(jì)算機(jī)的指令系統(tǒng)產(chǎn)生了很大影響。由于下棋程序是計(jì)算機(jī)應(yīng)用中最早的一種典型的非數(shù)值計(jì)算，因此在701中加入了許多邏輯指令，這類指令后來(lái)迅速被所有計(jì)算機(jī)的設(shè)計(jì)者所采用和推廣，成為計(jì)算機(jī)指令集中的基本成分。1966年塞繆爾從IBM公司退休以后，到斯坦福大學(xué)從事教學(xué)和研究工作，指導(dǎo)博士生，直到1982年。塞繆爾晚年得了帕金森綜合癥。病中他開始撰寫自傳，但只寫到20世紀(jì)60年代中期，即于1990年7月29日在加利福尼亞州的家中撒手西去。塞繆爾生前除了獲得IZEE的計(jì)算機(jī)先驅(qū)獎(jiǎng)以外，沒(méi)有別的榮譽(yù)和獎(jiǎng)勵(lì)。塞繆爾在下棋程序方面的工作對(duì)IBM公司早期計(jì)算機(jī)的指令系統(tǒng)產(chǎn)74什么是機(jī)器學(xué)習(xí)Simon認(rèn)為“學(xué)習(xí)就是系統(tǒng)中的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作”。Minsky認(rèn)為“學(xué)習(xí)是在我們的頭腦中進(jìn)行有用的變化”。有的觀點(diǎn)認(rèn)為“機(jī)器學(xué)習(xí)就是知識(shí)的獲取”，但獲取的知識(shí)有時(shí)不會(huì)使系統(tǒng)有所改善。什么是機(jī)器學(xué)習(xí)Simon認(rèn)為“學(xué)習(xí)就是系統(tǒng)中的變化，這種變化75學(xué)習(xí)的基本形式知識(shí)獲取

學(xué)習(xí)的本質(zhì)就是獲取新的知識(shí)，包括物理系統(tǒng)、行為的描述和模型的建立，構(gòu)造客觀現(xiàn)實(shí)的表示。技能求精

通過(guò)實(shí)踐改造機(jī)制和認(rèn)知技能。這些技能包括意識(shí)的或機(jī)制的。這種改變是通過(guò)反復(fù)實(shí)踐和從失敗中糾正錯(cuò)誤來(lái)進(jìn)行的。學(xué)習(xí)騎自行車。學(xué)習(xí)的基本形式知識(shí)獲取76為什么要研究機(jī)器學(xué)習(xí)？人工智能主要是為了研究人的智能，模仿其機(jī)理將其應(yīng)用于工程的科學(xué)，在這個(gè)過(guò)程中，必然會(huì)問(wèn)到“人類怎么做才能獲得這種特殊技能（或知識(shí)）？”當(dāng)前的人工智能研究的主要障礙和發(fā)展方向之一就是機(jī)器學(xué)習(xí)。包括學(xué)習(xí)的計(jì)算理論和構(gòu)造學(xué)習(xí)系統(tǒng)。為什么要研究機(jī)器學(xué)習(xí)？人工智能主要是為了研究人的智能，模仿其77未來(lái)的計(jì)算機(jī)將有自動(dòng)獲取知識(shí)的能力，直接從書本中學(xué)習(xí)，通過(guò)與人談話學(xué)習(xí)，通過(guò)觀察學(xué)習(xí)。通過(guò)實(shí)踐自我完善。克服人的存儲(chǔ)少，效率低，注意力分散，難以傳送所獲取知識(shí)等局限性。一臺(tái)計(jì)算機(jī)獲取的知識(shí)很容易復(fù)制給任何其他機(jī)器。為什么要研究機(jī)器學(xué)習(xí)？未來(lái)的計(jì)算機(jī)將有自動(dòng)獲取知識(shí)的能力，直接從書本中學(xué)習(xí)，通過(guò)與78機(jī)器學(xué)習(xí)實(shí)現(xiàn)的困難預(yù)測(cè)難：學(xué)習(xí)后知識(shí)庫(kù)發(fā)生了什么變化，系統(tǒng)功能的變化的預(yù)測(cè)。歸納推理：現(xiàn)有的歸納推理保假，不保真。演繹推理保真。而且，歸納的結(jié)論是無(wú)限多的，其中相當(dāng)多的是假的，給生成知識(shí)帶來(lái)不可靠性。機(jī)器目前很難觀察什么重要，什么有意義。機(jī)器學(xué)習(xí)實(shí)現(xiàn)的困難預(yù)測(cè)難：學(xué)習(xí)后知識(shí)庫(kù)發(fā)生了什么變化，系統(tǒng)功79機(jī)器學(xué)習(xí)的發(fā)展史第一階段是在50年代中葉到60年代中葉，屬于熱烈時(shí)期。在這個(gè)時(shí)期，所研究的是“沒(méi)有知識(shí)”的學(xué)習(xí)，即“無(wú)知”學(xué)習(xí)；其研究目標(biāo)是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基礎(chǔ)是早在40年代就開始研究的神經(jīng)網(wǎng)絡(luò)模型。在這個(gè)時(shí)期，我國(guó)研制了數(shù)字識(shí)別學(xué)習(xí)機(jī)。機(jī)器學(xué)習(xí)的發(fā)展史第一階段是在50年代中葉到60年代中葉，80機(jī)器學(xué)習(xí)的發(fā)展史第二階段在60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。本階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。這個(gè)時(shí)期正是我國(guó)“史無(wú)前例”的十年，對(duì)機(jī)器學(xué)習(xí)的研究不可能取得實(shí)質(zhì)進(jìn)展。機(jī)器學(xué)習(xí)的發(fā)展史第二階段在60年代中葉至70年代中葉，被81機(jī)器學(xué)習(xí)的發(fā)展史第三階段從70年代中葉至80年代中葉，稱為復(fù)興時(shí)期。在這個(gè)時(shí)期，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。本階段已開始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，中國(guó)科學(xué)院自動(dòng)化研究所進(jìn)行質(zhì)譜分析和模式文法推斷研究，表明我國(guó)的機(jī)器學(xué)習(xí)研究得到恢復(fù)。1980年西蒙來(lái)華傳播機(jī)器學(xué)習(xí)的火種后，我國(guó)的機(jī)器學(xué)習(xí)研究出現(xiàn)了新局面。機(jī)器學(xué)習(xí)的發(fā)展史第三階段從70年代中葉至80年代中葉，稱82機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的最新階段始于1986年。一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視。我國(guó)的機(jī)器學(xué)習(xí)研究開始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時(shí)期。機(jī)器學(xué)習(xí)的發(fā)展史機(jī)器學(xué)習(xí)的最新階段始于1986年。一方面，由83機(jī)器學(xué)習(xí)的主要策略學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略大體上可分為：機(jī)械學(xué)習(xí)、傳授學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)和歸納學(xué)習(xí)。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。機(jī)器學(xué)習(xí)的主要策略學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的，按照學(xué)習(xí)中84機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)又稱為記憶學(xué)習(xí)，是最簡(jiǎn)單的學(xué)習(xí)策略。這種學(xué)習(xí)策略不需要任何推理過(guò)程。外面輸入知識(shí)的表示方式與系統(tǒng)內(nèi)部表示方式完全一致，不需要任何處理和變化。機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)又稱為記憶學(xué)習(xí)，是最簡(jiǎn)單的學(xué)習(xí)策略。85傳授學(xué)習(xí)傳授學(xué)習(xí)又稱指導(dǎo)式學(xué)習(xí)或指點(diǎn)學(xué)習(xí)。在使用傳授學(xué)習(xí)系統(tǒng)時(shí)，外界輸入知識(shí)的表達(dá)方式與系統(tǒng)內(nèi)部表達(dá)方式不完全一致，系統(tǒng)在接受外部知識(shí)時(shí)，需要一點(diǎn)推理、翻譯和轉(zhuǎn)化工作。傳授學(xué)習(xí)傳授學(xué)習(xí)又稱指導(dǎo)式學(xué)習(xí)或指點(diǎn)學(xué)習(xí)。86演繹學(xué)習(xí)在演繹學(xué)習(xí)中，學(xué)習(xí)系統(tǒng)由給定的知識(shí)進(jìn)行演繹的保真推理，并存儲(chǔ)有用的結(jié)論。演繹學(xué)習(xí)在演繹學(xué)習(xí)中，學(xué)習(xí)系統(tǒng)由給定的知識(shí)進(jìn)行演繹的保真推理87歸納學(xué)習(xí)歸納學(xué)習(xí)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一類學(xué)習(xí)方法。按其又無(wú)教師的指導(dǎo)，可以分為實(shí)例學(xué)習(xí)及觀察與發(fā)現(xiàn)學(xué)習(xí)。歸納學(xué)習(xí)歸納學(xué)習(xí)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一類學(xué)習(xí)方法。按其又88實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為概念獲取，它是通過(guò)向?qū)W習(xí)者提供某一概念的一組正例和反例，使學(xué)習(xí)者從這些正反例中歸納推理出概念的一般描述，這個(gè)描述應(yīng)能解釋所有給定的正例并排除所有給定的反例。這些正反例是由信息源提供的，信息源可能是已經(jīng)知道概念的教師，也可以是學(xué)習(xí)者本身，還可能是學(xué)習(xí)者以外的外部環(huán)境。實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為概念獲取，它是通過(guò)向?qū)W習(xí)者提供某一概念89觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)又稱為描述的一般化。這類學(xué)習(xí)沒(méi)有教師的指導(dǎo)，它要產(chǎn)生對(duì)所有或大多數(shù)觀察到的規(guī)律和規(guī)則的解釋。這類學(xué)習(xí)包括概念聚類、構(gòu)造分類、曲線擬合（使方程符合數(shù)據(jù)）、發(fā)現(xiàn)并解釋觀察到的定律并形成理論。觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)又稱為描述的一般化。這類學(xué)習(xí)沒(méi)有90類比學(xué)習(xí)類比學(xué)習(xí)就是在遇到新的問(wèn)題時(shí)，可以學(xué)習(xí)以前解決過(guò)的類似問(wèn)題的解決方法，來(lái)解決當(dāng)前的問(wèn)題。所以尋找與當(dāng)前問(wèn)題相似的已知問(wèn)題就很重要，并且必須要能夠發(fā)現(xiàn)當(dāng)前任務(wù)與已知任務(wù)的相似之點(diǎn)，由此制定出完成當(dāng)前任務(wù)的方案。類比學(xué)習(xí)可以由系統(tǒng)已有的某一領(lǐng)域知識(shí)得到另一領(lǐng)域中類似的知識(shí)。類比學(xué)習(xí)類比學(xué)習(xí)就是在遇到新的問(wèn)題時(shí)，可以學(xué)習(xí)以前解決過(guò)的類91機(jī)器學(xué)習(xí)系統(tǒng)的基本模型以西蒙關(guān)于學(xué)習(xí)的定義作為出發(fā)點(diǎn)，建立機(jī)器學(xué)習(xí)系統(tǒng)的基本模型。環(huán)境學(xué)習(xí)環(huán)節(jié)知識(shí)庫(kù)執(zhí)行環(huán)節(jié)機(jī)器學(xué)習(xí)系統(tǒng)的基本模型以西蒙關(guān)于學(xué)習(xí)的定義作為出發(fā)點(diǎn)，建立機(jī)92學(xué)習(xí)系統(tǒng)的基本模型環(huán)境和知識(shí)庫(kù)是以某種知識(shí)表示形式表達(dá)的信息的集合，分別代表外界信息來(lái)源和系統(tǒng)所具有的知識(shí)；“學(xué)習(xí)環(huán)節(jié)”和“執(zhí)行環(huán)節(jié)”代表兩個(gè)過(guò)程?！碍h(huán)境”向系統(tǒng)的“學(xué)習(xí)環(huán)節(jié)”提供某些信息，而“學(xué)習(xí)環(huán)節(jié)”則利用這些信息對(duì)系統(tǒng)的“知識(shí)庫(kù)”進(jìn)行改進(jìn)，以增進(jìn)系統(tǒng)“執(zhí)行環(huán)節(jié)”完成任務(wù)的效能，“執(zhí)行環(huán)節(jié)”根據(jù)知識(shí)庫(kù)中的知識(shí)來(lái)完成某種任務(wù)，同時(shí)把獲得的信息反饋給“學(xué)習(xí)環(huán)節(jié)”。學(xué)習(xí)系統(tǒng)的基本模型環(huán)境和知識(shí)庫(kù)是以某種知識(shí)表示形式表達(dá)的信息93環(huán)境環(huán)境可以是系統(tǒng)的工作對(duì)象，也可以包括工作對(duì)象和外界條件。例如在醫(yī)療系統(tǒng)中，環(huán)境就是病人當(dāng)前的癥狀、檢驗(yàn)的數(shù)據(jù)和病歷。在模式識(shí)別中，環(huán)境就是待識(shí)別的圖形或景物。環(huán)境就是為學(xué)習(xí)系統(tǒng)提供獲取知識(shí)所需的信息。信息的水平和質(zhì)量，對(duì)學(xué)習(xí)系統(tǒng)獲取知識(shí)的能力有很大的影響。環(huán)境環(huán)境可以是系統(tǒng)的工作對(duì)象，也可以包括工作對(duì)象和外界條件。94學(xué)習(xí)環(huán)節(jié)學(xué)習(xí)環(huán)節(jié)通過(guò)獲得外部信息，并將這些信息與執(zhí)行環(huán)節(jié)所反饋回的信息進(jìn)行比較。一般情況下環(huán)境提供的信息水平與執(zhí)行環(huán)節(jié)所需的信息水平之間往往有差距，經(jīng)分析、綜合、類比、歸納等思維過(guò)程，學(xué)習(xí)環(huán)節(jié)就要從這些差距中獲取相關(guān)對(duì)象的知識(shí)，并將這些知識(shí)存入知識(shí)庫(kù)中。學(xué)習(xí)環(huán)節(jié)學(xué)習(xí)環(huán)節(jié)通過(guò)獲得外部信息，并將這些信息與執(zhí)行環(huán)節(jié)所反95知識(shí)庫(kù)知識(shí)庫(kù)用于存放由學(xué)習(xí)環(huán)節(jié)所學(xué)到的知識(shí)。影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素是知識(shí)庫(kù)的形式和內(nèi)容。知識(shí)庫(kù)的形式就是知識(shí)表示的形式。選擇知識(shí)表示方法要考慮下列準(zhǔn)則：可表達(dá)性、推理難度、可修改性和可擴(kuò)充性。知識(shí)庫(kù)知識(shí)庫(kù)用于存放由學(xué)習(xí)環(huán)節(jié)所學(xué)到的知識(shí)。96表達(dá)能力強(qiáng)人工智能系統(tǒng)研究的一個(gè)重要問(wèn)題是所選擇的表示方式能很容易地表達(dá)有關(guān)的知識(shí)。例如，如果我們研究的是一些孤立的木塊，則可選用特征向量表示方式。用(<顏色>,<形狀>,<體積>)這樣形式的一個(gè)向量表示木塊，比方說(shuō)(紅，方，大)表示的是一個(gè)紅顏色的大的方形木塊，(綠，方，小)表示一個(gè)綠顏色的小方形木塊。但是，如果用特征向量描述木塊之間的相互關(guān)系，比方說(shuō)要說(shuō)明一個(gè)紅色的木塊在一個(gè)綠色的木塊上面，則比較困難了。

(x)(y)xy(RED(X)∧GREEN(Y)∧ONTOP(X,Y))

表達(dá)能力強(qiáng)人工智能系統(tǒng)研究的一個(gè)重要問(wèn)題是所選擇的表示方式能97易于推理在具有較強(qiáng)表達(dá)能力的基礎(chǔ)上，為了使學(xué)習(xí)系統(tǒng)的計(jì)算代價(jià)比較低，我們希望知識(shí)表示方式能使推理較為容易。例如，在推理過(guò)程中經(jīng)常會(huì)遇到判別兩種表示方式是否等價(jià)的問(wèn)題。在特征向量表示方式中，解決這個(gè)問(wèn)題比較容易；在一階邏輯表示方式中，解決這個(gè)問(wèn)題要花費(fèi)較高的計(jì)算代價(jià)。因?yàn)閷W(xué)習(xí)系統(tǒng)通常要在大量的描述中查找，很高的計(jì)算代價(jià)會(huì)嚴(yán)重地影響查找的范圍。因此如果只研究孤立的木塊而不考慮相互的位置，則應(yīng)該使用特征向量表示。易于推理在具有較強(qiáng)表達(dá)能力的基礎(chǔ)上，為了使學(xué)習(xí)系統(tǒng)的計(jì)算98容易修改知識(shí)庫(kù)學(xué)習(xí)系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識(shí)庫(kù)，當(dāng)推廣得出一般執(zhí)行規(guī)則后，要加到知識(shí)庫(kù)中。當(dāng)發(fā)現(xiàn)某些規(guī)則不適用時(shí)要將其刪除。因此學(xué)習(xí)系統(tǒng)的知識(shí)表示，一般都采用明確、統(tǒng)一的方式，如特征向量，產(chǎn)生式規(guī)則等，以利于知識(shí)庫(kù)的修改。從理論上看，知識(shí)庫(kù)的修改是個(gè)較為困難的課題，因?yàn)樾略黾拥闹R(shí)可能與知識(shí)庫(kù)中原有的知識(shí)矛盾，有必要對(duì)整個(gè)知識(shí)庫(kù)做全面調(diào)整。刪除某一知識(shí)也可能使許多其它的知識(shí)失效，需要進(jìn)一步做全面檢查。容易修改知識(shí)庫(kù)學(xué)習(xí)系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識(shí)庫(kù)，當(dāng)99知識(shí)表示易于擴(kuò)展隨著系統(tǒng)學(xué)習(xí)能力的提高，單一的知識(shí)表示已經(jīng)不能滿足需要；一個(gè)系統(tǒng)有時(shí)同時(shí)使用幾種知識(shí)表示方式。不但如此，有時(shí)還要求系統(tǒng)自己能構(gòu)造出新的表示方式，以適應(yīng)外界信息不斷變化的需要。因此要求系統(tǒng)包含如何構(gòu)造表示方式的元級(jí)描述?，F(xiàn)在，人們把這種元級(jí)知識(shí)也看成是知識(shí)庫(kù)的一部分。這種元級(jí)知識(shí)使學(xué)習(xí)系統(tǒng)的能力得到極大提高，使其能夠?qū)W會(huì)更加復(fù)雜的東西，不斷地?cái)U(kuò)大它的知識(shí)領(lǐng)域和執(zhí)行能力。知識(shí)表示易于擴(kuò)展隨著系統(tǒng)學(xué)習(xí)能力的提高，單一的知識(shí)表示已經(jīng)100執(zhí)行環(huán)節(jié)執(zhí)行環(huán)節(jié)是整個(gè)機(jī)器學(xué)習(xí)系統(tǒng)的核心。執(zhí)行環(huán)節(jié)用于處理系統(tǒng)面臨的現(xiàn)實(shí)問(wèn)題，即應(yīng)用知識(shí)庫(kù)中所學(xué)到的知識(shí)求解問(wèn)題，如智能控制、自然語(yǔ)言理解和定理證明等，并對(duì)執(zhí)行的效果進(jìn)行評(píng)價(jià)，將評(píng)價(jià)的結(jié)果反饋回學(xué)習(xí)環(huán)節(jié)，以便系統(tǒng)進(jìn)一步的學(xué)習(xí)。執(zhí)行環(huán)節(jié)的問(wèn)題復(fù)雜性、反饋信息和執(zhí)行過(guò)程的透明度都對(duì)學(xué)習(xí)環(huán)節(jié)有影響。執(zhí)行環(huán)節(jié)執(zhí)行環(huán)節(jié)是整個(gè)機(jī)器學(xué)習(xí)系統(tǒng)的核心。執(zhí)行環(huán)節(jié)用于處理系101執(zhí)行環(huán)節(jié)執(zhí)行部分是整個(gè)學(xué)習(xí)系統(tǒng)的核心，因?yàn)閳?zhí)行部分的動(dòng)作就是學(xué)習(xí)部分力求改進(jìn)的動(dòng)作。同執(zhí)行部分有關(guān)的問(wèn)題有3個(gè)：復(fù)雜性、反饋和透明性。復(fù)雜的任務(wù)比簡(jiǎn)單的任務(wù)需要更多的知識(shí)，對(duì)于這類簡(jiǎn)單任務(wù)，有一條分組規(guī)則就可以了。有的要使用幾百條規(guī)則。對(duì)于通過(guò)例子學(xué)習(xí)的計(jì)算機(jī)系統(tǒng)，最簡(jiǎn)單的執(zhí)行任務(wù)是按照單一的概念或規(guī)則進(jìn)行分類或預(yù)測(cè)。比較復(fù)雜一點(diǎn)的任務(wù)涉及多個(gè)概念。學(xué)習(xí)系統(tǒng)最復(fù)雜的任務(wù)是小型計(jì)劃任務(wù)，系統(tǒng)必須給出一組規(guī)則序列，執(zhí)行部分依次執(zhí)行這些規(guī)則。執(zhí)行環(huán)節(jié)執(zhí)行部分是整個(gè)學(xué)習(xí)系統(tǒng)的核心，因?yàn)閳?zhí)行部分的動(dòng)作就是102反饋信息所有的學(xué)習(xí)系統(tǒng)必須以某種方式評(píng)價(jià)學(xué)習(xí)部分提出的假設(shè)。有些程序有一部分獨(dú)立的知識(shí)專門從事這種評(píng)價(jià)。例如AM系統(tǒng)就有許多探索規(guī)則評(píng)價(jià)學(xué)習(xí)部分提出的新概念的意義。然而最常用的方法是由教師提出外部執(zhí)行標(biāo)準(zhǔn)，然后觀察執(zhí)行部分相對(duì)這個(gè)標(biāo)準(zhǔn)做的如何，再把執(zhí)行結(jié)果反饋給學(xué)習(xí)部分，以決定假設(shè)的取舍。反饋信息所有的學(xué)習(xí)系統(tǒng)必須以某種方式評(píng)價(jià)學(xué)習(xí)部分提出的假設(shè)。103透明性透明性即要求從系統(tǒng)執(zhí)行部分的動(dòng)作效果可以很容易地對(duì)知識(shí)庫(kù)的規(guī)則進(jìn)行評(píng)價(jià)。例如下完一盤棋之后從輸贏總的效果判斷所走每一步的優(yōu)劣則比較困難，但若記錄了每一步之后的局勢(shì)，從局勢(shì)判斷優(yōu)劣則比較直觀和容易。透明性透明性即要求從系統(tǒng)執(zhí)行部分的動(dòng)作效果可以很容易地對(duì)知識(shí)104機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)是最簡(jiǎn)單的機(jī)器學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ)起來(lái)，供需要時(shí)檢索調(diào)用，而不需要計(jì)算和推理。機(jī)械學(xué)習(xí)又是最基本的學(xué)習(xí)過(guò)程。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識(shí)。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識(shí)的獲取是以較為穩(wěn)定和直接的方式進(jìn)行的，不需要系統(tǒng)進(jìn)行過(guò)多的加工。機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)是最簡(jiǎn)單的機(jī)器學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶，即105當(dāng)機(jī)械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問(wèn)題之后，系統(tǒng)就記住該問(wèn)題及其解。我們可把學(xué)習(xí)系統(tǒng)的執(zhí)行部分抽象地看成某個(gè)函數(shù)，該函數(shù)在得到自變量輸入值(X1,X2,…,Xn)之后，計(jì)算并輸出函數(shù)值(Y1,Y2,…,Yp)。機(jī)械學(xué)習(xí)在存儲(chǔ)器中簡(jiǎn)單地記憶存儲(chǔ)對(duì)((X1,X2,…,Xn),(Y1,Y2,…,Yp))。當(dāng)需要f(X1,X2,…,Xn)時(shí),執(zhí)行部分就從存儲(chǔ)器中把(Y1,Y2,…,Yp)簡(jiǎn)單地檢索出來(lái)而不是重新計(jì)算它。當(dāng)機(jī)械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問(wèn)題之后，系統(tǒng)就記住該問(wèn)題及其106機(jī)械學(xué)習(xí)的主要問(wèn)題（1）存儲(chǔ)組織信息：采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度，盡可能地快，是機(jī)械學(xué)習(xí)中的重要問(wèn)題。（2）環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問(wèn)題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要，這也就是所謂的信息適用性問(wèn)題。（3）存儲(chǔ)與計(jì)算之間的權(quán)衡：對(duì)于機(jī)械學(xué)習(xí)來(lái)說(shuō)很重要的一點(diǎn)是它不能降低系統(tǒng)的效率機(jī)械學(xué)習(xí)的主要問(wèn)題（1）存儲(chǔ)組織信息：采用適當(dāng)?shù)拇鎯?chǔ)方式，使107歸納學(xué)習(xí)歸納學(xué)習(xí)按有無(wú)教師的指導(dǎo)可分為實(shí)例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)兩種形式。在歸納學(xué)習(xí)中，變換過(guò)程是對(duì)輸入信息的一般化和選擇最合理的預(yù)期結(jié)果，這就是歸納推理。歸納學(xué)習(xí)歸納學(xué)習(xí)按有無(wú)教師的指導(dǎo)可分為實(shí)例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)108實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為示例學(xué)習(xí)或通過(guò)事例學(xué)習(xí)。它是通過(guò)例子，經(jīng)歸納得出一般性概念的一種方法。在這種學(xué)習(xí)方法中，外部環(huán)境提供給系統(tǒng)一些特殊的實(shí)例，這些實(shí)例事先又被施教者劃分為正例和反例。實(shí)例學(xué)習(xí)系統(tǒng)由此進(jìn)行歸納推理，得到一般的規(guī)則或一般性的知識(shí)，這些一般性知識(shí)應(yīng)能解釋所有給定的正例，并排除所有給定的反例。實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)又稱為示例學(xué)習(xí)或通過(guò)事例學(xué)習(xí)。它是通過(guò)例子，109實(shí)例學(xué)習(xí)的兩個(gè)空間模型實(shí)例學(xué)習(xí)中有兩個(gè)重要的概念：例子空間和規(guī)則空間。例子空間就是向系統(tǒng)提供的訓(xùn)練例子集合，如教系統(tǒng)識(shí)別狗時(shí)提供的狗、其它動(dòng)物和物品。規(guī)則空間是事物所具有的某種規(guī)律，例如“狗有四條腿”、“狗有兩只眼睛”、“狗有一條尾巴”等實(shí)例學(xué)習(xí)的兩個(gè)空間模型實(shí)例學(xué)習(xí)中有兩個(gè)重要的概念：例子空間和110實(shí)例學(xué)習(xí)的兩個(gè)空間模型實(shí)例學(xué)習(xí)的兩個(gè)空間模型111例子空間要考慮的問(wèn)題示教例子的質(zhì)量：要求無(wú)二義性。例子空間的組織和搜索方法：選擇適當(dāng)?shù)睦右员阕C實(shí)或否決規(guī)則空間中某些假設(shè)規(guī)則集。為了提高搜索效率，需要設(shè)計(jì)合適的搜索算法，并把它與例子空間的組織結(jié)構(gòu)進(jìn)行統(tǒng)籌考慮。例子空間要考慮的問(wèn)題示教例子的質(zhì)量：要求無(wú)二義性。112規(guī)則空間要考慮的問(wèn)題

所謂規(guī)則空間用規(guī)定的描述語(yǔ)言可以表示的所有規(guī)則的集合即為規(guī)則空間。與規(guī)則空間有關(guān)的兩個(gè)問(wèn)題是對(duì)規(guī)則空間的要求和規(guī)則空間的搜索方法。規(guī)則的表示與實(shí)例的表示一致。規(guī)則的表示形式應(yīng)適應(yīng)歸納推理。規(guī)則空間中應(yīng)包括所有可能產(chǎn)生的規(guī)則。規(guī)則空間要考慮的問(wèn)題

所謂規(guī)則空間用規(guī)定的描述語(yǔ)言可以表示的113常用的幾種歸納推理方法常量化成變量去掉條件增加選擇曲線擬合常用的幾種歸納推理方法114常量化成變量示例1：花色(C1,梅花)∧花色(C2,梅花)∧花色(C3,梅花)∧花色(C4,梅花)∧花色(C5,梅花)→同花(C1,C2,C3,C4,C5)示例2：花色(C1,紅桃)∧花色(C2,紅桃)∧花色(C3,紅桃)∧花色(C4,紅桃)∧花色(C5,紅桃)→同花(C1,C2,C3,C4,C5)其中示例1表示5張梅花牌是同花，示例2表示5張紅桃牌是同花。把常量“梅花”和“紅桃”換成變量x，就歸納出一條假設(shè)規(guī)則。規(guī)則1：花色(C1,x)∧花色(C2,x)∧花色(C3,x)∧花色(C4,x)∧花色(C5,x)→同花(C1,C2,C3,C4,C5)常量化成變量示例1：花色(C1,梅花)∧花色(C2,梅花)∧115去掉條件去掉條件就是把示例中的某些無(wú)關(guān)的子條件去掉。如：示例3：花色(C1,紅桃)∧點(diǎn)數(shù)(C1,3)∧花色(C2,紅桃)∧點(diǎn)數(shù)(C2,5)∧花色(C3,紅桃)∧點(diǎn)數(shù)(C3,7)∧花色(C4,紅桃)∧點(diǎn)數(shù)(C4,10)∧花色(C5,紅桃)∧點(diǎn)數(shù)(C5,K)→同花(C1,C2,C3,C4,C5)為了得到上述規(guī)則1，不但要把常量“紅桃”化為變量x，而且要去掉所有的“點(diǎn)數(shù)”謂詞。去掉條件去掉條件就是把示例中的某些無(wú)關(guān)的子條件去掉。如：116增加選擇例如要程序來(lái)學(xué)習(xí)“人面牌”的概念，“人面牌”是指點(diǎn)數(shù)為J、Q、K的牌。提供的兩個(gè)真例是：示例4：點(diǎn)數(shù)（C1，J）→人面牌（C1）示例5：點(diǎn)數(shù)（C1，K）→人面牌（C1）將兩個(gè)示例的前件進(jìn)行析取合并后等價(jià)地得到點(diǎn)數(shù)（C1，J）∨點(diǎn)數(shù)（C1，K）→人面牌（C1）如果在析取條件中增加一種選擇，就得到要求的規(guī)則規(guī)則2：點(diǎn)數(shù)（C1，J）∨點(diǎn)數(shù)（C1，Q）∨點(diǎn)數(shù)（C1，K）→人面牌（C1）增加選擇就是在析取條件中增加一個(gè)新的析取項(xiàng)。增加選擇例如要程序來(lái)學(xué)習(xí)“人面牌”的概念，“人面牌”是指點(diǎn)數(shù)117“常量化成變量”是一種由具體到一般的演變或歸納；“去掉條件”就是去掉合取項(xiàng)，也就是去