機(jī)器學(xué)習(xí)入門(mén)介紹演示文稿目前一頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)機(jī)器學(xué)習(xí)入門(mén)介紹目前二頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)3第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望7.1機(jī)器學(xué)習(xí)的基本概念目前三頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)47.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類目前四頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)5

7.1.1學(xué)習(xí)（1）學(xué)習(xí)是系統(tǒng)改進(jìn)其性能的過(guò)程：西蒙，1980。（2）學(xué)習(xí)是獲取知識(shí)的過(guò)程。（3）學(xué)習(xí)是技能的獲取。（4）學(xué)習(xí)是事物規(guī)律的發(fā)現(xiàn)過(guò)程。

學(xué)習(xí)：一個(gè)有特定目的的知識(shí)獲取過(guò)程。

內(nèi)在行為：獲取知識(shí)、積累經(jīng)驗(yàn)、發(fā)現(xiàn)規(guī)律。

外部表現(xiàn)：改進(jìn)性能、適應(yīng)環(huán)境、實(shí)現(xiàn)系統(tǒng)的自我完善?！皩W(xué)習(xí)是系統(tǒng)中的任何改進(jìn)，這種改進(jìn)使得系統(tǒng)在重復(fù)同樣的工作或進(jìn)行類似的工作時(shí)，能完成得更好?！崩纭靶『W(xué)走路”、“學(xué)彈鋼琴”等。學(xué)習(xí)：從感性知識(shí)到理性知識(shí)的認(rèn)識(shí)過(guò)程，從表層知識(shí)到深層知識(shí)的轉(zhuǎn)換過(guò)程。目前五頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)67.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類目前六頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)7

機(jī)器學(xué)習(xí)(MachineLearning)：計(jì)算機(jī)能模擬人的學(xué)習(xí)行為，自動(dòng)地通過(guò)學(xué)習(xí)獲取知識(shí)和技能，不斷改善性能，實(shí)現(xiàn)自我完善。

7.1.2機(jī)器學(xué)習(xí)1）學(xué)習(xí)機(jī)理:對(duì)學(xué)習(xí)機(jī)制的研究，即人類獲取知識(shí)、技能和抽象概念的天賦能力。2）學(xué)習(xí)方法：在生物學(xué)習(xí)機(jī)理進(jìn)行簡(jiǎn)化的基礎(chǔ)上，用計(jì)算的方法進(jìn)行再現(xiàn)。3）學(xué)習(xí)系統(tǒng)：根據(jù)特定任務(wù)的要求，建立相應(yīng)的學(xué)習(xí)系統(tǒng)。目前七頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)87.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類目前八頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)9

機(jī)器學(xué)習(xí)系統(tǒng)的定義

學(xué)習(xí)系統(tǒng)：能夠在一定程度上實(shí)現(xiàn)機(jī)器學(xué)習(xí)的系統(tǒng)。薩利斯(Saris)的定義（1973年）：能夠從某個(gè)過(guò)程或環(huán)境的未知特征中學(xué)到有關(guān)信息，并且能把學(xué)到的信息用于未來(lái)的估計(jì)、分類、決策或控制，以便改進(jìn)系統(tǒng)的性能。施密斯等的定義（1977年）：在與環(huán)境相互作用時(shí)，能利用過(guò)去與環(huán)境作用時(shí)得到的信息，并提高其性能。7.1機(jī)器學(xué)習(xí)的基本概念7.1.3機(jī)器學(xué)習(xí)系統(tǒng)目前九頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)102.機(jī)器學(xué)習(xí)系統(tǒng)的條件和能力（1）具有適當(dāng)?shù)膶W(xué)習(xí)環(huán)境（2）具有一定的學(xué)習(xí)能力（3）能應(yīng)用學(xué)到的知識(shí)求解問(wèn)題（4）能提高系統(tǒng)的性能7.1.3機(jī)器學(xué)習(xí)系統(tǒng)目前十頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)113.機(jī)器學(xué)習(xí)系統(tǒng)的基本模型7.1.3機(jī)器學(xué)習(xí)系統(tǒng)執(zhí)行與評(píng)價(jià)環(huán)境學(xué)習(xí)知識(shí)庫(kù)

學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)目前十一頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)127.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類目前十二頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)137.1.4機(jī)器學(xué)習(xí)的發(fā)展

神經(jīng)元模型的研究（20世紀(jì)50年代中期）主要研究工作：應(yīng)用決策理論的方法研制可適應(yīng)環(huán)境的通用學(xué)習(xí)系統(tǒng)（generalpurposelearningsystem）。

1957年，羅森勃拉特（F.Rosenblatt）提出感知器模型。塞繆爾（Samuel）的跳棋程序：分析了約175000副不同棋局后，歸納出了棋類書(shū)上推薦的走法，準(zhǔn)確率達(dá)到48％。

1969年，明斯基和佩珀特（Papert）發(fā)表了論著《Perceptron》，對(duì)神經(jīng)元模型的研究作出了悲觀的論斷。

目前十三頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)147.1.4機(jī)器學(xué)習(xí)的發(fā)展2.符號(hào)學(xué)習(xí)的研究（20世紀(jì)70年代中期）符號(hào)概念獲取的學(xué)習(xí)方法（1970年）：模擬人類的概念學(xué)習(xí)過(guò)程，通過(guò)分析一些概念的正例和反例構(gòu)造出這些概念的符號(hào)表示。莫斯托夫（D.J.Mostow）的指導(dǎo)式學(xué)習(xí)。溫斯頓（Winston）和卡鮑尼爾（J.G.Carbonell）的類比學(xué)習(xí)。米切爾（T.M.Mitchell）等人的解釋學(xué)習(xí)。目前十四頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)157.1.4機(jī)器學(xué)習(xí)的發(fā)展3.連接學(xué)習(xí)的研究（20世紀(jì)80年代）連接學(xué)習(xí)：一種以非線性大規(guī)模并行處理為主流的神經(jīng)網(wǎng)絡(luò)研究。

1980年，在卡內(nèi)基－梅隆大學(xué)召開(kāi)了第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)。

1986年，創(chuàng)刊了第一本機(jī)器學(xué)習(xí)雜志《MachineLearning》。

目前十五頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)167.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類目前十六頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)177.1.5機(jī)器學(xué)習(xí)的分類

1.按學(xué)習(xí)方法分類（溫斯頓，1977

）：機(jī)械式學(xué)習(xí)、指導(dǎo)式學(xué)習(xí)、示例學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)等。2.按學(xué)習(xí)能力分類：監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）目前十七頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)187.1.5機(jī)器學(xué)習(xí)的分類

按學(xué)習(xí)能力分類：再勵(lì)學(xué)習(xí)（強(qiáng)化學(xué)習(xí)或增強(qiáng)學(xué)習(xí)）目前十八頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)197.1.5機(jī)器學(xué)習(xí)的分類按學(xué)習(xí)能力分類：非監(jiān)督學(xué)習(xí)（無(wú)教師學(xué)習(xí)）3.按推理方式分類：基于演繹的學(xué)習(xí)（解釋學(xué)習(xí)）?；跉w納的學(xué)習(xí)（示例學(xué)習(xí)、發(fā)現(xiàn)學(xué)習(xí)等）。4.按綜合屬性分類：歸納學(xué)習(xí)、分析學(xué)習(xí)、連接學(xué)習(xí)、遺傳式學(xué)習(xí)等。目前十九頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)20第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望目前二十頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)217.2機(jī)械式學(xué)習(xí)

機(jī)械式學(xué)習(xí)（rotelearning）又稱記憶學(xué)習(xí)，或死記式學(xué)習(xí)：通過(guò)直接記憶或者存儲(chǔ)外部環(huán)境所提供的信息達(dá)到學(xué)習(xí)的目的，并在以后通過(guò)對(duì)知識(shí)庫(kù)的檢索得到相應(yīng)的知識(shí)直接用來(lái)求解問(wèn)題。

機(jī)械式學(xué)習(xí)實(shí)質(zhì)是用存儲(chǔ)空間來(lái)?yè)Q取處理時(shí)間。目前二十一頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)227.2機(jī)械式學(xué)習(xí)

在給定搜索深度下用估價(jià)函數(shù)對(duì)格局進(jìn)行評(píng)分，通過(guò)倒推計(jì)算求出上層節(jié)點(diǎn)的倒推值，決定當(dāng)前的最佳走步。下次遇到相同情況，直接利用倒推值決定最佳走步，不需重新計(jì)算。塞繆爾的跳棋程序CHECKERS

以A為結(jié)點(diǎn)的博弈樹(shù)QA6A

博弈搜索樹(shù)2B6C24869123438656496目前二十二頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)23第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望目前二十三頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)247.3指導(dǎo)式學(xué)習(xí)

指導(dǎo)式學(xué)習(xí)（learningbybeingtold）又稱囑咐式學(xué)習(xí)或教授式學(xué)習(xí)：由外部環(huán)境向系統(tǒng)提供一般性的指示或建議，系統(tǒng)把它們具體地轉(zhuǎn)化為細(xì)節(jié)知識(shí)并送入知識(shí)庫(kù)中。在學(xué)習(xí)過(guò)程中要反復(fù)對(duì)形成的知識(shí)進(jìn)行評(píng)價(jià)，使其不斷完善。指導(dǎo)式學(xué)習(xí)的學(xué)習(xí)過(guò)程：征詢指導(dǎo)者的指示或建議、把征詢意見(jiàn)轉(zhuǎn)換為可執(zhí)行的內(nèi)部形式、加入知識(shí)庫(kù)、評(píng)價(jià)。

目前二十四頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)257.3指導(dǎo)式學(xué)習(xí)

簡(jiǎn)單征詢：指導(dǎo)者給出一般性的意見(jiàn)，系統(tǒng)將其具體化。復(fù)雜征詢：系統(tǒng)不僅要求指導(dǎo)者給出一般性的建議，而且還要具體地鑒別知識(shí)庫(kù)中可能存在的問(wèn)題，并給出修改意見(jiàn)。被動(dòng)征詢：系統(tǒng)只是被動(dòng)地等待指導(dǎo)者提供意見(jiàn)。主動(dòng)征詢：系統(tǒng)不只是被動(dòng)地接受指示，而且還能主動(dòng)地提出詢問(wèn)，把指導(dǎo)者的注意力集中在特定的問(wèn)題上。1.征詢指導(dǎo)者的指示或建議

目前二十五頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)267.3指導(dǎo)式學(xué)習(xí)

學(xué)習(xí)系統(tǒng)應(yīng)具有把用約定形式表示的征詢意見(jiàn)轉(zhuǎn)化為計(jì)算機(jī)內(nèi)部可執(zhí)行形式的能力，并且能在轉(zhuǎn)化過(guò)程中進(jìn)行語(yǔ)法檢查及適當(dāng)?shù)恼Z(yǔ)義分析。2.把征詢意見(jiàn)轉(zhuǎn)換為可執(zhí)行的內(nèi)部形式

在加入過(guò)程中要對(duì)知識(shí)進(jìn)行一致性檢查，以防止出現(xiàn)矛盾、冗余、環(huán)路等問(wèn)題。3.加入知識(shí)庫(kù)

評(píng)價(jià)方法：對(duì)新知識(shí)進(jìn)行經(jīng)驗(yàn)測(cè)試，即執(zhí)行一些標(biāo)準(zhǔn)例子，然后檢查執(zhí)行情況是否與已知情況一致。

4.評(píng)價(jià)目前二十六頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)27第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望目前二十七頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)287.4歸納學(xué)習(xí)7.4.1歸納推理7.4.2示例學(xué)習(xí)7.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)目前二十八頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)297.4.1歸納推理歸納推理：應(yīng)用歸納方法所進(jìn)行的推理，即從足夠多的事例中歸納出一般性的知識(shí)。它是一種從個(gè)別到一般、從部分到整體的推理。歸納推理的重要特征：歸納出的結(jié)論不能絕對(duì)保證它的正確性，只能以某種程度相信它為真。

例如，由“麻雀會(huì)飛”、“鴿子會(huì)飛”、“燕子會(huì)飛”……歸納出“有翅膀的動(dòng)物會(huì)飛”、“長(zhǎng)羽毛的動(dòng)物會(huì)飛”等結(jié)論。

目前二十九頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)30

從個(gè)別事例歸納出一般性知識(shí)的方法：設(shè)：某類事物A中的具體事物。已知都有屬性P，并且沒(méi)有發(fā)現(xiàn)反例。當(dāng)n足夠大時(shí)，可得出：“A中所有事物都有屬性P”。

7.4.1歸納推理1.枚舉歸納

目前三十頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)31

例如，設(shè)有如下已知事例：張三是足球運(yùn)動(dòng)員，他的體格健壯。李四是足球運(yùn)動(dòng)員，他的體格健壯。

…………

劉六是足球運(yùn)動(dòng)員，他的體格健壯。

事例足夠多時(shí)，可歸納出一般性知識(shí)：凡是足球運(yùn)動(dòng)員，他的體格一定健壯。7.4.1歸納推理1.枚舉歸納

(0.9)目前三十一頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)32

已知兩個(gè)事物a與b有n個(gè)屬性相似或相同，即：

a具有屬性P1，b也具有屬性P1。

a具有屬性P2，b也具有屬性P2。

…………

a具有屬性Pn，b也具有屬性Pn。且a具有屬性Pn+1

，則當(dāng)n足夠大時(shí)，可歸納出

b也具有屬性Pn+1。

7.4.1歸納推理2.聯(lián)想歸納目前三十二頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)33

設(shè)：且則當(dāng)A與B中有新元素出現(xiàn)時(shí)（設(shè)A中的a’及B中的b’

），若已知a’

有屬性，就可得出b’

有屬性，即7.4.1歸納推理3.類比歸納目前三十三頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)34

一般模式：（1）若H

為真時(shí)，則H→E必為真或以置信度cf1成立。（2）觀察到E成立或以置信度cf2成立。（3）則H以某種置信度(cf)成立。7.4.1歸納推理4.逆推理歸納：由結(jié)論成立推出前提以某種置信度成立。

用公式表示：目前三十四頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)35

則H的置信度：7.4.1歸納推理4.逆推理歸納（續(xù)）E→H的置信度cf1’=P(H/E)H→E的置信度cf1=P(E/H)HE?1cf’E2cfHcf目前三十五頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)367.4.1歸納推理5.消除歸納

消除歸納：通過(guò)不斷否定原先的假設(shè)來(lái)得出結(jié)論。已知：結(jié)論：目前三十六頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)377.4.1歸納推理演繹推理歸納推理

一般→個(gè)別

個(gè)別→一般

必然性推理

或然性推理（“主觀不充分置信”的推理）

結(jié)論不會(huì)超出前提所斷定的范圍；不能獲取新知識(shí)。

結(jié)論適用于更大的范圍；可獲取新知識(shí)。

演繹推理與歸納推理的區(qū)別目前三十七頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)387.4歸納學(xué)習(xí)7.4.1歸納推理7.4.2示例學(xué)習(xí)7.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)目前三十八頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)397.4.2示例學(xué)習(xí)

示例學(xué)習(xí)（learningfromexamples，實(shí)例學(xué)習(xí)或從例子中學(xué)習(xí)）：通過(guò)從環(huán)境中取得若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。示例學(xué)習(xí)中，外部環(huán)境（教師）提供一組例子（正例和反例），然后從這些特殊知識(shí)中歸納出適用于更大范圍的一般性知識(shí)，它將覆蓋所有的正例并排除所有反例。

目前三十九頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)407.4.2示例學(xué)習(xí)1.示例學(xué)習(xí)的學(xué)習(xí)模型

示例空間驗(yàn)證搜索解釋形成知識(shí)知識(shí)庫(kù)

圖7.7示例學(xué)習(xí)的學(xué)習(xí)模型目前四十頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)417.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（1）變量代換常量

例如，假設(shè)有兩個(gè)關(guān)于撲克牌“同花”概念的示例。示例1：示例2：

可得到一條一般性的知識(shí)：規(guī)則1：目前四十一頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)427.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（2）舍棄條件

例如示例：

可得到一條一般性的知識(shí)：規(guī)則1：花色(c1,黑桃)∧點(diǎn)數(shù)（c1,7）∧花色(c2,黑桃)∧點(diǎn)數(shù)（c2,3）∧花色(c3,黑桃)∧點(diǎn)數(shù)（c3,10）∧花色(c4,黑桃)∧點(diǎn)數(shù)（c4,5）→同花(c1,c2,c3,c4)目前四十二頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)437.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（3）增加操作

前件析取法例如關(guān)于“臉牌”示例：

得到知識(shí)：目前四十三頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)447.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（3）增加操作

內(nèi)部析取法：在示例的表示中使用集合與集合間的成員關(guān)系來(lái)形成知識(shí)。例如示例：

得到知識(shí)：目前四十四頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)457.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（4）合取變析取

例如：“男同學(xué)與女同學(xué)可以組成一個(gè)班”。歸納：“男同學(xué)或女同學(xué)可以組成一個(gè)班”。

（5）歸結(jié)歸納

例如：得到：

示例1：某天下雨，且自行車(chē)在路上出了毛病需修理，所以他上班遲到。示例2：某天沒(méi)下雨，但交通阻塞，所以他上班遲到。得到：如果自行車(chē)在路上出了毛病需修理，或者交通阻塞，則他有可能上班遲到。目前四十五頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)467.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（6）曲線擬合

設(shè)在示例空間提供了一批如下形式的示例：(x,y,z)

示例1：(1,0,10)

示例2：(2,1,18)

示例3：(-1,-2,-6)應(yīng)用曲線擬合法（例如最小二乘法）得到：z=2x+6y+8目前四十六頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)477.4歸納學(xué)習(xí)7.4.1歸納推理7.4.2示例學(xué)習(xí)7.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)目前四十七頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)487.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)（learningfromobservinganddiscovery）:觀察學(xué)習(xí)：用于對(duì)事例進(jìn)行概念聚類，形成概念描述。發(fā)現(xiàn)學(xué)習(xí)：用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則。目前四十八頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)497.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)1.概念聚類(1980年,米卡爾斯基（R.S.Michalski))

基本思想:把事例按一定的方式和準(zhǔn)則進(jìn)行分組，如劃分為不同的類，不同的層次等，使不同的組代表不同的概念，并且對(duì)每一個(gè)組進(jìn)行特征概括，得到一個(gè)概念的語(yǔ)義符號(hào)描述。

目前四十九頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)507.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)1.概念聚類

例如事例：喜鵲、麻雀、布谷鳥(niǎo)、烏鴉、雞、鴨、鵝，…

分為兩類：鳥(niǎo)={喜鵲，麻雀，布谷鳥(niǎo)，烏鴉，…}

家禽

={雞、鴨、鵝，…}

得知：“鳥(niǎo)有羽毛、有翅膀、會(huì)飛、會(huì)叫、野生”。“家禽有羽毛、有翅膀、會(huì)飛、會(huì)叫、家養(yǎng)”。目前五十頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)517.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)2.發(fā)現(xiàn)學(xué)習(xí)

發(fā)現(xiàn)學(xué)習(xí):從系統(tǒng)的初始知識(shí)、觀察事例或經(jīng)驗(yàn)數(shù)據(jù)中歸納出規(guī)律或規(guī)則?！獰o(wú)教師指導(dǎo)的歸納學(xué)習(xí)

經(jīng)驗(yàn)發(fā)現(xiàn):從經(jīng)驗(yàn)數(shù)據(jù)中發(fā)現(xiàn)規(guī)律和定律。

知識(shí)發(fā)現(xiàn):指從已觀察的事例中發(fā)現(xiàn)新的知識(shí)。目前五十一頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)52第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望目前五十二頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)537.5類比學(xué)習(xí)7.5.1類比推理7.5.2屬性類比學(xué)習(xí)7.5.3轉(zhuǎn)換類比學(xué)習(xí)類比學(xué)習(xí)(learningbyanalogy)：通過(guò)對(duì)相似事物進(jìn)行比較所進(jìn)行的一種學(xué)習(xí)。目前五十三頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)547.5.1類比推理

類比推理：由新情況與記憶中的已知情況在某些方面相似，從而推出它們?cè)谄渌嚓P(guān)方面也相似。

源域S：已經(jīng)認(rèn)識(shí)的域，包括過(guò)去曾經(jīng)解決過(guò)且與當(dāng)前問(wèn)題類似的問(wèn)題以及相關(guān)知識(shí)；目標(biāo)域T：當(dāng)前尚未完全認(rèn)識(shí)的域，是遇到的新問(wèn)題。類比推理的目的：從源域S中選出與當(dāng)前問(wèn)題最近似的問(wèn)題及其求解方法來(lái)求解當(dāng)前的問(wèn)題，或者建立起目標(biāo)域T中已有命題間的聯(lián)系，形成新知識(shí)。目前五十四頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)557.5.1類比推理類比推理的推理過(guò)程：

1）回憶與聯(lián)想：在S中找出與當(dāng)前情況相似的情況，并按相似度從高到低進(jìn)行排序。

2）選擇：選出與當(dāng)前情況最相似的情況及其有關(guān)知識(shí)。

3）建立對(duì)應(yīng)關(guān)系：在S與T的相似情況之間建立相應(yīng)的映射。

4）轉(zhuǎn)換：把S中的有關(guān)知識(shí)引到T中，建立起求解當(dāng)前問(wèn)題的方法或者學(xué)習(xí)到關(guān)于T的新知識(shí)。

設(shè)S1與T1分別表示S與T

中的某一情況，且S1與T1相似，再假設(shè)S2與

S1相關(guān)，則由類比推理可推出T

中的T2

，且T2與

S2相似。目前五十五頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)567.5類比學(xué)習(xí)7.5.1類比推理7.5.2屬性類比學(xué)習(xí)7.5.3轉(zhuǎn)換類比學(xué)習(xí)目前五十六頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)577.5.2屬性類比學(xué)習(xí)

屬性類比學(xué)習(xí):根據(jù)兩個(gè)相似事物的屬性實(shí)現(xiàn)類比學(xué)習(xí)的。屬性類比學(xué)習(xí)系統(tǒng)（1979年，溫斯頓）：源域和目標(biāo)域都是用框架表示的，分別稱為源框架和目標(biāo)框架?？蚣艿牟塾糜诒硎臼挛锏膶傩?。學(xué)習(xí)過(guò)程:把源框架中的某些槽值傳遞到目標(biāo)框架的相應(yīng)槽中去。

目前五十七頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)587.5.2屬性類比學(xué)習(xí)候選槽：其槽值有可能要傳遞給目標(biāo)框架的那些槽。選擇的方法：（1）選擇具有極端槽值的槽，例如“很大”、“很小”……（2）選擇已經(jīng)被確認(rèn)為“重要槽”的槽（3）選擇與源框架相似的框架中不具有的槽（4）選擇相似框架中不具有這種槽值的槽（5）選擇源框架中的所有槽1.

從源框架中選擇若干槽作為候選槽

目前五十八頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)597.5.2屬性類比學(xué)習(xí)篩選規(guī)則：（1）選擇在目標(biāo)框架中還未填值的槽。（2）選擇在目標(biāo)框架中為典型事例的槽。（3）選擇與目標(biāo)框架有緊密關(guān)系的槽，或者與目標(biāo)框架的槽類似的槽。2.根據(jù)目標(biāo)框架對(duì)候選槽進(jìn)行篩選目前五十九頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)607.5類比學(xué)習(xí)7.5.1類比推理7.5.2屬性類比學(xué)習(xí)7.5.3轉(zhuǎn)換類比學(xué)習(xí)目前六十頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)617.5.3轉(zhuǎn)換類比學(xué)習(xí)

在狀態(tài)空間表示法的知識(shí)表示中，“狀態(tài)”：描述問(wèn)題在不同時(shí)刻的狀況；“算符”：描述改變狀態(tài)的操作。當(dāng)問(wèn)題由初始狀態(tài)變換到目標(biāo)狀態(tài)時(shí)，所用算符的序列就構(gòu)成了問(wèn)題的一個(gè)解。

如何使問(wèn)題由初始狀態(tài)變換到目標(biāo)狀態(tài)呢？

“手段－目標(biāo)分析”法（means-endanalysis，MEA），又稱為“中間－結(jié)局分析”法：紐厄爾等人在通用問(wèn)題求解程序GPS（generalproblemsolver）中提出的一種問(wèn)題求解模型。

目前六十一頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)627.5.3轉(zhuǎn)換類比學(xué)習(xí)

“手段－目標(biāo)分析”法（MEA）求解問(wèn)題的基本過(guò)程：（1）把問(wèn)題的當(dāng)前狀態(tài)與目標(biāo)狀態(tài)進(jìn)行比較，找出差異。（2）根據(jù)差異找出一個(gè)可減小差異的算符。（3）如果該算符可作用于當(dāng)前狀態(tài)，則用該算符把當(dāng)前狀態(tài)改變?yōu)榱硪粋€(gè)更接近于目標(biāo)狀態(tài)的狀態(tài)；如果不能，則保留當(dāng)前狀態(tài)，并生成一個(gè)子問(wèn)題，再對(duì)此子問(wèn)題應(yīng)用MEA。（4）當(dāng)子問(wèn)題被求解后，恢復(fù)保留的狀態(tài)，繼續(xù)處理原問(wèn)題。目前六十二頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)637.5.3轉(zhuǎn)換類比學(xué)習(xí)

回憶過(guò)程：找出新、舊問(wèn)題間的差別，包括：（1）初始狀態(tài)的差別。（2）目標(biāo)狀態(tài)的差別。（3）路徑約束的差別。（4）求解方法可應(yīng)用度的差別。

轉(zhuǎn)換過(guò)程：把舊問(wèn)題的求解方法經(jīng)適當(dāng)變換使之成為求解新問(wèn)題的方法，變換中用MEA來(lái)減小目標(biāo)狀態(tài)與初始狀態(tài)之間的差異，使初始狀態(tài)逐步過(guò)渡到目標(biāo)狀態(tài)，即求出問(wèn)題的解。

轉(zhuǎn)換類比學(xué)習(xí)：由外部環(huán)境獲得與類比有關(guān)的信息，學(xué)習(xí)系統(tǒng)找出與新問(wèn)題相似的舊問(wèn)題的有關(guān)知識(shí)，把這些知識(shí)進(jìn)行轉(zhuǎn)換使之適用于新問(wèn)題，從而獲得新的知識(shí)。目前六十三頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)64第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望目前六十四頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)657.6解釋學(xué)習(xí)

解釋學(xué)習(xí)（explanation-basedlearning）：由美國(guó)Illinois大學(xué)的Dejong于1983年提出，屬于分析學(xué)習(xí)，本質(zhì)為演繹學(xué)習(xí)方法。它是通過(guò)運(yùn)用相關(guān)的領(lǐng)域知識(shí)，對(duì)當(dāng)前提供的單個(gè)實(shí)例的問(wèn)題求解進(jìn)行分析，從而構(gòu)造解釋并產(chǎn)生相應(yīng)知識(shí)的。解釋學(xué)習(xí)系統(tǒng)：米切爾（Mitchell）等人研制的LEX和LEAP系統(tǒng)，明頓（S.Minton）等人研制的PRODIGY系統(tǒng)等。

目前六十五頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)667.6解釋學(xué)習(xí)7.6.1解釋學(xué)習(xí)的概念7.6.2解釋學(xué)習(xí)的學(xué)習(xí)過(guò)程7.6.3領(lǐng)域知識(shí)的完善性目前六十六頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)677.6.1解釋學(xué)習(xí)的概念

解釋學(xué)習(xí)：通過(guò)運(yùn)用相關(guān)的領(lǐng)域知識(shí)及一個(gè)訓(xùn)練實(shí)例來(lái)對(duì)某一目標(biāo)概念進(jìn)行學(xué)習(xí)，并最終生成這個(gè)目標(biāo)概念的一般性描述。解釋學(xué)習(xí)的一般性描述（米切爾（Mitchell）等，1986）：給定：領(lǐng)域知識(shí)DT（用于證明訓(xùn)練實(shí)例為什么可作為目標(biāo)概念的實(shí)例）

目標(biāo)概念TC（要學(xué)習(xí)的概念）

訓(xùn)練實(shí)例TE

操作性準(zhǔn)則OC（指導(dǎo)系統(tǒng)對(duì)描述目標(biāo)的概念進(jìn)行取舍）找出：滿足OC的關(guān)于TC的充分條件。目前六十七頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)687.6.1解釋學(xué)習(xí)的概念

解釋學(xué)習(xí)與示例學(xué)習(xí)的主要區(qū)別：（1）示例學(xué)習(xí)：輸入一組實(shí)例。解釋學(xué)習(xí)：輸入一個(gè)實(shí)例。（2）示例學(xué)習(xí)：歸納學(xué)習(xí)，不要求提供領(lǐng)域知識(shí)。解釋學(xué)習(xí)：演繹學(xué)習(xí)，要求提供完善的領(lǐng)域知識(shí)。（3）示例學(xué)習(xí)：概念的獲取，即知識(shí)增加的一面。解釋學(xué)習(xí)：技能提高的一面。目前六十八頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)697.6.2解釋學(xué)習(xí)的學(xué)習(xí)過(guò)程

證明過(guò)程：通過(guò)運(yùn)用領(lǐng)域知識(shí)進(jìn)行演繹實(shí)現(xiàn)的，證明的結(jié)果是得到一個(gè)解釋結(jié)構(gòu)。

1.構(gòu)造解釋

解釋學(xué)習(xí)的學(xué)習(xí)過(guò)程：首先運(yùn)用領(lǐng)域知識(shí)找出訓(xùn)練實(shí)例為什么是目標(biāo)概念的證明，即解釋，然后按操作性準(zhǔn)則對(duì)解釋進(jìn)行推廣，從而得出關(guān)于目標(biāo)概念的學(xué)習(xí)描述。

例如，學(xué)習(xí)目標(biāo)：“一個(gè)物體x可以安全地放置在另一個(gè)物體y的上面”（堆疊問(wèn)題）。目標(biāo)概念：物體（x,y)，Safe-to-stack(x,y)目前六十九頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)707.6.2解釋學(xué)習(xí)的學(xué)習(xí)過(guò)程訓(xùn)練實(shí)例（描述物體Obj1和Obj2的事實(shí)）：領(lǐng)域知識(shí)（安全放置準(zhǔn)則和計(jì)算準(zhǔn)則）：

例如，學(xué)習(xí)目標(biāo)：“一個(gè)物體x可以安全地放置在另一個(gè)物體y的上面”（堆疊問(wèn)題）。目標(biāo)概念：物體（x,y)，Safe-to-stack(x,y)目前七十頁(yè)\總數(shù)七十九頁(yè)\編于十五點(diǎn)717.6.2解釋學(xué)習(xí)的學(xué)習(xí)過(guò)程

1.構(gòu)造解釋

),(21ObjObjStackToSafe--),(21ObjObjLighter)1.0,(1ObjWeight)15,(2ObjWeight)15,1.0(Smaller),(2booktableObjIsa-)1,(1ObjVolume)1.0,(1ObjDensity)1.0,1.0,1(*Safe-To-Stack(Obj1,Obj