機(jī)器學(xué)習(xí)入門介紹演示文稿現(xiàn)在是1頁\一共有79頁\編輯于星期五機(jī)器學(xué)習(xí)入門介紹現(xiàn)在是2頁\一共有79頁\編輯于星期五3第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望7.1機(jī)器學(xué)習(xí)的基本概念現(xiàn)在是3頁\一共有79頁\編輯于星期五47.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類現(xiàn)在是4頁\一共有79頁\編輯于星期五5

7.1.1學(xué)習(xí)（1）學(xué)習(xí)是系統(tǒng)改進(jìn)其性能的過程：西蒙，1980。（2）學(xué)習(xí)是獲取知識(shí)的過程。（3）學(xué)習(xí)是技能的獲取。（4）學(xué)習(xí)是事物規(guī)律的發(fā)現(xiàn)過程。

學(xué)習(xí)：一個(gè)有特定目的的知識(shí)獲取過程。

內(nèi)在行為：獲取知識(shí)、積累經(jīng)驗(yàn)、發(fā)現(xiàn)規(guī)律。

外部表現(xiàn)：改進(jìn)性能、適應(yīng)環(huán)境、實(shí)現(xiàn)系統(tǒng)的自我完善。“學(xué)習(xí)是系統(tǒng)中的任何改進(jìn)，這種改進(jìn)使得系統(tǒng)在重復(fù)同樣的工作或進(jìn)行類似的工作時(shí)，能完成得更好。”例如“小孩學(xué)走路”、“學(xué)彈鋼琴”等。學(xué)習(xí)：從感性知識(shí)到理性知識(shí)的認(rèn)識(shí)過程，從表層知識(shí)到深層知識(shí)的轉(zhuǎn)換過程。現(xiàn)在是5頁\一共有79頁\編輯于星期五67.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類現(xiàn)在是6頁\一共有79頁\編輯于星期五7

機(jī)器學(xué)習(xí)(MachineLearning)：計(jì)算機(jī)能模擬人的學(xué)習(xí)行為，自動(dòng)地通過學(xué)習(xí)獲取知識(shí)和技能，不斷改善性能，實(shí)現(xiàn)自我完善。

7.1.2機(jī)器學(xué)習(xí)1）學(xué)習(xí)機(jī)理:對(duì)學(xué)習(xí)機(jī)制的研究，即人類獲取知識(shí)、技能和抽象概念的天賦能力。2）學(xué)習(xí)方法：在生物學(xué)習(xí)機(jī)理進(jìn)行簡(jiǎn)化的基礎(chǔ)上，用計(jì)算的方法進(jìn)行再現(xiàn)。3）學(xué)習(xí)系統(tǒng)：根據(jù)特定任務(wù)的要求，建立相應(yīng)的學(xué)習(xí)系統(tǒng)?，F(xiàn)在是7頁\一共有79頁\編輯于星期五87.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類現(xiàn)在是8頁\一共有79頁\編輯于星期五9

機(jī)器學(xué)習(xí)系統(tǒng)的定義

學(xué)習(xí)系統(tǒng)：能夠在一定程度上實(shí)現(xiàn)機(jī)器學(xué)習(xí)的系統(tǒng)。薩利斯(Saris)的定義（1973年）：能夠從某個(gè)過程或環(huán)境的未知特征中學(xué)到有關(guān)信息，并且能把學(xué)到的信息用于未來的估計(jì)、分類、決策或控制，以便改進(jìn)系統(tǒng)的性能。施密斯等的定義（1977年）：在與環(huán)境相互作用時(shí)，能利用過去與環(huán)境作用時(shí)得到的信息，并提高其性能。7.1機(jī)器學(xué)習(xí)的基本概念7.1.3機(jī)器學(xué)習(xí)系統(tǒng)現(xiàn)在是9頁\一共有79頁\編輯于星期五102.機(jī)器學(xué)習(xí)系統(tǒng)的條件和能力（1）具有適當(dāng)?shù)膶W(xué)習(xí)環(huán)境（2）具有一定的學(xué)習(xí)能力（3）能應(yīng)用學(xué)到的知識(shí)求解問題（4）能提高系統(tǒng)的性能7.1.3機(jī)器學(xué)習(xí)系統(tǒng)現(xiàn)在是10頁\一共有79頁\編輯于星期五113.機(jī)器學(xué)習(xí)系統(tǒng)的基本模型7.1.3機(jī)器學(xué)習(xí)系統(tǒng)執(zhí)行與評(píng)價(jià)環(huán)境學(xué)習(xí)知識(shí)庫(kù)

學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)現(xiàn)在是11頁\一共有79頁\編輯于星期五127.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類現(xiàn)在是12頁\一共有79頁\編輯于星期五137.1.4機(jī)器學(xué)習(xí)的發(fā)展

神經(jīng)元模型的研究（20世紀(jì)50年代中期）主要研究工作：應(yīng)用決策理論的方法研制可適應(yīng)環(huán)境的通用學(xué)習(xí)系統(tǒng)（generalpurposelearningsystem）。

1957年，羅森勃拉特（F.Rosenblatt）提出感知器模型。塞繆爾（Samuel）的跳棋程序：分析了約175000副不同棋局后，歸納出了棋類書上推薦的走法，準(zhǔn)確率達(dá)到48％。

1969年，明斯基和佩珀特（Papert）發(fā)表了論著《Perceptron》，對(duì)神經(jīng)元模型的研究作出了悲觀的論斷。

現(xiàn)在是13頁\一共有79頁\編輯于星期五147.1.4機(jī)器學(xué)習(xí)的發(fā)展2.符號(hào)學(xué)習(xí)的研究（20世紀(jì)70年代中期）符號(hào)概念獲取的學(xué)習(xí)方法（1970年）：模擬人類的概念學(xué)習(xí)過程，通過分析一些概念的正例和反例構(gòu)造出這些概念的符號(hào)表示。莫斯托夫（D.J.Mostow）的指導(dǎo)式學(xué)習(xí)。溫斯頓（Winston）和卡鮑尼爾（J.G.Carbonell）的類比學(xué)習(xí)。米切爾（T.M.Mitchell）等人的解釋學(xué)習(xí)?，F(xiàn)在是14頁\一共有79頁\編輯于星期五157.1.4機(jī)器學(xué)習(xí)的發(fā)展3.連接學(xué)習(xí)的研究（20世紀(jì)80年代）連接學(xué)習(xí)：一種以非線性大規(guī)模并行處理為主流的神經(jīng)網(wǎng)絡(luò)研究。

1980年，在卡內(nèi)基－梅隆大學(xué)召開了第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)。

1986年，創(chuàng)刊了第一本機(jī)器學(xué)習(xí)雜志《MachineLearning》。

現(xiàn)在是15頁\一共有79頁\編輯于星期五167.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類現(xiàn)在是16頁\一共有79頁\編輯于星期五177.1.5機(jī)器學(xué)習(xí)的分類1.按學(xué)習(xí)方法分類（溫斯頓，1977

）：機(jī)械式學(xué)習(xí)、指導(dǎo)式學(xué)習(xí)、示例學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)等。2.按學(xué)習(xí)能力分類：監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）現(xiàn)在是17頁\一共有79頁\編輯于星期五187.1.5機(jī)器學(xué)習(xí)的分類

按學(xué)習(xí)能力分類：再勵(lì)學(xué)習(xí)（強(qiáng)化學(xué)習(xí)或增強(qiáng)學(xué)習(xí)）現(xiàn)在是18頁\一共有79頁\編輯于星期五197.1.5機(jī)器學(xué)習(xí)的分類

按學(xué)習(xí)能力分類：非監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)）3.按推理方式分類：基于演繹的學(xué)習(xí)（解釋學(xué)習(xí)）?；跉w納的學(xué)習(xí)（示例學(xué)習(xí)、發(fā)現(xiàn)學(xué)習(xí)等）。4.按綜合屬性分類：歸納學(xué)習(xí)、分析學(xué)習(xí)、連接學(xué)習(xí)、遺傳式學(xué)習(xí)等。現(xiàn)在是19頁\一共有79頁\編輯于星期五20第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望現(xiàn)在是20頁\一共有79頁\編輯于星期五217.2機(jī)械式學(xué)習(xí)

機(jī)械式學(xué)習(xí)（rotelearning）又稱記憶學(xué)習(xí)，或死記式學(xué)習(xí)：通過直接記憶或者存儲(chǔ)外部環(huán)境所提供的信息達(dá)到學(xué)習(xí)的目的，并在以后通過對(duì)知識(shí)庫(kù)的檢索得到相應(yīng)的知識(shí)直接用來求解問題。

機(jī)械式學(xué)習(xí)實(shí)質(zhì)是用存儲(chǔ)空間來換取處理時(shí)間。現(xiàn)在是21頁\一共有79頁\編輯于星期五227.2機(jī)械式學(xué)習(xí)

在給定搜索深度下用估價(jià)函數(shù)對(duì)格局進(jìn)行評(píng)分，通過倒推計(jì)算求出上層節(jié)點(diǎn)的倒推值，決定當(dāng)前的最佳走步。下次遇到相同情況，直接利用倒推值決定最佳走步，不需重新計(jì)算。塞繆爾的跳棋程序CHECKERS

以A為結(jié)點(diǎn)的博弈樹QA6A

博弈搜索樹2B6C24869123438656496現(xiàn)在是22頁\一共有79頁\編輯于星期五23第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望現(xiàn)在是23頁\一共有79頁\編輯于星期五247.3指導(dǎo)式學(xué)習(xí)

指導(dǎo)式學(xué)習(xí)（learningbybeingtold）又稱囑咐式學(xué)習(xí)或教授式學(xué)習(xí)：由外部環(huán)境向系統(tǒng)提供一般性的指示或建議，系統(tǒng)把它們具體地轉(zhuǎn)化為細(xì)節(jié)知識(shí)并送入知識(shí)庫(kù)中。在學(xué)習(xí)過程中要反復(fù)對(duì)形成的知識(shí)進(jìn)行評(píng)價(jià)，使其不斷完善。指導(dǎo)式學(xué)習(xí)的學(xué)習(xí)過程：征詢指導(dǎo)者的指示或建議、把征詢意見轉(zhuǎn)換為可執(zhí)行的內(nèi)部形式、加入知識(shí)庫(kù)、評(píng)價(jià)。

現(xiàn)在是24頁\一共有79頁\編輯于星期五257.3指導(dǎo)式學(xué)習(xí)

簡(jiǎn)單征詢：指導(dǎo)者給出一般性的意見，系統(tǒng)將其具體化。復(fù)雜征詢：系統(tǒng)不僅要求指導(dǎo)者給出一般性的建議，而且還要具體地鑒別知識(shí)庫(kù)中可能存在的問題，并給出修改意見。被動(dòng)征詢：系統(tǒng)只是被動(dòng)地等待指導(dǎo)者提供意見。主動(dòng)征詢：系統(tǒng)不只是被動(dòng)地接受指示，而且還能主動(dòng)地提出詢問，把指導(dǎo)者的注意力集中在特定的問題上。1.征詢指導(dǎo)者的指示或建議

現(xiàn)在是25頁\一共有79頁\編輯于星期五267.3指導(dǎo)式學(xué)習(xí)

學(xué)習(xí)系統(tǒng)應(yīng)具有把用約定形式表示的征詢意見轉(zhuǎn)化為計(jì)算機(jī)內(nèi)部可執(zhí)行形式的能力，并且能在轉(zhuǎn)化過程中進(jìn)行語法檢查及適當(dāng)?shù)恼Z義分析。2.把征詢意見轉(zhuǎn)換為可執(zhí)行的內(nèi)部形式

在加入過程中要對(duì)知識(shí)進(jìn)行一致性檢查，以防止出現(xiàn)矛盾、冗余、環(huán)路等問題。3.加入知識(shí)庫(kù)

評(píng)價(jià)方法：對(duì)新知識(shí)進(jìn)行經(jīng)驗(yàn)測(cè)試，即執(zhí)行一些標(biāo)準(zhǔn)例子，然后檢查執(zhí)行情況是否與已知情況一致。

4.評(píng)價(jià)現(xiàn)在是26頁\一共有79頁\編輯于星期五27第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望現(xiàn)在是27頁\一共有79頁\編輯于星期五287.4歸納學(xué)習(xí)7.4.1歸納推理7.4.2示例學(xué)習(xí)7.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)現(xiàn)在是28頁\一共有79頁\編輯于星期五297.4.1歸納推理歸納推理：應(yīng)用歸納方法所進(jìn)行的推理，即從足夠多的事例中歸納出一般性的知識(shí)。它是一種從個(gè)別到一般、從部分到整體的推理。歸納推理的重要特征：歸納出的結(jié)論不能絕對(duì)保證它的正確性，只能以某種程度相信它為真。

例如，由“麻雀會(huì)飛”、“鴿子會(huì)飛”、“燕子會(huì)飛”……歸納出“有翅膀的動(dòng)物會(huì)飛”、“長(zhǎng)羽毛的動(dòng)物會(huì)飛”等結(jié)論。

現(xiàn)在是29頁\一共有79頁\編輯于星期五30

從個(gè)別事例歸納出一般性知識(shí)的方法：設(shè)：某類事物A中的具體事物。已知都有屬性P，并且沒有發(fā)現(xiàn)反例。當(dāng)n足夠大時(shí)，可得出：“A中所有事物都有屬性P”。

7.4.1歸納推理1.枚舉歸納

現(xiàn)在是30頁\一共有79頁\編輯于星期五31

例如，設(shè)有如下已知事例：張三是足球運(yùn)動(dòng)員，他的體格健壯。李四是足球運(yùn)動(dòng)員，他的體格健壯。

…………

劉六是足球運(yùn)動(dòng)員，他的體格健壯。

事例足夠多時(shí)，可歸納出一般性知識(shí)：凡是足球運(yùn)動(dòng)員，他的體格一定健壯。7.4.1歸納推理1.枚舉歸納

(0.9)現(xiàn)在是31頁\一共有79頁\編輯于星期五32

已知兩個(gè)事物a與b有n個(gè)屬性相似或相同，即：

a具有屬性P1，b也具有屬性P1。

a具有屬性P2，b也具有屬性P2。

…………

a具有屬性Pn，b也具有屬性Pn。且a具有屬性Pn+1

，則當(dāng)n足夠大時(shí)，可歸納出

b也具有屬性Pn+1。

7.4.1歸納推理2.聯(lián)想歸納現(xiàn)在是32頁\一共有79頁\編輯于星期五33

設(shè)：且則當(dāng)A與B中有新元素出現(xiàn)時(shí)（設(shè)A中的a’及B中的b’

），若已知a’

有屬性，就可得出b’

有屬性，即7.4.1歸納推理3.類比歸納現(xiàn)在是33頁\一共有79頁\編輯于星期五34

一般模式：（1）若H

為真時(shí)，則H→E必為真或以置信度cf1成立。（2）觀察到E成立或以置信度cf2成立。（3）則H以某種置信度(cf)成立。7.4.1歸納推理4.逆推理歸納：由結(jié)論成立推出前提以某種置信度成立。

用公式表示：現(xiàn)在是34頁\一共有79頁\編輯于星期五35

則H的置信度：7.4.1歸納推理4.逆推理歸納（續(xù)）E→H的置信度cf1’=P(H/E)H→E的置信度cf1=P(E/H)HE?1cf’E2cfHcf現(xiàn)在是35頁\一共有79頁\編輯于星期五367.4.1歸納推理5.消除歸納

消除歸納：通過不斷否定原先的假設(shè)來得出結(jié)論。已知：結(jié)論：現(xiàn)在是36頁\一共有79頁\編輯于星期五377.4.1歸納推理演繹推理歸納推理

一般→個(gè)別

個(gè)別→一般

必然性推理

或然性推理（“主觀不充分置信”的推理）

結(jié)論不會(huì)超出前提所斷定的范圍；不能獲取新知識(shí)。

結(jié)論適用于更大的范圍；可獲取新知識(shí)。

演繹推理與歸納推理的區(qū)別現(xiàn)在是37頁\一共有79頁\編輯于星期五387.4歸納學(xué)習(xí)7.4.1歸納推理7.4.2示例學(xué)習(xí)7.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)現(xiàn)在是38頁\一共有79頁\編輯于星期五397.4.2示例學(xué)習(xí)

示例學(xué)習(xí)（learningfromexamples，實(shí)例學(xué)習(xí)或從例子中學(xué)習(xí)）：通過從環(huán)境中取得若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。示例學(xué)習(xí)中，外部環(huán)境（教師）提供一組例子（正例和反例），然后從這些特殊知識(shí)中歸納出適用于更大范圍的一般性知識(shí)，它將覆蓋所有的正例并排除所有反例。

現(xiàn)在是39頁\一共有79頁\編輯于星期五407.4.2示例學(xué)習(xí)1.示例學(xué)習(xí)的學(xué)習(xí)模型

示例空間驗(yàn)證搜索解釋形成知識(shí)知識(shí)庫(kù)

圖7.7示例學(xué)習(xí)的學(xué)習(xí)模型現(xiàn)在是40頁\一共有79頁\編輯于星期五417.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（1）變量代換常量

例如，假設(shè)有兩個(gè)關(guān)于撲克牌“同花”概念的示例。示例1：示例2：

可得到一條一般性的知識(shí)：規(guī)則1：現(xiàn)在是41頁\一共有79頁\編輯于星期五427.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（2）舍棄條件

例如示例：

可得到一條一般性的知識(shí)：規(guī)則1：花色(c1,黑桃)∧點(diǎn)數(shù)（c1,7）∧花色(c2,黑桃)∧點(diǎn)數(shù)（c2,3）∧花色(c3,黑桃)∧點(diǎn)數(shù)（c3,10）∧花色(c4,黑桃)∧點(diǎn)數(shù)（c4,5）→同花(c1,c2,c3,c4)現(xiàn)在是42頁\一共有79頁\編輯于星期五437.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（3）增加操作

前件析取法例如關(guān)于“臉牌”示例：

得到知識(shí)：現(xiàn)在是43頁\一共有79頁\編輯于星期五447.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（3）增加操作

內(nèi)部析取法：在示例的表示中使用集合與集合間的成員關(guān)系來形成知識(shí)。例如示例：

得到知識(shí)：現(xiàn)在是44頁\一共有79頁\編輯于星期五457.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（4）合取變析取

例如：“男同學(xué)與女同學(xué)可以組成一個(gè)班”。歸納：“男同學(xué)或女同學(xué)可以組成一個(gè)班”。

（5）歸結(jié)歸納

例如：得到：

示例1：某天下雨，且自行車在路上出了毛病需修理，所以他上班遲到。示例2：某天沒下雨，但交通阻塞，所以他上班遲到。得到：如果自行車在路上出了毛病需修理，或者交通阻塞，則他有可能上班遲到?，F(xiàn)在是45頁\一共有79頁\編輯于星期五467.4.2示例學(xué)習(xí)2.形成知識(shí)的方法（6）曲線擬合

設(shè)在示例空間提供了一批如下形式的示例：(x,y,z)

示例1：(1,0,10)

示例2：(2,1,18)

示例3：(-1,-2,-6)應(yīng)用曲線擬合法（例如最小二乘法）得到：z=2x+6y+8現(xiàn)在是46頁\一共有79頁\編輯于星期五477.4歸納學(xué)習(xí)7.4.1歸納推理7.4.2示例學(xué)習(xí)7.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)現(xiàn)在是47頁\一共有79頁\編輯于星期五487.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)（learningfromobservinganddiscovery）:觀察學(xué)習(xí)：用于對(duì)事例進(jìn)行概念聚類，形成概念描述。發(fā)現(xiàn)學(xué)習(xí)：用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則?，F(xiàn)在是48頁\一共有79頁\編輯于星期五497.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)1.概念聚類(1980年,米卡爾斯基（R.S.Michalski))

基本思想:把事例按一定的方式和準(zhǔn)則進(jìn)行分組，如劃分為不同的類，不同的層次等，使不同的組代表不同的概念，并且對(duì)每一個(gè)組進(jìn)行特征概括，得到一個(gè)概念的語義符號(hào)描述。

現(xiàn)在是49頁\一共有79頁\編輯于星期五507.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)1.概念聚類

例如事例：喜鵲、麻雀、布谷鳥、烏鴉、雞、鴨、鵝，…

分為兩類：鳥={喜鵲，麻雀，布谷鳥，烏鴉，…}

家禽

={雞、鴨、鵝，…}

得知：“鳥有羽毛、有翅膀、會(huì)飛、會(huì)叫、野生”?！凹仪萦杏鹈?、有翅膀、會(huì)飛、會(huì)叫、家養(yǎng)”。現(xiàn)在是50頁\一共有79頁\編輯于星期五517.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)2.發(fā)現(xiàn)學(xué)習(xí)

發(fā)現(xiàn)學(xué)習(xí):從系統(tǒng)的初始知識(shí)、觀察事例或經(jīng)驗(yàn)數(shù)據(jù)中歸納出規(guī)律或規(guī)則?！獰o教師指導(dǎo)的歸納學(xué)習(xí)

經(jīng)驗(yàn)發(fā)現(xiàn):從經(jīng)驗(yàn)數(shù)據(jù)中發(fā)現(xiàn)規(guī)律和定律。

知識(shí)發(fā)現(xiàn):指從已觀察的事例中發(fā)現(xiàn)新的知識(shí)。現(xiàn)在是51頁\一共有79頁\編輯于星期五52第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望現(xiàn)在是52頁\一共有79頁\編輯于星期五537.5類比學(xué)習(xí)7.5.1類比推理7.5.2屬性類比學(xué)習(xí)7.5.3轉(zhuǎn)換類比學(xué)習(xí)類比學(xué)習(xí)(learningbyanalogy)：通過對(duì)相似事物進(jìn)行比較所進(jìn)行的一種學(xué)習(xí)?，F(xiàn)在是53頁\一共有79頁\編輯于星期五547.5.1類比推理

類比推理：由新情況與記憶中的已知情況在某些方面相似，從而推出它們?cè)谄渌嚓P(guān)方面也相似。

源域S：已經(jīng)認(rèn)識(shí)的域，包括過去曾經(jīng)解決過且與當(dāng)前問題類似的問題以及相關(guān)知識(shí)；目標(biāo)域T：當(dāng)前尚未完全認(rèn)識(shí)的域，是遇到的新問題。類比推理的目的：從源域S中選出與當(dāng)前問題最近似的問題及其求解方法來求解當(dāng)前的問題，或者建立起目標(biāo)域T中已有命題間的聯(lián)系，形成新知識(shí)?，F(xiàn)在是54頁\一共有79頁\編輯于星期五557.5.1類比推理類比推理的推理過程：

1）回憶與聯(lián)想：在S中找出與當(dāng)前情況相似的情況，并按相似度從高到低進(jìn)行排序。

2）選擇：選出與當(dāng)前情況最相似的情況及其有關(guān)知識(shí)。

3）建立對(duì)應(yīng)關(guān)系：在S與T的相似情況之間建立相應(yīng)的映射。

4）轉(zhuǎn)換：把S中的有關(guān)知識(shí)引到T中，建立起求解當(dāng)前問題的方法或者學(xué)習(xí)到關(guān)于T的新知識(shí)。

設(shè)S1與T1分別表示S與T

中的某一情況，且S1與T1相似，再假設(shè)S2與

S1相關(guān)，則由類比推理可推出T

中的T2

，且T2與

S2相似?，F(xiàn)在是55頁\一共有79頁\編輯于星期五567.5類比學(xué)習(xí)7.5.1類比推理7.5.2屬性類比學(xué)習(xí)7.5.3轉(zhuǎn)換類比學(xué)習(xí)現(xiàn)在是56頁\一共有79頁\編輯于星期五577.5.2屬性類比學(xué)習(xí)

屬性類比學(xué)習(xí):根據(jù)兩個(gè)相似事物的屬性實(shí)現(xiàn)類比學(xué)習(xí)的。屬性類比學(xué)習(xí)系統(tǒng)（1979年，溫斯頓）：源域和目標(biāo)域都是用框架表示的，分別稱為源框架和目標(biāo)框架?？蚣艿牟塾糜诒硎臼挛锏膶傩浴W(xué)習(xí)過程:把源框架中的某些槽值傳遞到目標(biāo)框架的相應(yīng)槽中去。

現(xiàn)在是57頁\一共有79頁\編輯于星期五587.5.2屬性類比學(xué)習(xí)候選槽：其槽值有可能要傳遞給目標(biāo)框架的那些槽。選擇的方法：（1）選擇具有極端槽值的槽，例如“很大”、“很小”……（2）選擇已經(jīng)被確認(rèn)為“重要槽”的槽（3）選擇與源框架相似的框架中不具有的槽（4）選擇相似框架中不具有這種槽值的槽（5）選擇源框架中的所有槽1.

從源框架中選擇若干槽作為候選槽

現(xiàn)在是58頁\一共有79頁\編輯于星期五597.5.2屬性類比學(xué)習(xí)篩選規(guī)則：（1）選擇在目標(biāo)框架中還未填值的槽。（2）選擇在目標(biāo)框架中為典型事例的槽。（3）選擇與目標(biāo)框架有緊密關(guān)系的槽，或者與目標(biāo)框架的槽類似的槽。2.根據(jù)目標(biāo)框架對(duì)候選槽進(jìn)行篩選現(xiàn)在是59頁\一共有79頁\編輯于星期五607.5類比學(xué)習(xí)7.5.1類比推理7.5.2屬性類比學(xué)習(xí)7.5.3轉(zhuǎn)換類比學(xué)習(xí)現(xiàn)在是60頁\一共有79頁\編輯于星期五617.5.3轉(zhuǎn)換類比學(xué)習(xí)

在狀態(tài)空間表示法的知識(shí)表示中，“狀態(tài)”：描述問題在不同時(shí)刻的狀況；“算符”：描述改變狀態(tài)的操作。當(dāng)問題由初始狀態(tài)變換到目標(biāo)狀態(tài)時(shí)，所用算符的序列就構(gòu)成了問題的一個(gè)解。

如何使問題由初始狀態(tài)變換到目標(biāo)狀態(tài)呢？

“手段－目標(biāo)分析”法（means-endanalysis，MEA），又稱為“中間－結(jié)局分析”法：紐厄爾等人在通用問題求解程序GPS（generalproblemsolver）中提出的一種問題求解模型。

現(xiàn)在是61頁\一共有79頁\編輯于星期五627.5.3轉(zhuǎn)換類比學(xué)習(xí)

“手段－目標(biāo)分析”法（MEA）求解問題的基本過程：（1）把問題的當(dāng)前狀態(tài)與目標(biāo)狀態(tài)進(jìn)行比較，找出差異。（2）根據(jù)差異找出一個(gè)可減小差異的算符。（3）如果該算符可作用于當(dāng)前狀態(tài)，則用該算符把當(dāng)前狀態(tài)改變?yōu)榱硪粋€(gè)更接近于目標(biāo)狀態(tài)的狀態(tài)；如果不能，則保留當(dāng)前狀態(tài)，并生成一個(gè)子問題，再對(duì)此子問題應(yīng)用MEA。（4）當(dāng)子問題被求解后，恢復(fù)保留的狀態(tài)，繼續(xù)處理原問題。現(xiàn)在是62頁\一共有79頁\編輯于星期五637.5.3轉(zhuǎn)換類比學(xué)習(xí)

回憶過程：找出新、舊問題間的差別，包括：（1）初始狀態(tài)的差別。（2）目標(biāo)狀態(tài)的差別。（3）路徑約束的差別。（4）求解方法可應(yīng)用度的差別。

轉(zhuǎn)換過程：把舊問題的求解方法經(jīng)適當(dāng)變換使之成為求解新問題的方法，變換中用MEA來減小目標(biāo)狀態(tài)與初始狀態(tài)之間的差異，使初始狀態(tài)逐步過渡到目標(biāo)狀態(tài)，即求出問題的解。

轉(zhuǎn)換類比學(xué)習(xí)：由外部環(huán)境獲得與類比有關(guān)的信息，學(xué)習(xí)系統(tǒng)找出與新問題相似的舊問題的有關(guān)知識(shí)，把這些知識(shí)進(jìn)行轉(zhuǎn)換使之適用于新問題，從而獲得新的知識(shí)?，F(xiàn)在是63頁\一共有79頁\編輯于星期五64第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望現(xiàn)在是64頁\一共有79頁\編輯于星期五657.6解釋學(xué)習(xí)

解釋學(xué)習(xí)（explanation-basedlearning）：由美國(guó)Illinois大學(xué)的Dejong于1983年提出，屬于分析學(xué)習(xí)，本質(zhì)為演繹學(xué)習(xí)方法。它是通過運(yùn)用相關(guān)的領(lǐng)域知識(shí)，對(duì)當(dāng)前提供的單個(gè)實(shí)例的問題求解進(jìn)行分析，從而構(gòu)造解釋并產(chǎn)生相應(yīng)知識(shí)的。解釋學(xué)習(xí)系統(tǒng)：米切爾（Mitchell）等人研制的LEX和LEAP系統(tǒng)，明頓（S.Minton）等人研制的PRODIGY系統(tǒng)等。

現(xiàn)在是65頁\一共有79頁\編輯于星期五667.6解釋學(xué)習(xí)7.6.1解釋學(xué)習(xí)的概念7.6.2解釋學(xué)習(xí)的學(xué)習(xí)過程7.6.3領(lǐng)域知識(shí)的完善性現(xiàn)在是66頁\一共有79頁\編輯于星期五677.6.1解釋學(xué)習(xí)的概念

解釋學(xué)習(xí)：通過運(yùn)用相關(guān)的領(lǐng)域知識(shí)及一個(gè)訓(xùn)練實(shí)例來對(duì)某一目標(biāo)概念進(jìn)行學(xué)習(xí)，并最終生成這個(gè)目標(biāo)概念的一般性描述。解釋學(xué)習(xí)的一般性描述（米切爾（Mitchell）等，1986）：給定：領(lǐng)域知識(shí)DT（用于證明訓(xùn)練實(shí)例為什么可作為目標(biāo)概念的實(shí)例）

目標(biāo)概念TC（要學(xué)習(xí)的概念）

訓(xùn)練實(shí)例TE

操作性準(zhǔn)則OC（指導(dǎo)系統(tǒng)對(duì)描述目標(biāo)的概念進(jìn)行取舍）找出：滿足OC的關(guān)于TC的充分條件?，F(xiàn)在是67頁\一共有79頁\編輯于星期五687.6.1解釋學(xué)習(xí)的概念

解釋學(xué)習(xí)與示例學(xué)習(xí)的主要區(qū)別：（1）示例學(xué)習(xí)：輸入一組實(shí)例。解釋學(xué)習(xí)：輸入一個(gè)實(shí)例。（2）示例學(xué)習(xí)：歸納學(xué)習(xí)，不要求提供領(lǐng)域知識(shí)。解釋學(xué)習(xí)：演繹學(xué)習(xí)，要求提供完善的領(lǐng)域知識(shí)。（3）示例學(xué)習(xí)：概念的獲取，即知識(shí)增加的一面。解釋學(xué)習(xí)：技能提高的一面?，F(xiàn)在是68頁\一共有79頁\編輯于星期五697.6.2解釋學(xué)習(xí)的學(xué)習(xí)過程

證明過程：通過運(yùn)用領(lǐng)域知識(shí)進(jìn)行演繹實(shí)現(xiàn)的，證明的結(jié)果是得到一個(gè)解釋結(jié)構(gòu)。

1.構(gòu)造解釋

解釋學(xué)習(xí)的學(xué)習(xí)過程：首先運(yùn)用領(lǐng)域知識(shí)找出訓(xùn)練實(shí)例為什么是目標(biāo)概念的證明，即解釋，然后按操作性準(zhǔn)則對(duì)解釋進(jìn)行推廣，從而得出關(guān)于目標(biāo)概念的學(xué)習(xí)描述。

例如，學(xué)習(xí)目標(biāo)：“一個(gè)物體x可以安全地放置在另一個(gè)物體y的上面”（堆疊問題）。目標(biāo)概念：物體（x,y)，Safe-to-stack(x,y)現(xiàn)在是69頁\一共有79頁\編輯于星期五707.6.2解釋學(xué)習(xí)的學(xué)習(xí)過程訓(xùn)練實(shí)例（描述物體Obj1和Obj2的事實(shí)）：領(lǐng)域知識(shí)（安全放置準(zhǔn)則和計(jì)算準(zhǔn)則）：

例如，學(xué)習(xí)目標(biāo)：“一個(gè)物體x可以安全地放置在另一個(gè)物體y的上面”（堆疊問題）。目標(biāo)概念：物體（x,y)，Safe-to-stack(x,y)現(xiàn)在是70頁\一共有79頁\編輯于星期五717.6.2解釋學(xué)習(xí)的學(xué)習(xí)過程

1.構(gòu)造解釋

),(21ObjObjStackToSafe--),(21ObjObjLighter)1.0,(1ObjWeight)15,(2ObjWeight)15,1.0(Smaller),(2booktableObjIsa-)1,(1ObjVolume)1.0,(1ObjDensity)1.0,1.0,1(*Safe-To-Stack(Obj1,Obj