1、第四章關(guān)于機(jī)器學(xué)習(xí)、4.1學(xué)習(xí)和機(jī)器學(xué)習(xí)，學(xué)習(xí)學(xué)習(xí)的定義是什么：通過(guò)與環(huán)境的對(duì)話，學(xué)習(xí)知識(shí)(專家系統(tǒng)研究者)，如嬰兒走路、跑步等身體技能，學(xué)生學(xué)習(xí)外語(yǔ)、數(shù)學(xué)等。 在重復(fù)的工作中，改善系統(tǒng)的性能(Simon )，如運(yùn)動(dòng)員不斷練習(xí)，提高自己的擊中概率或加快速度。 機(jī)器學(xué)習(xí)的定義是，如果學(xué)習(xí)的主題是機(jī)器的話，這種學(xué)習(xí)就稱為“機(jī)器學(xué)習(xí)”。 也就是研究使用計(jì)算機(jī)模擬人類(lèi)學(xué)習(xí)活動(dòng)的方法的學(xué)科。 機(jī)器學(xué)習(xí)研究的目標(biāo)：人類(lèi)學(xué)習(xí)過(guò)程的認(rèn)知模型人類(lèi)學(xué)習(xí)機(jī)制的研究。 通用學(xué)習(xí)算法通過(guò)研究人的學(xué)習(xí)過(guò)程，尋找適合一般應(yīng)用的通用學(xué)習(xí)算法。 建立面向任務(wù)的專業(yè)學(xué)習(xí)體系解決專業(yè)實(shí)際問(wèn)題。 2、機(jī)器學(xué)習(xí)的研究歷史中存在符號(hào)邏輯

2、方法和神經(jīng)網(wǎng)絡(luò)兩大流派。 神經(jīng)網(wǎng)絡(luò)方法是通過(guò)模仿神經(jīng)系統(tǒng)結(jié)構(gòu)調(diào)整神經(jīng)耦合權(quán)重的方法來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)。 所謂符號(hào)邏輯方法，是以謂語(yǔ)邏輯和規(guī)則等符號(hào)表現(xiàn)的知識(shí)學(xué)習(xí)為目的。 第一階段從20世紀(jì)50年代中期到60年代末，機(jī)器學(xué)習(xí)的第一個(gè)工作是從1957年羅森布拉特提倡的感知器開(kāi)始，其基本思想是，系統(tǒng)由一系列的組件互連構(gòu)成的網(wǎng)絡(luò)，這些組件與神經(jīng)元相似。 到1969年，明斯基和佩特里奧茨指出，兩層探測(cè)器有很大的限制，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。 第二階段從20世紀(jì)70年代到80年代，本階段的研究根據(jù)符號(hào)表示建立人的學(xué)習(xí)模式，模擬人的概念學(xué)習(xí)過(guò)程。 有代表性的工作有溫斯頓的拱形結(jié)構(gòu)學(xué)習(xí)系統(tǒng)、米切爾的變形空間法等

3、。變形空間、變形空間(Version Space )方法以整個(gè)規(guī)則空間為初始的假設(shè)規(guī)則集合h。 根據(jù)訓(xùn)練例的信息，泛化或特化集合h，階段性縮小集合h。 最后使h收斂于只包含要求的規(guī)則。 由于被搜索的空間h逐漸縮小，因此稱為變形空間。變形空間、變形空間方法的初始g集合是最上面的點(diǎn)(最一般的概念)、初始s集合是最下面的直線上的點(diǎn)(訓(xùn)練修正示例)、初始h集合是整個(gè)規(guī)則空間。 在搜索過(guò)程中，g集分階段向下移動(dòng)(特化)，s集分階段向上移動(dòng)(泛化)，h分階段縮小。 最后h收斂于只包含一個(gè)要求的概念。 變形空間的缺點(diǎn)，(1)抗干擾性差(2)不能學(xué)習(xí)提取概念，這一階段后期的代表性工作：昆蘭的決策樹(shù)學(xué)習(xí)法ID3

4、，及其發(fā)展C4.5。 從夏皮羅的事例的邏輯程序歸納合成系統(tǒng)MIS。 在這個(gè)時(shí)期，機(jī)器學(xué)習(xí)的研究者意識(shí)到應(yīng)用知識(shí)指導(dǎo)學(xué)習(xí)的重要性，開(kāi)始將布坎納、費(fèi)爾根鮑姆的元代道爾、莉娜的AM等領(lǐng)域知識(shí)納入學(xué)習(xí)系統(tǒng)。 后期昆蘭的決策樹(shù)學(xué)習(xí)法ID3，以及其發(fā)展C4.5。 從夏皮羅的事例的邏輯程序歸納合成系統(tǒng)MIS。 在這個(gè)時(shí)期，機(jī)器學(xué)習(xí)的研究者意識(shí)到應(yīng)用知識(shí)指導(dǎo)學(xué)習(xí)的重要性，開(kāi)始將布坎納、費(fèi)爾根鮑姆的元代道爾、莉娜的AM等領(lǐng)域知識(shí)納入學(xué)習(xí)系統(tǒng)。 Meta-DENDRAL專家系統(tǒng)在對(duì)化學(xué)家確定有機(jī)物分子結(jié)構(gòu)時(shí)的思考過(guò)程進(jìn)行了詳細(xì)研究后，對(duì)質(zhì)譜材料進(jìn)行了分析，建立了確定物質(zhì)分子結(jié)構(gòu)的DENDRAL系統(tǒng)。 該系統(tǒng)像化學(xué)

5、家一樣，從分子式和質(zhì)譜導(dǎo)出分子結(jié)構(gòu)的基礎(chǔ)上，開(kāi)發(fā)元德拉爾系統(tǒng)，不僅將事先已知的規(guī)則應(yīng)用于經(jīng)驗(yàn)材料，還可以由觀察到的材料構(gòu)成新的規(guī)則。 Meta-DENDRAL系統(tǒng)發(fā)現(xiàn)了化學(xué)家以前不認(rèn)識(shí)的一些化合物的質(zhì)譜破壞規(guī)律。 這是自動(dòng)構(gòu)成理論的一個(gè)例子，非常接近人的真正創(chuàng)造活動(dòng)。數(shù)學(xué)發(fā)現(xiàn)系統(tǒng)AM，發(fā)現(xiàn)學(xué)習(xí)是系統(tǒng)的初期知識(shí)和觀察的數(shù)據(jù)，學(xué)習(xí)數(shù)學(xué)、物理和化學(xué)等方面的概念和規(guī)則。 也可以使用歸納推論，但是由于在學(xué)習(xí)過(guò)程中初期知識(shí)以外的教育者不進(jìn)行指導(dǎo)，所以也是沒(méi)有指導(dǎo)的歸納學(xué)習(xí)。 一個(gè)發(fā)現(xiàn)系統(tǒng)是數(shù)學(xué)發(fā)現(xiàn)系統(tǒng)，典型的系統(tǒng)是AM。 AM(Lenat，1976 )不是學(xué)習(xí)執(zhí)行任務(wù)的概念，而是學(xué)習(xí)數(shù)學(xué)的概念。 用改進(jìn)的

6、假設(shè)方法探索數(shù)學(xué)的概念空間。 AM開(kāi)始運(yùn)作時(shí)，知識(shí)庫(kù)中有115個(gè)有限集合論的基本概念。 AM在運(yùn)行時(shí)，收集概念的例子，創(chuàng)造新的概念，推測(cè)概念之間的聯(lián)系。 在一些CPU時(shí)間運(yùn)行中，發(fā)現(xiàn)了約200個(gè)新概念，其中約一半是有意義的。 例如自然數(shù)的概念。 另一個(gè)概念是自然數(shù)具有唯一的素?cái)?shù)因子分解。 第三階段是從20世紀(jì)80年代以后到現(xiàn)在，神經(jīng)網(wǎng)絡(luò)研究新興起來(lái)，同時(shí)符號(hào)學(xué)習(xí)也轉(zhuǎn)向了具有專業(yè)知識(shí)的增長(zhǎng)型學(xué)習(xí)，因此出現(xiàn)了兩種方法共同發(fā)展的局面。 這個(gè)階段的代表性的工作是PAC可學(xué)習(xí)理論和其派生的修正算學(xué)習(xí)理論等。 PAC使得能夠?qū)W習(xí)理論，并且假定x是實(shí)例空間，概念是x的子集。 實(shí)例若為概念則為正例，否則為負(fù)例

7、。 學(xué)習(xí)模式是概念類(lèi)的有效可學(xué)習(xí)習(xí)性。 Valiant學(xué)習(xí)理論只是對(duì)目標(biāo)概念的良好近似要求極高的概率。 學(xué)習(xí)者能夠生成的概念描述與作為學(xué)習(xí)算法的輸入關(guān)殘奧詞的目標(biāo)概念稍有偏差。 另外，允許學(xué)習(xí)者失敗的概率，這也是輸入殘奧儀表。 兩個(gè)概念的差異用實(shí)例空間x中的分布概率d來(lái)評(píng)價(jià)： diffD(c1， c2)=D(x )，根據(jù)協(xié)議，只有在一個(gè)概念類(lèi)c是可學(xué)習(xí)的并且有一個(gè)算法a的情況下，才能夠利用協(xié)議來(lái)將機(jī)器學(xué)習(xí)分成根據(jù)學(xué)習(xí)的特定目的(其代表所有目標(biāo)概念的c*C和所有分布d )的各種特定目的的學(xué)習(xí)有教師的學(xué)習(xí)，另外，3 .可以分為機(jī)器學(xué)習(xí)的分類(lèi)標(biāo)準(zhǔn)，根據(jù)推論策略，機(jī)器學(xué)習(xí)又稱機(jī)器學(xué)習(xí)，又稱記憶學(xué)習(xí)，是

8、最簡(jiǎn)單的學(xué)習(xí)策略。 傳授學(xué)習(xí)，又稱指導(dǎo)學(xué)習(xí)。 演繹學(xué)習(xí)是指根據(jù)系統(tǒng)所給出的知識(shí)進(jìn)行推論。 歸納學(xué)習(xí)是指使用歸納推理的方法進(jìn)行學(xué)習(xí)。 類(lèi)推學(xué)習(xí)是指應(yīng)用以前解決類(lèi)似問(wèn)題的方法來(lái)解決目前面臨的問(wèn)題。 在機(jī)器學(xué)習(xí)的過(guò)程中，每當(dāng)執(zhí)行機(jī)構(gòu)解決問(wèn)題，系統(tǒng)就會(huì)記住這個(gè)問(wèn)題及其解決方法。 以致動(dòng)器為函數(shù)f，其輸入為(x1，x2，xn )，其解為(y1，y2，ym )，聯(lián)想對(duì)象為： (x1，x2，xn )，()的例如，考慮汽車(chē)修理成本估計(jì)系統(tǒng)的設(shè)定修正。 輸入的信息包括制造商、發(fā)貨日期、車(chē)型、汽車(chē)損壞的地方、損壞程度等，是有關(guān)要修理的汽車(chē)的說(shuō)明。輸出是該汽車(chē)的修理成本。 為了進(jìn)行報(bào)價(jià)，系統(tǒng)必須在知識(shí)庫(kù)中找到同一廠

9、家、同一發(fā)貨日期、同一車(chē)型、同一損壞程度的汽車(chē)，并將相應(yīng)的數(shù)據(jù)作為修理成本輸出給用戶。 如果找不到，必須重新估計(jì)，同時(shí)入庫(kù)，以便將來(lái)檢索和使用。 機(jī)器學(xué)習(xí)系統(tǒng)要考慮的問(wèn)題是，只有在記憶結(jié)構(gòu)基于知識(shí)的檢索時(shí)間比重新修正運(yùn)算所需的時(shí)間少時(shí)，機(jī)器學(xué)習(xí)才有實(shí)用價(jià)值。 為了快速訪問(wèn)基于知識(shí)的內(nèi)容，需要合理地組織存儲(chǔ)結(jié)構(gòu)。 環(huán)境穩(wěn)定性和保存信息的適用性如果環(huán)境發(fā)生快速變化，保存的知識(shí)和信息將無(wú)效或無(wú)法再利用。隨時(shí)監(jiān)視環(huán)境的變化，不斷更新知識(shí)庫(kù)中保存的信息和知識(shí)。 存儲(chǔ)和校正的權(quán)衡利用還是重新校正存儲(chǔ)在知識(shí)庫(kù)中的信息權(quán)衡比較兩者的成本。 傳授式學(xué)習(xí)在使用傳授式學(xué)習(xí)系統(tǒng)時(shí)，外部環(huán)境給系統(tǒng)提供的一般指示和建議，其表現(xiàn)方式與系統(tǒng)內(nèi)部表現(xiàn)方式不完全一致，系統(tǒng)對(duì)外部知識(shí)進(jìn)行一些推論、翻