主講：朱佳機器學(xué)習(xí)—

概述分類（由低到高）通過歸納總結(jié)學(xué)習(xí)（自學(xué)習(xí)）通過書本資料學(xué)習(xí)（獨立研究）通過實際事例學(xué)習(xí)（啟發(fā)式學(xué)習(xí)）通過提問學(xué)習(xí)（注入式學(xué)習(xí)）通過機械記憶學(xué)習(xí)（死記硬背式）高

低機器學(xué)習(xí)—

概述分類：(按學(xué)習(xí)策略分類)機械式學(xué)習(xí)和直接輸入新知識（記憶學(xué)習(xí)） 學(xué)習(xí)者不需要進行任何推理或知識轉(zhuǎn)換，將知識直接裝進機器中。根據(jù)示教學(xué)習(xí)（傳授學(xué)習(xí)、指點學(xué)習(xí)） 從老師或其它有結(jié)構(gòu)的事物獲取知識。要求學(xué)習(xí)者將輸入語言的知識轉(zhuǎn)換成它本身的內(nèi)部表示形式。并把新的信息和它原有的知識有機地結(jié)合為一體。機器學(xué)習(xí)—

概述通過類推學(xué)習(xí)（演繹學(xué)習(xí)） 學(xué)習(xí)者找出現(xiàn)有知識中所要產(chǎn)生的新概念或技能十分類似的部分。將它們轉(zhuǎn)換或擴大成適合新情況的形式，從而取得新的事實或技能。從例子中學(xué)習(xí)（歸納學(xué)習(xí)） 給學(xué)習(xí)者提供某一概念的一組正例和反例，學(xué)習(xí)者歸納出一個總的概念描述，是它適合于所有的正例且排除所有的反例。（目前研究較多的一種方法）機器學(xué)習(xí)—

概述類比學(xué)習(xí) 演繹學(xué)習(xí)與歸納學(xué)習(xí)的組合。匹配不同論域的描述、確定公共的結(jié)構(gòu)。以此作為類比映射的基礎(chǔ)。尋找公共子結(jié)構(gòu)是歸納推理，而實現(xiàn)類比映射是演繹推理?；诮忉尩膶W(xué)習(xí)

學(xué)生根據(jù)教師提供的目標概念、該概念的一個例子、領(lǐng)域理論及可操作準則，首先構(gòu)造一個解釋來說明為什么該例子滿足目標概念，然后將解釋推廣為目標概念的一個滿足可操作準則的充分條件。機器學(xué)習(xí)—

概述分類：(按綜合分類)機器學(xué)習(xí)近幾年來發(fā)展很快，無論是符號學(xué)習(xí)還是聯(lián)接學(xué)習(xí)都派生出了許多分支和新的方法，研究領(lǐng)域不斷擴大，使得不少機器學(xué)習(xí)方法很難用加以歸類。綜合分類方式則在對機器學(xué)習(xí)方法進行分類時，綜合考慮各種學(xué)習(xí)方法出現(xiàn)的歷史淵源、知識表示、推理策略、結(jié)果評估的相似性、研究人員交流的相對集中性以及應(yīng)用領(lǐng)域等諸因素。綜合分類方式將機器學(xué)習(xí)方法區(qū)分為以下六類：機器學(xué)習(xí)—

概述按綜合分類經(jīng)驗性歸納學(xué)習(xí)(empiricalinductivelearning)。經(jīng)驗性歸納學(xué)習(xí)采用一些數(shù)據(jù)密集的經(jīng)驗方法（例如，版本空間法、ID3法，定律發(fā)現(xiàn)方法）對例子進行歸納學(xué)習(xí)。其例子和學(xué)習(xí)結(jié)果一般都采用屬性、謂詞、關(guān)系等符號表示。它相當于基于學(xué)習(xí)策略分類中的歸納學(xué)習(xí)，但扣除聯(lián)接學(xué)習(xí)、遺傳算法、加強學(xué)習(xí)的部分。機器學(xué)習(xí)—

概述按綜合分類經(jīng)驗性歸納學(xué)習(xí)--決策樹構(gòu)造法ID3。如果學(xué)習(xí)的任務(wù)是對一個大的例子集作分類概念的歸納定義，而這些例子又都是用一些無結(jié)構(gòu)的屬性值對來表示，則可以采用示例學(xué)習(xí)方法的一個變種──決策樹學(xué)習(xí)，其代表性的算法是昆蘭（J.R.Quinlan，1986）提出的ID3。機器學(xué)習(xí)—

概述按綜合分類決策樹構(gòu)造法--ID3。ID3的輸入是描述各種已知類別實例的列表。例子由預(yù)先定義的屬性值對來表示。歸納推理產(chǎn)生的結(jié)果不是以往討論的那種合取表達式，而是一棵決策樹（也稱判別樹，并可轉(zhuǎn)而表示為決策規(guī)則的一個集合），用它可正確地區(qū)分所有給定例子的類屬。機器學(xué)習(xí)—

概述按綜合分類決策樹構(gòu)造法--ID3。樹中的每一非葉節(jié)點對應(yīng)一個需測試的屬性，每個分叉就是該屬性可能的取值；樹的葉節(jié)點則指示一個例子事物的類別。

ID3的顯著優(yōu)點是歸納學(xué)習(xí)花費的時間和所給任務(wù)的困難度（取決于例子個數(shù)，用來描述對象的屬性數(shù)，所學(xué)習(xí)概念的復(fù)雜度即決策樹的節(jié)點數(shù)等）僅成線性增長關(guān)系。當然，ID3只能處理用屬性-值對表示的例子。機器學(xué)習(xí)—

概述按綜合分類分析學(xué)習(xí)（analyticlearning）。分析學(xué)習(xí)方法是從一個或少數(shù)幾個實例出發(fā)，運用領(lǐng)域知識進行分析。其主要特征為：

☆推理策略主要是演繹，而非歸納；

☆使用過去的問題求解經(jīng)驗（實例）指導(dǎo)新的問題求解，或產(chǎn)生能更有效地運用領(lǐng)域知識的搜索控制規(guī)則。

分析學(xué)習(xí)的目標是改善系統(tǒng)的性能，而不是新的概念描述。分析學(xué)習(xí)包括應(yīng)用解釋學(xué)習(xí)、演繹學(xué)習(xí)、多級結(jié)構(gòu)組塊以及宏操作學(xué)習(xí)等技術(shù)。機器學(xué)習(xí)—

概述按綜合分類類比學(xué)習(xí)。它相當于基于學(xué)習(xí)策略分類中的類比學(xué)習(xí)。目前，在這一類型的學(xué)習(xí)中比較引人注目的研究是通過與過去經(jīng)歷的具體事例作類比來學(xué)習(xí)，稱為基于范例的學(xué)習(xí)(case_basedlearning)，或簡稱范例學(xué)習(xí)。

基于范例的推理（Case-BasedRessoning,CBR）是指利用過去經(jīng)歷的典型事例（稱為范例）求解或理解當前問題。機器學(xué)習(xí)—

概述按綜合分類基于范例的推理。這種推理形式在現(xiàn)實生活中非常常見。例如，有經(jīng)驗的建筑設(shè)計師在設(shè)計新的建筑結(jié)構(gòu)時，往往會回想起以往類似的例子。在烹飪、日?；顒影才偶捌渌S多方面都存在類似情況，即處理問題時不是從頭開始考慮各種細節(jié)及其關(guān)系，而是依據(jù)過去典型的事例，做適當調(diào)整以處理當前問題。因而基于范例推理又被稱為"即時推理"（instantreasoning），特別適合于知識缺乏或知識太復(fù)雜而經(jīng)驗又相對豐富、穩(wěn)定的領(lǐng)域。機器學(xué)習(xí)—

概述按綜合分類基于范例的推理是一種類比推理方式。與一般的類比推理相比,基于范例推理有以下兩個特點：

1)作為過去經(jīng)驗的范例一般有比較固定的表示結(jié)構(gòu)，通常用框架形式表示；

2)欲求解的問題與范例中的問題同屬于一個領(lǐng)域，且一般是同性質(zhì)的，即是兩類同性質(zhì)問題的類比。機器學(xué)習(xí)—

概述基于范例的推理不僅是一種有效的推理方法，也可用于建立一種很好的機器學(xué)習(xí)方法--基于范例的學(xué)習(xí)（CaseBasedLearning，CBL），其學(xué)習(xí)能力主要表現(xiàn)在：

1)通過記憶和調(diào)整老問題的解，使得新問題的求解不必從頭做起，因而推理更有效率。

2)通過記憶更多的正、反范例，使得系統(tǒng)的推理能力更強。

3)通過對范例庫中同類范例的歸納，可抽象出更一般、有用的結(jié)論。機器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm,GA）。是一種基于進化論優(yōu)勝劣汰、適者生存的物種遺傳思想的搜索算法。遺傳算法模擬生物繁殖的突變、交換和達爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問題可能的解編碼為一個向量，稱為個體，向量的每一個元素稱為基因，并利用目標函數(shù)（相應(yīng)于自然選擇標準）對群體（個體的集合）中的每一個個體進行評價，根據(jù)評價值（適應(yīng)度）對個體進行選擇、交換(基因重組)、變異(突變)等遺傳操作，從而得到新的群體。機器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm,GA）。美國密執(zhí)根大學(xué)的霍勒德（J.H.Holland）于70年代初提出并創(chuàng)立了遺傳算法。在霍勒德的GA算法中采用二進制串來表示個體。考慮到物種的進化或淘汰取決于它們在自然界中的適應(yīng)程度，GA算法為每一個體計算一個適應(yīng)值或評價值，以反映其好壞程度。機器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm,GA）因而，個體的適應(yīng)值越高，就有更大的可能生存和再生，即它的表示特征有更大的可能出現(xiàn)在下一代中。遺傳操作“交換”旨在通過交換兩個個體的子串來實現(xiàn)進化；遺傳操作“突變”則隨機地改變串中的某一（些）位的值，以期產(chǎn)生新的遺傳物質(zhì)或再現(xiàn)已在進化過程中失去的遺傳物質(zhì)?；衾盏绿岢龅倪z傳算法也稱為簡單遺傳算法（SGA），是一種基本的遺傳算法。機器學(xué)習(xí)—

概述按綜合分類簡單遺傳算法（simple

geneticalgorithm,SGA）

SGA以0、1組成的串表示問題域中待進化的個體（初始解）。利用遺傳操作──交換和突變，SGA從當前個體的集合──群體的各串中產(chǎn)生下一代群體。這一過程循環(huán)進行，直到滿足了結(jié)束條件（如循環(huán)了指定次，或群體性能不再改進）。SGA的處理過程如下：機器學(xué)習(xí)—

概述按綜合分類簡單遺傳算法（simple

geneticalgorithm,SGA）

begin

1.選擇適當表示，生成初始群體；

2.評估群體；

3.While未達到要求的目標do

begin

1.選擇作為下一代群體的各個體；

2.執(zhí)行交換和突變操作；

3.評估群體；

end

end機器學(xué)習(xí)—

概述按綜合分類簡單遺傳算法（simple

geneticalgorithm,SGA）因此，對于一個SGA算法來說主要涉及以下內(nèi)容：

·編碼和初始群體生成；

·群體的評價；

·個體的選擇；

·交換；

·突變；機器學(xué)習(xí)—

概述按綜合分類遺傳算法（geneticalgorithm）。遺傳算法適用于非常復(fù)雜和困難的環(huán)境，比如，帶有大量噪聲和無關(guān)數(shù)據(jù)、事物不斷更新、問題目標不能明顯和精確地定義，以及通過很長的執(zhí)行過程才能確定當前行為的價值等。遺傳算法作為一種解決復(fù)雜問題的嶄新的有效優(yōu)化方法，近年來得到了廣泛的實際應(yīng)用，同時也滲透到人工智能、機器學(xué)習(xí)、模式識別、圖像處理、軟件技術(shù)等計算機學(xué)科領(lǐng)域。GA在機器學(xué)習(xí)領(lǐng)域中的一個典型應(yīng)用就是利用GA技術(shù)作為規(guī)則發(fā)現(xiàn)方法應(yīng)用于分類系統(tǒng)。機器學(xué)習(xí)—

概述按綜合分類聯(lián)接學(xué)習(xí)。典型的聯(lián)接模型實現(xiàn)為人工神經(jīng)網(wǎng)絡(luò)，其由稱為神經(jīng)元的一些簡單計算單元以及單元間的加權(quán)聯(lián)接組成。機器學(xué)習(xí)—

概述按綜合分類加強學(xué)習(xí)（reinforcementlearning）。加強學(xué)習(xí)的特點是通過與環(huán)境的試探性（trialanderror）交互來確定和優(yōu)化動作的選擇，以實現(xiàn)所謂的序列決策任務(wù)。在這種任務(wù)中，