第五機(jī)器學(xué)習(xí)第一頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第二節(jié)歸納學(xué)習(xí)一、基本含義給定關(guān)于某個(gè)概念的一系列已知的正例和反例，從中歸納出一個(gè)一般的概念描述的過程。基本操作是泛化(Generalization)和特化(Specialization)二、分類1、實(shí)例學(xué)習(xí)也稱概念獲取，確定概念的一般描述，這個(gè)描述應(yīng)能解釋所有給定的正例并排除所有給定的反例。這些正例和反例由信息源提供，是有教師學(xué)習(xí)。第二頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第二節(jié)歸納學(xué)習(xí)二、分類2、觀察與發(fā)現(xiàn)學(xué)習(xí)也稱描述的泛化，產(chǎn)生能解釋所有或大多數(shù)觀察到的事實(shí)的規(guī)律和規(guī)則。這類學(xué)習(xí)包括概念聚類、構(gòu)造分類、發(fā)現(xiàn)定理、形成理論等。第三頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第二節(jié)歸納學(xué)習(xí)三、歸納學(xué)習(xí)方法有變型(版本)空間、決策樹方法、AQ11算法等。第四頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第二節(jié)歸納學(xué)習(xí)四、變型(版本)空間方法(VersionSpace)以整個(gè)規(guī)則空間為初始的假設(shè)規(guī)則集合H，依據(jù)訓(xùn)練例子中的信息，對(duì)集合H進(jìn)行泛化和特化處理，逐步縮小集合H。Mitchell假定這個(gè)空間是一偏序結(jié)構(gòu)，并將單個(gè)概念學(xué)習(xí)定義為在這個(gè)空間的搜索。泛化特化更一般更特殊沒有描述GS第五頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第二節(jié)歸納學(xué)習(xí)五、AQ歸納學(xué)習(xí)算法生成的選擇假設(shè)的析取，覆蓋全部正例，而不覆蓋任何反例。

AQ11算法搜索規(guī)則空間，反復(fù)應(yīng)用消除候選元素，得到盡可能一般的規(guī)則，可包含多概念學(xué)習(xí)。注：AQ11的原理是將樣本集構(gòu)成一個(gè)邏輯公式。構(gòu)成的方法是根據(jù)決策屬性對(duì)樣本集的劃分，所有正樣本與所有反樣本構(gòu)成邏輯公式Ep~En，這個(gè)邏輯公式就是對(duì)正樣本集的表示，其中每個(gè)樣本是“屬性—值”對(duì)的合取連接式。六、產(chǎn)生與測(cè)試方法僅通過正例學(xué)習(xí)概念，引入“概念窗口”概念。第六頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第二節(jié)歸納學(xué)習(xí)七、決策樹學(xué)習(xí)決策樹可以用來(lái)表示析取概念。

1、CLS學(xué)習(xí)算法從一個(gè)空決策樹開始，通過增加決策結(jié)點(diǎn)，逐漸精化，直到樹正確分類全部訓(xùn)練實(shí)例。其缺陷是學(xué)習(xí)問題不能太大。2、ID3學(xué)習(xí)算法——Quinlan1979

采用訓(xùn)練實(shí)例的子集(即，可選擇窗口)，通過屬性，使用熵概念，來(lái)形成決策樹。實(shí)質(zhì)是構(gòu)造一株熵值下降平均最快的判定樹。注：ID3的數(shù)學(xué)基礎(chǔ)是商集。第七頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第二節(jié)歸納學(xué)習(xí)七、決策樹學(xué)習(xí)3、ID4學(xué)習(xí)算法在每個(gè)可能的決策樹結(jié)點(diǎn)創(chuàng)造一系列表。每個(gè)表由全部未檢測(cè)屬性值和每個(gè)值的正例和反例數(shù)組構(gòu)成。當(dāng)處理一個(gè)新例時(shí)，每個(gè)屬性值的正例和反例遞增計(jì)量。即，遞增概念歸納。4、ID5學(xué)習(xí)算法

拋棄舊的檢測(cè)屬性下面的子樹，從下面選出檢測(cè)屬性形成樹。5、C4.5和C5處理連續(xù)屬性。第八頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第二節(jié)歸納學(xué)習(xí)八、歸納學(xué)習(xí)的計(jì)算理論學(xué)習(xí)算法的樣本復(fù)雜性和計(jì)算復(fù)雜性。Gold學(xué)習(xí)理論和Valiant學(xué)習(xí)理論。Valiant——關(guān)于可學(xué)習(xí)性的理論：概率地、近似地、正確地可學(xué)習(xí)的(PACProbably、Approximately、Correct)PAC學(xué)習(xí)模型。第九頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第三節(jié)分析學(xué)習(xí)一、類比學(xué)習(xí)1、類比——比喻類比是人類重要的認(rèn)知方法，是經(jīng)驗(yàn)決策過程中常用的推理方式，是一種允許知識(shí)在具有相似性質(zhì)的領(lǐng)域中進(jìn)行轉(zhuǎn)換的學(xué)習(xí)策略。2、類比學(xué)習(xí)把兩個(gè)或兩類事物或情形進(jìn)行比較，找出它們?cè)谀骋怀橄髮哟紊系南嗨脐P(guān)系，并以這種關(guān)系為依據(jù)，把某一事物或情形的有關(guān)知識(shí)加以適當(dāng)整理(或變換)對(duì)應(yīng)到另一事物或情形，從而獲得另一事物或情形的知識(shí)，稱為類比學(xué)習(xí)。第十頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第三節(jié)分析學(xué)習(xí)一、類比學(xué)習(xí)2、類比學(xué)習(xí)注：1)類比學(xué)習(xí)的核心技術(shù)是相似性的定義和度量。2)類比有多種形式，如，方法類比、概念類比、圖形類比、聯(lián)想型類比等等。3、類比學(xué)習(xí)主要步驟a)聯(lián)想搜索匹配b)檢驗(yàn)相似程度c)修正變換求解d)更新知識(shí)庫(kù)第十一頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第三節(jié)分析學(xué)習(xí)一、類比學(xué)習(xí)4、類比學(xué)習(xí)方法a)轉(zhuǎn)換類比b)派生類比c)基于案例的學(xué)習(xí)第十二頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第三節(jié)分析學(xué)習(xí)一、類比學(xué)習(xí)5、轉(zhuǎn)換類比學(xué)習(xí)系統(tǒng)主要由比較器、知識(shí)庫(kù)、操作模塊、解法棧、檢驗(yàn)?zāi)K組成。6、派生類比將轉(zhuǎn)換類比進(jìn)行擴(kuò)充，對(duì)過去求解的問題進(jìn)行完整地派生跟蹤。第十三頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第三節(jié)分析學(xué)習(xí)一、類比學(xué)習(xí)7、基于案例的學(xué)習(xí)是基于類比的學(xué)習(xí)的進(jìn)一步發(fā)展，特別適用于較難發(fā)現(xiàn)規(guī)律性知識(shí)、也不容易找到因果模型的領(lǐng)域。注：1)基于案例的學(xué)習(xí)所使用的案例庫(kù)不象規(guī)則庫(kù)那樣有知識(shí)的不一致問題。2)基于案例的學(xué)習(xí)從其本性來(lái)說就是增量式學(xué)習(xí)。3)基于案例的學(xué)習(xí)需要保持和管理一組數(shù)量較大的案例。第十四頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第三節(jié)分析學(xué)習(xí)一、類比學(xué)習(xí)7、基于案例的學(xué)習(xí)注：4)基于案例學(xué)習(xí)的一般過程如下：第十五頁(yè)，共四十二頁(yè)，2022年，8月28日輸入檢索信息源范例分析模型范例檢索類比映射類比轉(zhuǎn)換類比驗(yàn)證解釋過程檢索方法映射方法轉(zhuǎn)換規(guī)則源范例庫(kù)范例保存范例修補(bǔ)修改規(guī)則新解新范例失敗描述或部分解第十六頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第三節(jié)分析學(xué)習(xí)二、基于解釋的學(xué)習(xí)(解釋學(xué)習(xí))

給定一個(gè)具有豐富領(lǐng)域知識(shí)的知識(shí)庫(kù)，給定一個(gè)目標(biāo)概念G，輸入一個(gè)實(shí)例e，使用知識(shí)庫(kù)中的知識(shí)或在專家的幫助下，證明e是G的一個(gè)實(shí)例(即解釋e是G的一個(gè)實(shí)例)，對(duì)獲得的解釋進(jìn)行推廣，得到一個(gè)更一般的解題過程(泛化)，把通過泛化得到的知識(shí)加進(jìn)知識(shí)庫(kù)中。注：解釋可使用目標(biāo)回歸方法和基于解釋的特化(EBS)。第十七頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)一、基本原理1、競(jìng)爭(zhēng)機(jī)制將競(jìng)爭(zhēng)機(jī)制引進(jìn)系統(tǒng)，以便不斷改進(jìn)和完善系統(tǒng)的工作性能，使系統(tǒng)具有自適應(yīng)性。注：1)若一系統(tǒng)在工作過程中能夠根據(jù)外界的反饋信息對(duì)自己的工作方式進(jìn)行調(diào)節(jié)，甚至對(duì)自己的工作機(jī)制重新組織(自組織)，使整個(gè)系統(tǒng)工作得更好，則稱該系統(tǒng)具有自適應(yīng)性。這種調(diào)整和適應(yīng)的過程，可以看作是系統(tǒng)的學(xué)習(xí)過程。第十八頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)一、基本原理1、競(jìng)爭(zhēng)機(jī)制注：2)在自適應(yīng)系統(tǒng)中引進(jìn)競(jìng)爭(zhēng)機(jī)制，就是將達(dá)爾文發(fā)現(xiàn)的物種競(jìng)爭(zhēng)、適者生存的生物進(jìn)化規(guī)律運(yùn)用到系統(tǒng)的演變中來(lái)，并把它們作為一種學(xué)習(xí)的手段加以運(yùn)用，以便淘汰不適用的知識(shí)，增加有用的知識(shí)。第十九頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)一、基本原理2、知識(shí)更新的隨機(jī)性系統(tǒng)知識(shí)的演變是不確定的，方法是作各種隨機(jī)的改動(dòng)，然后將改動(dòng)的結(jié)果應(yīng)用于解題，保留成功的，拋棄失敗的。注：1)這相當(dāng)于在一個(gè)龐大的解空間中作隨機(jī)搜索，在使用適當(dāng)?shù)膯l(fā)式原則的前提下，搜索結(jié)果將收斂于一個(gè)較好的解。第二十頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)一、基本原理2、知識(shí)更新的隨機(jī)性注：2)遺傳算法采用的啟發(fā)式原則主要是爬山法。從一個(gè)初始知識(shí)庫(kù)出發(fā)，隨機(jī)地選擇能夠改進(jìn)知識(shí)庫(kù)性能的某種變動(dòng)，這相當(dāng)于向上的高處爬了一步，結(jié)果得到一個(gè)新的知識(shí)庫(kù)，然后，再以此知識(shí)庫(kù)為出發(fā)點(diǎn)，再作改動(dòng)，再向上爬一步，這樣不斷地改進(jìn)。其中所使用的改進(jìn)手段稱為遺傳算子。3)統(tǒng)計(jì)抽樣是遺傳算法的支柱之一。第二十一頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)二、基本遺傳算法1、給定一個(gè)初始知識(shí)庫(kù)2、計(jì)算每個(gè)知識(shí)單元u對(duì)外界環(huán)境的適應(yīng)程度f(wàn)(u)。注：若知識(shí)單元是規(guī)則，則稱為規(guī)則強(qiáng)度。3、根據(jù)各知識(shí)單元對(duì)環(huán)境的適應(yīng)度f(wàn)(u)，計(jì)算它們被選中作物種演變的概率值4、根據(jù)概率值選出一批知識(shí)單元5、運(yùn)用各種遺傳算子于被選中的知識(shí)單元，產(chǎn)生一批新的知識(shí)單元，即它們的后代6、用這批后代去代替知識(shí)庫(kù)中原有的適應(yīng)度最低的那些知識(shí)單元，實(shí)現(xiàn)知識(shí)更新第二十二頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)二、基本遺傳算法7、將新知識(shí)庫(kù)作用于外界環(huán)境，解決新的問題，獲得新的反饋信息，重新計(jì)算各知識(shí)單元對(duì)環(huán)境的適應(yīng)度，轉(zhuǎn)3注：1)為了便于大規(guī)模并行處理，使形式簡(jiǎn)單、規(guī)范化，在遺傳算法中通常采用一種稱為分類器的語(yǔ)言。該語(yǔ)言是一個(gè)三元組(A,#,k)，其中A是字母表，#是一個(gè)變量符，k是一個(gè)正整數(shù)，k>=1。L中的每個(gè)句子是一個(gè)長(zhǎng)度為k的符號(hào)串，其中每個(gè)符號(hào)屬于集合A{#}第二十三頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)二、基本遺傳算法注：2)一個(gè)規(guī)則型分類器L是一個(gè)四元組(A,#,k1,k2)，L中的每個(gè)句子是一個(gè)長(zhǎng)度為k1+k2的符號(hào)串，前面k1個(gè)符號(hào)組成的符號(hào)串稱為該句子的條件部分，后面k1個(gè)符號(hào)組成的符號(hào)串稱為該句子的動(dòng)作部分。此時(shí)，句子也稱為規(guī)則。3)分類器語(yǔ)言的每個(gè)句子相當(dāng)于一個(gè)知識(shí)單元。第二十四頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)三、遺傳算子1、雜交2、變異C(a1,a2)={a1’,a2’}M(a1)=a1’第二十五頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)三、遺傳算子3、逆轉(zhuǎn)i(a1)=a1’第二十六頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)四、水桶排隊(duì)算法1、輸入界面從外部環(huán)境接受消息，如果其中包含對(duì)上一步中某個(gè)輸出消息的肯定，且此輸出消息的生產(chǎn)者是規(guī)則a，則令

q(a,t):=q(a,t)+B(a,t)，其中，q(a,t)是規(guī)則a在時(shí)刻t的強(qiáng)度；

B(a,t)=C*z(a)*q(a,t)(C是一個(gè)常數(shù),C<<1)

z(a)=第二十七頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)四、水桶排隊(duì)算法2、把收到的外部消息記錄在消息表上3、把消息表上的全部消息和知識(shí)庫(kù)中所有規(guī)則的條件部分匹配4、令匹配成功的規(guī)則集為S，若S為空集，則轉(zhuǎn)95、設(shè)當(dāng)前時(shí)刻為t，計(jì)算每個(gè)規(guī)則在時(shí)刻t的競(jìng)爭(zhēng)力，根據(jù)競(jìng)爭(zhēng)力算出這些規(guī)則被選中的概率，根據(jù)這些概率選出一批規(guī)則作為獲勝者，它們將自己的動(dòng)作部分作為新消息存于緩沖區(qū)中6、若緩沖區(qū)中含有矛盾消息，則繼續(xù)使用競(jìng)爭(zhēng)的辦法消除矛盾中較弱的一方第二十八頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)四、水桶排隊(duì)算法7、用緩沖區(qū)中剩余的消息代替消息表上原有的消息8、若經(jīng)過4、5、6各步后緩沖區(qū)中留存的各個(gè)消息的生產(chǎn)者是規(guī)則組{ai}，則對(duì)每個(gè)ai作如下操作：(1)q(ai,t+1):=q(ai,t)-B(ai,t)(2)對(duì)任何規(guī)則bj，若bj在上一步中產(chǎn)生的消息使ai在這一步匹配成功，則令q(bj,t+1):=q(bj,t)+B(ai,t)/n(n是滿足上述條件的bj的個(gè)數(shù))第二十九頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)四、水桶排隊(duì)算法9、調(diào)用遺傳學(xué)習(xí)算法改進(jìn)知識(shí)庫(kù)，得到一個(gè)新的知識(shí)庫(kù)10、輸出界面向外部環(huán)境輸出消息表中的消息，t:=t+1，轉(zhuǎn)1注：水桶排隊(duì)算法可作為信任分配機(jī)制。第三十頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)五、具體遺傳算法1、給定一個(gè)初始知識(shí)庫(kù)2、利用水桶排隊(duì)算法計(jì)算知識(shí)庫(kù)中每個(gè)規(guī)則ai的強(qiáng)度q(ai,t)及標(biāo)準(zhǔn)強(qiáng)度a(ai,t)/q(t)，其中t表示當(dāng)前時(shí)刻(第t個(gè)循環(huán))，q(t)是庫(kù)中全體規(guī)則強(qiáng)度的平均值3、根據(jù)各規(guī)則的標(biāo)準(zhǔn)強(qiáng)度，計(jì)算它們被選中作物種演變的概率值4、根據(jù)概率值從知識(shí)庫(kù)中選出2n條規(guī)則，并構(gòu)造它們的復(fù)制品，其中n應(yīng)<<規(guī)則的總數(shù)第三十一頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第四節(jié)遺傳式學(xué)習(xí)五、具體遺傳算法5、把2n條規(guī)則隨機(jī)地組成n對(duì)，對(duì)每一對(duì)規(guī)則使用雜交算子或其它遺傳算子，得到n對(duì)新的規(guī)則，每一條新規(guī)則的強(qiáng)度是它們的父母規(guī)則強(qiáng)度的平均值6、用這批新規(guī)則取代知識(shí)庫(kù)中原來(lái)強(qiáng)度最低的2n條規(guī)則，t:=t+1#第三十二頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第五節(jié)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一、感知機(jī)學(xué)習(xí)學(xué)習(xí)權(quán)進(jìn)行權(quán)值調(diào)整二、Hebb學(xué)習(xí)法則根據(jù)輸出和教員的指示調(diào)整權(quán)值的增長(zhǎng)幅度三、廣義Hebb學(xué)習(xí)規(guī)則——學(xué)習(xí)規(guī)則注：在學(xué)習(xí)規(guī)則中，權(quán)值調(diào)整方向是使各權(quán)值的誤差平方和變得最小的方向(最小均方差)。四、多層網(wǎng)絡(luò)的學(xué)習(xí)使用反傳算法五、Hopfield模型網(wǎng)絡(luò)使用模擬退火方法。第三十三頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第六節(jié)數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)一、問題的提出1、網(wǎng)絡(luò)技術(shù)促進(jìn)信息技術(shù)的發(fā)展

a)信息過量，難以消化b)信息真假，難以辨識(shí)c)信息安全，難以保證d)信息形式不一致，難以統(tǒng)一處理2、數(shù)據(jù)海洋——數(shù)據(jù)分析被數(shù)據(jù)淹沒，人們卻饑餓于知識(shí)3、數(shù)據(jù)庫(kù)、人工智能、數(shù)理統(tǒng)計(jì)、可視化技術(shù)、信息基礎(chǔ)設(shè)施提供必有條件DMKD成為可能4、首次提出IJCAI’89(第十一屆)第三十四頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第六節(jié)數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)二、基本概念從大量的、不完全的、有噪聲的、模糊的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又有潛在有用價(jià)值的信息和知識(shí)過程。注：1)數(shù)據(jù)源是真實(shí)的、大量的、含噪聲

2)數(shù)據(jù)源支持相應(yīng)的發(fā)現(xiàn)，但發(fā)現(xiàn)的知識(shí)是隱含的、事先不知道的；是發(fā)現(xiàn)，不是證明

3)發(fā)現(xiàn)的是人們感興趣的知識(shí)，且一般是從大量的數(shù)據(jù)中提煉出抽象的知識(shí)

4)發(fā)現(xiàn)的知識(shí)可接受、可理解、可運(yùn)用

5)不要求發(fā)現(xiàn)通用知識(shí)，僅支持特定的問題

6)需綜合運(yùn)用統(tǒng)計(jì)學(xué)、粗糙集、模糊數(shù)學(xué)、機(jī)器學(xué)習(xí)和專家系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、可視化等多學(xué)科的手段與方法第三十五頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第六節(jié)數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)三、最常發(fā)現(xiàn)的知識(shí)1、廣義型知識(shí)(Generalization)根據(jù)數(shù)據(jù)的微觀特性發(fā)現(xiàn)其表征的、帶有普遍性的、較高層次概念的、中觀和宏觀的知識(shí)2、分類型知識(shí)(Classification&Clustering)反映同類事物共同性質(zhì)的特征型知識(shí)和不同事物之間差異型特征知識(shí)3、關(guān)聯(lián)型知識(shí)(Association)反映一個(gè)事件和其它事件之間依賴或關(guān)聯(lián)的知識(shí)4、預(yù)測(cè)型知識(shí)(Prediction)通過時(shí)間序列型數(shù)據(jù)，由歷史和當(dāng)前的情況去預(yù)測(cè)未來(lái)的情況第三十六頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第六節(jié)數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)四、最有影響的發(fā)現(xiàn)算法1、概念樹提升算法SimonFraster大學(xué)J.Han2、關(guān)聯(lián)算法IBMRAgrawal3、分類算法C5/C4.5

Quinlan4、遺傳算法

E.Godman第三十七頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第六節(jié)數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)五、知識(shí)發(fā)現(xiàn)過程1、數(shù)據(jù)準(zhǔn)備數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)變換2、數(shù)據(jù)挖掘階段3、結(jié)果解釋和評(píng)價(jià)六、活躍的應(yīng)用領(lǐng)域1、市場(chǎng)營(yíng)銷2、金融與銀行業(yè)3、電信、交通和保險(xiǎn)業(yè)4、政府和防衛(wèi)部分5、商務(wù)智能(業(yè)務(wù)智能，BI)將數(shù)據(jù)變?yōu)橹R(shí)，并將知識(shí)變?yōu)樯虡I(yè)效益第三十八頁(yè)，共四十二頁(yè)，2022年，8月28日第五章機(jī)器學(xué)習(xí)第六節(jié)數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)