1、機器學習與數(shù)據(jù)挖掘,基本問題,何為機器學習、數(shù)據(jù)挖掘？,計算機的功能 替代人的大腦進行思維 最簡單的：+-*/ 稍復雜：圓、方、直線 按規(guī)則推理 傳統(tǒng)的人工智能 更復雜的思維能力？ 學習、綜合、推廣、創(chuàng)新 用計算機全面替代人的大腦進行思維是計算機學界的終極理想,何為機器學習、數(shù)據(jù)挖掘？,計算機的功能 計算機“思維”水平的現(xiàn)狀 人類已深刻理解的過程 使用準確的數(shù)學模型進行計算 各種運算：+ - * / sin log 邊緣提?。焊鞣N算子 幾何形狀提?。篐ough 變換,y=ax+b,X,Y,A,B,a,b,何為機器學習、數(shù)據(jù)挖掘？,計算機的功能 計算機“思維”水平的現(xiàn)狀 人類尚未深刻理解的過程？

2、 尚未有好的辦法解決 人類是如何解決的？ 學習 如果計算機可如人類一樣學習，則可極大提高計算機應用范圍和效果 機器學習,何為機器學習、數(shù)據(jù)挖掘？,何為“學習”？ H. Simon: Any process by which a system improves its performance M. Minsky: Learning is making useful changes in our minds R. Michalsky: Learning is constructing or modifying representations of what is being experienced

3、 L. Valiant: Learning is the process of knowledge acquisition in the absence of explicit programming ,何為機器學習、數(shù)據(jù)挖掘？,學習的基本模型 人類是如何學習的？ 基本過程：觀察響應,熱,紅色,跳動,火,何為機器學習、數(shù)據(jù)挖掘？,學習的基本模型 人類是如何學習的？ 學習過程的本質(zhì)是對因果律求逆,火,內(nèi)在實體：不可直接觀測,因果律,熱,紅色,跳動,可觀測特征,學習,意識中的實體,何為機器學習、數(shù)據(jù)挖掘？,學習的基本模型,概念空間,特征空間,因果律,物理過程,學習過程,何為機器學習、數(shù)據(jù)挖掘？,學

4、習的基本模型 基本要素 問題：所需要的輸出（類別、數(shù)值） 特征屬性：可觀測的物理量 樣本：特征組合和輸出類別的一些對應關系,何為機器學習、數(shù)據(jù)挖掘？,學習的基本模型 目標 通過對少量樣本的分析，獲得一個特征和輸出類別的一般性對應關系 基本數(shù)學模型 強：給定一組(X, F(X)，求F 如不對F進行很強的限制，一般難以實現(xiàn) 弱：給定一組(X, F(X)，對新的X，求F(X) “舉一反三” 仍然是很難的問題,何為機器學習、數(shù)據(jù)挖掘？,學習的基本模型 應用過程,原始數(shù)據(jù),人工分析,機器學習,訓練樣本,模型,新數(shù)據(jù),結(jié)果,離線過程,在線過程,數(shù)學方法,決定性步驟 尚無有效的理論指導,機器學習與數(shù)據(jù)挖掘研究內(nèi)容,樣本準備 對象分割 對象在文檔中可能只占很小比例 用整個文檔提取的特征含有大量噪聲 特征與特征提取 使用什么樣的特征？如何計算？如何進行預處理？ 樣本選擇 正負樣本數(shù)可能嚴重失衡（1:10，1:100） 樣本可能包含噪聲,機器學習與數(shù)據(jù)挖掘研究內(nèi)容,樣本預處理 特征選擇 并非所有特征都對學習有幫助 過多的特征會帶來大量噪聲 特征降維 消除特征之間的相關性，降低特征維數(shù) 過多的特征會帶來大量噪聲,機器學習與數(shù)據(jù)挖掘研究內(nèi)容,訓練算法 算法選擇