1、從機器學習到深度學習筆記（1）有監(jiān)督學習有監(jiān)督學習（SupervisedLearning）是指這樣的一種場景：有一組數(shù)量較多的歷史樣本集，其中每個樣本有一組特征（features）和一個或幾個標示其自身的類型或數(shù)值的標簽（label）;對歷史樣本學習得到模型后，可以用新樣本的特征預測其對應的標簽。1.場景在有監(jiān)督學習中可以將每條數(shù)據(jù)看成是一條由特征到標簽的映射，訓練的目的是找出映射的規(guī)律。根據(jù)標簽的類型可以將有監(jiān)督學習再分為兩個子類：分類（Classification）:標簽是可數(shù)的離散類型，比如疾病診斷（疾病的類型有限）、圖像文字識別（文字的總量有限）。回歸（Regression）:標簽是不

2、可數(shù)的連續(xù)類型、有大小關(guān)系，比如房價預測（值無法枚舉）。圖1-8是一個胸科診斷的分類案例。巒畐布UT1丿早;生纟審卷開II仔齒仝DU/百、Bi線性分析(LinearAnalysis):來源于統(tǒng)計學，這其中眾所周知的最小二乘法(OrdinaryLeastSquares,OLS)是優(yōu)化目標最易理解的回歸學習算法；通過對優(yōu)化目標的調(diào)整還衍生了RidgeRegression、LassoRegression等算法。此外還包括線性判別分析(LinearDiscriminantAnalysis)。梯度下降法(GradientDescent):用于尋找函數(shù)最小值或最大值問題。主要包括三個分支：批量梯度下降法B

3、GD、隨機梯度下降法SGD、小批量梯度下降法MBGD。樸素貝葉斯(NatWeBayes):基于概率論的分類方法。在貝葉斯理論中，該方法要求所有特征之間相互獨立，但2004年HarryZhang的論文TheOptimalityofNaiveBayes中闡述了特征之間有比較平和的關(guān)聯(lián)時樸素貝葉斯也能達到很好效果。決策樹(DecisionTree):源自風險管理的輔助決策系統(tǒng)，是一個利用樹狀模型的決策支持工具，根據(jù)其建分支的策略不同派生了很多子算法，如ID3、C4.5、CART等。其優(yōu)點是學習結(jié)果易于人類理解，缺點是當數(shù)據(jù)集變化時決策圖變化較大。支持向量機(SupportVectorMachine,

4、SVM):上世紀六十年代就被提出，直到1992由BernhardE.Boser等人改進為可以應用于非線形問題后被廣泛應用，在本世紀初期的很長時間里被認為是最好的分類器。神經(jīng)網(wǎng)絡(NeutralNetwork,NN):由名稱可知源于生物神經(jīng)學，具有較長歷史，可以處理復雜的非線形問題。傳統(tǒng)神經(jīng)網(wǎng)絡的研究曾度停滯，但隨著計算機計算能力的提升和卷積網(wǎng)絡結(jié)構(gòu)的提出，由其發(fā)展而來的深度學習(DeepLearning)已經(jīng)成為當前機器學習中最強大的工具。集成學習(EnsembleLearning):是一種利用若干個基礎分類器共同執(zhí)行決策的方法。此方法近來被廣泛應用，其中的隨機森林(RandomForrest

5、)正在逐步取代SVM的地位；此外還有以AdaBoost為代表的提升方法(BoostingMethods)。所有的有監(jiān)督學習算法都有一定的容錯性，即不要求所有歷史樣本絕對正確、可以有部分標簽被錯誤分配的樣本。當然，樣本中的錯誤越多越不容易訓練出正確的模型。1.回歸與分類的關(guān)系圖1-9回歸模型可以解決分類問題性將神讀者應該已經(jīng)發(fā)現(xiàn):雖然有監(jiān)督學習的適用場景可以分成兩類，但介紹算法時并沒有區(qū)分哪些適用于回歸，哪些適用于分類。其實大多數(shù)的算法都可以同時處理這兩類問題。如圖1-9,假設某算法可以處理回歸問題，那么當然可以將其值域劃分成可數(shù)的幾段用以表征分類問題。另一方面，如果個模型可以解決分3因此，與很多教程書籍不同，本書不亥經(jīng)網(wǎng)路方面的內(nèi)容放在深度學習章節(jié)*從機器學習，到深度學習(就是之結(jié)果性回歸,回歸此外考慮內(nèi)容圖1-9中，左圖是訓練的原始樣本；用值可以用來表達分類問題。從這個角I,h習后可得到中圖的回歸線，回歸線上的分類的區(qū)別只不過是從不同角度分析學分類類別之I間作線性插值就是一種最簡，將有監(jiān)督學習算法詳細原理與實踐的預測點；右圖宗意對回歸結(jié)果設置閥了第3