機器學習編年史引言機器學習〔MachineLearning，ML〕可以認為是：通過數據，算法使得機器從大量歷史數據中學習規(guī)律，從而對新樣本做分類或者預測。它是人工智能〔ArtificialIntelligence，AI〕的核心，是使計算機具有智能的根本途徑，其應用普及人工智能的各個領域，主要使用歸納、綜合的方法獲取或總結知識。作為一門交叉領域學科，它涉及到概率論，統(tǒng)計學，凸分析，最優(yōu)化，計算機等多個學科。專門研究計算機怎樣模擬或實現人類的學習行為，從而獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。本文將以時間為順序，從兩個大階段介紹機器學習，第一局部介紹淺層學習階段，第二局部介紹深層學習階段，就是所謂的深度學習。淺層學習階段ArthurSamuel1959年，IBMArthurSamuel的寫出了可以學習的西洋棋程序，并發(fā)表了一篇名為《SomeStudiesinMachineLearningUsingtheGameofCheckers》的論文中，定義并解釋了一個新詞—機器學習〔MachineLearning，ML〕。將機器學習非正式定義為”在不直接針對問題進行編程的情況下，賦予計算機學習能力的一個研究領域”。圖1ArthurSamuel的西洋棋1957年，Rosenblatt創(chuàng)造了感知機〔或稱感知器，Perceptron〕[1]，是神經網絡的雛形，同時也是支持向量機的根底，在當時引起了不小的轟動。感知機是二類分類的線性分類模型，其輸入為實例的特征向量，輸出為實例的類別，取+1和-1二值。感知機對應于輸入空間〔特征空間〕中將實例劃分為正負兩類的別離超平面，屬于判別模型。感知機學習旨在求出將訓練數據進行線性劃分的別離超平面。圖2.1感知機算法其實設計感知器的初衷是制造一個識別用的機器，而不是一個算法。雖然它的第一次實現是在IBM704上安裝的軟件中，但它隨后在定制的硬件實現“Mark1感知器”。這臺機器是用于圖像識別，它擁有一個容量為400的光電池陣列，隨機連接到“神經元”，連接權重使用電位編碼，而且在學習期間由電動馬達實施更新。圖2.2Mark1感知器1960年，Widrow創(chuàng)造了Delta學習規(guī)那么，即如今的最小二乘問題，立刻被應用到感知機中，并且得到了一個極好的線性分類器。Delta學習規(guī)那么是一種簡單的有導師學習算法，該算法根據神經元的實際輸出與期望輸出差異來調整連接權，其數學表示如下：1969年，Minskey提出了著名的XOR問題[2]，論證了感知器在類似XOR問題的線性不可分數據的無力，以至于其后十年被稱為“冷靜時期”，給感知機畫上了一個逗號，以洪荒之力將如火如荼將的ML暫時封印了起來。Rosenblatt在這之后兩年郁郁而終與此也不無關系，雖然當時Rosenblatt才43歲，雖然Rosenblatt死于游艇意外事故……圖3XOR問題1970年，SeppoLinnainmaa首次完整地表達了自動鏈式求導方法〔AutomaticDifferentiation，AD〕[3]，是著名的反向傳播算法〔BackPropagation，BP〕的雛形，但在當時并沒有引起重視。圖4AD算法流程圖1974年，Werbos首次提出把BP算法的思想應用到神經網絡，也就是多層感知機〔MultilayerPerception，MLP〕[4]，并在1982年實現[5]，就是現在通用的BP算法，促成了第二次神經網絡大開展。MLP或者稱為人工神經網絡〔ArtificialNeuralNetwork，ANN〕是一個帶有單隱層的神經網絡。圖5MLP模型1985-1986年，Rumelhart，Hinton等許多神經網絡學者成功實現了實用的BP算法來訓練神經網絡[6][7]，并在很長一段時間內BP都作為神經網絡訓練的專用算法。圖6反向傳播算法效果圖1986年，J.R.Quinlan提出了另一個同樣著名的ML算法——決策樹算法〔ID3〕[8]，決策樹作為一個預測模型，代表的是對象屬性與對象值之間的一種映射關系，而且緊隨其后涌現出了很多類似或者改良算法，如ID4，回歸樹，CART等。ID3算法是一種貪心算法，用來構造決策樹。ID3算法起源于概念學習系統(tǒng)〔CLS〕，以信息熵的下降速度為選取測試屬性的標準，即在每個節(jié)點選取還尚未被用來劃分的具有最高信息增益的屬性作為劃分標準，然后繼續(xù)這個過程，直到生成的決策樹能完美分類訓練樣例。圖7決策樹算法1995年，YanLeCun提出了卷積神經網絡〔ConvolutionNeuralNetwork，CNN〕[14]，受生物視覺模型的啟發(fā)，通常有至少兩個非線性可訓練的卷積層，兩個非線性的固定卷積層，模擬視覺皮層中的V1，V2，Simplecell和Complexcell，在手寫字識別等小規(guī)模問題上，取得了當時世界最好結果，但是在大規(guī)模問題上表現不佳。圖8用于手寫字識別的LeNet1995年，Vapnik和Cortes提出了強大的支持向量機〔SupportVectorMachine，SVM〕[9]，主要思想是用一個分類超平面將樣本分開從而到達分類效果，具有很強的理論論證和實驗結果。至此，ML分為NN和SVM兩派。圖9支持向量機1997年，Freund和Schapire提出了另一個堅實的ML模型AdaBoost[10]，該算法最大的特點在于組合弱分類器形成強分類器，可以形象地表述為：“三個臭皮匠賽過諸葛亮”，分類效果比其它強分類器更好。圖10AdaBoost算法2001年，隨著核方法的提出[12]，SVM大占上風，它的主要思想就是通過將低維數據映射到高維，從而實現線性可分。至此，SVM在很多領域超過了NN模型。除此之外，SVM還開展了一系列針對NN模型的根底理論，包括凸優(yōu)化、范化間隔理論和核方法。圖11核方法2001年，Breiman提出了一個可以將多個決策樹組合起來的模型隨機森林〔RandomForest，RF〕[11]，它可以處理大量的輸入變量，有很高的準確度，學習過程很快，不會產生過擬合問題，具有很好的魯棒性。具體來說，隨機森林就是由多棵CART〔ClassificationAndRegressionTree〕構成的。對于每棵樹，它們使用的訓練集是從總的訓練集中有放回采樣出來的，這意味著，總的訓練集中的有些樣本可能屢次出現在一棵樹的訓練集中，也可能從未出現在一棵樹的訓練集中。在訓練每棵樹的節(jié)點時，使用的特征是從所有特征中按照一定比例隨機地無放回的抽取的圖12隨機森林算法2001年，Hochreiter發(fā)現使用BP算法時，在NN單元飽和之后會發(fā)生梯度損失〔梯度擴散〕[17]。簡單來說就是訓練NN模型時，超過一定的迭代次數后，容易過擬合。NN的開展一度陷入停滯狀態(tài)。深層學習階段2006年，Hinton和他的學生在《Science》上發(fā)表了一片文章[13]，同一年另外兩個團隊也實現了深度學習[15][16]，從此開啟了深度學習〔DeepLearning〕階段，掀起了深度神經網絡即深度學習的浪潮。Hinton在2006年提出的深度置信網絡〔DeepBeliefNetwork，DBN〕開啟了深度學習新紀元，他提出了用神經網絡給數據降維，就是所謂的稀疏化編碼或者自動編碼。他提出了一個新的神經網絡模型叫做深度置信網絡〔DeepBeliefNetwork，DBN〕，該網絡可以看作是限制玻爾茲曼機像壘積木一樣一層一層壘起來的。圖13DBN示意圖限制玻爾茲曼機〔RestrictedBoltzmannMachine，RBM〕是一個簡單的雙層神經網絡，只有輸入、輸出層，沒有隱層，并且層間全連接，層內無連接。訓練RBM的時候用的是一個能量函數，由于無法使用梯度下降等常用算法訓練最好的連接權重矩陣，采用Gibbs采樣等方法分批次進行訓練，訓練好的RBM可以看作輸出層對輸入層的特征提取。RBM訓練好之后把它們壘在一起就是DBN的初始權重，之后對DBN進行訓練，這個過程稱為DBN的預訓練。預訓練階段結束之后就是調優(yōu)的過程，該過程也可稱為Wake-Sleep過程，包括正向的前饋〔FeedForward，FF〕過程和反向傳播〔BackPropagation，BP〕過程，前饋過程是改每一層的數據，反向傳播過程是修改權重矩陣，這樣反復調優(yōu)，一直到輸出值和預期值誤差最小。圖14深度置信網絡訓練示意圖2009年，微軟研究院和Hinton合作研究基于深度神經網絡的語音識別，歷時兩年取得成果，徹底改變了傳統(tǒng)的語音識別技術框架，使得相對誤識別率降低25%。2012年，Hinton又帶著學生在目前最大的圖像數據庫ImageNet〔1500萬個圖像，22000種類〕上，對分類問題取得了驚人的結果，將Top5錯誤率由26%大幅降低至15%。ImageNet是一個計算機視覺系統(tǒng)識別工程，是目前世界上圖像識別最大的數據庫。是美國斯坦福的計算機科學家，模擬人類的識別系統(tǒng)建立的。能夠從圖片識別物體。2012年，由人工智能和機器學習頂級學者AndrewNg和分布式系統(tǒng)頂級專家JeffDean領銜的夢幻陣容，開始打造GoogleBrain工程，用包含16000個CPU核的并行計算平臺訓練超過10億個神經元的深度神經網絡，在語音識別和圖像識別等領域取得了突破性的進展[4]。該系統(tǒng)通過分析YouTube上選取的視頻，采用無監(jiān)督的方式訓練深度神經網絡，可將圖像自動聚類。在系統(tǒng)中輸入“cat”后，結果在沒有外界干預的條件下，識別出了貓臉。2012年，微軟首席研究官RickRashid在21世紀的計算大會上演示了一套自動同聲傳譯系統(tǒng)[5]，將他的英文演講實時轉換成與他音色相近、字正腔圓的中文演講。同聲傳譯需要經歷語音識別、機器翻譯、語音合成三個步驟。該系統(tǒng)一氣呵成，流暢的效果贏得了一致認可，深度學習那么是這一系統(tǒng)中的關鍵技術。2013年，Google收購了一家叫DNNResearch的神經網絡初創(chuàng)公司，這家公司只有三個人，GeoffreyHinton和他的兩個學生。這次收購并不涉及任何產品和效勞，只是希望Hinton可以將深度學習打造為支持Google未來的核心技術。同年，紐約大學教授，深度學習專家YannLeCun加盟Facebook，出任人工智能實驗室主任[6]，負責深度學習的研發(fā)工作，利用深度學習探尋用戶圖片等信息中蘊含的海量信息，希望在未來能給用戶提供更智能化的產品使用體驗。2013年，百度成立了百度研究院及下屬的深度學習研究所〔IDL〕，將深度學習應用于語音識別和圖像識別、檢索，以及廣告CTR預估〔Click-Through-RatePrediction，pCTR〕，其中圖片檢索到達了國際領先水平。2014年又將AndrewNg招致麾下，AndrewNg是斯坦福大學人工智能實驗室主任，入選過《時代》雜志年度全球最有影響力100人，是16位科技界的代表之一。2014年，谷歌宣布其首款成型的無人駕駛原型車制造完畢，將會在2015年正式進行路測。2016年，谷歌旗下DeepMind公司開發(fā)的人工智能程序AlphaGo擊敗圍棋職業(yè)九段選手李世石。AlphaGo這個系統(tǒng)主要由幾個局部組成[18]：〔1〕走棋網絡(PolicyNetwork)，給定當前局面，預測/采樣下一步的走棋?！?〕快速走子(Fastrollout)，目標和〔1〕一樣，但在適當犧牲走棋質量的條件下，速度要比〔1〕快1000倍?！?〕估值網絡(ValueNetwork)，給定當前局面，估計是白勝還是黑勝?！?〕蒙特卡羅樹搜索(MonteCarloTreeSearch，MCTS)，把以上這三個局部連起來，形成一個完整的系統(tǒng)。參考文獻：[1]Rosenblatt,Frank.“Theperceptron:aprobabilisticmodelforinformationstorageandorganizationinthebrain.”Psychologicalreview65.6(1958):386.[2]Minsky,Marvin,andPapertSeymour.“Perceptrons.”(1969).[3]SeppoLinnainmaa.TherepresentationofthecumulativeroundingerrorofanalgorithmasaTaylorexpansionofthelocalroundingerrors.Master'sThesis(inFinnish),Univ.Helsinki,(1970):6-7.[4]PaulWerbos.Beyondregression:Newtoolsforpredictionandanalysisinthebehavioralsciences.PhDthesis,HarvardUniversity(1974).[5]PaulWerbos.Applicationsofadvancesinnonlinearsensitivityanalysis.InSystemmodelingandoptimization(pp.762-770).SpringerBerlinHeidelberg(1982).[6]Rumelhart,DavidE.;Hinton,GeoffreyE.;Williams,RonaldJ.(8October1986)."Learningrepresentationsbyback-propagatingerrors".Nature323(6088):533–536.[7]Hecht-Nielsen,Robert.“Theoryofthebackpropagationneuralnetwork”NeuralNetworks,1989.IJCNN.InternationalJointConferenceon.IEEE,1989.[8]Quinlan,J.Ross.“Inductionofdecisiontrees.”Machinelearning1.1(1986):81-106.[9]Cortes,Corinna,andVladimirVapnik.“Support-vectornetworks.”Machinelearning20.3(1995):273-297.[10]Freund,Yoav,RobertSchapire,andN.Abe.“Ashortintroductiontoboosting.”Journal-JapaneseSocietyforArtificialIntelligence14.771-780(1999):1612.[11]Breiman,Leo.“Randomforests.”Machinelearning45.1(2001):5-32.[12]AndreElisseeffandJasonWeston.“Akernelmethodformulti-labelledclassification”(2001)[13]Hinton,GeoffreyE.,SimonOsindero,andYee-WhyeTeh.“Afastlearningalgorithmfordeepbeliefnets.”Neuralcomputati