計算思維與人工智能基礎計算機學院機器學習6.1什么是機器學習6.2機器學習的發(fā)展歷程機器學習與人類思考的類比6.36.4機器學習中常見的算法目錄contents機器學習概述什么是機器學習機器學習的發(fā)展歷程機器學習的概念機器學習的分類最小二乘算法機器學習與人類思考的類比機器學習中常見算法機器學習的應用定義學習流程有監(jiān)督學習無監(jiān)督學習其他學習回歸分類異常檢測聚類降維決策樹支持向量機SVM人工神經(jīng)網(wǎng)絡算法貝葉斯網(wǎng)絡K近鄰KNN前向型神經(jīng)網(wǎng)絡反饋型神經(jīng)網(wǎng)絡深度學習引言機器學習（machinelearning）是人工智能領域最為核心的研究內(nèi)容，被視作人工智能最為重要的一個分支。01什么是機器學習0201對“機器學習”的本質特征、內(nèi)涵和外延進行說明。機器學習的分類按照學習方法、推理方式、知識表示方式、擁有標簽信息量對“機器學習”進行分類。01機器學習的定義03

機器學習的定義機器學習目標主要介紹四種常見的機器學習目標。01機器學習的定義機器學習（machinelearning）的定義機器：計算機，現(xiàn)在是電子計算機，以后還可能是量子計算機、光計算機或神經(jīng)計算機等。學習：機器學習中所說的“學習”，指的是從數(shù)據(jù)中學得模型的過程，這個過程通過執(zhí)行某個學習算法來完成。機器學習：從數(shù)據(jù)集中學習得到知識和規(guī)律（學習模型），然后用于實際的推斷和決策。01機器學習的定義機器學習的基本框架數(shù)據(jù)集（dataset）

數(shù)據(jù)集，是一種由數(shù)據(jù)所組成的集合；通常以表格形式出現(xiàn)。每一行是關于一個事件或對象的描述，稱為一個“樣本”。每一列是樣本的一個屬性，稱為樣本的“特征”。樣本會包含多個特征值用來描述數(shù)據(jù)，故而一個樣本也稱為一個“特征向量”；還可以給樣本指定目標值標簽，這個操作稱為“標注”。01機器學習的定義機器學習的基本框架（續(xù)）學習模型

機器學習中的核心概念，是從數(shù)據(jù)集中學習得到的結果，定義了學習任務如何進行。學習到“好”的模型是機器學習的直接目標；當學習模型進入“收斂狀態(tài)”時，就表明已經(jīng)達到無法改進的最好程度，完全能準確地描述特征和學習目標之間的關系。學習模型通過學習得到的變量，稱為參數(shù)。01機器學習的定義機器學習的基本框架（續(xù)）損失函數(shù)（lossfunction）損失函數(shù)就像一個度量尺，用來量度“學習模型”預測結果的優(yōu)劣，從而做出相應的優(yōu)化策略。優(yōu)化算法通過優(yōu)化算法（如梯度下降算法、牛頓法等）有限次迭代優(yōu)化模型參數(shù)，以盡可能降低損失函數(shù)的值，得到較優(yōu)的參數(shù)值（數(shù)值解）。01機器學習的定義機器學習的基本框架（續(xù)）擬合擬合是機器學習中的重要概念，也可以說，機器學習的研究對象就是讓模型能更好地擬合數(shù)據(jù)。形象地說，“擬合”就是把平面坐標系中一系列散落的點，用一條光滑的曲線連接起來，因此擬合也稱為“曲線擬合”。

擬合過程中的兩種情形：過擬合、欠擬合。01機器學習的定義機器學習的基本框架（續(xù)）獲取數(shù)據(jù)數(shù)據(jù)處理特征工程機器學習算法訓練模型評估01機器學習的定義機器學習的開發(fā)流程監(jiān)督學習將輸入的樣本數(shù)據(jù)映射到標注的標簽，是最常見的機器學習類型之一。目前廣受關注的深度學習幾乎都屬于監(jiān)督學習，如光學字符識別、語音識別、圖像分類、語言翻譯等。02機器學習的分類監(jiān)督學習無監(jiān)督學習是在沒有標簽數(shù)據(jù)的情況下尋找輸入數(shù)據(jù)的有趣變換，其目標在于數(shù)據(jù)可視化、數(shù)據(jù)壓縮或者更好地理解數(shù)據(jù)的相關性。02機器學習的分類無監(jiān)督學習如果將監(jiān)督學習和無監(jiān)督學習進行結合，利用不完全的有標簽數(shù)據(jù)進行有監(jiān)督學習，同時利用大量的無標簽數(shù)據(jù)進行無監(jiān)督學習；從而充分利用兩者的優(yōu)點，這就形成所謂的弱監(jiān)督學習。弱監(jiān)督學習的方法主要有半監(jiān)督學習、遷移學習和強化學習。02機器學習的分類弱監(jiān)督學習回歸分析屬于預測任務，機器學習的目標是研究自變量和因變量的關系。通常使用直線或者曲線來擬合數(shù)據(jù)點，然后研究如何使曲線到數(shù)據(jù)點的距離差異最小。03機器學習的目標回歸分析分類屬于預測任務，機器學習的目標是根據(jù)一個新的模式，將數(shù)據(jù)分配到預定義的類別，是一種定性輸出，也叫離散變量預測。分類與回歸分析都屬于監(jiān)督學習，區(qū)別在于預測結果是否連續(xù)，如果預測的結果為連續(xù)的值，則是回歸問題；如果為離散的值，則是分類問題。03機器學習的目標分類聚類屬于描述任務，機器學習的目標是準確地計算樣本之間的相似度，根據(jù)相似度將數(shù)據(jù)集劃分為若干個相似對象組成的多個簇（cluster）。隸屬于相同簇的樣本之間具有相似的性質，不同簇的樣本之間具有不同的性質。聚類與分類問題相同，都是模式識別問題，但是聚類屬于無監(jiān)督學習。03機器學習的目標聚類降維屬于描述任務，機器學習的目標是從高維度數(shù)據(jù)中提取關鍵信息，將其轉換為易于計算的低維度問題進而求解。這里的維數(shù)是指樣本所擁有特征的數(shù)目，如果數(shù)據(jù)集中樣本擁有N個特征，則數(shù)據(jù)的維數(shù)為N。降維與回歸、分類、聚類等不同，它將向量投影到低維空間，以達到降低數(shù)據(jù)在時間和空間上的復雜度、省去不必要特征的開銷、進行可視化等。降維的方法可以是監(jiān)督的，也可以是非監(jiān)督的。03機器學習的目標降維02機器學習的發(fā)展歷程0201任何一門學科的形成都不是空中樓閣，必然是在前人所成就的基礎之上發(fā)展而來；介紹20世紀50年代至70年代末期，機器學習的發(fā)展。學科形成及算法創(chuàng)新20世紀80年代之前，機器學習的研究成果都是零碎的，不成體系。自從20世紀80年代開始，一直到21世紀初，各種機器學習算法層出不窮，豐富了機器學習學科內(nèi)容。機器學習的發(fā)展歷程03

概念產(chǎn)生及早期研究深度學習及應用普及2012年，深度卷積神經(jīng)網(wǎng)絡（CNN）在ImageNet大型視覺識別比賽中脫穎而出。自此，深度學習激起包括機器學習在內(nèi)的人工智能浪潮。01概念產(chǎn)生及早期研究1959年，美國著名工程師威德羅（B.Widrow）和霍夫（M.Hoff）等人提出了自適應線性元件(Adaptivelinearelement，簡稱Adaline)和Widrow-Hoff學習規(guī)則（又稱最小均方差算法或稱δ規(guī)則）的神經(jīng)網(wǎng)絡訓練方法。羅森布拉特（FrankRosenblatt）提出一種新的人工神經(jīng)元模型，即感知機。感知機的產(chǎn)生，可以說是基于M-P神經(jīng)元模型和Hebb學習規(guī)則。1943年1949年1950年1958年1959年圖靈發(fā)表論文《ComputingMachineryandIntelligence》，論文中提出建造“學習機器”的構想塞繆爾撰寫并發(fā)表《SomeStudiesinMachineLearningUsingtheGameofCheckers》被認為是關于“機器學習”的第一篇論文，文中首次提出了“機器學習”一詞。M-P神經(jīng)元模型是沃倫·麥卡洛克（WarrenMcCulloch）和沃爾特·皮茨（WalterPitts）在1943年提出的，給出神經(jīng)元工作方式是“興奮”和“抑制”，成為近代機器學習的基本模型。Hebb學習規(guī)則（Hebbianlearninglaw）是唐納德·赫布（DonaldHebb）于1949年提出的一種神經(jīng)科學理論，給出神經(jīng)元相互連接強度的變化方式，指導如何改變連接神經(jīng)元之間的權值，成為大多數(shù)機器學習算法的基礎。02學科形成及算法創(chuàng)新年份內(nèi)容1980第一屆機器學習國際研討會在美國卡耐基梅隆大學舉行，標志著機器學習研究已在全世界興起。1983第一部機器學習專著《機器學習：一種人工智能途徑》出版發(fā)行，對當時的機器學習研究工作進行了總結1986第一本機器學習專業(yè)期刊《MachineLearning》創(chuàng)刊，顯示出機器學習突飛猛進的發(fā)展趨勢。1996卡耐基梅隆大學創(chuàng)辦了人類歷史上第一個機器學習系。自此，機器學習成為一個獨立的學科領域。學科形成的標志性事件02學科形成及算法創(chuàng)新年份內(nèi)容1980提出了包含卷積層、池化層的神經(jīng)網(wǎng)絡結構，這是深度神經(jīng)網(wǎng)絡基本結構的開創(chuàng)性探索。1981提出了多層感知器，自此人工神經(jīng)網(wǎng)絡可以實現(xiàn)非線性任務。1982提出了反饋型神經(jīng)網(wǎng)絡的典型代表霍普菲爾德神經(jīng)網(wǎng)絡（Hopfieldneuralnetwork），并在此后用模擬集成電路進行了實現(xiàn)，開拓了將人工神經(jīng)網(wǎng)絡用于聯(lián)想記憶和優(yōu)化計算的新途徑。1986提出并實現(xiàn)了用于訓練多層神經(jīng)網(wǎng)絡的誤差逆?zhèn)鞑ニ惴ǎ╞ackpropagationalgorithm，BP）。1989設計出了第一個真正意義上的卷積神經(jīng)網(wǎng)絡，用于手寫數(shù)字的識別?！奥?lián)結主義”機器學習算法的發(fā)展02學科形成及算法創(chuàng)新年份內(nèi)容20世紀80年代隱馬爾可夫模型能夠從給出可觀察到的序列狀態(tài)，推測未知序列狀態(tài)，所以在20世紀80年代開始應用到機器學習，并成為該領域的常用理論模型。1985貝葉斯網(wǎng)絡，是一種模擬人類推理過程中因果關系的不確定性處理模型，其網(wǎng)絡拓撲結構是一個有向無環(huán)圖。1990提出的自適應提升（boosting）算法，能夠組合許多“弱”分類器來產(chǎn)生一個強大的分類器組。1992提出的支持向量機（supportvectormachine，SVM）。1995對boosting算法改進提出了AdaBoost算法基于統(tǒng)計學習理論機器學習的發(fā)展2006年欣頓和他的學生在頂尖學術刊物《Science》上發(fā)表文章提出了神經(jīng)網(wǎng)絡深度學習（deeplearning）算法，使神經(jīng)網(wǎng)絡的能力大大提高，開啟了深度學習在學術界和工業(yè)界的浪潮。03深度學習及應用普及深度學習的提出深度學習大規(guī)模數(shù)據(jù)的獲得計算機硬件的發(fā)展層出不窮的新算法2012年，深度CNN將“前5錯誤率”從26.1%降低到15.3%；2015年，改進后的深度CNN將“前5錯誤率”降低到3.6%，已經(jīng)超過人類水平。2016年3月15日，谷歌公司開發(fā)的使用深度學習的機器AlphaGo以總比分4∶1戰(zhàn)勝圍棋世界冠軍李世石。2017年1月4日，升級為Master的AlphaGo，經(jīng)過7天的“踢館”大戰(zhàn)，力克國際60位頂級圍棋高手（其中包括16位世界冠軍）。03深度學習及應用普及深度學習的成功案例問題：深度學習驅動以機器學習為主的人工智能和大數(shù)據(jù)蓬勃發(fā)展,既提升數(shù)據(jù)使用的價值和效率，也可導致數(shù)據(jù)的安全性與隱私問題。解決方案：聯(lián)邦學習（FederatedLearning，F(xiàn)L）作為面向數(shù)據(jù)孤島和隱私保護的機器學習解決方案，最早由H.BrendanMcMahan等人提出，應用于谷歌輸入法Gboard系統(tǒng)，實現(xiàn)輸入法的候選詞預測。與“模型不動，數(shù)據(jù)動”的集中式學習相反，聯(lián)邦學習是一種“數(shù)據(jù)不動，模型動”的學習模式。03深度學習及應用普及深度學習的安全及聯(lián)邦學習03機器學習與人類思考的類比0201機器學習與人類思考在過程上有異曲同工之妙。機器學習與人類形象思考的類比人類右腦的主要功能是形象思維能力，GPU就相當于人類的右腦。機器學習與人類思考的類比03

實現(xiàn)過程的類比機器學習與人類邏輯思考的類比無論是人類思考還是機器學習，在累積歷史、經(jīng)驗和獲取數(shù)據(jù)之后，都需要經(jīng)歷抽象思維、理論概括和評估過程等階段。抽象思維，將歷史、經(jīng)驗和數(shù)據(jù)轉換為更廣泛的表示和概念。機器學習中的“訓練”與“預測”過程可以對應到人類的“歸納”和“推測”過程。機器學習的原理相當于是對人類思考的一個模擬。由于機器學習不是基于編程形成的結果，因此它的處理過程不是因果的邏輯，而是通過歸納思想得出的相關性結論。另外，機器學習的數(shù)據(jù)對應人類思考的歷史和經(jīng)驗，算法則是人類思考的思辨能力。01實現(xiàn)過程的類比機器學習與人類思考的過程對比機器學習領域中的深度學習，相當于在訓練機器的形象思考能力。深度學習特別注重圖形計算算力的使用，GPU可以進行大量的并行計算，從而有效提升處理效率。人類右腦的主要功能是形象思維能力，GPU就相當于人類的右腦，可見，深度學習能充分發(fā)揮形象思維。此外，機器學習能用形象思考方法處理復雜事物的主要原因是機器能清晰地存儲億萬張圖像。02機器學習與人類形象思考的類比

信息可以用機器語言來描述，也就是表示為二進制形式的符號。通過機器語言，可以實現(xiàn)機器的邏輯思維，而且不受情感因素的影響，可以比人類思維更嚴謹、更科學。計算機所具有的輸入、存貯、運算、控制、輸出裝置能模擬人腦的感覺、思維、記憶、反映等功能，代替人腦的部分勞動，協(xié)助和配合人腦從事計算、判斷推理、決策、翻譯、情報資料檢索等活動。但是，機器學習的邏輯思維過程和人類有著很大的區(qū)別。計算機靠的就是強大的計算能力和存儲能力，用最簡單的辦法來實現(xiàn)人類復雜的思維過程。機器學習的優(yōu)點是能既快又好地處理精確信息，對不確定信息的處理能力卻是有限。03機器學習與人類邏輯思考的類比04機器學習中常見的算法機器學習的算法機器學習中常見的算法機器學習的算法主要是指通過數(shù)學及統(tǒng)計方法求解最優(yōu)化問題的步驟和過程。機器學習在算法的指導下能夠自動學習大量輸入數(shù)據(jù)樣本的數(shù)據(jù)結構和內(nèi)在規(guī)律，給機器賦予一定的智慧，從而對新樣本進行智能識別，甚至實現(xiàn)對未來的預測。機器學習中常見的算法決策樹算法樸素貝葉斯算法支持向量機算法K近鄰算法K均值聚類算法人工神經(jīng)網(wǎng)絡算法深度學習算法集成學習算法0102030405060708決策樹是一種樹狀預測模型，其本質是一顆由多個判斷節(jié)點所組成的樹決策樹算法常用于解決分類和回歸問題，常被應用于專家系統(tǒng)，用于解釋回答人類專家才能回答的問題特點是結構簡單、處理數(shù)據(jù)效率較高決策樹算法機器學習中常見的算法1圖片樸素貝葉斯算法是基于貝葉斯算法的改進，即假定特征條件為獨立的分類方法常用于解決分類和回歸問題特點是所需估計的參數(shù)很少，對缺失