智能算法程序設(shè)計(jì)(Python)Chap1.3機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀A(yù)rthurSamuel于1950年代發(fā)明了“機(jī)器學(xué)習(xí)”這個(gè)詞

大致劃分為五個(gè)階段：（1）感知機(jī)

只有輸入和輸出兩層，可以從數(shù)據(jù)中進(jìn)行自適應(yīng)的端對(duì)端學(xué)習(xí)。只能解決“線性可分”問題。其歷史意義是重大的、奠基性的。（2）神經(jīng)網(wǎng)絡(luò)

在感知機(jī)的基礎(chǔ)上引入隱藏層（一個(gè)或多個(gè)）和激活函數(shù)，就形成了經(jīng)典的“前饋神經(jīng)網(wǎng)絡(luò)”。而其學(xué)習(xí)算法則依賴于1980年代由Rumelhart等人重新發(fā)明的誤差反向傳播算法（BP算法）。（3）支持向量機(jī)

嚴(yán)格的理論支撐、可靠的全局最優(yōu)求解、避免過擬合等優(yōu)點(diǎn)，被廣泛研究和應(yīng)用，更是發(fā)展出“核方法”，影響了眾多的機(jī)器學(xué)習(xí)模型。機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀A(yù)rthurSamuel于1950年代發(fā)明了“機(jī)器學(xué)習(xí)”這個(gè)詞

大致劃分為五個(gè)階段：（4）深度學(xué)習(xí)2006年Hinton提出“深度學(xué)習(xí)”的概念，并帶領(lǐng)學(xué)生在2012年的ImageNet圖像識(shí)別競賽中一騎絕塵、以巨大優(yōu)勢勝出。這個(gè)網(wǎng)絡(luò)就是大名鼎鼎的AlexNet。卷積神經(jīng)網(wǎng)絡(luò)、隨機(jī)丟棄（Dropout）、GPU并行計(jì)算等重要技術(shù)手段是其致勝的法寶。至此，神經(jīng)網(wǎng)絡(luò)所依賴的三個(gè)要素（算料、算法、算力）都已具備。

微軟亞洲研究院何愷明等人提出的殘差網(wǎng)絡(luò)（ResNet），這種新型的網(wǎng)絡(luò)結(jié)構(gòu)可以使神經(jīng)網(wǎng)絡(luò)的深度達(dá)到數(shù)百層甚至上千層。成為了現(xiàn)代神經(jīng)網(wǎng)絡(luò)的標(biāo)配，其影響具有基礎(chǔ)性，也正由于此而獲得2023年度未來科學(xué)大獎(jiǎng)的數(shù)學(xué)與計(jì)算機(jī)科學(xué)獎(jiǎng)，實(shí)至名歸。機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀A(yù)rthurSamuel于1950年代發(fā)明了“機(jī)器學(xué)習(xí)”這個(gè)詞

大致劃分為五個(gè)階段：（5）大模型

源于2017年谷歌（Google）公司提出的Transformer這種新型神經(jīng)網(wǎng)絡(luò)。基于此，谷歌和OpenAI分別發(fā)展出Bert和GPT兩條主要技術(shù)路線。2022年底，OpenAI發(fā)布ChatGPT，一時(shí)席卷互聯(lián)網(wǎng)，成為有史以來增長最快的互聯(lián)網(wǎng)應(yīng)用。ChatGPT在自然語言方面所表現(xiàn)出來的前所未有的“理解和思考能力”讓人們感到驚嘆，因?yàn)闊o法清楚的解釋，而被粗略的稱為“智能涌現(xiàn)”（海量神經(jīng)元之間的大規(guī)模相互作用導(dǎo)致智能的涌現(xiàn)）。人們普遍認(rèn)為這是通用人工智能（AGI）的第一縷曙光。機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀（感知機(jī)）g(W

*

a)=

z機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀（感知機(jī)）機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀（前饋NN）g(W(1)

*

a(1)

+

b(1))=

a(2)g(W(2)

*

a(2)

+

b(2))=

z機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀（前饋NN）機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀（SVM）機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀（深度學(xué)習(xí)）機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀（深度學(xué)習(xí)）#DefinetheresidualblockclassResidualBlock(layers.Layer):def__init__(self,num_channels):super(ResidualBlock,self).__init__()self.fc1=layers.Dense(num_channels,activation='relu')self.fc2=layers.Dense(num_channels,activation='linear')

defcall(self,x):h=self.fc1(x)h=self.fc2(h)returnlayers.add([x,h])機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀（大模型）Transformer[4]：來源于2017年的一篇科研論文《Attentionisallyourneed》。出色的解釋性和計(jì)算性能。編碼、定位、多頭自注意力、前饋、殘差連接；編碼器、解碼器“在Transformer里，作者提出了將每個(gè)字與句子中所有單詞進(jìn)行計(jì)算，算出這個(gè)詞與每個(gè)單詞的相關(guān)度，從而確定這個(gè)詞在這個(gè)句子里的更準(zhǔn)確意義?！彼^的注意力(Attention)，本質(zhì)上就是相關(guān)度。而自注意力拋棄順序?qū)崿F(xiàn)遠(yuǎn)距離上下文建模。機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀（大模型）機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀

關(guān)于模型的可解釋性：（1）可解釋的模型k-近鄰、決策樹、對(duì)率回歸、基本線性回歸、樸素貝葉斯這些都是可解釋的典型例子。（2）不可解釋的模型

源于線性模型的SVM、由對(duì)率回歸單元堆疊而成的全連接神經(jīng)網(wǎng)絡(luò)都有其不可解釋的一面。

從統(tǒng)計(jì)學(xué)習(xí)理論的角度來看，我們追求的是“概率近似正確（PAC）”，因而隨機(jī)性和不確定性就是必須接受的現(xiàn)實(shí)，這或許也能從一個(gè)側(cè)面幫助我們理解“不可解釋性”。機(jī)器學(xué)習(xí)的歷史與現(xiàn)狀

一些帶有哲學(xué)意味的“定律”：（1）“沒有免費(fèi)的午餐定律”（NFL）

一個(gè)實(shí)用的模型或算法必有其針對(duì)性（稱為歸納偏好）；而一個(gè)面面俱到的模型或算法則不可能具有實(shí)用性、因而只能存在于理論中。這個(gè)定律時(shí)時(shí)刻刻在提醒著我們，模型和算法是針對(duì)具體問題的，脫離具體問題泛泛而談是沒有意義的。（2）“奧卡姆剃刀”定律

針對(duì)同一個(gè)任務(wù)，簡單的機(jī)器學(xué)習(xí)模型更好。這里的“簡單”不能縱向地說（比如線性回歸比大模型更