04人工智能技術的覺醒-深度學習技術框架011本章目標了解深度學習與機器學習的關系理解深度學習的核心了解深度學習技術框架的演變歷程重點難點重點2/57引入三者之間的關系人工智能是計算機科學的一個分支,旨在創(chuàng)建能夠執(zhí)行人類智能活動的機器。機器學習是實現(xiàn)人工智能的一種方法,它使計算機系統(tǒng)能夠從數(shù)據中學習和改進。深度學習是機器學習的一個子集,它使用多層神經網絡來模擬人腦的信息處理方式,特別適用于處理復雜的數(shù)據,如圖像和語音。3/57初識深度學習深度學習的核心人腦神經網絡5/57深度學習的核心輸入層隱藏層輸出層整體結構特征由三層神經元組成由輸入層，隱藏層和輸出層三部分組成，每一層包含若干個神經元。輸入層用于接收外部的數(shù)據輸入，隱液層是中間處理層，可以有多層，檢出層用于輸出最后結果.相鄰展之間的神經元相互連接神經元之間的連線代表兩個神經元相互連接，每一層的神經元與下一層的神經元相連接，但是同一層內的神經元之間無連接關系。6/57深度學習的核心7/57深度學習的核心體育是否及格（y）跳遠（x1）跳高（x2）跑步（x3）仰臥起坐（x4）跳繩（x5）拉伸（x6）總分是（1）99.5999.51056否（0）67867640用單個神經元來預測體育是否及格輸入x：各項體育項目成績權重w：各項目同等重要偏置b：體育要及格總分需要達到55激活函數(shù)f：采用階躍函數(shù)作為激活函數(shù)，當總分大于55，加權輸入大于等于0，階躍函數(shù)輸出為1，否則為0.輸出y：1為合格，0為不合格8/57深度學習的核心隱藏層1隱藏層29/57深度學習的核心函數(shù)表達式：函數(shù)表達式：10/57深度學習的核心最常用的激活函數(shù)，計算簡單且有效多分類問題中常用，輸出為概率分布。在避免死神經元的同時，保持網絡的激活效果，適用于深層網絡較新的激活函數(shù)，表現(xiàn)優(yōu)于ReLU。輸出是零中心的，但也會遇到梯度消失問題。ELU/SELUSwishSoftmaxTanhReLU常見激活函數(shù)11/57傳統(tǒng)機器學習與深度學習的對比維度傳統(tǒng)機器學習深度學習模型（函數(shù)類別）機器學習模型通?；诮y(tǒng)計學習方法和數(shù)學方法，如邏輯回歸（LR）、決策樹（DT）、支持向量機（SVM）、樸素貝葉斯（NB）等，這些方法從數(shù)據中學習映射函數(shù)。深度學習模型基于層次化的神經網絡結構，如卷積神經網絡、循環(huán)神經網絡和Transformer等，更適合處理復雜的模式識別任務。算法（擬合方法）常用的優(yōu)化算法有梯度下降法、牛頓法、隨機梯度下降等主要使用基于梯度的優(yōu)化算法，如隨機梯度下降等，依賴大量的數(shù)值計算和較高的算力采用反向傳播策略策略（擬合目標）主要使用損失函數(shù),損失函數(shù)通常較為簡單，且有明確的數(shù)學形式，用于指導模型在學習過程中的優(yōu)化方向，而且通常不涉及激活函數(shù)。損失函數(shù)更加多樣化，可以結合不同任務、不同模型和多層網絡進行設計，通常具有更復雜的優(yōu)化目標。且深度學習模型每一層通常都包括一個激活函數(shù)。特征工程需要人工設計和選擇特征，特征工程的好壞直接影響模型性能采用表示學習，能夠自動學習和提取特征直接使用自然數(shù)據(如圖像像素)，減少人工特征工程的需求12/57深度學習的三架馬車YoshuaBengio杰弗里.辛頓楊立昆2018年，計算機科學界最高榮譽-圖靈獎(被譽為"計算機界的諾貝爾獎")授予了三位深度學習領域的杰出學者，這三位學者因其在深度神經網絡研究中的開創(chuàng)性貢獻而獲此殊榮,他們的工作使深度神經網絡成為現(xiàn)代計算的核心技術之一，因此被譽為深度學習研究的"三駕馬車"13/57深度學習中的諾貝爾戴密斯·哈薩比斯約翰·江珀大衛(wèi)·貝克2024年諾貝爾化學獎一半授予DavidBaker；另一半則共同授予DemisHassabis和JohnM.Jumper。德米斯·哈薩比斯和約翰·詹珀成功地利用人工智能技術預測了幾乎所有已知蛋白質的結構。而大衛(wèi)·貝克掌握了生命的構建模塊，并創(chuàng)造了全新的蛋白質。14/57小結初識深度學習生物神經元到人工神經網絡的發(fā)展人工神經網絡由幾部分組成人工神經網絡各部分的功能是什么深度學習中的三架馬車是什么15/57深度學習的發(fā)展歷程深度學習的發(fā)展歷程1943-20世紀70年代20世紀80年代2006年之后至今深度學習的古猿時代深度學習的智人時代深度學習的覺醒期深度學習的蓬勃發(fā)展期17/57深度學習的古猿時代由生物神經元到人工神經網絡1943年，心里學家麥卡洛克和數(shù)學邏輯學家皮茲發(fā)表論文《神經活動中內在思想的邏輯演算》，提出了MP模型。MP模型18/57深度學習的古猿時代hebbian學習規(guī)則1949年，DonaldHebb提出了一項開創(chuàng)性的理論:Hebbian學習規(guī)則。這一規(guī)則闡述了神經元之間連接強度變化的機制:當神經元A頻繁地接收來自神經元B的輸入信號，并因此而持續(xù)激活時，這兩個神經元之間的突觸連接將會增強。Hebbian學習規(guī)則與巴甫洛夫的"條件反射"理論在原理上高度一致，而且隨后的神經生物學研究為其提供了實證支持。19/57深度學習的古猿時代古猿時代的典型代表技術之一-感知機感知機二分類效果示例展示20/57深度學習的智人時代霍普菲爾德網絡霍普菲爾德網絡由多個互相連接的神經元組成，通常每個神經元的狀態(tài)為二進制(+1或-1)。網絡中的每個神經元與其他所有神經元相連(自連接除外)，連接權重可以是正值或負值結構特點21/57深度學習的智人時代玻爾茲曼機及其變體玻爾茲曼機由可見層和隱藏層組成，神經元之間的連接是對稱的。每個神經元的狀態(tài)是二進制的，且網絡的學習通過模擬退火過程來進行。結構特點22/57深度學習的智人時代前饋神經網絡（多層感知機）多層感知機由輸入層、隱藏層和輸出層組成。各層之間的連接是單向的，同層神經元之間沒有連接。這種結構使得信息可以從輸入層逐層傳遞到輸出層。結構特點深度學習基礎結構之一23/57深度學習的智人時代初實踐-任務描述任務描述：訓練一個簡單的多層感知器（MLP）模型并監(jiān)控損失變化任務目標：使用一個簡單的多層感知器（MLP）模型對MNIST手寫數(shù)字數(shù)據集進行識別，并記錄訓練過程中每一輪的損失值（loss），最終繪制損失變化圖來觀察模型的訓練效果。任務流程24/57深度學習的智人時代前饋神經網絡（多層感知機）-初實踐#定義一個簡單的多層感知器（MLP）模型classSimpleMLP(nn.Module):def__init__(self):super(SimpleMLP,self).__init__()self.fc1=nn.Linear(28*28,512)#第一層全連接層self.fc2=nn.Linear(512,256)#第二層全連接層self.fc3=nn.Linear(256,10)#輸出層（MNIST數(shù)據集有10個類別）25/57深度學習的智人時代前饋神經網絡（多層感知機）-初實踐defforward(self,x):x=x.view(-1,28*28)#將圖像展平x=torch.relu(self.fc1(x))x=torch.relu(self.fc2(x))x=self.fc3(x)returnx26/57深度學習的智人時代前饋神經網絡（多層感知機）-初實踐forepochinrange(epochs):total_loss=0forimages,labelsintrain_loader:optimizer.zero_grad()#清零梯度，避免上一輪梯度對本輪產生影響output=model(images)#將樣本輸入模型得到預測的結果loss=criterion(output,labels)#利用預測結果和真實結果計算損失loss.backward()#利用損失進行反向傳播，計算對應的梯度optimizer.step()#利用梯度進行相應的參數(shù)更新total_loss+=loss.item()27/57深度學習的智人時代前饋神經網絡（多層感知機）-初實踐#訓練模型并獲得損失歷史loss_history=train_model(model,train_loader,criterion,optimizer,epochs=30)

#繪制損失變化圖plt.plot(loss_history)plt.title('LossHistory')plt.xlabel('Epoch')plt.ylabel('Loss')plt.show()28/57深度學習的智人時代反向傳播算法（BP）輸入層隱藏層輸出層反向傳播算法通過鏈式法則計算損失函數(shù)相對于每個權重的梯度。首先，前向傳播計算輸出，然后通過損失函數(shù)計算誤差，最后將誤差反向傳播以更新權重。結構特點深度學習中最重要的訓練算法之一29/57深度學習的智人時代初實踐-任務描述任務描述：使用多層感知器（MLP）訓練模型進行鳶尾花（Iris）分類任務目標：通過構建一個簡單的多層感知器（MLP）模型，使用鳶尾花數(shù)據集進行分類任務。我們通過數(shù)據預處理、定義神經網絡結構、訓練過程中的前向傳播與反向傳播、損失計算、優(yōu)化器更新等步驟，完成模型訓練，并記錄每一輪的損失和精度。任務流程30/57深度學習的智人時代反向傳播算法（BP）-初實踐鳶尾花數(shù)據介紹Iris鳶尾花數(shù)據集是一個經典數(shù)據集，在統(tǒng)計學習和機器學習領域都經常被用作示例。數(shù)據集內包含3類共150條記錄，每類各50個數(shù)據，每條記錄都有4項特征：花萼長度、花萼寬度、花瓣長度、花瓣寬度，通過這4個特征預測鳶尾花卉屬于（iris-setosa,iris-versicolour,iris-virginica）中的哪一品種31/57深度學習的智人時代反向傳播算法（BP）-初實踐lr=0.02#學習率epochs=300n_feature=4#輸入特征(鳶尾花四個特征)n_hidden=20#隱含層n_output=3#輸出(鳶尾花三種類別)32/57深度學習的智人時代反向傳播算法（BP）-初實踐iris=datasets.load_iris()#下載并導入數(shù)據#劃分數(shù)據集和測試集x_train0,x_test0,y_train,y_test=train_test_split(iris.data,iris.target,test_size=0.2,random_state=22)#歸一化x_train=np.zeros(np.shape(x_train0))x_test=np.zeros(np.shape(x_test0))foriinrange(4):xMax=np.max(x_train0[:,i])xMin=np.min(x_train0[:,i])x_train[:,i]=(x_train0[:,i]-xMin)/(xMax-xMin)x_test[:,i]=(x_test0[:,i]-xMin)/(xMax-xMin)33/57深度學習的智人時代反向傳播算法（BP）-初實踐classbpnnModel(torch.nn.Module):def__init__(self,n_feature,n_hidden,n_output):super(bpnnModel,self).__init__()self.hidden=torch.nn.Linear(n_feature,n_hidden)#定義隱藏層網絡self.out=torch.nn.Linear(n_hidden,n_output)#定義輸出層網絡defforward(self,x):x=Fun.relu(self.hidden(x))#隱藏層的激活函數(shù),采用relu,也可以采用sigmod,tanhout=Fun.softmax(self.out(x),dim=1)#輸出層softmax激活函數(shù)returnout34/57深度學習的智人時代反向傳播算法（BP）-初實踐net=bpnnModel(n_feature=n_feature,n_hidden=n_hidden,n_output=n_output)optimizer=torch.optim.Adam(net.parameters(),lr=lr)#優(yōu)化器選用隨機梯度下降方式loss_func=torch.nn.CrossEntropyLoss()#對于多分類一般采用的交叉熵損失函數(shù)35/57深度學習的智人時代反向傳播算法（BP）-初實踐loss_steps=np.zeros(epochs)#保存每一輪epoch的損失函數(shù)值accuracy_steps=np.zeros(epochs)#保存每一輪epoch的在測試集上的精度forepochinrange(epochs):y_pred=net(x_train)#前向過程loss=loss_func(y_pred,y_train)#輸出與label對比optimizer.zero_grad()#梯度清零loss.backward()#反向傳播optimizer.step()#使用梯度優(yōu)化器loss_steps[epoch]=loss.item()#保存loss#下面計算測試機的精度，不需要求梯度36/57深度學習的智人時代卷積神經網絡包含了多個卷積層和池化層。卷積層負責捕捉圖像中的特征，就像我們的眼睛識別物體的輪廓和紋理一樣。池化層則幫助網絡抓住重要特征，同時減少數(shù)據量，使得計算更加高效。結構特點37/57深度學習的智人時代初實踐-任務描述任務描述：訓練并測試LeNet卷積神經網絡進行MNIST數(shù)字分類任務目標：使用LeNet卷積神經網絡（CNN）進行MNIST數(shù)據集的數(shù)字分類。訓練并評估模型的性能，最終計算測試集上的準確率。任務流程38/57深度學習的智人時代卷積神經網絡-初實踐#計算出mnist數(shù)據中的均值與標準差，便于進行標準化train_dataset=MNIST(root='/MNIST_data',train=True,download=True,transform=transforms.ToTensor())train_loader=DataLoader(train_dataset,shuffle=True,batch_size=60000)forimg,targetintrain_loader:x=img.view(-1,28*28)print(x.shape)print(x.mean())print(x.std())print(set(target.numpy()))#查看標簽有多少個類別break39/57深度學習的智人時代卷積神經網絡-初實踐batchsize=64shuffle=True#shuffle表示是否將數(shù)據集打亂epoch=10learning_rate=0.01momentum=0.540/57深度學習的智人時代卷積神經網絡-初實踐classLeNet(torch.nn.Module):def__init__(self):super().__init__()

self.conv1=torch.nn.Sequential(torch.nn.Conv2d(1,6,kernel_size=5),torch.nn.ReLU(),torch.nn.AvgPool2d(kernel_size=2,stride=2),)......self.fc=torch.nn.Sequential(torch.nn.Linear(256,120),torch.nn.Linear(120,84),torch.nn.Linear(84,10))41/57深度學習的智人時代卷積神經網絡-初實踐defforward(self,x):batch_size=x.size(0)x=self.conv1(x)x=self.conv2(x)x=x.view(batch_size,-1)#flatten變成全連接網絡需要的輸入x=self.fc(x)returnx#最后輸出的是維度為10的，也就是（對應數(shù)學符號的0~9）42/57深度學習的智人時代卷積神經網絡-初實踐model=LeNet()criterion=torch.nn.CrossEntropyLoss()#交叉熵損失optimizer=torch.optim.SGD(model.parameters(),lr=learning_rate,momentum=momentum)43/57深度學習的智人時代卷積神經網絡-初實踐deftrain(epoch):running_loss=0.0#這整個epoch的loss清零running_total=0running_correct=0....loss.backward()#反向傳播得到每個參數(shù)的梯度值optimizer.step()#通過梯度下降執(zhí)行參數(shù)更新44/57深度學習的智人時代卷積神經網絡-初實踐deftest():correct=0total=0withtorch.no_grad():#測試集不用算梯度fordataintest_loader:images,labels=dataoutputs=model(images)values,predicted=torch.max(outputs.data,dim=1)total+=labels.size(0)correct+=(predicted==labels).sum().item()acc=correct/total45/57深度學習的智人時代循環(huán)神經網絡循環(huán)神經網絡的核心在于其獨特的遞歸結構設計。與傳統(tǒng)的前饋神經網絡不同，RNN的神經元之間形成了循環(huán)連接，就像人類閱讀文字時會記住前文內容一樣，RNN通過將當前的隱藏狀態(tài)傳遞給下一時刻，能夠捕捉時間序列中的動態(tài)模式。結構特點46/57深度學習的覺醒期學術界的覺醒-深度置信網絡（DBN）改善了梯度消失和梯度爆炸問題無向圖有向圖多個RBM（受限玻爾茲曼機）堆疊起來，就得到了深度玻爾茲曼機（DBM）；如果在DBM最遠離可視層的部分仍保持RBM不變,其他層（左圖下部和中部）使用貝葉斯信念網絡（BayesianBeliefNetwork）（RBM是無向圖，貝葉斯網絡是有向圖），就得到了深度信念網絡（DBN）結構特點47/57深度學習的覺醒期工業(yè)界的覺醒-Imagenet數(shù)據集和Alexnet模型結合ImageNet數(shù)據集示例AlexNet模型參數(shù)48/57深度學習的覺醒期A