第五章

深度學習

5.1深度學習概論

深度學習基礎2025年10月20日深度學習是機器學習的一個分支，它通過構建多層神經網絡模型來模擬人腦的學習過程。神經網絡由大量的神經元（或稱節(jié)點）相互連接而成，能夠自動地從輸入數據中提取特征并進行高效的信息處理。與傳統(tǒng)機器學習算法相比，深度學習模型具有更強的表達能力和泛化能力，能夠處理更加復雜和抽象的任務。5.1深度學習概論神經網絡學習過程人腦學習過程

深度學習基礎2025年10月20日在深度學習中，通過層次化的特征提取方式使模型能夠自動地學習數據的內在規(guī)律和模式，而無需人工進行特征工程。深度學習模型的核心是其層次結構。一個基本的深度學習模型由輸入層、隱藏層和輸出層組成：輸入層——接收原始數據隱藏層——提取特征和學習數據的抽象表示輸出層——根據這些特征做出預測或分類隨著技術的發(fā)展，深度學習模型的層數越來越多，形成了所謂的“深度”網絡，從而使模型能夠捕捉更加細微和復雜的數據模式。深度學習可分為監(jiān)督與非監(jiān)督學習：監(jiān)督學習包括深度前饋網絡、卷積神經網絡、循環(huán)神經網絡等無監(jiān)督學習包括深度信念網絡、深度玻爾茲曼機，深度自編碼器等5.1深度學習概論5.2深度學習發(fā)展歷程

深度學習起源階段2025年10月20日深度學習的起源可以追溯到20世紀40年代，當時人工神經網絡的概念首次出現。1943年，心理學家沃倫·麥卡洛克和數學邏輯學家沃爾特·皮茲提出了M-P模型：M-P模型模仿人類大腦神經元的結構和工作原理，構造出的一個基于神經網絡的數學模型。M-P模型作為人工神經網絡的起源，開創(chuàng)了人工神經網絡的新時代。1949年，加拿大著名心理學家唐納德·赫布在《TheOrganizationofBehavior》書中提出了一種基于無監(jiān)督學習的規(guī)則——赫布學習規(guī)則：赫布規(guī)則模仿人類認知世界的過程建立一種“網絡模型”，針對訓練集進行大量的訓練并提取訓練集的統(tǒng)計特征，然后按照樣本的相似程度進行分類。赫布規(guī)則與“條件反射”機理一致，為以后的神經網絡學習算法奠定了基礎。5.2深度學習發(fā)展歷程深度學習起源階段2025年10月20日20世紀50年代末，在M-P模型和赫布規(guī)則的研究基礎上，美國科學家弗蘭克·羅森布拉特于1958年，正式提出由兩層神經元組成的神經網絡，并稱之為“感知機”：感知機本質上是一種線性模型，可以對輸入的訓練集數據進行二分類，且能夠在訓練集中自動更新權值。感知機的提出吸引了大量科學家對人工神經網絡的研究興趣，對神經網絡的發(fā)展具有里程碑式的意義。1969年，AI之父馬文·明斯基和LOGO語言的創(chuàng)始人西蒙·派珀特共同編寫了一本書《Perceptrons》：書中證明了單層感知機無法解決線性不可分問題。由于這個致命的缺陷以及沒有及時將感知機推廣到多層神經網絡中，20世紀70年代，人工神經網絡進入了第一個寒冬期，人們對神經網絡的研究也停滯了將近20年。5.2深度學習發(fā)展歷程深度學習發(fā)展階段2025年10月20日20世紀80年代，反向傳播算法的提出推動了深度學習的發(fā)展。1982年，著名物理學家約翰·霍普菲爾德發(fā)明了Hopfield神經網絡：Hopfield神經網絡是一種結合存儲系統(tǒng)和二元系統(tǒng)的循環(huán)神經網絡。由于容易陷入局部最小值等缺陷，Hopfield神經網絡在當時并未引起足夠的重視。1986年，深度學習之父杰弗里·辛頓提出了一種適用于多層感知機的反向傳播算法：反向傳播算法不斷地調整神經元之間的權值和閾值，直到輸出的誤差減小到允許的范圍之內，或達到預設訓練次數為止。反向傳播算法完美地解決了非線性分類問題，讓人工神經網絡再次引起了人們的廣泛關注。由于當時計算機的硬件水平有限，同時以支持向量機SVM為代表的其它淺層機器學習算法陸續(xù)出現并取得很好的效果，人工神經網絡的發(fā)展再次進入了瓶頸期。5.2深度學習發(fā)展歷程深度學習爆發(fā)階段2025年10月20日21世紀，隨著計算機硬件水平提升以及大量數據積累，深度學習迎來爆發(fā)階段。2006年，杰弗里·辛頓以及他的學生魯斯蘭·薩拉赫丁諾夫正式提出了深度學習的概念：在《Science》上發(fā)表的一篇文章中詳細給出了深度神經網絡模型訓練的解決方案——通過無監(jiān)督的學習方法逐層訓練算法，再使用有監(jiān)督的反向傳播算法進行調優(yōu)。2012年，在著名的ImageNet圖像識別大賽中，杰弗里·辛頓領導的小組采用深度學習模型AlexNet一舉奪冠：深度學習算法在世界大賽的脫穎而出，也再一次吸引了學術界和工業(yè)界對于深度學習領域的關注。2016年，谷歌公司基于深度學習開發(fā)了AlphaGo：AlphaGo以4:1的比分戰(zhàn)勝了國際頂尖圍棋高手李世石，深度學習技術得到了學術界之外的更廣泛關注。2017年，基于強化學習算法的AlphaGo升級版AlphaGoZero橫空出世，以100:0的比分輕而易舉打敗了之前的AlphaGo。5.2深度學習發(fā)展歷程5.3深度神經網絡基本原理

深度神經網絡核心結構—神經元2025年10月20日神經元是深度神經網絡中最基礎的組成單元。人腦神經系統(tǒng)中，每個神經元通過發(fā)送電信號改變神經元的狀態(tài)并向其他神經元傳遞信息：神經元的兩種狀態(tài)：“興奮”和“抑制”當神經元接收到的電信號經由神經細胞處理達到一個閾值，其狀態(tài)被激活為“興奮”，并向其他神經元發(fā)送電信號基于人腦神經網絡中的神經細胞，1943年McCulloch和Pitts提出了M-P神經元模型：為了模擬人腦神經系統(tǒng)，通常會將多個神經元排列起來作為一層，多層疊加構成一個巨大且復雜的神經網絡，用于解決多種機器學習問題。M-P神經元模型人腦神經元結構5.3深度神經網絡基本原理深度神經網絡核心結構—神經元2025年10月20日神經元是深度神經網絡中最基礎的組成單元。

5.3深度神經網絡基本原理深度神經網絡核心結構—激活函數2025年10月20日激活函數是神經元的重要組成部分，決定了一個神經元是否被激活。

(a)階躍函數(b)Sigmoid函數(c)Tanh函數5.3深度神經網絡基本原理深度神經網絡核心結構—激活函數2025年10月20日激活函數是神經元的重要組成部分，決定了一個神經元是否被激活。

(d)ReLU函數(e)LeakyReLU函數(f)Swish函數5.3深度神經網絡基本原理多層網絡結構2025年10月20日深度神經網絡具有多層網絡結構，每層的神經元通常會與下一層的全部神經元相互連接，同一層的神經元之間彼此互不相連，跨層神經元之間也不相連。輸入層：接收原始數據特征。每個神經元代表數據的一個特征，例如在處理圖像時，每個輸入神經元對應一個像素。隱藏層：輸入層和輸出層之間的一層或多層神經結構，其作用是在數據的輸入和輸出之間進行特征變換和抽象。每個隱藏層都有一定數量的神經元，每個神經元將輸入信號加權后通過激活函數進行轉換。輸出層：產生最終的預測結果或輸出。輸出層的神經元數量取決于問題的類型，例如，分類問題需要與類別數量相等的輸出神經元，回歸問題只需要一個輸出神經元。。面對復雜問題時，單個神經元的能力往往是不足的，需要眾多神經元一起協(xié)作實現復雜功能。5.3深度神經網絡基本原理深度神經網絡參數優(yōu)化2025年10月20日為了完成復雜任務，需要對深度神經網絡的參數進行優(yōu)化，進而更好地擬合數據。損失：衡量預期結果和模型輸出之間的差異

…

…

…

預期結果模型輸出

…

損失計算

5.3深度神經網絡基本原理深度神經網絡參數優(yōu)化2025年10月20日如何減小預測結果和模型輸出之間的差異，進而尋找到最優(yōu)模型呢？將損失函數?(??)作為優(yōu)化目標，并利用優(yōu)化算法迭代尋找使損失函數最小的模型參數。最常用的優(yōu)化算法：梯度下降法（GradientDescentMethod）。思考一個場景：旅行者被困在了一座山上，無法找到一條明確的下山路徑，那么他應該如何前進才能盡快抵達山底呢？尋找當前位置周圍坡度下降最陡峭的方向沿著這個方向前進一小段距離隨后不斷迭代這個過程，直到抵達山底5.3深度神經網絡基本原理深度神經網絡參數優(yōu)化2025年10月20日

5.3深度神經網絡基本原理深度神經網絡參數優(yōu)化2025年10月20日學習率是梯度下降法中一個重要的超參數：學習率較?。耗Ｐ蛽p失的下降速度會非常慢，模型需要花費非常長的時間實現收斂學習率較大：模型損失會快速下降，隨后在一個區(qū)域內反復震蕩，難以走到最優(yōu)點學習率過大：模型損失的變化幅度也會過大，導致發(fā)生梯度爆炸的問題。如何設置合適的學習率？常用的學習率設置方式通常以“先上升，后下降”的方式來動態(tài)調整學習率。需要人為設置學習率??和預熱步數??通過兩個階段實現學習率的動態(tài)調整：預熱階段：在神經網絡剛開始訓練的階段，模型損失較大。為了保證模型具有良好的收斂性，避免出現梯度爆炸的問題，在前??步迭代優(yōu)化中，需要將學習率從一個非常小的值逐漸增加到預先設置的學習率??。衰減階段：隨著模型的不斷優(yōu)化，其損失也會不斷降低。為了防止因學習率過大而導致損失震蕩、難以找到最優(yōu)解的問題，需要將學習率從預設的??逐漸衰減，直至參數優(yōu)化過程結束。5.3深度神經網絡基本原理深度神經網絡參數優(yōu)化2025年10月20日

5.3深度神經網絡基本原理深度神經網絡參數優(yōu)化2025年10月20日反向傳播算法（Backpropagation，BP）計算過程：（考慮兩層網絡結構）

5.3深度神經網絡基本原理深度神經網絡參數優(yōu)化2025年10月20日反向傳播算法（Backpropagation，BP）計算過程：（擴展到多層網絡結構）每層網絡的梯度均由其下一層網絡的梯度加權得到。5.3深度神經網絡基本原理5.4典型的神經網絡

卷積神經網絡2025年10月20日卷積神經網絡（CNN）是一種深層學習架構，專門用于處理具有網格狀拓撲結構的輸入數據（如圖像），通過一系列層次化的處理步驟，逐步從原始輸入數據中提取高級語義特征。一個典型的CNN由卷積層、匯聚層、全連接層交叉堆疊而成，數據前向傳播涉及多階段計算，每個階段由特定層執(zhí)行：卷積層通過濾波器（或稱為卷積核）在輸入數據上滑動，執(zhí)行卷積操作，以捕捉局部特征并生成特征映射。匯聚層對特征映射進行降采樣，以增強模型對空間變換的不變性，并減少后續(xù)層的參數數量。全連接層進一步將特征映射至樣本的標簽空間，從而實現分類或回歸等任務。將ReLU等非線性激活函數應用于層的輸出，能夠引入非線性特性，從而使網絡能夠學習復雜的函數映射。5.4典型的神經網絡輸入輸出卷積層+ReLU匯聚層全連接層匯聚層卷積層+ReLU卷積層2025年10月20日在CNN的架構中，卷積層承擔著從輸入數據中提取局部特征的關鍵作用。每個卷積核（ConvolutionalKernel）或濾波器（Filter）都可以視為一個特定的特征檢測器，它們在圖像的局部區(qū)域內滑動，以識別和響應特定的模式或特征：為了更有效地捕捉圖像的局部空間信息，卷積層中的神經元通常被組織成三維的體積結構，其維度為高度（H）×寬度（W）×深度（D），這種結構由D個二維的特征映射組成。特征映射是指經過卷積操作后，從圖像（或其它特征映射）中提取出的一組特征。每個特征映射代表了一類特定的圖像特征，例如邊緣、紋理或形狀等。5.4典型的神經網絡一維卷積輸入卷積核輸出二維卷積輸入卷積核輸出匯聚層2025年10月20日匯聚層（PoolingLayer）也稱為池化層或子采樣層（SubsamplingLayer），旨在進行特征降維，篩選關鍵特征并減少特征的總體數量，從而降低模型的參數規(guī)模。匯聚層主要有兩種實現方式：最大匯聚（MaxPooling）和平均匯聚（AveragePooling）。：最大匯聚選擇每個非重疊的子區(qū)域（如2×2的區(qū)域）中的最大值作為該區(qū)域的代表，使得網絡對輸入數據的局部變化表現出一定的不變性。平均匯聚計算每個子區(qū)域中所有元素的平均值，是一種更加平滑的降采樣手段。5.4典型的神經網絡max(54,54,49,48)=54最大匯聚avg(54,54,49,48)=51.25平均匯聚全連接層2025年10月20日全連接層：全連接層在卷積神經網絡架構中扮演著“分類器”的關鍵角色。基于卷積層、池化層（匯聚層）以及激活函數等組件計算得到的特征，全連接層進一步將其映射至樣本的標簽空間，從而實現分類或回歸等任務。目標函數：目標函數（也稱損失函數）用來衡量該預測值與真實樣本標記之間的誤差。在卷積神經網絡中，均方差損失(MeanSquaredLoss)、交叉熵損失函數(CrossEntropyLoss)是分類問題和回歸問題中常用的目標函數。5.4典型的神經網絡循環(huán)神經網絡2025年10月20日循環(huán)神經網絡（RNN）是一種適合于處理序列數據的反饋神經網絡架構。

5.4典型的神經網絡

循環(huán)神經網絡2025年10月20日

5.4典型的神經網絡長短期記憶網絡門控循環(huán)單元網絡5.5深度學習的未來

深度學習的發(fā)展趨勢2025年10月20日隨著計算能力的持續(xù)增強和算法的不斷改進，深度學習模型參數規(guī)模增長，也展現出更優(yōu)異的性能，如上下文學習、推理能力等。5.5深度學習的未來深度學習魯棒性可解釋大語言模型……隱私安全跨模態(tài)學習整合不同類型的數據，如文本、圖像、聲音等，以實現更豐富的應用場景和更準確的決策支持。設計更加透明和可解釋的模型結構。關注隱私保護和安全性技術，包括差分隱私、安全多方計算等方法的應用。在各種不同的環(huán)境和條件下保持高效的表現，抵抗數據中的干擾和不確定性。深度學習的影響2025年10月20日約翰·霍普菲爾德和杰弗里·辛頓因在人工神經網絡和機器學習方面的奠基性工作而共同獲得了2024年諾貝爾物理學獎。5.5深度學習的未來深度學習技術的發(fā)展不僅推動了人工智能的進步，也對更大范圍的科學技術產生了深遠影響。戴維·貝克、德米斯·哈薩比斯、約翰·江珀

獲2024年諾貝爾化學獎。哈薩比斯和江珀來自谷歌DeepMind，他們開發(fā)的AI模型AlphaFold改變了研究蛋白質結構的方式，對理解蛋白質的功能和開發(fā)新藥物具有重要意義。5.6深度學習的應用

語音識別2025年10月20日語音識別是將語音信號轉換為文本的技術?；旌细咚鼓Ｐ停℅aussianMixtureModel，GMM）長期在語音識別應用領域占據主導地位：優(yōu)點：估計過程簡便、能夠良好適應大規(guī)模數據訓練。缺點：淺層網絡難以充分捕捉特征狀態(tài)空間的復雜分布特性；特征維度通常較低，難以描述特征間復雜的相關性；

基于似然概率進行建模，對不同模式類的區(qū)分能力相對有限。基于深度學習的語音識別：深度神經網絡通過模擬人腦的多層結構，能夠逐級提取信息特征，最終形成適合于模式分類的高質量特征表示。這種多層結構在處理語音和圖像信息方面與人腦的處理機制存在顯著的相似性。在實際的線上服務中，深度神經網絡的建模技術能夠無縫地與傳統(tǒng)語音識別技術相結合，無需引入任何額外的系統(tǒng)開銷，即可顯著提升語音識別系統(tǒng)的準確率。5.6深度學習的應用今天天氣多云轉晴，最高氣溫……自動駕駛2025年10月20日自動駕駛技術旨在減輕駕駛員負擔、降低