《深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)》第1章

緒論第2章

人工神經(jīng)網(wǎng)絡(luò)計(jì)算第3章

多層感知器神經(jīng)網(wǎng)絡(luò)第4章

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第5章

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)第6章

卷積神經(jīng)網(wǎng)絡(luò)原理與實(shí)踐第7章

循環(huán)神經(jīng)網(wǎng)絡(luò)原理第8章

注意力機(jī)制與反饋神經(jīng)網(wǎng)絡(luò)第9章

深度學(xué)習(xí)與網(wǎng)絡(luò)優(yōu)化第10章

受限玻爾茲曼機(jī)與深度置信網(wǎng)絡(luò)第11章

棧式自編碼器第12章

對(duì)抗神經(jīng)網(wǎng)絡(luò)第13章

圖神經(jīng)網(wǎng)絡(luò)第14章

深度強(qiáng)化學(xué)習(xí)理論第15章

深度學(xué)習(xí)可解釋性第16章

多模態(tài)預(yù)訓(xùn)練大模型全套可編輯PPT課件

第一章

緒論關(guān)于本課程本課程體系的主要框架1關(guān)于本課程4人工智能的一個(gè)重要分支領(lǐng)域人工智能（ArtificialIntelligence，AI）是指使計(jì)算機(jī)能夠具有人的智能行為。人工智能是關(guān)于知識(shí)的科學(xué)，研究知識(shí)的表示、獲取和應(yīng)用。深度學(xué)習(xí)：一類機(jī)器學(xué)習(xí)問題，主要解決貢獻(xiàn)度分配問題。神經(jīng)網(wǎng)絡(luò)：一種以（人工）神經(jīng)元為基本單元的模型。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)本書基本的知識(shí)框架體系5知識(shí)準(zhǔn)備6知識(shí)準(zhǔn)備線性代數(shù)微積分?jǐn)?shù)學(xué)優(yōu)化概率論信息論數(shù)學(xué)基礎(chǔ)知識(shí)詳見附件A課外知識(shí)7推薦課程斯坦福大學(xué)CS224d:DeepLearningforNaturalLanguageProcessing/RichardSocher

主要講解自然語言處理領(lǐng)域的各種深度學(xué)習(xí)模型。斯坦福大學(xué)CS231n:ConvolutionalNeuralNetworksforVisualRecognition/Fei-FeiLiAndrejKarpathy

主要講解CNN、RNN在圖像領(lǐng)域的應(yīng)用加州大學(xué)伯克利分校CS294:DeepReinforcementLearning/deeprlcourse/第一節(jié)與深度學(xué)習(xí)有關(guān)的幾個(gè)概念1.1人工智能9人工智能的定義Turing定義。1950年，英國(guó)數(shù)學(xué)家阿蘭·圖靈（AlanTuring）在論文Canmachinesthink中提出，交談能檢驗(yàn)智能，如果一臺(tái)計(jì)算機(jī)能像人一樣交談，那么它就能像人一樣思考。Feigenbanm定義。對(duì)于Feigenbanm定義，即只告訴機(jī)器做什么，而不告訴它怎么做，機(jī)器就能完成工作，便可說機(jī)器有了智能。所謂智能，就是指理解和思考的能力。智能機(jī)器是指能夠在各種環(huán)境中執(zhí)行各種擬人任務(wù)的機(jī)器。概括地講，人工智能是研究理解和模擬人類智能、智能行為及其規(guī)律的科學(xué)，主要任務(wù)是建立智能信息處理理論、認(rèn)知理論、行為控制理論等，進(jìn)而設(shè)計(jì)出可以模仿人類智能行為的計(jì)算系統(tǒng)。圖靈測(cè)試10AlanTuring人工智能的定義一個(gè)人在不接觸對(duì)方的情況下，通過一種特殊的方式，和對(duì)方進(jìn)行一系列的問答。如果在相當(dāng)長(zhǎng)時(shí)間內(nèi)，他無法根據(jù)這些問題判斷對(duì)方是人還是計(jì)算機(jī)，那么就可以認(rèn)為這個(gè)計(jì)算機(jī)是智能的”。AlanTuring[1950]《ComputingMachineryandIntelligence》人工智能學(xué)派11人工智能學(xué)派符號(hào)主義，又稱為邏輯主義、心理學(xué)派、計(jì)算機(jī)學(xué)派。它基于物理符號(hào)系統(tǒng)（符號(hào)操作系統(tǒng)）假設(shè)和有限合理性原理，以基本的邏輯運(yùn)算和推理為依據(jù)，通過符號(hào)系統(tǒng)分析人類的智能行為。這個(gè)學(xué)派的代表人物有紐厄爾（Newell）、西蒙（Simon）和尼爾遜（Nilsson）等。連接主義，又稱為仿生學(xué)派或生理學(xué)派，是認(rèn)知科學(xué)研究領(lǐng)域的理論和方法。它認(rèn)為人工智能源于仿生學(xué)，特別是對(duì)人腦模型的研究。認(rèn)知科學(xué)認(rèn)為人類的認(rèn)知過程是一種信息處理過程，大腦的工作過程就是由大量的簡(jiǎn)單神經(jīng)元構(gòu)成的復(fù)雜神經(jīng)網(wǎng)絡(luò)的信息處理過程。行為主義，又稱進(jìn)化主義或控制論學(xué)派，其原理為控制論及感知-動(dòng)作型控制系統(tǒng)，認(rèn)為人工智能源于控制論。維納（Wiener）和麥克洛克（McCulloch）等人提出的控制論與自組織系統(tǒng)，以及錢學(xué)森等人提出的工程控制論和生物控制論影響了許多領(lǐng)域。機(jī)器學(xué)習(xí)的定義W是這個(gè)給定世界的有限或無限所有對(duì)象的集合，由于觀察能力的限制，我們智能獲得這個(gè)世界的一個(gè)有限的子集Q∈W，稱為樣本集。機(jī)器學(xué)習(xí)就是根據(jù)這個(gè)有限樣本集Q，推算這個(gè)世界的模型，使得其對(duì)這個(gè)世界為真。機(jī)器學(xué)習(xí)（Machine

Learing）12Model泛化建模QW訓(xùn)練與泛化機(jī)器學(xué)習(xí)的解釋

通過經(jīng)驗(yàn)提高系統(tǒng)自身性能的過程（系統(tǒng)自我改進(jìn)）。

機(jī)器學(xué)習(xí)是數(shù)據(jù)分析核心研究領(lǐng)域之一。一個(gè)沒有學(xué)習(xí)功能的系統(tǒng)是不能被稱為智能系統(tǒng)。機(jī)器學(xué)習(xí)正逐漸從傳統(tǒng)的AI中獨(dú)立出來，成為一種新的問題求解工具。機(jī)器學(xué)習(xí)13機(jī)器學(xué)習(xí)的數(shù)學(xué)描述G為產(chǎn)生器，產(chǎn)生隨機(jī)向量，從固定但未知的概率分布函數(shù)中獨(dú)立抽取。S為訓(xùn)練器，對(duì)于每一個(gè)輸入向量返回一個(gè)輸出值，根據(jù)固定但未知的條件概率分布函數(shù)產(chǎn)生。LM為函數(shù)學(xué)習(xí)機(jī)，能夠?qū)崿F(xiàn)一定的函數(shù)集，函數(shù)學(xué)習(xí)的過程即特征處理的過程，包括特征提取和特征轉(zhuǎn)換，其中是參數(shù)集合。有3類基本的機(jī)器學(xué)習(xí)問題，即模式識(shí)別、函數(shù)逼近和概率密度估計(jì)。表示學(xué)習(xí)14表示學(xué)習(xí)表示學(xué)習(xí)是機(jī)器學(xué)習(xí)的核心問題。特征工程：需要借助人類智能好的表示如何自動(dòng)從數(shù)據(jù)中學(xué)習(xí)好的表示“好的表示”是一個(gè)非常主觀的概念，沒有一個(gè)明確的標(biāo)準(zhǔn)。好的表示具有以下幾個(gè)優(yōu)點(diǎn)：要具有很強(qiáng)的表示能力。使后續(xù)的學(xué)習(xí)任務(wù)變得簡(jiǎn)單。具有一般性，是任務(wù)或領(lǐng)域獨(dú)立的。語義表示15計(jì)算機(jī)的語義表示局部表示One-Hot向量分布式表示壓縮、低微、稠密向量One-Hot向量局部表示嵌入：壓縮、低維、稠密向量知識(shí)庫規(guī)則163一個(gè)顏色的表示例子16深度學(xué)習(xí)17深度學(xué)習(xí)的特征通過構(gòu)建具有一定“深度”的模型，可以讓模型來自動(dòng)學(xué)習(xí)好的特征表示（從底層特征，到中層特征，再到高層特征），從而最終提升預(yù)測(cè)或識(shí)別的準(zhǔn)確性。深度學(xué)習(xí)深度學(xué)習(xí)與表示學(xué)習(xí)18深度學(xué)習(xí)的常用框架19深度學(xué)習(xí)框架特點(diǎn)簡(jiǎn)易和快速的原型設(shè)計(jì)自動(dòng)梯度計(jì)算無縫CPU和GPU切換第二節(jié)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的發(fā)展歷程1.2神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程21神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程22神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程（一）

神經(jīng)網(wǎng)絡(luò)經(jīng)歷了起伏跌宕、波瀾壯闊的發(fā)展周期，其中有3次標(biāo)志性的熱潮，分別是1943年的神經(jīng)網(wǎng)絡(luò)的誕生、1983年的神經(jīng)網(wǎng)絡(luò)的復(fù)興及2006年的深度學(xué)習(xí)的崛起。神經(jīng)網(wǎng)絡(luò)的誕生（1943—1969年）在1943年，心理學(xué)家WarrenMcCulloch和數(shù)學(xué)家WalterPitts和最早描述了一種理想化的人工神經(jīng)網(wǎng)絡(luò)，并構(gòu)建了一種基于簡(jiǎn)單邏輯運(yùn)算的計(jì)算機(jī)制。他們提出的神經(jīng)網(wǎng)絡(luò)模型稱為MP模型。阿蘭·圖靈在1948年的論文中描述了一種“B型圖靈機(jī)”。(赫布型學(xué)習(xí))1951年，McCulloch和Pitts的學(xué)生MarvinMinsky建造了第一臺(tái)神經(jīng)網(wǎng)絡(luò)機(jī)，稱為SNARC。Rosenblatt[1958]最早提出可以模擬人類感知能力的神經(jīng)網(wǎng)絡(luò)模型，并稱之為感知器（Perceptron），并提出了一種接近于人類學(xué)習(xí)過程（迭代、試錯(cuò)）的學(xué)習(xí)算法。神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程23神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程（二）

神經(jīng)網(wǎng)絡(luò)之后經(jīng)歷了長(zhǎng)達(dá)10年的冷落期，主要由于當(dāng)時(shí)基本感知機(jī)無法處理異或回路，并且計(jì)算機(jī)處理能力還非常有限。1974年，哈佛大學(xué)的PaulWebos發(fā)明反向傳播算法，但當(dāng)時(shí)沒有收到重視。隨后幾年，反向傳播算法引起了新的復(fù)興。神經(jīng)網(wǎng)絡(luò)的復(fù)興1983年，加州理工學(xué)院的物理學(xué)家JohnHopfield對(duì)神經(jīng)網(wǎng)絡(luò)引入能量函數(shù)的概念，并提出了用于聯(lián)想記憶和優(yōu)化計(jì)算的網(wǎng)絡(luò)（稱為Hopfield網(wǎng)絡(luò)），在旅行商問題上獲得當(dāng)時(shí)最好結(jié)果，引起轟動(dòng)。1984年，GeoffreyHinton提出一種隨機(jī)化版本的Hopfield網(wǎng)絡(luò)，即玻爾茲曼機(jī)。1986年，DavidRumelhart和JamesMcClelland對(duì)于聯(lián)結(jié)主義在計(jì)算機(jī)模擬神經(jīng)活動(dòng)中的應(yīng)用提供了全面的論述，并重新發(fā)明了反向傳播算法。GeoffreyHinton[1986]等人將引入到多層感知器。神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程24神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程（三）

在20世紀(jì)90年代中期，神經(jīng)網(wǎng)絡(luò)雖有統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)為代表的機(jī)器學(xué)習(xí)模型興起，但也由于理論基礎(chǔ)不清晰、優(yōu)化困難、可解釋性差等缺點(diǎn)更加凸顯，神經(jīng)網(wǎng)絡(luò)進(jìn)入又一次低潮期。直到2006年后，深度學(xué)習(xí)的提出將神經(jīng)網(wǎng)絡(luò)推向了又一個(gè)高潮。深度學(xué)習(xí)的崛起2006年深度學(xué)習(xí)誕生。HintonandSalakhutdinov[2006]發(fā)現(xiàn)多層前饋神經(jīng)網(wǎng)絡(luò)可以先通過逐層預(yù)訓(xùn)練，再用反向傳播算法進(jìn)行精調(diào)的方式進(jìn)行有效學(xué)習(xí)。深度的人工神經(jīng)網(wǎng)絡(luò)在語音識(shí)別和圖像分類等任務(wù)上的巨大成功。隨著大規(guī)模并行計(jì)算以及GPU設(shè)備的普及，計(jì)算機(jī)的計(jì)算能力得以大幅提高。此外，可供機(jī)器學(xué)習(xí)的數(shù)據(jù)規(guī)模也越來越大。在計(jì)算能力和數(shù)據(jù)規(guī)模的支持下，計(jì)算機(jī)已經(jīng)可以訓(xùn)練大規(guī)模的人工神經(jīng)網(wǎng)絡(luò)。第三節(jié)神經(jīng)網(wǎng)絡(luò)的產(chǎn)生機(jī)理1.3大腦研究的基本情況26計(jì)算機(jī)的語義表示局部表示One-Hot向量分布式表示壓縮、低微、稠密向量腦組織的基本組成27大腦的基本工作原理28第四節(jié)生物神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1.4生物神經(jīng)網(wǎng)絡(luò)基礎(chǔ)30神經(jīng)元的基本結(jié)構(gòu)神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)最基本的單位，故稱為神經(jīng)元。包括神經(jīng)細(xì)胞體（Soma）,樹突（Dendrites）,軸突(Axon)和突觸（Synapse）4個(gè)部分。神經(jīng)元基本結(jié)構(gòu)如右圖所示軸突細(xì)胞體突觸樹突神經(jīng)元的基本分類31神經(jīng)元的基本分類按神經(jīng)元突起的數(shù)目分類假單極神經(jīng)元（PseudounipolarNeuron）雙極神經(jīng)元（BipolarNeuron）多極神經(jīng)元（MultipolarNeuron）按神經(jīng)元的功能分類感覺神經(jīng)元運(yùn)動(dòng)神經(jīng)元中間神經(jīng)元神經(jīng)元的信息傳遞機(jī)理32神經(jīng)元之間信息的產(chǎn)生神經(jīng)元之間的信息產(chǎn)生神經(jīng)元之間的信息傳遞神經(jīng)元之間的信息整合神經(jīng)系統(tǒng)功能33生物神經(jīng)網(wǎng)絡(luò)的構(gòu)成34生物神經(jīng)網(wǎng)絡(luò)多個(gè)多個(gè)生物神經(jīng)元以確定的方式和拓?fù)浣Y(jié)構(gòu)相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。假單極神經(jīng)元（PseudounipolarNeuron）雙極神經(jīng)元（BipolarNeuron）多極神經(jīng)元（MultipolarNeuron）按神經(jīng)元的功能分類感覺神經(jīng)元運(yùn)動(dòng)神經(jīng)元中間神經(jīng)元總結(jié)35緒論與深度學(xué)習(xí)有關(guān)的幾個(gè)概念人工智能機(jī)器學(xué)習(xí)表示學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的發(fā)展歷程神經(jīng)網(wǎng)絡(luò)的誕生神經(jīng)網(wǎng)絡(luò)的復(fù)興深度學(xué)習(xí)的崛起神經(jīng)網(wǎng)絡(luò)的產(chǎn)生機(jī)理生物神經(jīng)網(wǎng)絡(luò)基礎(chǔ)謝謝！第二章

人工神經(jīng)網(wǎng)絡(luò)計(jì)算人工神經(jīng)網(wǎng)絡(luò)計(jì)算38

20世紀(jì)80年代中后期，最流行的一種連接主義模型是分布式并行處理（ParallelDistributedProcessing，PDP）模型。它有3個(gè)主要特性：信息表示是分布式的（非局部的）記憶和知識(shí)存儲(chǔ)在單元之間的連接上通過逐漸改變單元之間的連接強(qiáng)度來學(xué)習(xí)新的知識(shí)第一節(jié)神經(jīng)網(wǎng)絡(luò)的概述2.1神經(jīng)網(wǎng)絡(luò)概述40第二節(jié)人工神經(jīng)元模型2.2人工神經(jīng)元模型42

人工神經(jīng)元（ArtificialNeuron）（或稱神經(jīng)元）是神經(jīng)網(wǎng)絡(luò)操作的基本信息處理單位，主要模擬生物神經(jīng)元的結(jié)構(gòu)和特性，接受一組輸入信息后，經(jīng)過信號(hào)處理、加工產(chǎn)生輸出。每個(gè)神經(jīng)元都是一個(gè)多輸入、單輸出的信息處理單元。神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型。神經(jīng)元具有空間整合特性和閾值特性。神經(jīng)元輸入與輸出間有固定的時(shí)滯，主要取決于突觸延擱。忽略時(shí)間整合作用和不應(yīng)期。神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。基本神經(jīng)元模型43神經(jīng)元基本模型突觸，用其權(quán)值標(biāo)識(shí)。加法器，用于求輸入信號(hào)被神經(jīng)元的相應(yīng)突觸權(quán)值加權(quán)的和。這個(gè)操作構(gòu)成一個(gè)線性組合器。激活函數(shù)，用于限制神經(jīng)元的輸出振幅。由于它將輸出信號(hào)壓制（限制）為允許范圍內(nèi)的一個(gè)定值，所以激活函數(shù)也稱為壓制函數(shù)。通常，一個(gè)神經(jīng)元輸出的正常幅度范圍可寫成閉區(qū)間[0,1]或[-1,1]。44常用激活函數(shù)45閾值函數(shù)

閾值函數(shù)又叫階躍函數(shù)，分為單極性閾值函數(shù)和雙極性閾值函數(shù)。單極性閾值函數(shù)的定義及圖示雙極性閾值函數(shù)的定義及圖示常用激活函數(shù)46Sigmoid函數(shù)

Sigmoid函數(shù)圖形是S形的，稱為S型函數(shù)，又叫壓縮函數(shù)，是嚴(yán)格遞增函數(shù)。Logistic函數(shù)，也叫邏輯特斯函數(shù)，其一般形式為tanh函數(shù)也稱為雙曲正切函數(shù)，定義為常用激活函數(shù)47ReLU函數(shù)

ReLU函數(shù)也叫Rectifier函數(shù)，是深度神級(jí)網(wǎng)絡(luò)中經(jīng)常使用的激活函數(shù)。常見的激活函數(shù)及其導(dǎo)數(shù)48Softmax輸出分類49Softmax輸出分類Softmax函數(shù)也稱歸一化指數(shù)函數(shù)或多項(xiàng)（Multinomial）、多類（Multi-Class）的回歸。Softmax函數(shù)50Softmax向量表示Softmax函數(shù)也稱歸一化指數(shù)函數(shù)或多項(xiàng)（Multinomial）、多類（Multi-Class）的回歸。Softmax應(yīng)用舉例51Softmax應(yīng)用舉例52第三節(jié)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)54神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成，這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)。單層前饋網(wǎng)絡(luò)最簡(jiǎn)單的分層網(wǎng)絡(luò)，直接由源節(jié)點(diǎn)構(gòu)成輸入層，直接投射到神經(jīng)元輸出層。多層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)是由多個(gè)單層網(wǎng)絡(luò)連接而成的。反饋網(wǎng)絡(luò)又稱聯(lián)想記憶網(wǎng)絡(luò)，網(wǎng)絡(luò)中的神經(jīng)元不但可以接收其他神經(jīng)元的信息，也可以接收自己的歷史信息。圖網(wǎng)絡(luò)圖網(wǎng)絡(luò)是前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)的泛化，包含很多不同的實(shí)現(xiàn)方式，如圖卷積神經(jīng)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)等。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖示55單層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)圖網(wǎng)絡(luò)第四節(jié)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法2.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法57無監(jiān)督學(xué)習(xí)的Hebb算法Hebb算法是由Hebb在1961年提出的。該算法認(rèn)為，連接兩個(gè)神經(jīng)元的突觸的強(qiáng)度按下列規(guī)則變化：當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激活狀態(tài)時(shí)，強(qiáng)度被加強(qiáng)；否則被減弱。用數(shù)學(xué)形式表示如下：監(jiān)督學(xué)習(xí)的Delta算法在監(jiān)督學(xué)習(xí)訓(xùn)練算法中，最為重要、應(yīng)用最普遍的是Delta規(guī)則。1960年，Widrow和Hoff提出了如下形式的Delta規(guī)則：第五節(jié)神經(jīng)網(wǎng)絡(luò)損失函數(shù)2.5神經(jīng)網(wǎng)絡(luò)的損失函數(shù)59均方差損失函數(shù)

神經(jīng)網(wǎng)絡(luò)的損失函數(shù)60平均絕對(duì)誤差損失函數(shù)

神經(jīng)網(wǎng)絡(luò)的損失函數(shù)61交叉熵?fù)p失函數(shù)

神經(jīng)網(wǎng)絡(luò)損失函數(shù)62

神經(jīng)網(wǎng)絡(luò)損失函數(shù)63交叉熵?fù)p失函數(shù)當(dāng)分類任務(wù)為二分類任務(wù)時(shí)，模型最后需要預(yù)測(cè)的結(jié)果只有兩種情況，因此，對(duì)于每個(gè)類別，預(yù)測(cè)得到的概率為y和1-y,其表達(dá)式為

但分類任務(wù)為多分類任務(wù)時(shí)，其表達(dá)式為第六節(jié)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則2.6極大似然估計(jì)65似然函數(shù)定義

概率模型的訓(xùn)練過程就是參數(shù)估計(jì)過程。似然函數(shù)的重要性不是它的取值，而是當(dāng)參數(shù)變化時(shí)，概率密度函數(shù)到底是變大還是變小。分布式表示壓縮、低微、稠密向量經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則66過擬合和欠擬合67過擬合定義結(jié)構(gòu)化最小準(zhǔn)則過擬合與欠擬合68欠擬合與過擬合正好相反，即表示模型不能很好地?cái)M合訓(xùn)練數(shù)據(jù)欠擬合與過擬合圖示第七節(jié)梯度下降法2.7梯度下降法70梯度下降法71一維梯度下降梯度下降法72一維梯度下降梯度下降法73多維梯度下降隨機(jī)梯度下降74隨機(jī)梯度下降隨機(jī)梯度下降75第八節(jié)網(wǎng)絡(luò)正則化方法2.8L1和L2正則化77提前停止78權(quán)重衰減79權(quán)重衰減在每次參數(shù)更新時(shí)，引入引入一個(gè)衰減系數(shù)w。在標(biāo)準(zhǔn)的隨機(jī)梯度下降中，權(quán)重衰減正則化和L2正則化的效果相同。在較為復(fù)雜的優(yōu)化方法（比如Adam）中，權(quán)重衰減和L2正則化并不等價(jià)。數(shù)據(jù)增強(qiáng)80神經(jīng)元的基本分類

圖像數(shù)據(jù)的增強(qiáng)主要是通過算法對(duì)圖像進(jìn)行轉(zhuǎn)變，引入噪聲等方法來增強(qiáng)數(shù)據(jù)的多樣性。數(shù)據(jù)增強(qiáng)的方法旋轉(zhuǎn)（Rotation）變換：將圖像按順時(shí)針或逆時(shí)針方向隨機(jī)旋轉(zhuǎn)一定角度；翻轉(zhuǎn)（Flip）變換：將圖像沿水平或垂直方法隨機(jī)翻轉(zhuǎn)一定角度；縮放（ZoomIn/Out）：將圖像放大或縮小一定比例；平移（Shift）變換：將圖像沿水平或垂直方法平移一定步長(zhǎng)；加噪聲（Noise）：加入隨機(jī)噪聲。尺度變換：對(duì)圖像按照指定的尺度因子進(jìn)行放大或縮小；或者參照SIFT特征提取思想，利用指定的尺度因子對(duì)圖像進(jìn)行濾波，構(gòu)造尺度空間。尺度變換用來改變圖像內(nèi)容的大小或模糊程度標(biāo)簽平滑81標(biāo)簽平滑

假設(shè)訓(xùn)練集中有一些樣本的標(biāo)簽是被錯(cuò)誤標(biāo)注的，那么最小化這些樣本上的損失函數(shù)會(huì)導(dǎo)致過擬合。一種改善這種過擬合的正則化方法是標(biāo)簽平滑（LabelSmoothing），或者稱為標(biāo)簽平滑正則化（Label-SmoothingRegularization）。輸出標(biāo)簽中添加噪聲來避免模型過擬合。一個(gè)樣本x的標(biāo)簽一般用onehot向量表示。引入一個(gè)噪聲對(duì)標(biāo)簽進(jìn)行平滑，即假設(shè)樣本以?的概率為其它類。平滑后的標(biāo)簽為第九節(jié)模型評(píng)估方法2.9混淆矩陣83準(zhǔn)確率、精確率、召回率84準(zhǔn)確率、精確率、召回率85神經(jīng)元的基本分類準(zhǔn)確率（Accuracy）又稱正確率，為最常用的分類評(píng)價(jià)指標(biāo)，表示正確預(yù)測(cè)的各分類的數(shù)量/總數(shù)精確率（Precision）也叫精度或查準(zhǔn)率。類別c的精確率是所有預(yù)測(cè)為類別c的樣本中預(yù)測(cè)正確的比例

召回率（Recall）也叫查全率。類別c的召回率是所有真實(shí)標(biāo)簽為類別c的樣本中預(yù)測(cè)正確的比例F值（FMeasure）是一個(gè)綜合指標(biāo)，為精確率和召回率的調(diào)和平均ROC/AUC/PR曲線86ROC曲線

ROC（ReceiverOperatingCharacteristic）曲線又稱為接受者操作特征曲線。其各點(diǎn)含義為點(diǎn)(0,1)：FPR=0、TPR=1，意味著FN=0且FP=0，將所有的樣本都正確分類。點(diǎn)(1,0)：FPR=1、TPR=0，是最差分類器，避開了所有正確的答案。點(diǎn)(0,0)：FPR=TPR=0、FP=TP=0，分類器把每個(gè)樣本都預(yù)測(cè)為負(fù)例。點(diǎn)(1,1)：FPR=TPR=1、FP=TP=1，分類器把每個(gè)樣本都預(yù)測(cè)為正例。ROC/AUC/PR曲線87AUC曲線

AUC（AreaUnderCurve）的值為ROC曲線下面的面積，若分類器的性能極好，則AUC的值為1。一般AUC的值在0.5到1之間。AUC的值越大的分類器，模型的性能越好。AUC=1：絕對(duì)完美的分類器，100%識(shí)別真正例和假負(fù)例，不管閾值如何設(shè)置，都會(huì)得出完美預(yù)測(cè)。0.5<AUC<1：優(yōu)于隨機(jī)猜測(cè)。如果這個(gè)分類器的閾值設(shè)置得好，則可能有預(yù)測(cè)價(jià)值。AUC=0.5：與隨機(jī)猜測(cè)一樣，表示模型的區(qū)分能力與隨機(jī)猜測(cè)沒有差別。AUC<0.5：比隨機(jī)猜測(cè)還差，不存在AUC<0.5的情況。ROC/AUC/PR曲線88PR曲線

總結(jié)89本章小結(jié)人工神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的損失函數(shù)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則梯度下降法網(wǎng)絡(luò)正則化方法模型評(píng)估方法謝謝！第三章

多層感知神經(jīng)網(wǎng)絡(luò)多層感知器神經(jīng)網(wǎng)絡(luò)92多層感知器神經(jīng)網(wǎng)絡(luò)多層感知器（MultilayerPerceptron，MLP）是一種前饋神經(jīng)網(wǎng)絡(luò)（FeedforwardNeuralNetwork，F(xiàn)NN），是神經(jīng)網(wǎng)絡(luò)中的一種典型結(jié)構(gòu)，是最早被設(shè)計(jì)并實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。在前饋神經(jīng)網(wǎng)絡(luò)中，各神經(jīng)元分別屬于不同的層。每層的神經(jīng)元都可以接收前一層的神經(jīng)元信號(hào)，并產(chǎn)生信號(hào)輸出到下一層。它由輸入層、中間層（也稱為隱藏層）和輸出層（最后一層）構(gòu)成。我們主要關(guān)注采用誤差反向傳播進(jìn)行學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，神經(jīng)元之間的連接權(quán)重就是需要學(xué)習(xí)的參數(shù)，可以在機(jī)器學(xué)習(xí)的框架下通過梯度下降法來進(jìn)行學(xué)習(xí)。作為對(duì)人工神經(jīng)網(wǎng)絡(luò)的初步認(rèn)識(shí)，本章主要介紹感知器神經(jīng)網(wǎng)絡(luò)和反向傳播網(wǎng)絡(luò)。第一節(jié)感知器及其發(fā)展過程3.1感知器及其發(fā)展過程94感知器及其發(fā)展過程1943年，McCulloch和Pitts發(fā)表了他們關(guān)于人工神經(jīng)網(wǎng)絡(luò)的第一個(gè)系統(tǒng)研究。1947年，他們又開發(fā)出了一個(gè)用于模式識(shí)別的網(wǎng)絡(luò)模型——感知器，通常就叫作M-P模型，即閾值加權(quán)和模型。在20世紀(jì)40年代初步感知器呈現(xiàn)出其功能及誘人的發(fā)展前景。20世紀(jì)60年代，感知器的研究獲得了較大的發(fā)展，并展示出較為樂觀的前景。1962年，美國(guó)心理學(xué)家Rosenblatt證明了關(guān)于感知器的學(xué)習(xí)能力的重要結(jié)論，并宣布人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它能表示的任何東西。圖3-1單輸出的感知器圖3-2多輸出的感知器第二節(jié)感知器的學(xué)習(xí)算法3.2離散單輸出感知器算法離散單輸出感知器學(xué)習(xí)算法96離散單輸出感知器模型

如圖3-1所示，最簡(jiǎn)單的感知器模型，是生物神經(jīng)元的簡(jiǎn)單模擬，如權(quán)重（突觸）、偏置（閾值）及激活函數(shù)（細(xì)胞體）。如果激活函數(shù)選擇閾值函數(shù)，那么輸出值應(yīng)為+1或-1，簡(jiǎn)稱為二值函數(shù)。離散多輸出感知器學(xué)習(xí)算法97離散多輸出感知器算法如圖3-2所示。假定X和Y分別是維數(shù)為m的輸入向量和維數(shù)為n的期望輸出向量。其中，Y為輸入向量X對(duì)應(yīng)的期望輸出向量，O為X對(duì)應(yīng)的實(shí)際輸出向量。多層感知器線性處理問題98異或問題Minsky在1969年就指出感知器甚至無法解決像“異或”這樣簡(jiǎn)單的問題?！爱惢颉边\(yùn)算的定義：

表3-1異或運(yùn)算的真值表這種由單神經(jīng)元感知器不能表達(dá)的問題被稱為線性不可分問題。99異或問題Minsky在1969年就指出感知器甚至無法解決像“異或”這樣簡(jiǎn)單的問題。表3-2給出了含有兩個(gè)自變量，且只取0或1的所有這種函數(shù)的定義因此，當(dāng)Minsky給出感知器的這一致命缺陷時(shí)，使人工神經(jīng)網(wǎng)絡(luò)的研究跌入漫長(zhǎng)的黑暗期。線性不可分問題的解決100神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程101神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程（一）

神經(jīng)網(wǎng)絡(luò)經(jīng)歷了起伏跌宕、波瀾壯闊的發(fā)展周期，其中有3次標(biāo)志性的熱潮，分別是1943年的神經(jīng)網(wǎng)絡(luò)的誕生、1983年的神經(jīng)網(wǎng)絡(luò)的復(fù)興及2006年的深度學(xué)習(xí)的崛起。神經(jīng)網(wǎng)絡(luò)的誕生（1943—1969年）在1943年，心理學(xué)家WarrenMcCulloch和數(shù)學(xué)家WalterPitts和最早描述了一種理想化的人工神經(jīng)網(wǎng)絡(luò)，并構(gòu)建了一種基于簡(jiǎn)單邏輯運(yùn)算的計(jì)算機(jī)制。他們提出的神經(jīng)網(wǎng)絡(luò)模型稱為MP模型。阿蘭·圖靈在1948年的論文中描述了一種“B型圖靈機(jī)”。(赫布型學(xué)習(xí))1951年，McCulloch和Pitts的學(xué)生MarvinMinsky建造了第一臺(tái)神經(jīng)網(wǎng)絡(luò)機(jī)，稱為SNARC。Rosenblatt[1958]最早提出可以模擬人類感知能力的神經(jīng)網(wǎng)絡(luò)模型，并稱之為感知器（Perceptron），并提出了一種接近于人類學(xué)習(xí)過程（迭代、試錯(cuò)）的學(xué)習(xí)算法。神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程102神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程（二）

神經(jīng)網(wǎng)絡(luò)之后經(jīng)歷了長(zhǎng)達(dá)10年的冷落期，主要由于當(dāng)時(shí)基本感知機(jī)無法處理異或回路，并且計(jì)算機(jī)處理能力還非常有限。1974年，哈佛大學(xué)的PaulWebos發(fā)明反向傳播算法，但當(dāng)時(shí)沒有收到重視。隨后幾年，反向傳播算法引起了新的復(fù)興。神經(jīng)網(wǎng)絡(luò)的復(fù)興1983年，加州理工學(xué)院的物理學(xué)家JohnHopfield對(duì)神經(jīng)網(wǎng)絡(luò)引入能量函數(shù)的概念，并提出了用于聯(lián)想記憶和優(yōu)化計(jì)算的網(wǎng)絡(luò)（稱為Hopfield網(wǎng)絡(luò)），在旅行商問題上獲得當(dāng)時(shí)最好結(jié)果，引起轟動(dòng)。1984年，GeoffreyHinton提出一種隨機(jī)化版本的Hopfield網(wǎng)絡(luò)，即玻爾茲曼機(jī)。1986年，DavidRumelhart和JamesMcClelland對(duì)于聯(lián)結(jié)主義在計(jì)算機(jī)模擬神經(jīng)活動(dòng)中的應(yīng)用提供了全面的論述，并重新發(fā)明了反向傳播算法。GeoffreyHinton[1986]等人將引入到多層感知器。神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程103神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程（三）

在20世紀(jì)90年代中期，神經(jīng)網(wǎng)絡(luò)雖有統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)為代表的機(jī)器學(xué)習(xí)模型興起，但也由于理論基礎(chǔ)不清晰、優(yōu)化困難、可解釋性差等缺點(diǎn)更加凸顯，神經(jīng)網(wǎng)絡(luò)進(jìn)入又一次低潮期。直到2006年后，深度學(xué)習(xí)的提出將神經(jīng)網(wǎng)絡(luò)推向了又一個(gè)高潮。深度學(xué)習(xí)的崛起2006年深度學(xué)習(xí)誕生。HintonandSalakhutdinov[2006]發(fā)現(xiàn)多層前饋神經(jīng)網(wǎng)絡(luò)可以先通過逐層預(yù)訓(xùn)練，再用反向傳播算法進(jìn)行精調(diào)的方式進(jìn)行有效學(xué)習(xí)。深度的人工神經(jīng)網(wǎng)絡(luò)在語音識(shí)別和圖像分類等任務(wù)上的巨大成功。隨著大規(guī)模并行計(jì)算以及GPU設(shè)備的普及，計(jì)算機(jī)的計(jì)算能力得以大幅提高。此外，可供機(jī)器學(xué)習(xí)的數(shù)據(jù)規(guī)模也越來越大。在計(jì)算能力和數(shù)據(jù)規(guī)模的支持下，計(jì)算機(jī)已經(jīng)可以訓(xùn)練大規(guī)模的人工神經(jīng)網(wǎng)絡(luò)。第四節(jié)反向傳播算法3.4反向傳播算法105誤差反向傳播算法

1974年哈佛大學(xué)的PaulWerbos發(fā)明了反向傳播算法（BackPropagation,BP）。在1986年得到廣泛的應(yīng)用。誤差反向傳播學(xué)習(xí)由兩次通過網(wǎng)絡(luò)不同層的傳播組成一次前向傳播和一次反向傳播。在前向傳播中，網(wǎng)絡(luò)的突觸權(quán)值全部固定了。在反向傳播中，突觸權(quán)值全部根據(jù)突觸修正規(guī)則調(diào)整。誤差反向傳播學(xué)習(xí)定義在感知器算法中，期望輸出和實(shí)際輸出用來估計(jì)直接到達(dá)該神經(jīng)元的連接權(quán)重的誤差。這個(gè)誤差信號(hào)通過網(wǎng)絡(luò)反向傳播，與突觸連接方向相反，因此叫作誤差反向傳播。誤差反向傳播算法通常稱為反向傳播算法或簡(jiǎn)稱反向傳播。反向傳播多層感知器模型106反向傳播多層感知器網(wǎng)絡(luò)結(jié)構(gòu)

在前饋多層感知器的應(yīng)用中，它包含有輸入層、輸出層以及若干隱藏層。隱藏層的神經(jīng)元稱為隱藏單元。反向傳播算法的原理107108109110111112梯度消失和梯度爆炸問題113梯度消失當(dāng)使用激活函數(shù)Sigmoid時(shí)當(dāng)使用激活函數(shù)tanh時(shí)梯度消失和梯度爆炸問題114梯度爆炸梯度爆炸推理結(jié)論梯度消失或梯度爆炸問題的解決115練習(xí)116反向傳播網(wǎng)絡(luò)的數(shù)據(jù)擬合問題

建立兩個(gè)數(shù)據(jù)集，一個(gè)用于網(wǎng)絡(luò)訓(xùn)練，另一個(gè)用于測(cè)試；假設(shè)具有單個(gè)隱藏層，利用訓(xùn)練集計(jì)算網(wǎng)絡(luò)的突觸權(quán)重；通過使用數(shù)據(jù)給網(wǎng)絡(luò)的計(jì)算精度賦值；使用單個(gè)隱藏層，但隱藏神經(jīng)元的數(shù)目可變，研究網(wǎng)絡(luò)性能是如何受隱藏層大小變化的影響的?？偨Y(jié)117多層感知器神經(jīng)網(wǎng)絡(luò)感知器及其發(fā)展過程感知器學(xué)習(xí)方法多層感知器的應(yīng)用實(shí)現(xiàn)反向傳播算法謝謝！第四章

自組織神經(jīng)網(wǎng)絡(luò)第一節(jié)競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理4.1競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理121競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則

在競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則中，采用的典型學(xué)習(xí)規(guī)則稱為勝者為王（WinnerTakeAll）。該算法可分為3個(gè)步驟。向量歸一化。尋找獲勝神經(jīng)元。網(wǎng)絡(luò)輸出與權(quán)值調(diào)整。競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理122競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則

在競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則中，采用的典型學(xué)習(xí)規(guī)則稱為勝者為王（WinnerTakeAll）。該算法可分為3個(gè)步驟。網(wǎng)絡(luò)輸出與權(quán)值調(diào)整。競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理123競(jìng)爭(zhēng)學(xué)習(xí)原理

設(shè)輸入模式為二維向量，歸一化后其矢端可以看作分布在單位圓上的點(diǎn)，用“o”表示。設(shè)競(jìng)爭(zhēng)層有4個(gè)神經(jīng)元，對(duì)應(yīng)的4個(gè)內(nèi)星權(quán)向量歸一化后也標(biāo)在同一單位圓上，用“*”表示。從輸入模式點(diǎn)的分布可以看出，它們大體上聚集為4簇，因而可以分為4類。通過競(jìng)爭(zhēng)機(jī)制自動(dòng)發(fā)現(xiàn)樣本空間的類比劃分第二節(jié)SOFM網(wǎng)絡(luò)4.2SOFM網(wǎng)絡(luò)125SOFM網(wǎng)絡(luò)

1981年，芬蘭赫爾辛基大學(xué)的Kohonen教授提出了一種自組織特征映射網(wǎng)絡(luò)（Self-OrganizingFeatureMap，SOFM），又稱Kohonen網(wǎng)絡(luò)。Kohonen認(rèn)為，一個(gè)神經(jīng)網(wǎng)絡(luò)在接受外界輸入模式時(shí)，將會(huì)分成不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個(gè)過程是自動(dòng)完成的。自組織映射正是基于此提出來的，其特點(diǎn)與人腦的自組織特性相類似。SOFM網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)輸出與權(quán)值調(diào)整。SOFM網(wǎng)絡(luò)126SOFM網(wǎng)絡(luò)

網(wǎng)絡(luò)結(jié)構(gòu)的輸出層SOFM網(wǎng)絡(luò)127運(yùn)行原理SOFM網(wǎng)絡(luò)128學(xué)習(xí)過程SOFM網(wǎng)絡(luò)129兩個(gè)階段的學(xué)習(xí)自組織（粗分類）階段。這一階段一般需要上千次迭代，使訓(xùn)練樣本經(jīng)網(wǎng)絡(luò)映射后得到位置大致正確的獲勝單元。采用高斯函數(shù)：收斂（細(xì)化）階段。第三節(jié)ART網(wǎng)絡(luò)4.3ART網(wǎng)絡(luò)131概述1976年，美國(guó)波士頓大學(xué)學(xué)者Carpenter和Grossberg提出了自適應(yīng)共振理論（AdaptiveResonanceTheory，ART）。他們多年來一直試圖為人類的心理和認(rèn)知活動(dòng)建立統(tǒng)一的數(shù)學(xué)理論，ART就是這一理論的核心部分。隨后，Carpenter又與Grossberg提出了ART網(wǎng)絡(luò)。經(jīng)過多年的研究和不斷發(fā)展，ART已有3種形式：ARTⅠ型，用于處理雙極型或二進(jìn)制信號(hào)；ARTⅡ型，是ARTⅠ型的擴(kuò)展形式，用于處理連續(xù)型模擬信號(hào)；ARTⅢ型，是分級(jí)搜索模型，兼容前兩種結(jié)構(gòu)的功能并將兩層神經(jīng)元網(wǎng)絡(luò)擴(kuò)大為任意多層神經(jīng)元網(wǎng)絡(luò)。由于ARTⅢ型在神經(jīng)元的運(yùn)行模型中納入了生物神經(jīng)元的生物電化學(xué)反應(yīng)機(jī)制，因而具備很強(qiáng)的功能和可擴(kuò)展能力。ART的網(wǎng)絡(luò)132

ART網(wǎng)絡(luò)的基本結(jié)構(gòu)ART網(wǎng)絡(luò)133ART網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)如上圖。比較層識(shí)別層控制信號(hào)ART網(wǎng)絡(luò)134網(wǎng)絡(luò)運(yùn)行與訓(xùn)練控制信號(hào)ART網(wǎng)絡(luò)135網(wǎng)絡(luò)運(yùn)行與訓(xùn)練ART網(wǎng)絡(luò)136網(wǎng)絡(luò)運(yùn)行與訓(xùn)練ART網(wǎng)絡(luò)137網(wǎng)絡(luò)運(yùn)行的參數(shù)說明第四節(jié)自組織網(wǎng)絡(luò)算法實(shí)現(xiàn)4.4自組織神經(jīng)網(wǎng)絡(luò)的算法實(shí)現(xiàn)139神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程（三）本章總結(jié)140自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)原理SOFM網(wǎng)絡(luò)SOFM網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)行原理學(xué)習(xí)過程兩階段學(xué)習(xí)ART網(wǎng)絡(luò)ART網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)運(yùn)行與訓(xùn)練網(wǎng)絡(luò)運(yùn)行參數(shù)說明算法實(shí)現(xiàn)謝謝！第五章

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)第一節(jié)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)5.1徑向基函數(shù)概述144徑向基函數(shù)介紹及結(jié)構(gòu)1985年，Powell提出了多變量插值的徑向基函數(shù)（RadialBasisFunction，RBF）方法。1988年，Broomhead和Lowe率先將徑向基函數(shù)應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，從而構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與多層前向網(wǎng)絡(luò)的結(jié)構(gòu)相似，也是一種前饋神經(jīng)網(wǎng)絡(luò)，且是一種3層前向網(wǎng)絡(luò)：第1層是輸入層，由信號(hào)源點(diǎn)組成；第2層為隱藏層，單元數(shù)視所描述問題的需要而定；第3層為輸出層，對(duì)輸入模式的作用做出響應(yīng)。從輸入層空間到隱藏層空間的變換是非線性的，而從隱藏層空間到輸出層空間的變換是線性的。隱藏單元的變換函數(shù)是徑向基函數(shù)，是一種局部分布的對(duì)中心點(diǎn)徑向?qū)ΨQ衰減的非負(fù)非線性函數(shù)。構(gòu)成徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的基本思想是：用徑向基函數(shù)作為隱藏單元的“基”，構(gòu)成隱藏層空間，這樣就可將輸入向量直接（不通過權(quán)連接）映射到隱藏層空間。當(dāng)徑向基函數(shù)的中心點(diǎn)確定以后，這種映射關(guān)系也就確定了。而從隱藏層空間到輸出層空間的映射是線性的，即網(wǎng)絡(luò)的輸出是隱藏單元輸出的線性加權(quán)和，此處的權(quán)即網(wǎng)絡(luò)可調(diào)參數(shù)。第二節(jié)函數(shù)逼近與內(nèi)插5.2函數(shù)逼近與內(nèi)插146插值問題的定義函數(shù)逼近與內(nèi)插147徑向基函數(shù)的一般形式函數(shù)逼近與內(nèi)插148徑向基函數(shù)的一般形式（續(xù)）函數(shù)逼近與內(nèi)插149徑向基函數(shù)的性質(zhì)Gauss（高斯）函數(shù)ReflectedSigmoidal（反型S型）函數(shù)InverseMultiquadrics（逆多二次）函數(shù)第三節(jié)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)5.3徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)151隨機(jī)選取徑向基函數(shù)中心

在徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)中，輸出層和隱藏層完成的任務(wù)是不同的，因而它們的學(xué)習(xí)策略（規(guī)則）也不相同。輸出層對(duì)線性權(quán)值進(jìn)行調(diào)整，采用的是線性優(yōu)化策略，因而學(xué)習(xí)速度較快；而隱藏層對(duì)變換函數(shù)（格林函數(shù)）的參數(shù)進(jìn)行調(diào)整，采用的是非線性優(yōu)化策略，因而學(xué)習(xí)速度較慢。由此可見，兩個(gè)層次的學(xué)習(xí)過程的時(shí)標(biāo)（Timescale）也是不同的，因而學(xué)習(xí)一般分兩個(gè)層次進(jìn)行。下面介紹徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)常用的學(xué)習(xí)方法。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)152隨機(jī)選取徑向基函數(shù)中心徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)153自組織學(xué)習(xí)選取徑向基函數(shù)中心徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)154自組織學(xué)習(xí)選取徑向基函數(shù)中心徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)155監(jiān)督學(xué)習(xí)選取徑向基函數(shù)中心徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)156監(jiān)督學(xué)習(xí)選取徑向基函數(shù)中心徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)157監(jiān)督學(xué)習(xí)選取徑向基函數(shù)中心本章小結(jié)158徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)介紹及結(jié)構(gòu)函數(shù)逼近與內(nèi)插插值問題的定義徑向基函數(shù)的一般形式徑向基函數(shù)的性質(zhì)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)隨機(jī)選取徑向基函數(shù)中心自組織學(xué)習(xí)選取徑向基函數(shù)中心監(jiān)督學(xué)習(xí)選取徑向基函數(shù)中心謝謝！第六章

卷積神經(jīng)網(wǎng)絡(luò)原理與實(shí)踐目錄CONTENTS視覺先驗(yàn)與卷積思想經(jīng)典CNN演進(jìn)高效與輕量化訓(xùn)練技巧與調(diào)優(yōu)應(yīng)用拓展與實(shí)戰(zhàn)總結(jié)與前沿視覺先驗(yàn)與卷積思想01圖像局部性與參數(shù)災(zāi)難從圖像的兩大先驗(yàn)出發(fā)，揭示全連接網(wǎng)絡(luò)的固有缺陷，引出卷積設(shè)計(jì)的核心動(dòng)機(jī)。局部相關(guān)性圖像中相鄰像素構(gòu)成有意義的局部特征（如邊緣、角點(diǎn)）。平移不變性物體的特征表示不應(yīng)隨其在圖像中的位置變化而改變。全連接層的困境處理高分辨率圖像時(shí)，參數(shù)量爆炸，且無法有效利用空間結(jié)構(gòu)信息，導(dǎo)致嚴(yán)重的過擬合風(fēng)險(xiǎn)。卷積核幾何與滑動(dòng)計(jì)算核心參數(shù)卷積核大小(KernelSize):定義感受野，如3x3。步幅(Stride):滑動(dòng)步長(zhǎng)，控制輸出尺寸下采樣。填充(Padding):邊緣補(bǔ)零，保持輸入輸出尺寸一致。輸出尺寸計(jì)算

(O:輸出尺寸,I:輸入尺寸,K:核大小,P:填充,S:步幅)多通道卷積與參數(shù)張量輸入特征圖(C_inxHxW)卷積核(C_outxC_inxKxK)輸出特征圖(C_outxH'xW')參數(shù)量

計(jì)算量(FLOPs)

池化層：降維與不變性增強(qiáng)通過下采樣減少特征圖空間尺寸，降低參數(shù)量和計(jì)算量，同時(shí)增強(qiáng)模型對(duì)微小變形的魯棒性。最大池化(MaxPooling)取窗口內(nèi)的最大值，保留最顯著的特征響應(yīng)。平均池化(AveragePooling)取窗口內(nèi)的平均值，保留背景信息，平滑特征。經(jīng)典CNN演進(jìn)02經(jīng)典之路：LeNet-5與手寫數(shù)字識(shí)別歷史意義LeNet-5是CNN的開山之作，其在MNIST數(shù)據(jù)集上將測(cè)試誤差降至0.7%，證明了CNN在實(shí)際應(yīng)用中的巨大潛力。LeNet-5架構(gòu)輸入32x32Conv16@28x28Pool16@14x14Conv216@10x10Pool216@5x5FC120-84-10(Conv:卷積,Pool:池化,FC:全連接)AlexNet：深度、ReLU與歷史突破AlexNet在2012年ImageNet競(jìng)賽中以巨大優(yōu)勢(shì)獲勝，開啟了深度學(xué)習(xí)時(shí)代。其核心在于更深的網(wǎng)絡(luò)、ReLU激活函數(shù)和GPU并行訓(xùn)練。性能飛躍ImageNetTop-5錯(cuò)誤率從26%降至15%更深的網(wǎng)絡(luò)(5Conv+3FC)更強(qiáng)的特征表達(dá)能力ReLU激活函數(shù)緩解梯度消失，加速訓(xùn)練Dropout正則化有效防止過擬合VGG：小核的深層堆疊哲學(xué)VGG通過反復(fù)堆疊3x3的小卷積核，證明了增加網(wǎng)絡(luò)深度是提升性能的有效途徑。3x3Conv(stride1)3x3Conv(stride1)5x5Conv(近似)更多非線性(更多ReLU)VGG-16配置示例(部分)224x224x3112x112x6456x56x12828x28x256Inception：并行與多尺度特征融合并行多分支在同一層并行使用不同大小的卷積核(1x1,3x3,5x5)和池化，提取多尺度特征。1x1瓶頸層在3x3和5x5卷積前使用1x1卷積降維，大幅減少計(jì)算量，實(shí)現(xiàn)稀疏結(jié)構(gòu)轉(zhuǎn)為密集計(jì)算。ResNet：殘差學(xué)習(xí)與恒等映射

革命性突破成功訓(xùn)練152層的極深網(wǎng)絡(luò)，ImageNetTop-5錯(cuò)誤率降至3.6%以下。殘差網(wǎng)絡(luò)變體與進(jìn)化WideResNet增加網(wǎng)絡(luò)寬度（通道數(shù)），而非深度。在CIFAR數(shù)據(jù)集上，WRN-40-4比ResNet-1001表現(xiàn)更好，訓(xùn)練更快。ResNeXt引入“基數(shù)”概念，在殘差塊中使用分組卷積。通過多分支結(jié)構(gòu)提升性能，而無需大幅增加參數(shù)。Pre-Activation將BN和ReLU移至卷積層之前，形成“BN-ReLU-Conv”結(jié)構(gòu)，改善梯度流動(dòng)，使訓(xùn)練更穩(wěn)定。高效與輕量化03高效之路：深度可分離卷積將標(biāo)準(zhǔn)卷積分解為兩步，在保持性能的同時(shí)，大幅減少參數(shù)量和計(jì)算量，是移動(dòng)端輕量級(jí)網(wǎng)絡(luò)的核心。DepthwiseConv逐通道濾波，一個(gè)卷積核負(fù)責(zé)一個(gè)通道。PointwiseConv1x1卷積，跨通道組合特征。MobileNetV2:倒置殘差與線性瓶頸低維(輸入)擴(kuò)展(1x1)高維深度卷積(3x3)高維投影(1x1Linear)低維低維(跳躍連接)倒置殘差先通過1x1卷積擴(kuò)展通道數(shù)，提取特征后再壓縮回低維，與輸入相加。線性瓶頸在最后的投影層去除非線性激活函數(shù)，以保護(hù)低維特征信息，避免信息丟失。注意力機(jī)制：Squeeze-and-Excitation(SE)SE模塊通過顯式建模通道間的相互依賴關(guān)系，自適應(yīng)地重新校準(zhǔn)通道特征響應(yīng)，是一種即插即用的模塊。Squeeze(壓縮)通過全局平均池化，將空間維度壓縮，獲得全局通道描述符。Excitation(激勵(lì))通過兩層全連接網(wǎng)絡(luò)，學(xué)習(xí)通道權(quán)重，對(duì)特征進(jìn)行重標(biāo)定?；旌献⒁饬Γ和ǖ琅c空間結(jié)合通道與空間注意力，實(shí)現(xiàn)全方位特征校準(zhǔn)。CBAM(ConvolutionalBlockAttentionModule)是典型代表。通道注意力關(guān)注“什么”特征是有意義的，為不同通道分配權(quán)重?？臻g注意力關(guān)注“哪里”是有意義的區(qū)域，為不同空間位置分配權(quán)重。神經(jīng)架構(gòu)搜索(NAS)：自動(dòng)化設(shè)計(jì)NAS旨在通過算法自動(dòng)搜索最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，降低人工設(shè)計(jì)成本，并針對(duì)特定硬件進(jìn)行優(yōu)化。定義搜索空間預(yù)設(shè)可能的網(wǎng)絡(luò)結(jié)構(gòu)組合。執(zhí)行搜索策略使用RL、進(jìn)化算法等尋找最優(yōu)結(jié)構(gòu)。評(píng)估與輸出在驗(yàn)證集上評(píng)估性能，輸出最優(yōu)模型。訓(xùn)練技巧與調(diào)優(yōu)04訓(xùn)練技巧：數(shù)據(jù)增強(qiáng)通過對(duì)訓(xùn)練圖像進(jìn)行隨機(jī)變換，人為地?cái)U(kuò)充數(shù)據(jù)集，是提高模型泛化能力、防止過擬合的有效且必要手段。隨機(jī)裁剪/縮放隨機(jī)翻轉(zhuǎn)/旋轉(zhuǎn)顏色抖動(dòng)MixUp/CutMix策略化搜索（如AutoAugment）可自動(dòng)找到最優(yōu)增強(qiáng)策略，在CIFAR-10上降低1.3%錯(cuò)誤率。訓(xùn)練技巧：批量歸一化(BN)不推薦Conv->ReLU->BNBN層放在激活函數(shù)之后，可能破壞已學(xué)習(xí)到的特征分布。推薦Conv->BN->ReLUBN層放在卷積之后、激活之前，穩(wěn)定梯度流動(dòng)，加速收斂。注意：訓(xùn)練時(shí)使用當(dāng)前批次的統(tǒng)計(jì)量，推理時(shí)使用訓(xùn)練期間累積的移動(dòng)平均值。訓(xùn)練技巧：學(xué)習(xí)率調(diào)度學(xué)習(xí)率熱身(Warm-up)訓(xùn)練初期，學(xué)習(xí)率從0線性增加到預(yù)設(shè)值，避免模型因大學(xué)習(xí)率而發(fā)散，使訓(xùn)練更穩(wěn)定。余弦退火(CosineAnnealing)學(xué)習(xí)率按余弦函數(shù)曲線衰減，有助于在訓(xùn)練末期探索更優(yōu)的局部極小值，可提升0.3%的精度。訓(xùn)練技巧：標(biāo)簽平滑One-hot硬標(biāo)簽易使模型過度自信。標(biāo)簽平滑將目標(biāo)分布調(diào)整為硬標(biāo)簽和均勻分布的混合，提升泛化性。雙重增益提升ImageNet驗(yàn)證集0.2%精度，并改善模型置信度校準(zhǔn)。標(biāo)簽分布對(duì)比原始One-Hot標(biāo)簽平滑后標(biāo)簽(ε=0.1)訓(xùn)練技巧：混合精度訓(xùn)練利用半精度浮點(diǎn)數(shù)(FP16)進(jìn)行前向和后向計(jì)算，同時(shí)保持主權(quán)重為單精度(FP32)，以加速訓(xùn)練并減少顯存占用。FP16計(jì)算前向/后向FP32主權(quán)重更新與備份損失縮放保持梯度穩(wěn)定1.5-2x訓(xùn)練速度提升~50%顯存占用減少應(yīng)用拓展與實(shí)戰(zhàn)05跨界應(yīng)用：一維CNN與文本分類將詞向量序列視為一維圖像，使用1D卷積捕捉局部n-gram特征，在文本分類任務(wù)中表現(xiàn)出色。性能與效率在AG-news數(shù)據(jù)集上達(dá)到92%準(zhǔn)確率，訓(xùn)練速度比LSTM快3倍?？缃鐟?yīng)用：語義分割與FCN全卷積網(wǎng)絡(luò)(FCN)將分類網(wǎng)絡(luò)的全連接層替換為卷積層，實(shí)現(xiàn)像素級(jí)預(yù)測(cè)，并通過反卷積上采樣恢復(fù)空間分辨率。關(guān)鍵：跳躍連接融合深層語義特征和淺層細(xì)節(jié)特征，顯著提升分割邊緣的精度。跨界應(yīng)用：目標(biāo)檢測(cè)與YOLOYOLO(YouOnlyLookOnce)將目標(biāo)檢測(cè)視為單階段的回歸問題，直接在輸出層回歸邊界框位置和類別概率，實(shí)現(xiàn)端到端的實(shí)時(shí)檢測(cè)。實(shí)時(shí)性能PASCALVOC數(shù)據(jù)集上mAP達(dá)63%，速度比兩階段方法快約5倍?？缃鐟?yīng)用：人臉識(shí)別與度量學(xué)習(xí)通過CNN將人臉圖像映射到一個(gè)嵌入空間，使得同一人臉距離近，不同人臉距離遠(yuǎn)。人臉圖像CNN映射128維嵌入三元組損失(TripletLoss)優(yōu)化“同類相近，異類相遠(yuǎn)”，在LFW數(shù)據(jù)集上準(zhǔn)確率達(dá)99.2%?？缃鐟?yīng)用：醫(yī)學(xué)影像與可解釋性在醫(yī)療等高風(fēng)險(xiǎn)領(lǐng)域，模型的可解釋性至關(guān)重要?？梢暬ぞ撸ㄈ鏕rad-CAM）能高亮病灶區(qū)域，幫助醫(yī)生驗(yàn)證AI決策的合理性。負(fù)責(zé)任AI建立醫(yī)生對(duì)AI系統(tǒng)的信任，是AI輔助診斷成功落地的關(guān)鍵。總結(jié)與前沿06CNN設(shè)計(jì)范式回顧深度可分離提升參數(shù)與計(jì)算效率殘差連接解決梯度退化，訓(xùn)練極深網(wǎng)絡(luò)注意力機(jī)制自適應(yīng)校準(zhǔn)特征，提升表征能力多尺度并行融合不同感受野信息合理組合這些范式，可在ImageNet上實(shí)現(xiàn)同等精度下40%的計(jì)算量減少。前沿挑戰(zhàn)：VisionTransformerViT將圖像切分為序列，通過自注意力機(jī)制建模全局依賴，挑戰(zhàn)了CNN在視覺領(lǐng)域的統(tǒng)治地位。優(yōu)劣權(quán)衡ViT缺乏CNN的局部歸納偏置，但在大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練后，性能可超越CNN，展現(xiàn)出更強(qiáng)的通用建模能力。前沿趨勢(shì)：自監(jiān)督與知識(shí)蒸餾自監(jiān)督預(yù)訓(xùn)練利用無標(biāo)簽數(shù)據(jù)學(xué)習(xí)通用表征，提升數(shù)據(jù)效率和下游任務(wù)性能。知識(shí)蒸餾將大模型(教師)的知識(shí)遷移到小模型(學(xué)生)，實(shí)現(xiàn)模型壓縮。兩者協(xié)同，可在低資源場(chǎng)景下實(shí)現(xiàn)高性能模型的部署。前沿落地：神經(jīng)壓縮與邊緣部署為了在資源受限的邊緣設(shè)備上部署CNN，模型壓縮技術(shù)至關(guān)重要，旨在實(shí)現(xiàn)實(shí)時(shí)推理與綠色AI。剪枝(Pruning)量化(Quantization)推理加速(TensorRT)總結(jié)與展望CNN與Transformer融合結(jié)合兩者優(yōu)勢(shì)，探索更優(yōu)架構(gòu)。神經(jīng)架構(gòu)搜索自動(dòng)化降低設(shè)計(jì)門檻，加速創(chuàng)新?？山忉屝栽鰪?qiáng)構(gòu)建可信、負(fù)責(zé)任的AI系統(tǒng)。掌握經(jīng)典基礎(chǔ)，跟蹤前沿動(dòng)態(tài)，積極參與開源社區(qū)，共同塑造AI的未來。THANK

YOU感謝大家觀看第七章

循環(huán)神經(jīng)網(wǎng)絡(luò)目

錄CONTENTS01為何需要循環(huán)02RNN基本結(jié)構(gòu)03門控機(jī)制突破04雙向與深度擴(kuò)展05序列到序列與注意目錄CONTENTS01訓(xùn)練實(shí)踐與調(diào)優(yōu)02應(yīng)用案例與展望為何需要循環(huán)01為何需要循環(huán)？序列數(shù)據(jù)挑戰(zhàn)與全連接困境傳統(tǒng)全連接網(wǎng)絡(luò)在處理語音、文本、股價(jià)等序列數(shù)據(jù)時(shí)面臨三大困境：輸入定長(zhǎng)導(dǎo)致信息丟失、參數(shù)爆炸引發(fā)過擬合、無法共享時(shí)序信息。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）應(yīng)運(yùn)而生，通過記憶與參數(shù)共享機(jī)制，為序列建模提供了全新范式。序列數(shù)據(jù)的特性長(zhǎng)度可變：不同樣本的序列長(zhǎng)度不一。順序含義：元素的順序蘊(yùn)含關(guān)鍵信息。長(zhǎng)程依賴：前后元素可能存在遠(yuǎn)距離關(guān)聯(lián)。全連接的局限輸入定長(zhǎng)：必須截?cái)嗷蛱畛?，?dǎo)致信息損失。參數(shù)爆炸：連接數(shù)隨輸入長(zhǎng)度指數(shù)級(jí)增長(zhǎng)。時(shí)空隔離：無法共享和利用時(shí)序上的模式。時(shí)序依賴與統(tǒng)計(jì)建模目標(biāo)序列建模的核心是在給定前文條件下預(yù)測(cè)下一時(shí)刻的觀測(cè)。傳統(tǒng)模型受限于馬爾可夫假設(shè)，而RNN通過隱狀態(tài)保留完整歷史，能捕捉任意階的依賴關(guān)系。傳統(tǒng)模型局限N元文法、HMM等模型依賴馬爾可夫假設(shè)，只能捕捉固定階數(shù)的短程依賴，階數(shù)增加會(huì)帶來參數(shù)爆炸和稀疏性問題。RNN的優(yōu)勢(shì)通過隱狀態(tài)保留完整歷史信息，理論上可捕捉任意階的長(zhǎng)程依賴，模型復(fù)雜度不隨依賴距離增加而爆炸。隨著階數(shù)增加，N元文法模型在語言模型上的困惑度收益遞減，而RNN能持續(xù)學(xué)習(xí)更復(fù)雜的模式。RNN基本結(jié)構(gòu)02RNN基本結(jié)構(gòu)：隱狀態(tài)遞歸更新

RNN隨時(shí)間展開的計(jì)算圖核心公式

關(guān)鍵特性

隨時(shí)間反向傳播(BPTT)機(jī)制BPTT通過將序列展開成前饋圖，沿時(shí)間軸反向傳播誤差，其核心是梯度在時(shí)間步之間的連乘效應(yīng)。1.展開計(jì)算圖將RNN按時(shí)間步展開，形成前饋網(wǎng)絡(luò)。2.應(yīng)用鏈?zhǔn)椒▌t計(jì)算損失對(duì)各時(shí)間步參數(shù)的梯度。3.連乘效應(yīng)

梯度消失與長(zhǎng)期依賴瓶頸當(dāng)序列長(zhǎng)度增加時(shí)，梯度在反向傳播中會(huì)指數(shù)級(jí)衰減，導(dǎo)致網(wǎng)絡(luò)無法學(xué)習(xí)長(zhǎng)距離的模式。長(zhǎng)序列輸入(如:長(zhǎng)句子)梯度逐層衰減(連乘效應(yīng))梯度消失(參數(shù)無法更新)結(jié)果：網(wǎng)絡(luò)無法捕捉長(zhǎng)距離依賴，如語言模型中的主謂一致或股價(jià)預(yù)測(cè)中的長(zhǎng)周期波動(dòng)。門控機(jī)制突破03LSTM：通過門控機(jī)制實(shí)現(xiàn)“記憶”長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）通過引入“門”來控制信息的流動(dòng)，其核心是記憶單元(CellState)，它形成了一條梯度高速公路，有效緩解梯度消失問題。輸入門(InputGate)控制當(dāng)前輸入中有多少信息被寫入記憶。遺忘門(ForgetGate)控制前一時(shí)間步的記憶中有多少信息被保留。輸出門(OutputGate)控制當(dāng)前記憶單元中有多少信息被輸出。通過門控的線性自循環(huán)，記憶單元可以長(zhǎng)期保存信息，從而有效學(xué)習(xí)長(zhǎng)距離依賴。GRU：更簡(jiǎn)潔的門控結(jié)構(gòu)門控循環(huán)單元（GRU）通過合并門控和取消記憶單元，在保持性能的同時(shí)簡(jiǎn)化了LSTM的結(jié)構(gòu)，減少了參數(shù)量。LSTM三個(gè)門：輸入、遺忘、輸出獨(dú)立的記憶單元參數(shù)量較多簡(jiǎn)化GRU兩個(gè)門：更新門、重置門取消記憶單元參數(shù)量更少，訓(xùn)練更快在多數(shù)任務(wù)上，GRU與LSTM性能相近，但因其結(jié)構(gòu)更簡(jiǎn)單、訓(xùn)練更快，常被作為首選。門控思想的延伸：高速網(wǎng)絡(luò)門控機(jī)制不僅限于RNN，其思想也被應(yīng)用于前饋網(wǎng)絡(luò)，以解決深層網(wǎng)絡(luò)的梯度傳播問題。HighwayNetworks通過變換門(TransformGate)和攜帶門(CarryGate)，顯式控制前一層信息直接通行的比例。

與LSTM的異同相同點(diǎn)：都通過門控機(jī)制建立了一條信息高速公路，緩解梯度消失。不同點(diǎn)：HighwayNetworks應(yīng)用于前饋網(wǎng)絡(luò)，門控的是層間信息；LSTM應(yīng)用于循環(huán)網(wǎng)絡(luò)，門控的是時(shí)序信息。雙向與深度擴(kuò)展04雙向RNN：融合未來上下文雙向RNN通過正反兩個(gè)方向獨(dú)立處理序列，將前向和后向的隱狀態(tài)拼接，使當(dāng)前時(shí)刻能同時(shí)利用過去和未來的信息。輸入序列

前向?qū)?/p>

后向?qū)?/p>

拼接輸出

應(yīng)用場(chǎng)景在命名實(shí)體識(shí)別、情感分析等任務(wù)中，雙向RNN能顯著提升性能，因?yàn)楫?dāng)前詞的標(biāo)簽往往依賴于其前后的詞語。堆疊多層循環(huán)網(wǎng)絡(luò)將RNN層按垂直方向堆疊，形成深層循環(huán)網(wǎng)絡(luò)，上層隱狀態(tài)作為下層輸入，實(shí)現(xiàn)特征的逐級(jí)抽象，提升模型表達(dá)能力。信息流動(dòng)第一層RNN提取底層特征（如詞性），第二層在此基礎(chǔ)上提取高層特征（如句法結(jié)構(gòu)）。性能提升在語音識(shí)別等任務(wù)中，深層堆疊可顯著降低字錯(cuò)誤率。但需注意，更深的網(wǎng)絡(luò)也加劇了梯度傳播的挑戰(zhàn)。序列到序列與注意05序列到序列(Seq2Seq)框架Seq2Seq模型通過編碼器-解碼器結(jié)構(gòu)，解決了輸入和輸出序列長(zhǎng)度不一致的問題，是機(jī)器翻譯等任務(wù)的基礎(chǔ)。輸入序列(Source)編碼器壓縮上下文解碼器自回歸生成輸出序列(Target)瓶頸問題編碼器將所有信息壓縮到單一固定長(zhǎng)度的上下文向量中，對(duì)于長(zhǎng)序列，信息損失嚴(yán)重，這引出了注意力機(jī)制的必要性。注意力機(jī)制：突破信息瓶頸注意力機(jī)制允許解碼器在生成每個(gè)詞時(shí)，動(dòng)態(tài)地“關(guān)注”編碼器中與當(dāng)前任務(wù)最相關(guān)的部分，從而有效緩解信息瓶頸問題。編碼器隱狀態(tài)

對(duì)齊分?jǐn)?shù)

注意力權(quán)重

上下文向量

核心思想通過可學(xué)習(xí)的對(duì)齊模型，為編碼器的每個(gè)隱狀態(tài)分配一個(gè)重要性權(quán)重，然后加權(quán)求和得到動(dòng)態(tài)的上下文向量，供解碼器使用。這實(shí)現(xiàn)了“軟對(duì)齊”，極大提升了長(zhǎng)序列翻譯的質(zhì)量。自注意力與Transformer崛起自注意力機(jī)制完全拋棄了循環(huán)結(jié)構(gòu)，通過并行計(jì)算序列內(nèi)任意兩個(gè)位置的關(guān)聯(lián)，實(shí)現(xiàn)了全局依賴建模，并極大提升了訓(xùn)練速度。并行vs串行RNN必須順序處理序列，而Transformer可以并行計(jì)算所有位置的表示，效率更高。性能突破在機(jī)器翻譯任務(wù)上，Transformer不僅訓(xùn)練更快，翻譯質(zhì)量（BLEU分?jǐn)?shù)）也超越了RNN，開啟了NLP的新時(shí)代。訓(xùn)練實(shí)踐與調(diào)優(yōu)06截?cái)喾聪騻鞑?TBPTT)與內(nèi)存權(quán)衡在處理極長(zhǎng)序列時(shí)，為節(jié)省內(nèi)存，可采用截?cái)郆PTT，只在一個(gè)固定的時(shí)間窗口內(nèi)傳播梯度。優(yōu)勢(shì)顯著降低GPU顯存占用。加快模型訓(xùn)練速度。代價(jià)梯度精度損失，可能忽略長(zhǎng)距離依賴。截?cái)嚅L(zhǎng)度是需仔細(xì)調(diào)優(yōu)的超參數(shù)。梯度裁剪：防止梯度爆炸當(dāng)梯度范數(shù)超過預(yù)設(shè)閾值時(shí)，將其縮放回閾值范圍內(nèi)，是防止梯度爆炸、保證訓(xùn)練穩(wěn)定的有效手段。核心思想不改變梯度的方向，只改變其大小。當(dāng)梯度的L2范數(shù)超過閾值時(shí)，按比例將其縮小到閾值。該技巧與門控機(jī)制互補(bǔ)，是訓(xùn)練深層或循環(huán)網(wǎng)絡(luò)的必備手段。LayerNorm：穩(wěn)定循環(huán)單元訓(xùn)練LayerNormalization在單個(gè)樣本內(nèi)對(duì)隱藏向量進(jìn)行歸一化，能有效緩解內(nèi)部協(xié)變量偏移，提升模型泛化能力，且與batchsize解耦。在RNN中的應(yīng)用LayerNorm通常應(yīng)用于RNN的循環(huán)計(jì)算內(nèi)部，對(duì)門控前的線性變換結(jié)果進(jìn)行歸一化。實(shí)驗(yàn)表明，它能顯著降低語音識(shí)別等任務(wù)的字錯(cuò)誤率。Dropout在循環(huán)層中的應(yīng)用為避免破壞時(shí)間一致性，Dropout在RNN中通常只應(yīng)用于非循環(huán)連接（即輸出到下一層或下一時(shí)間步的映射）。VariationalDropout一種更有效的策略是在每個(gè)時(shí)間步使用相同的dropout掩碼（即鎖定掩碼），這能更好地發(fā)揮正則化效果，降低文本生成等任務(wù)的困惑度。超參數(shù)調(diào)優(yōu)與早停策略系統(tǒng)化的超參數(shù)搜索和驗(yàn)證集監(jiān)控是找到最優(yōu)模型配置、防止過擬合的關(guān)鍵。1.網(wǎng)格/隨機(jī)搜索探索隱藏維度、學(xué)習(xí)率等2.驗(yàn)證集監(jiān)控跟蹤損失/準(zhǔn)確率3.早停(EarlyStopping)防止過擬合，節(jié)省資源早停能在驗(yàn)證集性能不再提升時(shí)及時(shí)終止訓(xùn)練，有效防止過擬合并節(jié)省計(jì)算資源。應(yīng)用案例與展望07實(shí)戰(zhàn)：字符級(jí)語言模型使用LSTM在莎士比亞文本上訓(xùn)練一個(gè)字符級(jí)語言模型，它可以學(xué)習(xí)拼寫、句法甚至段落結(jié)構(gòu)，并生成類似的文本。模型結(jié)構(gòu)嵌入層→LSTM層→Softmax輸出層，逐字符預(yù)測(cè)下一個(gè)字符。訓(xùn)練方式使用教師強(qiáng)制(TeacherForcing)，即每一步的輸入是真實(shí)的上一個(gè)字符，而非模型自己的預(yù)測(cè)。優(yōu)勢(shì)字符級(jí)模型對(duì)未知詞匯具有天然的魯棒性。應(yīng)用：語音識(shí)別聲學(xué)建模將語音信號(hào)的梅爾頻譜特征序列輸入雙向LSTM，并連接CTC損失層，可直接將語音映射到音素或字符序列，是端到端語音識(shí)別系統(tǒng)的核心。模型結(jié)構(gòu)梅爾頻譜→雙向LSTM→CTCLoss關(guān)鍵優(yōu)勢(shì)無需預(yù)先進(jìn)行語音和文本的強(qiáng)制對(duì)齊，CTC損失自動(dòng)學(xué)習(xí)這種映射關(guān)系。性能表現(xiàn)在TIMIT數(shù)據(jù)集上，相比傳統(tǒng)GMM-HMM模型，字錯(cuò)誤率相對(duì)下降40%。應(yīng)用：股價(jià)預(yù)測(cè)與多因子融合將量?jī)r(jià)技術(shù)指標(biāo)序列輸入GRU，并拼接宏觀因子進(jìn)行次日收益率回歸，是量化投資中的常見策略。模型優(yōu)勢(shì)能有效捕捉量?jī)r(jià)數(shù)據(jù)的時(shí)序模式，并在滬深300等數(shù)據(jù)集上，相比ARIMA模型，RMSE降低12%。挑戰(zhàn)與對(duì)策金融時(shí)序噪聲高、非平穩(wěn)，極易過擬合。需結(jié)合強(qiáng)正則化（如Dropout）和早停策略。應(yīng)用：工業(yè)傳感器異常檢測(cè)使用LSTM自編碼器重構(gòu)工業(yè)設(shè)備傳感器序列，通過計(jì)算重構(gòu)誤差來判斷設(shè)備是否異常，是一種有效的無監(jiān)督異常檢測(cè)方法。無監(jiān)督優(yōu)勢(shì)無需大量標(biāo)注的異常樣本，模型通過學(xué)習(xí)正常模式來發(fā)現(xiàn)異常，在渦輪引擎測(cè)試集上F1分?jǐn)?shù)可達(dá)0.91。落地關(guān)鍵異常檢測(cè)的最終效果高度依賴于閾值的選擇，需結(jié)合具體業(yè)務(wù)場(chǎng)景的容忍度進(jìn)行調(diào)整。RNN的局限與未來方向盡管RNN取得了巨大成功，但其固有的局限性也催生了新的研究方向。RNN的局限梯度長(zhǎng)度限制：難以捕捉極長(zhǎng)距離依賴。串行計(jì)算延遲：訓(xùn)練和推理速度受限于序列長(zhǎng)度。記憶容量有限：隱狀態(tài)維度固定，難以存儲(chǔ)大量信息。未來方向Transformer：完全基于注意力，并行度高。狀態(tài)空間模型(SSM)：如Mamba，線性復(fù)雜度。神經(jīng)記憶磁帶：增加外部記憶模塊。盡管面臨挑戰(zhàn)，但在邊緣實(shí)時(shí)場(chǎng)景下，輕量化的門控RNN因其高效性仍具研究?jī)r(jià)值。THANK

YOU感謝大家觀看第八章

注意力與反饋網(wǎng)絡(luò)目錄CONTENTS01從注意力到反饋02自注意力崛起03Transformer骨架04視覺與通道注意力05反饋網(wǎng)絡(luò)機(jī)制目錄CONTENTS01訓(xùn)練與推理策略02前沿與總結(jié)01從注意力到反饋?zhàn)⒁饬C(jī)制提出背景突破傳統(tǒng)瓶頸，實(shí)現(xiàn)動(dòng)態(tài)對(duì)齊傳統(tǒng)網(wǎng)絡(luò)困境傳統(tǒng)卷積與循環(huán)網(wǎng)絡(luò)在建模長(zhǎng)程依賴時(shí)面臨參數(shù)冗余與距離衰減的瓶頸。核心思想誕生注意力機(jī)制通過動(dòng)態(tài)權(quán)重直接關(guān)聯(lián)任意位置，實(shí)現(xiàn)信息的靈活篩選與聚焦。軟對(duì)齊與查詢鍵值思想將輸入抽象為三分支，實(shí)現(xiàn)可微分的加權(quán)求和Query(查詢)當(dāng)前待處理的信息→Key(鍵)用于匹配查詢的索引→Value(值)實(shí)際需要提取的內(nèi)容核心公式:Attention(Q,K,V)=softmax(QK^T/√d_k)VBahdanau注意力突破首次在機(jī)器翻譯中引入軟對(duì)齊，實(shí)現(xiàn)性能飛躍核心創(chuàng)新通過可學(xué)習(xí)的對(duì)齊分?jǐn)?shù)，讓解碼器在生成每個(gè)詞時(shí)，能動(dòng)態(tài)聚焦源語言的相關(guān)詞。性能提升在機(jī)器翻譯任務(wù)上，BLEU分?jǐn)?shù)提升4個(gè)點(diǎn)以上，并提供了直觀的對(duì)齊可解釋性。02自注意力崛起自注意力計(jì)算流程在序列內(nèi)部完成計(jì)算，一步獲取全局信息1.輸入序列X(Seq,D)→2.生成Q,K,V線性變換→3.計(jì)算注意力ScaledDot-Product→4.輸出加權(quán)求和

多頭注意力機(jī)制設(shè)計(jì)并行計(jì)算，捕獲多維度特征關(guān)系核心機(jī)制將Q,K,V線性投影到多個(gè)子空間，并行計(jì)算注意力，最后拼接輸出。性能增益相比單頭，8頭注意力在機(jī)器翻譯任務(wù)上BLEU提升1.8，能分別捕獲句法、語義等不同關(guān)系。位置編碼與順序建模為無遞歸結(jié)構(gòu)注入位置信息正弦/余弦位置編碼使用固定公式生成，支持外推，在數(shù)據(jù)稀缺時(shí)泛化能力更強(qiáng)。PE(pos,2i)=sin(pos/10000^(2i/d))PE(pos,2i+1)=cos(pos/10000^(2i/d))可學(xué)習(xí)位置嵌入將位置視為可訓(xùn)練參數(shù)，在數(shù)據(jù)充足時(shí)可能達(dá)到更優(yōu)性能。通過訓(xùn)練學(xué)習(xí)每個(gè)位置的向量表示，與詞嵌入相加?？s放點(diǎn)積與維度縮放穩(wěn)定訓(xùn)練的關(guān)鍵細(xì)節(jié)問題：梯度消失

方案：縮放因子

03Transformer骨架編碼器層：標(biāo)準(zhǔn)化與殘差保障深層網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定與流暢輸入+自注意力→殘差連接→層歸一化預(yù)歸一化（Pre-LN）相比后歸一化更利于深層模型收斂，是最佳實(shí)踐。前饋網(wǎng)絡(luò)與激活選擇特征非線性變換的核心組件標(biāo)準(zhǔn)結(jié)構(gòu)兩層線性映射夾ReLU激活，隱藏層維度通常擴(kuò)大4倍。激活選擇ReLU是標(biāo)準(zhǔn)選擇，GELU等變體有微小提升，但非主要瓶頸。解碼器自回歸與掩碼確保自回歸特性與信息正確流動(dòng)未來掩碼(Look-aheadMask)在自注意力中應(yīng)用上三角負(fù)無窮掩碼，確保第t個(gè)位置只能看到前t-1個(gè)位置的輸出，保持自回歸特性。ifj>i:mask[i,j]=-inf層數(shù)擴(kuò)展與容量飽和深度與性能的權(quán)衡收益遞減層數(shù)從6層增加到24層，性能提升逐漸放緩，出現(xiàn)容量飽和。解決方案當(dāng)參數(shù)量超過閾值，需在數(shù)據(jù)規(guī)模和正則化上同步增加。04視覺與通道注意力非局部神經(jīng)網(wǎng)絡(luò)思想將自注意力從NLP遷移到視覺領(lǐng)域核心思想在視頻或圖像特征圖上計(jì)算自注意力，捕獲長(zhǎng)距離時(shí)空依賴。性能提升在Kinetics動(dòng)作識(shí)別數(shù)據(jù)集上，添加非局部塊后Top-1準(zhǔn)確率提升3.2個(gè)點(diǎn)。Squeeze激勵(lì)與通道校準(zhǔn)即插即用的通道注意力模塊三步流程1.Squeeze:全局池化獲通道描述。2.Excitation:全連接學(xué)習(xí)權(quán)重。3.Scale:與原特征相乘校準(zhǔn)。性能增益SE-ResNet50參數(shù)量?jī)H增10%，ImageNetTop-1提升1.2個(gè)點(diǎn)。CBAM空間與通道雙重串行建?！笆裁础焙汀霸谀睦铩贝薪Y(jié)構(gòu)先計(jì)算通道注意力，再計(jì)算空間注意力，逐層細(xì)化特征重要性。性能提升在MS-COCO目標(biāo)檢測(cè)任務(wù)上，mAP提升2.4個(gè)點(diǎn)。位置敏感與可解釋為決策提供可視化依據(jù)熱力圖高亮通過注意力權(quán)重或梯度信號(hào)生成熱力圖，高亮模型關(guān)注的區(qū)域，提供可解釋性。高價(jià)值場(chǎng)景在醫(yī)療診斷、自動(dòng)駕駛等高風(fēng)險(xiǎn)場(chǎng)景中，幫助建立對(duì)AI決策的信任。05反饋網(wǎng)絡(luò)機(jī)制前饋與反饋范式差異從單向傳遞到迭代修正前饋網(wǎng)絡(luò)(Feed-forward)信息單向流動(dòng)，缺乏高層語義對(duì)低層特征的再調(diào)控，難以進(jìn)行逐步推理和細(xì)節(jié)修正。反饋網(wǎng)絡(luò)(Feedback)通過循環(huán)連接將頂層表示反向傳遞，實(shí)現(xiàn)逐步推理與細(xì)節(jié)修正。循環(huán)CNN與迭代優(yōu)化通過權(quán)重共享實(shí)現(xiàn)迭代式精細(xì)化預(yù)測(cè)核心思想將多個(gè)卷積塊首尾相接形成循環(huán)結(jié)構(gòu)，在測(cè)試時(shí)展開多次迭代以逐步細(xì)化預(yù)測(cè)。優(yōu)勢(shì)參數(shù)量?jī)H為堆疊網(wǎng)絡(luò)的1/3，圖像去模糊任務(wù)PSNR提升1.5。注意力反饋與自校正自頂向下的動(dòng)態(tài)特征調(diào)整核心思想高層注意力反向指導(dǎo)低層特征重新加權(quán)，實(shí)現(xiàn)自頂向下的注意力反饋，抑制背景噪聲。性能提升圖像分割任務(wù)mIoU提升2.1個(gè)點(diǎn)。時(shí)間反饋與迭代推理利用時(shí)序先驗(yàn)增強(qiáng)魯棒性核心思想利用上一幀預(yù)測(cè)作為當(dāng)前幀先驗(yàn)，實(shí)現(xiàn)時(shí)空一致性建模。性能提升多幀行人檢測(cè)任務(wù)ID切換率降低15%。06訓(xùn)練與推理策略教師強(qiáng)制與計(jì)劃采樣緩解暴露偏差，縮小訓(xùn)練測(cè)試差異問題：暴露偏差訓(xùn)練時(shí)用真實(shí)標(biāo)簽，測(cè)試時(shí)依賴模型自身輸出，導(dǎo)致誤差累積。方案：計(jì)劃采樣按概率逐步用模型輸出替換真實(shí)標(biāo)簽，需動(dòng)態(tài)調(diào)整替換概率。迭代次數(shù)與早停在推理階段平衡效率與精度核心問題反饋網(wǎng)絡(luò)在測(cè)試時(shí)可展開多次迭代，需確定最佳迭代次數(shù)。早停策略通過驗(yàn)證集監(jiān)控，當(dāng)性能趨于飽和時(shí)停止迭代，防止過擬合和增加延遲。梯度流與共享權(quán)重反饋結(jié)構(gòu)訓(xùn)練的工程細(xì)節(jié)梯度計(jì)算共享權(quán)重在反向傳播時(shí)需展開計(jì)算圖并按迭代次數(shù)累加梯度，易出現(xiàn)梯度爆炸。穩(wěn)定技巧必須配合梯度裁剪和層歸一化使用，以保證訓(xùn)練穩(wěn)定。07前沿與總結(jié)注意力與反饋融合趨勢(shì)互補(bǔ)優(yōu)勢(shì)，聯(lián)合優(yōu)化互補(bǔ)優(yōu)勢(shì)注意力提供動(dòng)態(tài)權(quán)重，反饋引入迭代修正，二者結(jié)合可提升模型表達(dá)與魯棒性。未來方向自適應(yīng)迭代次數(shù)、可解釋熱力圖反向監(jiān)督、跨模態(tài)反饋等。課程回顧與展望從動(dòng)態(tài)權(quán)重到雙向信息流演進(jìn)脈絡(luò)從軟對(duì)齊、自注意力到反饋迭代，核心在于提升模型的動(dòng)態(tài)表達(dá)能力與信息利用效率。前沿展望在邊緣部署、低監(jiān)督學(xué)習(xí)背景下，輕量化、自動(dòng)化、可解釋性仍是重要方向。鼓勵(lì)積極跟進(jìn)視覺Transformer、神經(jīng)記憶等前沿并參與開源實(shí)踐。感謝您的觀看THANK

YOU

FOR

WATCHING第九章

深度學(xué)習(xí)與網(wǎng)絡(luò)優(yōu)化目錄CONTENTS優(yōu)化目標(biāo)與損失景觀梯度算法族譜學(xué)習(xí)率調(diào)度藝術(shù)初始化與歸一化正則與泛化前沿與總結(jié)優(yōu)化目標(biāo)與損失景觀01高維非凸挑戰(zhàn)概述深度學(xué)習(xí)損失函數(shù)特性深度學(xué)習(xí)的損失函數(shù)具有非凸、高維的特性，這使得優(yōu)化過程面臨諸多挑戰(zhàn)。在高維空間中，局部極小值、鞍點(diǎn)和平坦區(qū)域共存，導(dǎo)致梯度優(yōu)化方法難以找到全局最優(yōu)解。參數(shù)空間的復(fù)雜性隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大，參數(shù)空間呈指數(shù)級(jí)增長(zhǎng)，這進(jìn)一步增加了優(yōu)化的難度。不同的初始點(diǎn)可能導(dǎo)致收斂到不同的局部極小值，影響模型的最終性能。理解損失景觀的重要性理解損失景觀的特性是選擇合適的優(yōu)化器和調(diào)整學(xué)習(xí)率的關(guān)鍵。只有深入了解損失函數(shù)的幾何特性，才能更好地設(shè)計(jì)優(yōu)化算法，提高模型的訓(xùn)練效率和泛化能力。局部極小與鞍點(diǎn)辨析局部極小與鞍點(diǎn)的區(qū)別局部極小是指在該點(diǎn)的鄰域內(nèi)，損失函數(shù)值達(dá)到最小；而鞍點(diǎn)是指在該點(diǎn)的某些方向上損失函數(shù)值增加，而在另一些方向上減少。在高維空間中，鞍點(diǎn)的數(shù)量遠(yuǎn)多于局部極小。梯度下降與逃離鞍點(diǎn)盡管鞍點(diǎn)在高維空間中更為常見，但梯度下降方法在負(fù)曲率方向上仍有可能逃離鞍點(diǎn)。通過適當(dāng)?shù)膬?yōu)化策略，可以加速逃離鞍點(diǎn)，提高優(yōu)化效率。損失面可視化與平坦極小損失面可視化方法通過主成分分析降維，可以繪制損失面的切片圖，直觀地觀察損失函數(shù)的幾何特性。這種可視化方法有助于理解優(yōu)化過程中的動(dòng)態(tài)變化。平坦極小與泛化能力研究表明，平坦極小在測(cè)試集上通常具有更好的泛化性能。平坦極小的損失函數(shù)在該點(diǎn)附近的變化較為平緩，對(duì)輸入數(shù)據(jù)的擾動(dòng)具有更強(qiáng)的魯棒性。批量大小與平坦度的關(guān)系實(shí)驗(yàn)表明，較大的批量大小可能導(dǎo)致模型陷入尖銳極小，而較小的批量