工業(yè)大數(shù)據(jù)與人工智能HFUT12卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)常用卷積神經(jīng)網(wǎng)絡(luò)3.2.1.神經(jīng)網(wǎng)絡(luò)基礎(chǔ)3.2.2.卷積神經(jīng)網(wǎng)絡(luò)3.2.3.循環(huán)神經(jīng)網(wǎng)絡(luò)3.2.深度學(xué)習(xí)激活函數(shù)梯度下降循環(huán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)常用循環(huán)神經(jīng)網(wǎng)絡(luò)第三章

機(jī)器學(xué)習(xí)基礎(chǔ)3第三章

機(jī)器學(xué)習(xí)基礎(chǔ)

3.2.4.生成對(duì)抗網(wǎng)絡(luò)3.2.深度學(xué)習(xí)生成對(duì)抗網(wǎng)絡(luò)簡(jiǎn)介生成對(duì)抗網(wǎng)絡(luò)的結(jié)構(gòu)常用生成對(duì)抗網(wǎng)絡(luò)動(dòng)量法AdaGradRMSPropAdam（AdaptiveMomentEstimation）參數(shù)正則化數(shù)據(jù)正則化標(biāo)簽正則化3.2.6.正則化方法3.2.7.超參數(shù)調(diào)試3.2.5.常用優(yōu)化算法4神經(jīng)網(wǎng)絡(luò)基礎(chǔ)：激活函數(shù)

理想中的激活函數(shù)是階躍函數(shù)，它將輸入值映射為輸出值“0”或“1”。

神經(jīng)元的激活與抑制狀態(tài)可以通過(guò)特定函數(shù)來(lái)模擬，其中階躍函數(shù)因其不連續(xù)和非平滑特性，在實(shí)際部署中顯得不夠理想。5神經(jīng)網(wǎng)絡(luò)基礎(chǔ)：激活函數(shù)

Sigmoid函數(shù)是一種平滑的非線性函數(shù)，其中z是輸入的加權(quán)和。Sigmoid函數(shù)的輸出范圍在(0,1)之間，將可能在較大范圍內(nèi)變化的輸入值擠壓到(0,1)輸出值范圍內(nèi)，因此也稱為“擠壓函數(shù)”（SquashingFunction）或“壓縮函數(shù)”。這種函數(shù)的平滑性使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練更加穩(wěn)定和有效。6神經(jīng)網(wǎng)絡(luò)基礎(chǔ)：梯度下降

7神經(jīng)網(wǎng)絡(luò)基礎(chǔ)：梯度下降

8卷積神經(jīng)網(wǎng)絡(luò)：卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）是一種專門設(shè)計(jì)用于處理具有局部相關(guān)性和空間結(jié)構(gòu)的數(shù)據(jù)的深度學(xué)習(xí)模型，在圖像識(shí)別、視頻分析和語(yǔ)音識(shí)別等領(lǐng)域表現(xiàn)出色。CNN的核心特點(diǎn)在于其利用滑動(dòng)窗口卷積操作來(lái)提取輸入數(shù)據(jù)（如圖像）的特征，而不是傳統(tǒng)的全連接神經(jīng)網(wǎng)絡(luò)中的矩陣乘法。卷積神經(jīng)網(wǎng)絡(luò)中，最重要的組成部分是卷積層（ConvolutionalLayer）。卷積層通過(guò)應(yīng)用一個(gè)卷積核對(duì)輸入數(shù)據(jù)進(jìn)行卷積運(yùn)算。卷積核在輸入數(shù)據(jù)上滑動(dòng)并對(duì)局部區(qū)域進(jìn)行加權(quán)求和，以提取局部特征。卷積核在輸入數(shù)據(jù)上滑動(dòng)時(shí)，會(huì)產(chǎn)生一個(gè)新的特征圖（ActivationMap），又稱特征映射，該特征圖反映了輸入數(shù)據(jù)在特定方向和尺度上的特征表達(dá)。9卷積神經(jīng)網(wǎng)絡(luò)：卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)分類任務(wù)示例10卷積神經(jīng)網(wǎng)絡(luò)：常用卷積神經(jīng)網(wǎng)絡(luò)1.LeNetLeNet5是卷積神經(jīng)網(wǎng)絡(luò)（CNN）發(fā)展史上的一個(gè)重要里程碑，展現(xiàn)了早期CNN的基本組成結(jié)構(gòu)，并為后來(lái)更大規(guī)模、更復(fù)雜的CNN架構(gòu)的發(fā)展鋪平了道路。2.AlexNetAlexNet是最早在大規(guī)模圖像識(shí)別競(jìng)賽中采用ReLU（RectifiedLinearUnit）作為激活函數(shù)的CNN之一，相比傳統(tǒng)的sigmoid和tanh激活函數(shù)，ReLU能夠有效緩解梯度消失問題，加快訓(xùn)練速度，并且網(wǎng)絡(luò)的表達(dá)能力更強(qiáng)。

11卷積神經(jīng)網(wǎng)絡(luò)：常用卷積神經(jīng)網(wǎng)絡(luò)3.VGGNetVGGNet通過(guò)增加網(wǎng)絡(luò)的深度來(lái)提高圖像識(shí)別性能，證明了深度對(duì)卷積神經(jīng)網(wǎng)絡(luò)的重要性。盡管VGGNet在當(dāng)時(shí)取得了出色的成績(jī)，但其參數(shù)數(shù)量龐大，尤其是全連接層占據(jù)較大比例。為了減少參數(shù)數(shù)量和計(jì)算成本，現(xiàn)代網(wǎng)絡(luò)架構(gòu)常常會(huì)將VGGNet的全連接層替換為全局平均池化層（GlobalAveragePooling，GAP），這不僅能減少參數(shù)，還可以提高模型的泛化能力和對(duì)輸入大小的適應(yīng)性。12循環(huán)神經(jīng)網(wǎng)絡(luò)：循環(huán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是一種適用于處理具有時(shí)間依賴性的序列結(jié)構(gòu)如文本、語(yǔ)音、視頻幀序列等數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在RNN中，信息不僅沿著網(wǎng)絡(luò)的層級(jí)流動(dòng)，而且在網(wǎng)絡(luò)的循環(huán)結(jié)構(gòu)中沿時(shí)間維度傳遞，即每個(gè)時(shí)間步（Timestep）的輸出不僅取決于當(dāng)前時(shí)刻的輸入xt，還依賴于過(guò)去時(shí)刻的狀態(tài)ht-1。RNN的特點(diǎn)是其內(nèi)部包含一個(gè)循環(huán)單元，該單元在處理序列數(shù)據(jù)時(shí)能夠維持一個(gè)內(nèi)部狀態(tài)（HiddenState），并在處理序列中的每一個(gè)元素時(shí)更新這個(gè)狀態(tài)。13循環(huán)神經(jīng)網(wǎng)絡(luò)：循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)1.這種結(jié)構(gòu)在每個(gè)時(shí)間步都產(chǎn)生一個(gè)輸出，并且隱藏單元之間存在循環(huán)連接。2.只有當(dāng)前時(shí)刻的輸出與下一個(gè)時(shí)刻的隱藏狀態(tài)之間存在循環(huán)連接，其他隱藏單元之間沒有直接的循環(huán)連接。3.隱藏層中的循環(huán)連接持續(xù)累積信息，直至序列結(jié)束時(shí)才綜合所有時(shí)間步的信息產(chǎn)生單一的最終輸出。14循環(huán)神經(jīng)網(wǎng)絡(luò)：常用循環(huán)神經(jīng)網(wǎng)絡(luò)遺忘門控制著細(xì)胞狀態(tài)的遺忘程度，決定了前一時(shí)刻的細(xì)胞狀態(tài)中哪些信息會(huì)被保留。外部輸入門控制著新信息的輸入程度，決定了當(dāng)前輸入x(t)對(duì)細(xì)胞狀態(tài)的影響。輸出門控制著細(xì)胞狀態(tài)的輸出程度，決定了當(dāng)前時(shí)刻的輸出hi(t)中包含多少細(xì)胞狀態(tài)信息。LSTM模型15生成對(duì)抗網(wǎng)絡(luò)：生成對(duì)抗網(wǎng)絡(luò)簡(jiǎn)介

生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialNetworks，GAN）是由IanGoodfellow等人在2014年提出的一種深度學(xué)習(xí)框架，特別適用于無(wú)監(jiān)督學(xué)習(xí)中的生成任務(wù)。GAN由兩個(gè)核心部分組成：用于根據(jù)某些輸入生成對(duì)象的生成網(wǎng)絡(luò)以及緊接生成網(wǎng)絡(luò)的用于判斷生成對(duì)象真實(shí)與否的判別網(wǎng)絡(luò)。在訓(xùn)練過(guò)程中，這兩個(gè)網(wǎng)絡(luò)形成了一種動(dòng)態(tài)博弈關(guān)系，生成器的目標(biāo)是生成越來(lái)越真實(shí)的樣本，以欺騙判別器；判別器則極力區(qū)分真實(shí)數(shù)據(jù)與生成器生成的偽造數(shù)據(jù)。16生成對(duì)抗網(wǎng)絡(luò)：生成對(duì)抗網(wǎng)絡(luò)的結(jié)構(gòu)17生成對(duì)抗網(wǎng)絡(luò)：常用生成對(duì)抗網(wǎng)絡(luò)1.GAN2.InfoGAN通過(guò)引入潛在代碼（LatentCode）增強(qiáng)了對(duì)生成數(shù)據(jù)的控制和理解。傳統(tǒng)的GAN使用單一的非結(jié)構(gòu)化噪聲向量z來(lái)生成數(shù)據(jù)，而InfoGAN將z分解為兩部分：z和c，其中z是不可壓縮噪聲，而c則被稱為潛在代碼。3.ConditionalGANs（cGANs）條件生成對(duì)抗網(wǎng)絡(luò)（cGANs）是在原始GAN的基礎(chǔ)上增加額外信息作為條件進(jìn)行訓(xùn)練的模型。18常用優(yōu)化算法：動(dòng)量法動(dòng)量法引入了一個(gè)速度變量v，表示參數(shù)在參數(shù)空間中的移動(dòng)方向和速度。速度v被設(shè)置為負(fù)梯度的指數(shù)衰減平均值，更新規(guī)則如下：19常用優(yōu)化算法：RMSProp20常用優(yōu)化算法：Adam

21正則化方法:參數(shù)正則化1.DropoutDropout處理是一種有效控制網(wǎng)絡(luò)參數(shù)數(shù)量的方法。它以概率p隨機(jī)使隱藏層中的特征節(jié)點(diǎn)處于未激活狀態(tài)，從而減少模型訓(xùn)練中的復(fù)雜度，防止過(guò)擬合。2.L1正則化（L1-norm）在卷積神經(jīng)網(wǎng)絡(luò)（CNN）的訓(xùn)練中，范數(shù)正則化是廣泛應(yīng)用的防止過(guò)擬合的技術(shù)之一。在損失函數(shù)中加入范數(shù)正則化項(xiàng)后，優(yōu)化目標(biāo)不僅包含對(duì)預(yù)測(cè)誤差的考量，還增加了對(duì)模型參數(shù)復(fù)雜度的約束。22正則化方法:數(shù)據(jù)正則化1.數(shù)據(jù)增廣（DataAugmentation）數(shù)據(jù)增廣方法包括隨機(jī)裁剪、圖像翻轉(zhuǎn)和隨機(jī)擦除等,通過(guò)一定規(guī)則修改訓(xùn)練樣本，平衡各類別樣本比例，達(dá)到減少過(guò)擬合的目的。2.提前停止（EarlyStopping）通過(guò)將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，然后在訓(xùn)練過(guò)程中隔一定迭代（Iterations）次數(shù)使用驗(yàn)證集對(duì)模型進(jìn)行評(píng)估，當(dāng)模型在驗(yàn)證集上的性能不再改善時(shí)，就可以提前停止訓(xùn)練，以避免過(guò)擬合或減少訓(xùn)練時(shí)間。23正則化方法:標(biāo)簽正則化標(biāo)簽正則化中，標(biāo)簽平滑（LabelSmoothing）是一種常用的方法。標(biāo)簽平滑主要是通過(guò)修改訓(xùn)練目標(biāo)的標(biāo)簽分布，從而減少模型對(duì)訓(xùn)練數(shù)據(jù)標(biāo)簽的過(guò)擬合現(xiàn)象。標(biāo)簽平滑的基本思想是：對(duì)于原本為One-hot分布的真實(shí)標(biāo)簽，人為地為其添加一個(gè)較小的平滑項(xiàng)，使得模型不僅僅學(xué)習(xí)到嚴(yán)格意義上的邊界，還能兼顧類別間的相對(duì)距離。具體做