第二章基礎(chǔ)知識(shí)2.1

數(shù)值計(jì)算問題2.2估計(jì)、偏差與方差2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)of5212.4數(shù)據(jù)準(zhǔn)備2.5超參數(shù)與驗(yàn)證集2.6規(guī)模與特征工程2.1數(shù)值計(jì)算問題第二章基礎(chǔ)知識(shí)of522舍入誤差往往會(huì)導(dǎo)致算法的失效，最常見的是上溢和下溢上溢和下溢當(dāng)大量級(jí)的數(shù)被近似成+∞或-∞時(shí)，計(jì)算可能會(huì)發(fā)生上溢。例如：當(dāng)我們遇到零除或是對(duì)零取對(duì)數(shù)時(shí)，得到-∞，如果繼續(xù)對(duì)-∞進(jìn)行運(yùn)算，則會(huì)導(dǎo)致結(jié)果無意義。當(dāng)逼近零的數(shù)被四舍五入到零時(shí)，計(jì)算可能會(huì)發(fā)生下溢。未經(jīng)處理就將其代入下一步計(jì)算，則同樣導(dǎo)致結(jié)果無意義。上溢下溢2.1數(shù)值計(jì)算問題第二章基礎(chǔ)知識(shí)of523Softmax函數(shù)上溢和下溢

分母中至少包含一個(gè)值為1的項(xiàng)，不會(huì)發(fā)生下溢第二章基礎(chǔ)知識(shí)2.2

估計(jì)、偏差和方差2.1數(shù)值計(jì)算問題2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)of5242.4數(shù)據(jù)準(zhǔn)備2.5超參數(shù)與驗(yàn)證集2.6規(guī)模與特征工程2.2估計(jì)、偏差和方差第二章基礎(chǔ)知識(shí)of5252.2.1點(diǎn)估計(jì)

2.2估計(jì)、偏差和方差第二章基礎(chǔ)知識(shí)of526

2.2.1點(diǎn)估計(jì)2.2估計(jì)、偏差和方差第二章基礎(chǔ)知識(shí)of5272.2.1點(diǎn)估計(jì)【例】【解】設(shè)總體

X的概率密度為總體X的數(shù)學(xué)期望為2.2估計(jì)、偏差和方差第二章基礎(chǔ)知識(shí)of5282.2.1點(diǎn)估計(jì)似然函數(shù)為2.2估計(jì)、偏差和方差第二章基礎(chǔ)知識(shí)of5292.2.2偏差和方差

2.2估計(jì)、偏差和方差第二章基礎(chǔ)知識(shí)of52102.2.2偏差和方差

2.2估計(jì)、偏差和方差第二章基礎(chǔ)知識(shí)of52112.2.2偏差和方差2.2估計(jì)、偏差和方差第二章基礎(chǔ)知識(shí)of52122.2.2偏差-方差窘境 訓(xùn)練不足時(shí)，學(xué)習(xí)器擬合能力不強(qiáng)，偏差主導(dǎo) 隨著訓(xùn)練程度加深，學(xué)習(xí)器擬合能力逐漸增強(qiáng)，方差逐漸主導(dǎo) 訓(xùn)練充足后，學(xué)習(xí)器的擬合能力很強(qiáng)，方差主導(dǎo)第二章基礎(chǔ)知識(shí)2.3

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2.1數(shù)值計(jì)算問題2.3估計(jì)、偏差和方差of52132.4數(shù)據(jù)準(zhǔn)備2.5超參數(shù)與驗(yàn)證集2.6規(guī)模與特征工程2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52142.3.1神經(jīng)元神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動(dòng)。樹突由于電化學(xué)作用接受外界的刺激，通過胞體內(nèi)的活動(dòng)體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動(dòng)作電位，再通過軸突末梢傳遞給其它的神經(jīng)元。

從控制論的觀點(diǎn)來看，這一過程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動(dòng)態(tài)過程。可據(jù)此構(gòu)建相應(yīng)的數(shù)學(xué)模型。數(shù)值計(jì)算問題2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52152.3.1神經(jīng)元

2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52162.3.2激活函數(shù)

常用的激活函數(shù)主要有sigmoid函數(shù)、Tanh函數(shù)和ReLU函數(shù)等。2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52172.3.2激活函數(shù)

特點(diǎn)：取值范圍為[-1,1]，在特征相差明顯時(shí)tanh函數(shù)的表現(xiàn)效果會(huì)很好，在循環(huán)過程中會(huì)不斷擴(kuò)大特征效果。缺點(diǎn)：前向傳播計(jì)算量大，在反向傳播時(shí)，容易出現(xiàn)梯度消失2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52182.3.2激活函數(shù)

特點(diǎn)：當(dāng)輸入信號(hào)小于0時(shí)，輸出等于0，輸入信號(hào)大于0時(shí)，輸出與輸入相等。缺點(diǎn)：存在神經(jīng)元參數(shù)不更新現(xiàn)象2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52192.3.4輸出單元

2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52202.3.4架構(gòu)設(shè)計(jì)架構(gòu)主要包括網(wǎng)絡(luò)的單元個(gè)數(shù)，以及這些單元之間的連接方式。

2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52212.3.5張量1.張量表示法

近代連續(xù)介質(zhì)力學(xué)和理論物理中廣泛采用張量，這不僅因?yàn)椴捎脧埩勘硎净痉椒〞鴮懜叨群?jiǎn)練，物理意義鮮明，更重要的是因?yàn)檫B續(xù)介質(zhì)力學(xué)中出現(xiàn)的一些重要物理量如應(yīng)力、應(yīng)變等本身就是張量。在笛卡兒直角坐標(biāo)系中定義的張量稱為笛卡兒張量，而在任意曲線坐標(biāo)系中定義的張量則稱為普通張量。對(duì)我們所研究的領(lǐng)域而言，有了笛卡兒張量方面的知識(shí)就已經(jīng)夠用了。2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52222.3.5張量下面引進(jìn)幾種符號(hào)：（1）表示一個(gè)矢量，i是自由指標(biāo)；（2）約定求和法則：為了書寫簡(jiǎn)便，約定在同一項(xiàng)中如有兩個(gè)自由指標(biāo)相同時(shí)，就表示要對(duì)這個(gè)指標(biāo)從1到3求和，如：（3）符號(hào)定義為

也稱為克羅內(nèi)克爾（Kronecker）。2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52232.3.5張量（4）置換符號(hào)定義為

如（5）恒等式2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52242.3.5張量2．張量的定義

設(shè)和是舊的和新的直角坐標(biāo)系。，，，，分別是表示新舊坐標(biāo)系中坐標(biāo)軸上的單位矢量。則有此外有下列關(guān)系：其中，則有：，；2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52252.3.5張量1）標(biāo)量對(duì)于標(biāo)量來說，由于標(biāo)量的數(shù)值不依賴于坐標(biāo)系，于是有2）矢量

考慮矢量，設(shè)；分別是在舊和新坐標(biāo)軸上的投影。則有由此得2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52262.3.5張量

上式給出矢量的另一種定義：即對(duì)于每個(gè)直角坐標(biāo)系來說有3個(gè)量，它們根據(jù)上式變換到另一坐標(biāo)系

中的3個(gè)量，則此三個(gè)量定義為一新的量，稱為矢量。稱為一階笛卡兒張量，簡(jiǎn)稱一階張量。通常用下面表示：2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52272.3.5張量3）二階張量如果對(duì)每一直角坐標(biāo)系來說有九個(gè)量，按下列公式2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52282.3.5張量轉(zhuǎn)換為另一直角坐標(biāo)系中的九個(gè)量則此九個(gè)量，定義為一新的量P，稱為二階笛卡兒張量，簡(jiǎn)稱二階張量。通常用下面表示：

稱為二階張量的分量。2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二章基礎(chǔ)知識(shí)of52292.3.5張量

4）n

階張量設(shè)在每一坐標(biāo)系內(nèi)給出3n個(gè)數(shù)，當(dāng)坐標(biāo)變換時(shí)，這些數(shù)按公式轉(zhuǎn)換，則此3n個(gè)數(shù)定義一個(gè)n階張量。標(biāo)量為零階張量，矢量為一階張量。第二章基礎(chǔ)知識(shí)2.4

數(shù)據(jù)準(zhǔn)備2.1數(shù)值計(jì)算問題2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)of52302.2估計(jì)、偏差和方差2.5超參數(shù)與驗(yàn)證集2.6規(guī)模與特征工程第二章基礎(chǔ)知識(shí)of52312.4數(shù)據(jù)準(zhǔn)備

過擬合表現(xiàn)為訓(xùn)練誤差和測(cè)試誤差之間的差距太大，存在高方差。

訓(xùn)練數(shù)據(jù)集過小，是使模型造成過擬合的原因之一。準(zhǔn)備更多的數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，是解決過擬合的一種有效方法，使機(jī)器學(xué)習(xí)模型泛化得更好。但是時(shí)時(shí)刻刻準(zhǔn)備足夠多的訓(xùn)練數(shù)據(jù)是困難的，而且可能獲取更多數(shù)據(jù)的成本會(huì)很高。對(duì)此，我們可以通過創(chuàng)建“假”數(shù)據(jù)并添加到訓(xùn)練集中來解決這個(gè)問題。第二章基礎(chǔ)知識(shí)of52322.4數(shù)據(jù)準(zhǔn)備2.4.1噪聲注入輸入層注入：將小幅值隨機(jī)噪聲作用于輸入，對(duì)于許多分類或是回歸任務(wù)，都有較好的效果。相對(duì)部分模型來說，將方差極小的噪聲加入輸入與對(duì)權(quán)重施加范數(shù)懲罰的效果是一樣的。隱藏層注入：在多個(gè)抽象層上進(jìn)行數(shù)據(jù)集的增強(qiáng)。權(quán)重加入：將噪聲加到權(quán)重的正則化方式也被稱為關(guān)于權(quán)重的貝葉斯推斷的隨機(jī)實(shí)現(xiàn)。權(quán)重在貝葉斯的學(xué)習(xí)過程中被看作是不確定的，并且其不確定性可以用概率分布來進(jìn)行表達(dá)。這種將噪聲加入到權(quán)重之中的隨機(jī)方法，可以有效針對(duì)不確定性。輸出加入：直接對(duì)標(biāo)簽上的噪聲進(jìn)行建模。第二章基礎(chǔ)知識(shí)of52332.4數(shù)據(jù)準(zhǔn)備2.4.2數(shù)據(jù)擴(kuò)充翻轉(zhuǎn)：主要包括水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、水平垂直翻轉(zhuǎn)旋轉(zhuǎn)：將原圖按照一定角度旋轉(zhuǎn)，作為新圖像。尺寸變換：將圖像分辨率變?yōu)樵瓐D的0.8、0.9、1.1、1.2等倍數(shù)，作為新圖像。截?。褐饕S機(jī)截取和監(jiān)督式截?。ê忻黠@語義信息的圖像塊）FancyPCA：對(duì)所有訓(xùn)練數(shù)據(jù)的像素值進(jìn)行主成分分析（PCA），根據(jù)得到的特征向量和特征值計(jì)算一組隨機(jī)值，作為擾動(dòng)加入到原像素值中。第二章基礎(chǔ)知識(shí)2.5超參數(shù)與驗(yàn)證集2.1數(shù)值計(jì)算問題2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)of52342.4數(shù)據(jù)準(zhǔn)備2.2估計(jì)、偏差和方差2.6規(guī)模與特征工程第二章基礎(chǔ)知識(shí)of52352.5超參數(shù)與驗(yàn)證集1．超參數(shù)什么是超參數(shù)？超參數(shù)也是一個(gè)參數(shù)，是一個(gè)未知變量，但是它不同于在訓(xùn)練過程中的參數(shù)，它是可以對(duì)訓(xùn)練得到的參數(shù)有影響的參數(shù)，需要訓(xùn)練者人工輸入或設(shè)置，并作出調(diào)整，以便優(yōu)化訓(xùn)練模型的效果。特點(diǎn)定義關(guān)于模型的更高層次的概念，如復(fù)雜性或?qū)W習(xí)能力不能直接從標(biāo)準(zhǔn)模型訓(xùn)練過程中的數(shù)據(jù)中學(xué)習(xí)，需要預(yù)先定義可以設(shè)置不同的值，訓(xùn)練不同的模型和選擇更好的測(cè)試值來決定第二章基礎(chǔ)知識(shí)of52362.5超參數(shù)與驗(yàn)證集1．超參數(shù)示例算法中的參數(shù)learningrate(學(xué)習(xí)率)、iterations(梯度下降法循環(huán)的數(shù)量)、（隱藏層數(shù)目）、（隱藏層單元數(shù)目）、choiceofactivationfunction(激活函數(shù)的選擇)深度學(xué)習(xí)中的參數(shù)momentum、batchsize、regularizationparameters等等第二章基礎(chǔ)知識(shí)of52372.5超參數(shù)與驗(yàn)證集2．驗(yàn)證集什么是驗(yàn)證集？在模型訓(xùn)練過程中單獨(dú)留出的樣本集目的：調(diào)整模型的超參數(shù)；對(duì)模型的能力進(jìn)行初步評(píng)估。為什么會(huì)有驗(yàn)證集？

當(dāng)我們遇到很難優(yōu)化的問題時(shí)，往往會(huì)將其設(shè)為學(xué)習(xí)算法的超參數(shù)。對(duì)于不適合在訓(xùn)練集上訓(xùn)練學(xué)習(xí)的選項(xiàng)來說，必須將其設(shè)為超參數(shù)，這種情況我們?cè)谒惴▽W(xué)習(xí)中會(huì)常常遇到。假若在某個(gè)訓(xùn)練集上學(xué)習(xí)超參數(shù)，所學(xué)習(xí)的超參數(shù)總是趨向于最大可能的模型容量，必然會(huì)導(dǎo)致過擬合。為了解決該問題，我們需要一個(gè)驗(yàn)證集（validationset）樣本。第二章基礎(chǔ)知識(shí)of52382.5超參數(shù)與驗(yàn)證集2．驗(yàn)證集

作用及時(shí)發(fā)現(xiàn)模型或者參數(shù)的問題,可以及時(shí)終止訓(xùn)練，重新調(diào)參數(shù)或者調(diào)整模型驗(yàn)證模型的泛化能力第二章基礎(chǔ)知識(shí)2.6

規(guī)模與特征工程2.1數(shù)值計(jì)算問題2.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)of52392.4數(shù)據(jù)準(zhǔn)備2.5超參數(shù)與驗(yàn)證集2.2估計(jì)、偏差和方差第二章基礎(chǔ)知識(shí)of52402.6規(guī)模與特征工程2.6.1規(guī)模

高性能需要兩方面的支持：海量數(shù)據(jù)；規(guī)模足夠大的以發(fā)揮數(shù)據(jù)規(guī)模優(yōu)勢(shì)的神經(jīng)網(wǎng)絡(luò)模型。第二章基礎(chǔ)知識(shí)of52412.6規(guī)模與特征工程2.6.2特征工程特征提?。禾卣魈崛∈窃谠紨?shù)據(jù)的基礎(chǔ)上自動(dòng)地構(gòu)建新的特征，其通過映射或變換的方法，將模式空間的高維特征（向量）變成特征空間的低維特征。圖像特征提取傳統(tǒng)的特征一般具有明顯物理意義或統(tǒng)計(jì)意義。特征提取的目的主要是降維，其降維方法主要有主成分分析法、聚類（數(shù)據(jù)形式為表格）；對(duì)邊緣或紋理進(jìn)行提?。〝?shù)據(jù)形式為圖像）。第二章基礎(chǔ)知識(shí)of52422.6規(guī)模與特征工程特征構(gòu)造：從原始數(shù)據(jù)構(gòu)造新特征的處理過程。

特征構(gòu)造需要對(duì)實(shí)際樣本數(shù)據(jù)進(jìn)行處理，思考數(shù)據(jù)的結(jié)構(gòu)以及將特征數(shù)據(jù)作為模型的輸入形式。例如，表格式數(shù)據(jù)需要將特征進(jìn)行組合或?qū)μ卣鬟M(jìn)行分解或切分來構(gòu)造新的特征2.6.2特征工程特點(diǎn)：靈活性與藝術(shù)性的，往往需要人工創(chuàng)建。例如對(duì)非法集資活動(dòng)的判別，就涉及到怎樣對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以構(gòu)造出誘利性的特征。第二章基礎(chǔ)知識(shí)of52432.6規(guī)模與特征工程2.6.2特征工程特征選擇：指從特征集合中挑選一組對(duì)于問題最重要的特征子集，從而達(dá)到降維的效果。特征選擇方法可分為過濾法、包裝法與集成法。（1）過濾法根據(jù)每個(gè)特征的統(tǒng)計(jì)特性，或者特征與目標(biāo)值的關(guān)聯(lián)程度來進(jìn)行排序，去掉那些未達(dá)到設(shè)定閾值的特征。

包括方差過濾、基于統(tǒng)計(jì)相關(guān)性的過濾，基于互信息的過濾等。如，方差過濾認(rèn)為數(shù)據(jù)的信息取決于其變異程度的大小。像“太陽是從東方升起”這種特征不含任何信息。第二章基礎(chǔ)知識(shí)of52442.6規(guī)模與特征工程2.6.2特征工程（2）包裝法有時(shí)多個(gè)變量在一起時(shí)才能顯出與目標(biāo)相關(guān)性的特征，就可采用包裝法特征選取方法。包裝法會(huì)選擇一個(gè)目標(biāo)函數(shù)來一步步地進(jìn)行篩選特征。如遞歸消除特征，它使用一個(gè)機(jī)器學(xué)習(xí)模型來進(jìn)行多輪訓(xùn)練，每輪訓(xùn)練后，按照目標(biāo)函數(shù)消除對(duì)應(yīng)的特征，如按權(quán)值系數(shù)平方值最小的原則消除對(duì)應(yīng)的特征，再基于新的特征集進(jìn)行下一輪訓(xùn)練，以此類推，直到剩下的特征數(shù)滿足我們的需求為止。第二章基礎(chǔ)知識(shí)of52452.6規(guī)模與特征工程2.6.2特征工程（3）集成法有一些模型算法天然就具備判斷一個(gè)特征對(duì)于問題的效果影響程度，例如決策樹類的模型。通過諸如決策樹類模型計(jì)算出一個(gè)綜合的特征重要性排序，用于特征的選擇。這樣的方法被稱為集成法。

嵌入法使用L1正則化和L2正則化來選擇特征。在回歸問題求解中，目標(biāo)函數(shù)中的正則化懲罰項(xiàng)越大，那么模型的系數(shù)就會(huì)越小。當(dāng)正則化懲罰項(xiàng)大到一定的程度時(shí)，部分特征系數(shù)會(huì)變成0，隨著正則化懲罰項(xiàng)繼續(xù)增大，很多的特征系數(shù)會(huì)趨于0。我們篩掉特征系數(shù)先變成0會(huì)發(fā)那一部分。6

大挑戰(zhàn)理論的局限問題非精確梯度問題局部最優(yōu)問題長(zhǎng)期依賴問題第二章基礎(chǔ)知識(shí)of52462.6規(guī)模與特征工程懸崖問題鞍點(diǎn)和平坦區(qū)域問題2.6.3訓(xùn)練深度模型的挑戰(zhàn)第二章基礎(chǔ)知識(shí)of52472.6規(guī)模與特征工程訓(xùn)練深度模型的挑戰(zhàn)之一：局部最優(yōu)問題

可以將深度學(xué)習(xí)模型中凸優(yōu)化問題的求解簡(jiǎn)化為凸函數(shù)的局部極小值的求解。

凸函數(shù)可能出現(xiàn)這種情況：其底部區(qū)域比較平坦，其局部極小值點(diǎn)不唯一，即不存在唯一的全局最小值點(diǎn)此外，神經(jīng)網(wǎng)絡(luò)存在大量代價(jià)值很高的局部極小值點(diǎn)問題第二章基礎(chǔ)知識(shí)of52482.6規(guī)模與特征工程訓(xùn)練深度模型的挑戰(zhàn)之二：鞍點(diǎn)和平坦區(qū)域問題鞍點(diǎn)指函數(shù)中那些梯度為零的點(diǎn)。因?yàn)闃O值點(diǎn)的梯度為零，所以極值點(diǎn)屬于鞍點(diǎn)，但是梯度為零的點(diǎn)不一定是極值點(diǎn)。鞍點(diǎn)的代價(jià)值比位于其Hessian矩陣正特征值對(duì)應(yīng)的特征向量方向上的點(diǎn)要小，而比位于負(fù)特征值對(duì)應(yīng)特征向量方向上的點(diǎn)的更大。遇到寬且平坦的區(qū)域，梯度和Hessian矩陣都是零，出現(xiàn)梯度消失的現(xiàn)象。在網(wǎng)絡(luò)訓(xùn)練中，就可能得到代價(jià)值較高的局部極小點(diǎn)。這就是深度學(xué)習(xí)訓(xùn)練過程中的平坦區(qū)域問題。第二章基礎(chǔ)