1、.,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)交流報(bào)告,.,目錄 CONTENTE,神經(jīng)元模型,1,感知機(jī)與多層神經(jīng)網(wǎng)絡(luò),2,應(yīng)用一：MLP分類(lèi)器,3,應(yīng)用二：MLP的3D可視化,4,.,神經(jīng)元模型,人工神經(jīng)網(wǎng)絡(luò)（ann）是一種計(jì)算模型，啟發(fā)自人類(lèi)大腦處理信息的生物神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)和自然語(yǔ)言理領(lǐng)域取得了一系列突破，讓機(jī)器學(xué)習(xí)研究和產(chǎn)業(yè)興奮了起來(lái)。 神經(jīng)網(wǎng)絡(luò)（neural networks）方面的研究很早就已經(jīng)出現(xiàn)，今天“神經(jīng)網(wǎng)絡(luò)”已是一個(gè)相當(dāng)大的、多學(xué)科交叉的學(xué)科領(lǐng)域。 神經(jīng)網(wǎng)絡(luò)中最基本的成分是神經(jīng)元（neuron）模型，一般稱(chēng)作節(jié)點(diǎn)（node）或者單元（unit）。節(jié)點(diǎn)從其他節(jié)點(diǎn)接收輸入，或者

2、從外部源接收輸入，然后計(jì)算輸出。每個(gè)輸入都輔有權(quán)重（weight，即 w）， 權(quán)重取決于其他輸入的相對(duì)重要性。節(jié)點(diǎn)將函數(shù) f（定義如下）應(yīng)用到加權(quán)后的輸入總和，如圖 1 所示：,.,神經(jīng)元模型,還有配有權(quán)重 b（稱(chēng)為偏置（bias）或者閾值（threshold）的輸入 1。,.,神經(jīng)元模型,函數(shù) f 是非線(xiàn)性的，叫做激活函數(shù)。激活函數(shù)的作用是將非線(xiàn)性引入神經(jīng)元的輸出。因?yàn)榇蠖鄶?shù)現(xiàn)實(shí)世界的數(shù)據(jù)都是非線(xiàn)性的，我們希望神經(jīng)元能夠?qū)W習(xí)非線(xiàn)性的函數(shù)表示，所以這種應(yīng)用至關(guān)重要。 每個(gè)（非線(xiàn)性）激活函數(shù)都接收一個(gè)數(shù)字，并進(jìn)行特定、固定的數(shù)學(xué)計(jì)算 。在實(shí)踐中，可能會(huì)碰到幾種激活函數(shù)： Sigmoid（S 型激

3、活函數(shù)）：輸入一個(gè)實(shí)值，輸出一個(gè) 0 至 1 間的值 (x) = 1 / (1 + exp(x) tanh（雙曲正切函數(shù)）：輸入一個(gè)實(shí)值，輸出一個(gè) -1,1 間的值 tanh(x) = 2(2x) 1 ReLU：ReLU 代表修正線(xiàn)性單元。輸出一個(gè)實(shí)值，并設(shè)定 0 的閾值（函數(shù)會(huì)將負(fù)值變?yōu)榱悖ゝ(x) =max(0, x),.,神經(jīng)元模型,將上述情形抽象，就是一直沿用至今的“M-P”神經(jīng)元模型。在這個(gè)模型中，神經(jīng)元收到來(lái)自n個(gè)其他神經(jīng)元傳遞來(lái)的輸入信號(hào)，這些輸入信號(hào)通過(guò)帶權(quán)重（w）連接進(jìn)行傳遞，神經(jīng)元接收到的輸入值將與神經(jīng)元的閾值進(jìn)行比較，然后通過(guò)“激活函數(shù)”得到神經(jīng)元的輸出。,.,感知機(jī)與多

4、層神經(jīng)網(wǎng)絡(luò),前饋神經(jīng)網(wǎng)絡(luò)是最先發(fā)明也是最簡(jiǎn)單的人工神經(jīng)網(wǎng)絡(luò)。它包含了安排在多個(gè)層中的多個(gè)神經(jīng)元（節(jié)點(diǎn)）。相鄰層的節(jié)點(diǎn)有連接或者邊（edge）。所有的連接都配有權(quán)重。,.,感知機(jī)與多層神經(jīng)網(wǎng)絡(luò),一個(gè)前饋神經(jīng)網(wǎng)絡(luò)可以包含三種節(jié)點(diǎn)： 1. 輸入節(jié)點(diǎn)：輸入節(jié)點(diǎn)從外部世界提供信息，總稱(chēng)為輸入層。在輸入節(jié)點(diǎn)中，不進(jìn)行任何的計(jì)算僅向隱藏節(jié)點(diǎn)傳遞信息。 2. 隱藏節(jié)點(diǎn)：隱藏節(jié)點(diǎn)和外部世界沒(méi)有直接聯(lián)系（由此得名）。這些節(jié)點(diǎn)進(jìn)行計(jì)算，并將信息從輸入節(jié)點(diǎn)傳遞到輸出節(jié)點(diǎn)。隱藏節(jié)點(diǎn)總稱(chēng)為隱藏層。盡管一個(gè)前饋神經(jīng)網(wǎng)絡(luò)只有一個(gè)輸入層和一個(gè)輸出層，但網(wǎng)絡(luò)里可以沒(méi)有也可以有多個(gè)隱藏層。 3. 輸出節(jié)點(diǎn)：輸出節(jié)點(diǎn)總稱(chēng)為輸出層，負(fù)

5、責(zé)計(jì)算，并從網(wǎng)絡(luò)向外部世界傳遞信息。 在前饋網(wǎng)絡(luò)中，信息只單向移動(dòng)從輸入層開(kāi)始前向移動(dòng)，然后通過(guò)隱藏層（如果有的話(huà)），再到輸出層。在網(wǎng)絡(luò)中沒(méi)有循環(huán)或回路（前饋神經(jīng)網(wǎng)絡(luò)的這個(gè)屬性和遞歸神經(jīng)網(wǎng)絡(luò)不同，后者的節(jié)點(diǎn)連接構(gòu)成循環(huán)）。,.,感知機(jī)與多層神經(jīng)網(wǎng)絡(luò),多層感知器（Multi Layer Perceptron，即 MLP）包括至少一個(gè)隱藏層（除了一個(gè)輸入層和一個(gè)輸出層以外）。單層感知器只能學(xué)習(xí)線(xiàn)性函數(shù)，而多層感知器也可以學(xué)習(xí)非線(xiàn)性函數(shù)。,.,感知機(jī)與多層神經(jīng)網(wǎng)絡(luò),訓(xùn)練我們的多層感知器 BP算法（backpropagation），反向傳播誤差算法，是幾種訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的方法之一。這是一種監(jiān)督學(xué)習(xí)方

6、法，即通過(guò)標(biāo)記的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)（有監(jiān)督者來(lái)引導(dǎo)學(xué)習(xí)）。 由前向傳播和后向傳播構(gòu)成。 簡(jiǎn)單說(shuō)來(lái)，BackProp 就像從錯(cuò)誤中學(xué)習(xí)。監(jiān)督者在人工神經(jīng)網(wǎng)絡(luò)犯錯(cuò)誤時(shí)進(jìn)行糾正。學(xué)習(xí)的目的是為分配正確的權(quán)重。通過(guò)輸入向量，這些權(quán)重可以決定輸出向量。 前向傳播：最初，所有的邊權(quán)重（edge weight）都是隨機(jī)分配的。對(duì)于所有訓(xùn)練數(shù)據(jù)集中的輸入，人工神經(jīng)網(wǎng)絡(luò)都被激活，并且觀察其輸出。 后向傳播：這些輸出會(huì)和我們已知的、期望的輸出進(jìn)行比較，誤差會(huì)傳播回上一層。該誤差會(huì)被標(biāo)注，權(quán)重也會(huì)被相應(yīng)的調(diào)整。該流程重復(fù)，直到輸出誤差低于制定的標(biāo)準(zhǔn)。,.,感知機(jī)與多層神經(jīng)網(wǎng)絡(luò),上述算法結(jié)束后，我們就得到了一個(gè)學(xué)習(xí)過(guò)的人

7、工神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)被認(rèn)為是可以接受新輸入的。 該人工神經(jīng)網(wǎng)絡(luò)可以說(shuō)從幾個(gè)樣本（標(biāo)注數(shù)據(jù)）和其錯(cuò)誤（誤差傳播）中得到了學(xué)習(xí)。 然后我們看一個(gè)案例。,.,感知機(jī)與多層神經(jīng)網(wǎng)絡(luò),我們通常在感知器的輸出層中使用 Softmax 函數(shù)作為激活函數(shù)，以保證輸出的是概率并且相加等于 1。 Softmax 函數(shù)接收一個(gè)隨機(jī)實(shí)值的分?jǐn)?shù)向量，轉(zhuǎn)化成多個(gè)介于 0 和 1 之間、并且總和為1 的多個(gè)向量值。所以，在這個(gè)例子中： 概率（Pass）+概率（Fail）=1,.,感知機(jī)與多層神經(jīng)網(wǎng)絡(luò),.,感知機(jī)與多層神經(jīng)網(wǎng)絡(luò),如果我們現(xiàn)在再次向網(wǎng)絡(luò)輸入同樣的樣本，網(wǎng)絡(luò)應(yīng)該比之前有更好的表現(xiàn)，因?yàn)闉榱俗钚』`差，已經(jīng)調(diào)整了權(quán)重

8、。如圖 7 所示，和之前的 0.6, -0.4 相比，輸出節(jié)點(diǎn)的誤差已經(jīng)減少到了 0.2, -0.2。 這意味著我們的網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)了如何正確對(duì)第一個(gè)訓(xùn)練樣本進(jìn)行分類(lèi)。,.,應(yīng)用一：MLP分類(lèi)器,.,應(yīng)用一：MLP分類(lèi)器,.,應(yīng)用一：MLP分類(lèi)器,.,應(yīng)用一：MLP分類(lèi)器,.,應(yīng)用一：MLP分類(lèi)器,.,應(yīng)用一：MLP分類(lèi)器,.,應(yīng)用一：MLP分類(lèi)器,.,應(yīng)用一：MLP分類(lèi)器,.,應(yīng)用一：MLP分類(lèi)器,.,應(yīng)用二：MLP的3D可視化,Adam Harley 創(chuàng)造了一個(gè)多層感知器的 3D 可視化（http:/scs.ryerson.ca/aharley/vis/fc/），并已經(jīng)開(kāi)始使用 MNIST 數(shù)據(jù)庫(kù)手寫(xiě)的數(shù)字進(jìn)行訓(xùn)練。 此網(wǎng)絡(luò)從一個(gè) 28 x 28 的手寫(xiě)數(shù)字圖像接受 784 個(gè)數(shù)字像素值作為輸入（在輸入層有對(duì)應(yīng)的 784 個(gè)節(jié)點(diǎn)）。 網(wǎng)絡(luò)的第一個(gè)隱藏層有 300 個(gè)節(jié)點(diǎn)，第二個(gè)隱藏層有 100 個(gè)節(jié)點(diǎn)，輸出層有 10 個(gè)節(jié)點(diǎn)（對(duì)應(yīng) 10個(gè)數(shù)字）。 雖然這個(gè)網(wǎng)絡(luò)跟我們剛才討論的相比大了很多（使用了更多的隱藏層和節(jié)點(diǎn)），所有前向