神經(jīng)網(wǎng)絡(luò)課堂講義第1頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月主要內(nèi)容第2頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)（ArtificialNeuralNetwork，ANN）是20世紀(jì)80年代后期迅速發(fā)展起來(lái)的人工智能技術(shù)，對(duì)未經(jīng)訓(xùn)練的數(shù)據(jù)具有分類(lèi)模擬的能力，因此在網(wǎng)站信息、生物信息和基因以及文本的數(shù)據(jù)挖掘等領(lǐng)域得到了越來(lái)越廣泛的應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)分為前饋和遞歸。在前饋神經(jīng)網(wǎng)絡(luò)中,每一層的節(jié)點(diǎn)僅和下一層的節(jié)點(diǎn)相連。其中最簡(jiǎn)單的模型是感知器。在遞歸神經(jīng)網(wǎng)絡(luò)中，允許同一層節(jié)點(diǎn)或一層的節(jié)點(diǎn)連到前面各層中的節(jié)點(diǎn)。第3頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月感知器人的視覺(jué)是重要的感覺(jué)器官，人通過(guò)視覺(jué)接受的信息占全部信息量的80~85%。感知器是模擬人的視覺(jué)，接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的神經(jīng)網(wǎng)絡(luò)。感知器分單層與多層，是具有學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)。第4頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月單層感知器第5頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月單層感知器模型三要素第6頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月常見(jiàn)形式的激活函數(shù)符號(hào)函數(shù)線性函數(shù)用于多層感知器模型。第7頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月第8頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月雙曲正切函數(shù)第9頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月以符號(hào)函數(shù)為例第10頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月學(xué)習(xí)單層感知器模型第11頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月學(xué)習(xí)單層感知器模型(續(xù))第12頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月單層感知器學(xué)習(xí)算法的流程圖第13頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月單層感知器訓(xùn)練步驟可總結(jié)如下：第14頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月第15頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月第16頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月線性可分問(wèn)題第17頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月線性不可分問(wèn)題異或（XOR）問(wèn)題在二維平面中不存在一條直線，將輸入模式分為兩類(lèi)。可見(jiàn)：?jiǎn)螌痈兄鞑荒芙鉀Q異或問(wèn)題。第18頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月單層感知器的局限性由于單層感知器的激活函數(shù)是符號(hào)函數(shù)，則感知器神經(jīng)網(wǎng)絡(luò)的輸出只能取-1或1。因此單層感知器只能用于簡(jiǎn)單的分類(lèi)問(wèn)題。只能解決線性可分問(wèn)題，而大量的分類(lèi)問(wèn)題是線性不可分的。當(dāng)輸入矢量中有一個(gè)數(shù)比其他數(shù)都大或小得很多時(shí)，可能導(dǎo)致較慢的收斂速度。第19頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月多層感知器多層感知器(MLP)是一種多層前饋網(wǎng)絡(luò)模型，它通常由三部分組成：(1)一組感知單元組成輸入層(2)一層或多層計(jì)算節(jié)點(diǎn)的隱藏層(3)一層計(jì)算節(jié)點(diǎn)的輸出層它廣泛應(yīng)用于模式識(shí)別、圖像處理、函數(shù)逼近、優(yōu)化計(jì)算等領(lǐng)域。根據(jù)Kolmogorov定理，只要給定足夠數(shù)量的隱藏層節(jié)點(diǎn)、適當(dāng)?shù)姆蔷€性函數(shù)、以及權(quán)重，任何由輸入向輸出的連續(xù)映射函數(shù)均可用一個(gè)三層前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。

第20頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月三層感知器的預(yù)測(cè)公式第21頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月三層感知器解決異或(XOR)問(wèn)題第22頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)第23頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)(續(xù))第24頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)(續(xù))第25頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月學(xué)習(xí)多層感知器模型第26頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月學(xué)習(xí)多層感知器模型(續(xù))第27頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月學(xué)習(xí)多層感知器模型(續(xù))第28頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)具有自學(xué)習(xí)功能。例如實(shí)現(xiàn)圖像識(shí)別時(shí)，只在先把許多不同的圖像樣板和對(duì)應(yīng)的應(yīng)識(shí)別的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)就會(huì)通過(guò)自學(xué)習(xí)功能，慢慢學(xué)會(huì)識(shí)別類(lèi)似的圖像。自學(xué)習(xí)功能對(duì)于預(yù)測(cè)有特別重要的意義。至少含有一個(gè)隱藏層的多層神經(jīng)網(wǎng)絡(luò)是一種普適近似，即可以用來(lái)近似任何目標(biāo)函數(shù)?？梢蕴幚砣哂嗵卣鳌Ｉ窠?jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練數(shù)據(jù)中的噪聲非常敏感。訓(xùn)練ANN是一個(gè)很耗時(shí)的過(guò)程，特別當(dāng)隱藏節(jié)點(diǎn)數(shù)量很大時(shí)。可以建構(gòu)非線性的模型，模型的準(zhǔn)確度高。第29頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月數(shù)據(jù)的準(zhǔn)備問(wèn)題神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)量有最低要求，一般情況下，一個(gè)權(quán)重至少需要10個(gè)訓(xùn)練數(shù)據(jù)。通過(guò)輸入節(jié)點(diǎn)將輸入變量加以標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后的變量數(shù)值落在0和1之間，或者是-1和1之間。數(shù)據(jù)不能含有缺失值和離群點(diǎn)。屬性變量必須是數(shù)值型。當(dāng)有成百上千個(gè)屬性變量時(shí)，神經(jīng)網(wǎng)絡(luò)效果就不是很好。第30頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月最近鄰分類(lèi)器右圖中顯示的分類(lèi)框架包括兩個(gè)步驟：(1)歸納步，由訓(xùn)練數(shù)據(jù)建立分類(lèi)模型；(2)演繹步，把模型應(yīng)用于測(cè)試樣例。第31頁(yè)，課件共36頁(yè)，創(chuàng)作于2023年2月兩種學(xué)習(xí)方法第32頁(yè)，課件共36頁(yè)，創(chuàng)作于202