1、神經(jīng)網(wǎng)絡(luò)簡介,生物神經(jīng)系統(tǒng),神經(jīng)元響應(yīng)時(shí)間- 10-3 secs 人腦中的神經(jīng)元數(shù)目- 1010 每個(gè)神經(jīng)元突觸的數(shù)目- 104105 人臉的識別時(shí)間- 0.1secs 復(fù)雜的并行計(jì)算以及分布式的表示方式,神經(jīng)網(wǎng)絡(luò)模型,由許多“神經(jīng)元”組成 “神經(jīng)元”中有許多有權(quán)重的連接 多重輸出 并行以及分布式的進(jìn)程 通過修改權(quán)重進(jìn)行“學(xué)習(xí)”,何時(shí)使用神經(jīng)網(wǎng)絡(luò),輸入是一個(gè)高維的離散值或者實(shí)值 輸出是一個(gè)離散的值或者連續(xù)的值 輸出一個(gè)向量 有可能存在噪聲 輸入和輸出之間的函數(shù)關(guān)系是未知的,感知器,. . .,w1,w2,wn,w0,x0=1,i=0n wi xi,1 if i=0n wi xi 0 o(x)=

2、 -1 otherwise,o,感知器分類,+,+,+,+,-,-,-,-,x1,Linearly Separable,感知器的性質(zhì),感知器是一個(gè)多輸入、單輸出的運(yùn)算系統(tǒng)，表示一個(gè)神經(jīng)元的運(yùn)算特性 輸入的向量為xn=（x1 ,x2 , xn ），其中每個(gè)分量xi為第i個(gè)神經(jīng)元的狀態(tài) 權(quán)重向量為wn=（w1 ,w2 , wn ） 感知器的狀態(tài)值為該感知器的輸出值，它由輸入向量，權(quán)向量和閾值h決定,感知器的學(xué)習(xí)目標(biāo),感知器的學(xué)習(xí)過程是對權(quán)重向量進(jìn)行調(diào)整的過程，其學(xué)習(xí)目標(biāo)為 其中o由x,w,h決定,1 if x 在 A中 o(x)= -1 if x 在 B中,感知器的學(xué)習(xí)算法,通過已知的樣本進(jìn)行學(xué)習(xí)

3、 給出權(quán)重的初值 使用已知的樣本計(jì)算感知器的輸出 通過輸出值與樣本真實(shí)值之間的比較來調(diào)整權(quán)重 用調(diào)整后的權(quán)重再計(jì)算樣本的輸出，從而再進(jìn)行權(quán)重的調(diào)整，直到完成學(xué)習(xí)目標(biāo)為止,感知器學(xué)習(xí)法則,輸出正確 (t=o) 權(quán)重不變 輸出不正確 (to) 改變權(quán)重 ! 假陰性 (t=1 and o=0) Add x to w 假陽性 (t=0 and o=1) Subtract x from w,感知器的梯度下降學(xué)習(xí)算法,連續(xù)的輸出，我們可以考慮簡單的線性模型： 學(xué)習(xí)目標(biāo)為均方誤差最小： Ew1,wn = dS (td-od)2 其中s為訓(xùn)練樣本的全體，t為真實(shí)值，o為預(yù)測值。,感知器的梯度下降學(xué)習(xí)算法,感知

4、器的梯度下降學(xué)習(xí)算法,感知器的梯度下降學(xué)習(xí)算法,感知器的梯度下降學(xué)習(xí)算法,初始化權(quán)重w為小的隨機(jī)值 初始化 為0 對于每一個(gè)樣本計(jì)算其輸出值o 由輸出值可得 調(diào)整權(quán)重參數(shù) 重復(fù)上步直到滿足誤差限制為止,梯度下降學(xué)習(xí)算法,初始化權(quán)重w為小的隨機(jī)值 初始化 為0 對于每一個(gè)樣本計(jì)算其輸出值o 由輸出值可得 調(diào)整權(quán)重參數(shù) 重復(fù)上步直到滿足誤差限制為止,梯度下降的隨機(jī)近似,應(yīng)用梯度下降的主要實(shí)踐問題是: 1.有時(shí)收斂的速度非常慢(它可能需要數(shù)千步的下降) 2.如果在誤差曲面上有多個(gè)局部極小值,那么不能保證整個(gè)過程會(huì)找到全局最小值,梯度下降的隨機(jī)近似,初始化權(quán)重w為小的隨機(jī)值 初始化 為0 對于每一個(gè)樣本計(jì)算其輸出值o 由輸出值可得 調(diào)整權(quán)重參數(shù) 重復(fù)上步直到滿足誤差限制為止,區(qū)別,標(biāo)準(zhǔn)的梯度下降是在權(quán)值更新前對所有樣本匯總誤差,而隨機(jī)梯度下降的權(quán)值是通過考察每個(gè)訓(xùn)練樣本來更新的. 在標(biāo)準(zhǔn)的梯度下降中,權(quán)值更新的每一步對多個(gè)樣本求和,這需要很多計(jì)算.另一方面,因?yàn)槭褂谜嬲奶荻?標(biāo)準(zhǔn)的梯度下降對于每一次權(quán)值更新經(jīng)常使用比隨機(jī)梯度下降大