第五章突觸動(dòng)力學(xué)Ⅱ：有監(jiān)督學(xué)習(xí)

當(dāng)現(xiàn)有的先驗(yàn)知識(shí)不完全時(shí)，就需要學(xué)習(xí)。學(xué)習(xí)的方式取決于這一先驗(yàn)信息不完全的程度。在監(jiān)督學(xué)習(xí)過(guò)程中，假設(shè)已知未來(lái)學(xué)習(xí)系統(tǒng)的期望響應(yīng)，并且使用期望值與實(shí)際值的差值（即學(xué)習(xí)系統(tǒng)的誤差）去修正系統(tǒng)的行為。而在非監(jiān)督學(xué)習(xí)中是不了解學(xué)習(xí)系統(tǒng)的期望響應(yīng)的。－－－－Ya.Z.Tsypkin

神經(jīng)網(wǎng)絡(luò)通過(guò)向環(huán)境獲取知識(shí)并改進(jìn)自身性能。一般是按某種預(yù)定的度量調(diào)節(jié)自身的參數(shù)（如權(quán)值）隨時(shí)間逐步達(dá)到的。－－－－B.F.Skinner本章論述要點(diǎn)：神經(jīng)網(wǎng)絡(luò)的分類(lèi)：按網(wǎng)絡(luò)結(jié)構(gòu)分為：反饋網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)；按學(xué)習(xí)方式分為：監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)。本章論述內(nèi)容：前饋網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)算法，包括感知器算法、最小均方誤差算法和反向傳播（BP）算法。理論基礎(chǔ)：本章論述了監(jiān)督學(xué)習(xí)是對(duì)未知平均誤差層的隨機(jī)近似，即給定觀察得到的隨機(jī)矢量樣本對(duì)：

要估計(jì)一個(gè)未知函數(shù)：f:x—y，并且使期望誤差函數(shù)E[J]最小。誤差定義為期望特性與實(shí)際特性之差。前饋網(wǎng)絡(luò)：上圖即為前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖。各神經(jīng)元接受前一級(jí)輸入，并輸出到下一級(jí)，無(wú)反饋。輸入、輸出節(jié)點(diǎn)稱(chēng)為可見(jiàn)層，其他中間層稱(chēng)為隱層。

有監(jiān)督的函數(shù)估計(jì)有監(jiān)督的學(xué)習(xí)相當(dāng)于操作性條件反射有監(jiān)督的學(xué)習(xí)相當(dāng)于有先驗(yàn)知識(shí)的隨機(jī)模式學(xué)習(xí)算法，感知器，LMS，BP論述內(nèi)容：

有監(jiān)督的函數(shù)估計(jì)：神經(jīng)網(wǎng)絡(luò)引進(jìn)的函數(shù)估計(jì)的概念為：已知隨機(jī)樣本矢量對(duì)，要從這些樣本中估計(jì)出產(chǎn)生這些樣本矢量對(duì)的函數(shù)，即：其中：是輸入空間是輸出空間是要估計(jì)的泛函所采用的方法為是使一個(gè)未知期望的誤差函數(shù)（也叫目標(biāo)函數(shù)）最小化。

有監(jiān)督的函數(shù)估計(jì)：設(shè)N為一個(gè)神經(jīng)網(wǎng)絡(luò)的傳遞函數(shù)，那么可以定義瞬時(shí)誤差為 ，這是一個(gè)隨機(jī)向量，因?yàn)槲覀儾恢缆?lián)合概率密度函數(shù)p(x,y)，所以，無(wú)法求出， ,一般用 。隨機(jī)逼近用觀測(cè)到的隨機(jī)量來(lái)估計(jì)期望值，然后在離散的近似算法中使用這些估計(jì)量，通常是隨機(jī)的梯度下降法，舉個(gè)例子，在Widrow’sLMS算法中，他用的梯度是隨機(jī)梯度?；脽羝?

有監(jiān)督的學(xué)習(xí)＝操作性條件反射幻燈片5

1.操作性條件反射相當(dāng)于有監(jiān)督的學(xué)習(xí)，如果輸入與期望的輸出不同，就調(diào)節(jié)權(quán)值m

有監(jiān)督的學(xué)習(xí)＝有先驗(yàn)知識(shí)的隨機(jī)模式學(xué)習(xí)幻燈片5

例1：用已知的類(lèi)隸屬度作為隨機(jī)模式學(xué)習(xí)的有監(jiān)督學(xué)習(xí)

模式：定義為模式空間的一個(gè)點(diǎn)；

時(shí)變模式：空間中的一條軌跡線(xiàn)；映射

定義了從時(shí)間區(qū)間到模式空間中單點(diǎn)的映射。概率密度:為模式x在中的分布的一種描述。模式類(lèi)：為空間的子集。目的：是用已知的樣本：及模式類(lèi)來(lái)估計(jì)

有監(jiān)督的學(xué)習(xí)＝有先驗(yàn)知識(shí)的隨機(jī)模式學(xué)習(xí)幻燈片5

定義是集合的指示函數(shù)指示函數(shù)指出了模式x的類(lèi)隸屬度。如果S是將映射到而不是，那么S就是一個(gè)連續(xù)的或者說(shuō)是多值的（模糊的）集合，即模式x以不同的程度隸屬于不同的類(lèi)。分為k個(gè)不相交的子集：假設(shè)將模式樣本空間的

有監(jiān)督的學(xué)習(xí)＝有先驗(yàn)知識(shí)的隨機(jī)模式學(xué)習(xí)返回

例2：監(jiān)督隨機(jī)競(jìng)爭(zhēng)學(xué)習(xí)定律：先看噪聲隨機(jī)競(jìng)爭(zhēng)學(xué)習(xí)定律:由于上式?jīng)]有使用類(lèi)成員信息校正突觸矢量，所以是非監(jiān)督學(xué)習(xí)。監(jiān)督隨機(jī)競(jìng)爭(zhēng)學(xué)習(xí)定律為：增強(qiáng)函數(shù)為：獎(jiǎng)勵(lì)正確的模式分類(lèi)＋1，懲罰錯(cuò)誤的模式分類(lèi)為－1。

感知器學(xué)習(xí)算法

感知器模型如下圖：感知器是一個(gè)具有單層計(jì)算機(jī)單元的神經(jīng)網(wǎng)絡(luò)，并由線(xiàn)性閾值元件組成，可以通過(guò)監(jiān)督學(xué)習(xí)建立模式判別能力。注意：為方便起見(jiàn)，將閾值（因?yàn)樗残枰獙W(xué)習(xí)）一同并入中，令向量也對(duì)應(yīng)增加一個(gè)分量這樣輸出為：

感知器學(xué)習(xí)算法幻燈片5

感知器模型如下圖：給定初始值：賦給各一個(gè)較小的隨機(jī)非零值。輸入一樣本和它的希望輸出（亦稱(chēng)為導(dǎo)師信號(hào)，如果類(lèi)，，如果類(lèi)，）；計(jì)算實(shí)際輸出：修正權(quán)值：轉(zhuǎn)到步驟2，直到對(duì)一切樣本均穩(wěn)定不變?yōu)橹?。Rosenblatt證明：如果兩類(lèi)模式是線(xiàn)