1、Grossberg 網(wǎng)絡(luò),生物學(xué)的啟發(fā): 視覺,眼球和視網(wǎng)膜,視覺神經(jīng),水晶體,視網(wǎng)膜,視覺神經(jīng)纖維,雙極細(xì)胞,神經(jīng)節(jié)細(xì)胞,光,水平細(xì)胞,桿狀體,錐體,無(wú)長(zhǎng)突細(xì)胞,角膜,cornea,視網(wǎng)膜的層,視網(wǎng)膜是大腦的一部分，它由三層神經(jīng)細(xì)胞組成： 外層 光感受器：轉(zhuǎn)化光成電信號(hào) 桿狀體 使我們能在昏暗的情況下看見東西 錐體 使我們能看到精細(xì)的細(xì)節(jié)和色彩 中間層 雙極細(xì)胞 連接光感受器到第三層 水平細(xì)胞 連結(jié)感受器和雙極細(xì)胞 無(wú)長(zhǎng)突細(xì)胞 連結(jié)雙極細(xì)胞與神經(jīng)節(jié)細(xì)胞 第三層 神經(jīng)節(jié)細(xì)胞 通過(guò)視覺神經(jīng)連結(jié)視網(wǎng)膜到大腦,視覺路經(jīng),主視覺皮層,橫向膝狀核,視網(wǎng)膜,視網(wǎng)膜的照片,盲點(diǎn) (視神經(jīng)乳頭),靜脈,凹斑,

2、Vein,Fovea,Blind Spot (Optic Disk),視網(wǎng)膜吸收的不完善處,穩(wěn)定圖像變暗,靜脈,盲點(diǎn),視網(wǎng)膜,補(bǔ)償處理,應(yīng)急切斷(Emergent Segmentation)： 補(bǔ)償了丟失的邊界。 特征填充(Featural Filling-In)： 在產(chǎn)生的邊界內(nèi)填充顏色和亮度。,應(yīng)急切斷,特征填充,處理前,處理后,視覺幻覺,幻覺證實(shí)了視覺系統(tǒng)有補(bǔ)償處理的功能。上圖中我們看到 了一個(gè)亮白色的三角形和一個(gè)圓圈，實(shí)際上，它們?cè)趫D中 并不存在。,亮度一致,視覺系統(tǒng)規(guī)格化：僅覺察到相對(duì)亮度的差別，非絕對(duì)亮度。,變化的光照,分別的恒定光照,亮度對(duì)比,盡管上面兩個(gè)內(nèi)部小圓盤有相同的亮度，

3、看上去左邊那個(gè) 比右邊那個(gè)要亮一些。左邊的小圓盤比它周圍要相對(duì)亮些。 視覺系統(tǒng)規(guī)格化：看到并且識(shí)別是基于相對(duì)亮度。,漏積分(基本非線性模型的組成模塊),n(t)隨著時(shí)間的遞增將穩(wěn)定在p(t)。 分析： (因?yàn)楫?dāng)時(shí)，即-n(t)+p(t)0，n(t)是時(shí)間的增函數(shù)，但它 的遞增不會(huì)使得 n(t)p(t)，因?yàn)橐坏﹏(t)p(t)，將導(dǎo)致 ， 此時(shí)n(t)變成時(shí)間的減函數(shù)；類似，n(t)的遞減也不會(huì)使得 n(t)p(t)。故n(t)最終將趨向于p(t)，即穩(wěn)定在) 。 決定n(t)趨向于p(t)的速度，當(dāng)減少時(shí)趨向的快，反之則慢。,一階線性微分方程,漏積分響應(yīng),對(duì)于常數(shù)輸入 p 和零初始條件 n(

4、0)=0 ：,漏積分的特點(diǎn)： 響應(yīng)曲線以指數(shù)形式 趨于穩(wěn)定的狀態(tài)值。 響應(yīng) n(t) 會(huì)隨 p(t) 以 同樣大小比例變化。 響應(yīng)達(dá)到穩(wěn)定態(tài)的速 度由時(shí)間常數(shù) 決定， 當(dāng) 減少時(shí)響應(yīng)速度變 快，當(dāng) 增加時(shí)響應(yīng)速 度變慢。,p=1 和 =1,t,n,并聯(lián)模型,增益控制 (設(shè)置下限),增益控制 (設(shè)置上限),激勵(lì)輸入,抑制輸入,分析： 令 ，則有： 變形后有： 或 即有： 和,p+：非負(fù)激勵(lì)輸入，使網(wǎng)絡(luò)響應(yīng)增加 p-： 非負(fù)抑制輸入，使網(wǎng)絡(luò)響應(yīng)減少 b+：非負(fù)常量，上限 b-： 非負(fù)常量，下限,并聯(lián)模型(續(xù)),上限是 1, 下限是 0。,Grossberg 網(wǎng)絡(luò),LTM 長(zhǎng)期記憶 (網(wǎng)絡(luò)權(quán)值) S

5、TM 短期記憶 (網(wǎng)絡(luò) 輸出),視網(wǎng)膜,視覺皮層,規(guī)格化,輸入,對(duì)比度增強(qiáng),第一層（視網(wǎng)膜）,規(guī)格化輸入（限制了輸出總強(qiáng)度）同時(shí)維持相對(duì)強(qiáng)度。,第一層的操作,激勵(lì)輸入：,抑制輸入：,加強(qiáng)中心/抑制周圍 的連接模式,規(guī)格化的分析,在穩(wěn)定狀態(tài)：,定義相對(duì)強(qiáng)度：,穩(wěn)定狀態(tài)神經(jīng)元的活躍度：,其中,總的神經(jīng)元的活躍度：,第一層輸出總強(qiáng)度小于+b1，且保持了輸入各元素間的相對(duì)強(qiáng)度。,第 i 個(gè) 神經(jīng)元的響應(yīng)（設(shè) ， ）：,第一層的例子,t,t,第一層的特性,網(wǎng)絡(luò)對(duì)輸入模式相對(duì)強(qiáng)度的敏感勝于絕對(duì)強(qiáng)度。. 第一層的輸出是規(guī)格化了的輸入模式，每個(gè)輸出分量代表（保留）了相應(yīng)輸入分量的相對(duì)強(qiáng)度。 并聯(lián)模型的加強(qiáng)中心

6、/抑制周圍的連接模式和非線性增益控制產(chǎn)生了規(guī)格化的效果。 第一層的操作解釋了人類視覺系統(tǒng)的亮度一致和亮度對(duì)比的特性。,第 2 層（視覺皮層）,加強(qiáng)中心,抑制周圍,第 2 層操作,激勵(lì)輸入：,(加強(qiáng)中心連接),抑制輸入：,(自適應(yīng)權(quán)),(抑制周圍連接),第二層的例子,原型模式1與輸入之間的關(guān)聯(lián),原型模式2與輸入之間的關(guān)聯(lián),第二層的響應(yīng),對(duì)比度增強(qiáng) 并且存儲(chǔ)模式,神經(jīng)元1的輸入：,神經(jīng)元2的輸入：,第二層的特性,與Hamming和Kohonen網(wǎng)絡(luò)一樣，第2層的輸入是原型模式(權(quán)矩W2的行)和第1層輸出(規(guī)格化輸入模式)的內(nèi)積。 非線性反饋使得網(wǎng)絡(luò)存儲(chǔ)輸出模式(輸入撤消之后，輸出仍然保存)。 加強(qiáng)

7、中心/抑制周圍的連接模式致使對(duì)比度增強(qiáng)(大的輸入得以保持并使小的輸入減弱)。,定向接收區(qū)域,當(dāng)使用一個(gè)定向接收區(qū)域代替一個(gè)加強(qiáng)中心/抑制周圍接收區(qū)域時(shí)， 應(yīng)急切斷問題就可被理解。,激勵(lì),抑制,活躍,活躍,不活躍,傳輸函數(shù)的選擇,存儲(chǔ)模式,注釋,傳輸函數(shù),學(xué)習(xí)（自適應(yīng)權(quán)）,帶衰減的Hebb規(guī)則（連續(xù)形式）：,Instar 規(guī)則（連續(xù)形式）：,Instar規(guī)則向量形式：,當(dāng)ni2(t)活躍時(shí)才學(xué)習(xí),例子,每層有兩個(gè)神經(jīng)元的例子(=1)：,自適應(yīng)權(quán)的響應(yīng),對(duì)模式1：,對(duì)模式 2：,當(dāng)n12(t) 活躍時(shí)，權(quán)矩陣的第一行進(jìn)行調(diào)整并收斂到相應(yīng)的n1模式(0.9 0.45)；當(dāng)n22(t)活躍時(shí)，權(quán)矩陣的第二行進(jìn)行調(diào)整并收斂到相應(yīng)的n1模式(0.45 0.9)。,初始權(quán)值置為0，兩種不同的輸入模式以0.2 秒為周期交替地提交給網(wǎng)絡(luò)：,1,2,與Kohonen規(guī)則的關(guān)系,Grossberg學(xué)習(xí)規(guī)則 (連續(xù)時(shí)間)：,導(dǎo)數(shù)的歐拉近似表示：,Grossberg學(xué)習(xí)規(guī)則的離散時(shí)間表示：,與Kohonen規(guī)則的關(guān)系(續(xù)),整理各項(xiàng)：,假設(shè)用比線性快的傳輸函數(shù)(勝者全得競(jìng)爭(zhēng))：,其中,與Kohonen規(guī)則比較：,Grossberg網(wǎng)絡(luò)與Kohonen網(wǎng)絡(luò)區(qū)別,Grossberg網(wǎng)絡(luò)是一種連續(xù)網(wǎng)絡(luò)，滿足一