*光學(xué)信息處理*

光學(xué)神經(jīng)網(wǎng)絡(luò)*光學(xué)信息處理*8.1引

言

隨著80年代初對(duì)于神經(jīng)網(wǎng)絡(luò)的興趣的復(fù)蘇，Psaltis和Farhat于1985年發(fā)表了第一篇用光學(xué)方法實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的論文．與光學(xué)有關(guān)的神經(jīng)網(wǎng)絡(luò)稱(chēng)光學(xué)神經(jīng)網(wǎng)絡(luò)．然而，事實(shí)上應(yīng)當(dāng)正確地稱(chēng)之為光電混合神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱(chēng)混合神經(jīng)網(wǎng)絡(luò)(hybridneuralnetwork)．因?yàn)樯窠?jīng)網(wǎng)絡(luò)一般都有一個(gè)非線(xiàn)性函數(shù)，這是神經(jīng)網(wǎng)絡(luò)的重要特征，而用光學(xué)方法很難計(jì)算這一非線(xiàn)性函數(shù)．因此，通常的做法是用電子學(xué)方法來(lái)實(shí)現(xiàn)它．本章將研究用光學(xué)系統(tǒng)實(shí)現(xiàn)矩陣-向量或張量-矩陣的乘法．*光學(xué)信息處理*

神經(jīng)網(wǎng)絡(luò)是模擬人腦的結(jié)構(gòu)和功能的信息處理系統(tǒng)．從實(shí)際的觀(guān)點(diǎn)來(lái)看，我們并不打算制造一個(gè)人工腦，而是設(shè)法構(gòu)造一個(gè)信息處理系統(tǒng)去模擬人腦的某些行為．這一系統(tǒng)應(yīng)當(dāng)和vonNeu—mann型計(jì)算機(jī)的結(jié)構(gòu)和算法有實(shí)質(zhì)上的區(qū)別．光學(xué)神經(jīng)網(wǎng)絡(luò)可以看作光學(xué)信息處理和光計(jì)算系統(tǒng)的延伸和擴(kuò)展，這也是我們將它納入本書(shū)的原因．我們的典型方法是利用已很成熟的神經(jīng)網(wǎng)絡(luò)的理論模型，并考慮如何用光學(xué)的方案部分地實(shí)現(xiàn)它，這一方案在某些方面將比電子學(xué)方案更具優(yōu)越性．8.2一般基礎(chǔ)8.2.1研究神經(jīng)網(wǎng)絡(luò)的原動(dòng)力

1943年，當(dāng)時(shí)McCulloch和Pitts建立了一個(gè)神經(jīng)活動(dòng)的理論模型．在80年代，下面兩個(gè)因素推動(dòng)了對(duì)神經(jīng)網(wǎng)絡(luò)的研究工作：(1)在諸如識(shí)別一個(gè)物體這一類(lèi)課題上，計(jì)算機(jī)要末失敗，要末比人腦甚至動(dòng)物的腦慢得太多．(2)計(jì)算機(jī)需要一組精確而復(fù)雜的指令來(lái)完成某一特定的計(jì)算或課題，一個(gè)“聰明的”計(jì)算機(jī)應(yīng)當(dāng)具備這樣的功能：一旦某一任務(wù)被用戶(hù)確定后，它能夠自動(dòng)去學(xué)習(xí)、掌握正確完成該項(xiàng)任務(wù)的方法．“智能型”計(jì)算機(jī)的兩個(gè)基本要求：

識(shí)別能力、學(xué)習(xí)能力．*光學(xué)信息處理*8.2.2神經(jīng)

人類(lèi)的腦由大約1011個(gè)神經(jīng)元構(gòu)成．神經(jīng)元由三個(gè)部分組成：(1)細(xì)胞體：包含神經(jīng)細(xì)胞核及生物化學(xué)機(jī)構(gòu)，它可以合成細(xì)胞核的生存所必需的酶及其他分子．(2)樹(shù)突：像灌木叢一般形成許多分叉，圍繞著細(xì)胞體，神經(jīng)細(xì)胞正是通過(guò)它們形成的表面接受輸入信號(hào)．(3)軸突：是細(xì)胞體的延伸部分，它提供了信號(hào)從該細(xì)胞體傳遞到其他細(xì)胞的通道．

神經(jīng)內(nèi)外包含著差別很大的液體．外部液體所含的鈉約為內(nèi)部液體的10倍，內(nèi)部液體所含的鉀約為外部的10倍．由于在細(xì)胞的一側(cè)與另一側(cè)鈉離子和鉀離子的濃度不同，軸突中心區(qū)域內(nèi)部與外部約有-70mV的電位差。當(dāng)陽(yáng)離子穿過(guò)細(xì)胞膜上的通道進(jìn)入細(xì)胞時(shí)，內(nèi)部的電位將逐漸由負(fù)變?yōu)檎?，?dāng)電位差變?yōu)?0mV時(shí)，另一組通道開(kāi)啟，釋放陽(yáng)離子，使電位差恢復(fù)成-70mV。這一電壓脈沖稱(chēng)為作用電壓或電神經(jīng)信號(hào)．該電脈沖信號(hào)沿著軸突，一直傳播到軸突與其他神經(jīng)元的樹(shù)突的結(jié)合處．*光學(xué)信息處理*

位于軸突的端點(diǎn)和另一神經(jīng)元之間的結(jié)合部是一個(gè)突觸，在這里軸突膨大而形成終端球狀結(jié)構(gòu)，其中包含突觸囊．當(dāng)電神經(jīng)信號(hào)到達(dá)終端球狀體時(shí)，一些突觸囊釋放它們的成分——因此又稱(chēng)為化學(xué)“發(fā)射器”或傳遞器——它們被另一神經(jīng)細(xì)胞的樹(shù)突所接收．信息就這樣通過(guò)化學(xué)傳遞器一程接一程地在神經(jīng)元間傳輸．接收到信號(hào)的神經(jīng)元，其樹(shù)突的化學(xué)傳遞器起了開(kāi)啟和關(guān)閉細(xì)胞膜上的通道的作用，以改變細(xì)胞中的離子濃度。某些突觸處于興奮態(tài)時(shí)，它們總是要引發(fā)神經(jīng)脈沖；而另一些突觸處于抑制態(tài)時(shí)，它們能夠壓制或消滅一些信號(hào)，使之不可能再激勵(lì)神經(jīng)使之發(fā)射神經(jīng)脈沖．*光學(xué)信息處理*8.2.3數(shù)學(xué)模型神經(jīng)的行為可以概括如下：(1)一個(gè)神經(jīng)元發(fā)射一個(gè)電脈沖(輸出信號(hào))．脈沖的形狀永遠(yuǎn)相同，因而它的輸出可用一個(gè)二元狀態(tài)來(lái)表述：1表示發(fā)射，0表示不動(dòng)作．(2)該電脈沖作為輸入信號(hào)被另一個(gè)神經(jīng)元所接收．樹(shù)突作為化學(xué)傳遞器，接收電脈沖所荷載的信號(hào)．傳遞器的數(shù)目是事先確定的，傳遞器可以促進(jìn)或抑制信號(hào)的傳遞．突觸或輸入的權(quán)重正比于傳遞器的數(shù)目，由整數(shù)表示．突觸為正或負(fù)，分別表示興奮或抑制．如果采取歸一化的表示，則突觸為實(shí)數(shù)．(3)神經(jīng)的發(fā)射作用，乃是突觸被成百上千個(gè)神經(jīng)作用所激活的的綜合效果，是一個(gè)非線(xiàn)性過(guò)程．*光學(xué)信息處理*綜上所述，神經(jīng)的機(jī)理可以用數(shù)學(xué)公式表為zj

=f{∑i

ji

xi+j}其中zj

是第j個(gè)神經(jīng)元的輸出，

ji是第i個(gè)神經(jīng)元的輸入和第j個(gè)神經(jīng)元間的互連權(quán)重，xi是來(lái)自第i個(gè)神經(jīng)元的輸入，

j是第j個(gè)神經(jīng)元的偏置，而f則表示某個(gè)非線(xiàn)性的傳遞函數(shù)．注意zj

和xi都是二元的，取值l或0．在最簡(jiǎn)單的情況下，f是閾值函數(shù)，表為

zj=1,

當(dāng){∑i

jixi+j}≥T以及zj=0,當(dāng){∑i

jixi+j}≤T式中T為閾值．當(dāng)然傳遞函數(shù)也可能是S型函數(shù)而不是簡(jiǎn)單的step函數(shù)．*光學(xué)信息處理*McCulloch和Pitts提出的神經(jīng)元數(shù)學(xué)模型．圖8.1神經(jīng)元的圖示*光學(xué)信息處理*8.2.4神經(jīng)網(wǎng)絡(luò)

腦是一個(gè)由大約1011個(gè)神經(jīng)元構(gòu)成的復(fù)雜的網(wǎng)絡(luò)，每一個(gè)神經(jīng)元通過(guò)約1000個(gè)突觸與它周?chē)纳窠?jīng)元發(fā)生互連作用，總共有1014個(gè)互連通道．若假設(shè)神經(jīng)元只有兩個(gè)狀態(tài)：“發(fā)出信息”或“不發(fā)出信息”，則腦的自由度總數(shù)為2的1011次冪．研究表明，每一個(gè)思維，每一個(gè)感覺(jué)都是通過(guò)這個(gè)網(wǎng)絡(luò)的活動(dòng)實(shí)現(xiàn)的．實(shí)際工程中可把神經(jīng)網(wǎng)絡(luò)的問(wèn)題簡(jiǎn)化，如圖8.2所示．*光學(xué)信息處理*兩層神經(jīng)網(wǎng)絡(luò)圖示*光學(xué)信息處理*“工程神經(jīng)網(wǎng)絡(luò)的”描述：(1)神經(jīng)元是分層排列的，同一層內(nèi)的神經(jīng)元沒(méi)有相互作用．任何一個(gè)神經(jīng)元都不與它自身關(guān)聯(lián)．(2)每一神經(jīng)元都按拓?fù)鋵W(xué)的方式與相鄰層面上的神經(jīng)元發(fā)生互連，亦即從上一層面上的所有神經(jīng)元上接收輸入信號(hào)，并向下一層面上的所有神經(jīng)元發(fā)出信號(hào)．互連權(quán)重由實(shí)數(shù)表示．(3)每一神經(jīng)元的輸出都是二元的．(4)信號(hào)同時(shí)、并行地向一個(gè)方向傳輸，稱(chēng)為前向饋送．

數(shù)據(jù)則由神經(jīng)元狀態(tài)圖表達(dá)．可以相信，輸出和輸入間的任何數(shù)學(xué)關(guān)系，事實(shí)上都可以用網(wǎng)絡(luò)的互連圖來(lái)表征．通過(guò)“學(xué)習(xí)”的特殊方法，數(shù)學(xué)關(guān)系式可自動(dòng)地翻譯、移植到互聯(lián)網(wǎng)絡(luò)中去?！皩W(xué)習(xí)”過(guò)程的特點(diǎn)：

通過(guò)對(duì)于“輸入-輸出”對(duì)的修正，反復(fù)調(diào)節(jié)網(wǎng)絡(luò)．應(yīng)當(dāng)注意，網(wǎng)絡(luò)并不能記住輸入-輸出對(duì)，而是在輸入和輸出之間合成數(shù)學(xué)關(guān)系式，并將合成的關(guān)系式存儲(chǔ)在互連圖案之中．每當(dāng)新的輸入-輸出對(duì)參加到網(wǎng)絡(luò)中來(lái)，合成關(guān)系就獲得改進(jìn)，這一過(guò)程稱(chēng)為“訓(xùn)練”．由于該關(guān)系式是存儲(chǔ)在互連圖中，而不是由網(wǎng)絡(luò)去記住輸入-輸出對(duì)，因而一個(gè)從未出現(xiàn)過(guò)的新的輸入被網(wǎng)絡(luò)接收時(shí)，根據(jù)已存儲(chǔ)在互連圖中的一般關(guān)系，該輸入信號(hào)將引發(fā)一個(gè)正確的輸出信號(hào)．*光學(xué)信息處理*

當(dāng)輸入和輸出之間的關(guān)系模糊，很難描述的時(shí)候，這種能力尤其有用．例如，很難寫(xiě)出一組明確的計(jì)算機(jī)指令，去識(shí)別人臉由于感情、視角、陰影的不同而引起的變化．然而，如果給出一系列輸入—輸出對(duì)，其中輸入為不同條件下同一個(gè)人的臉，而輸出則是他的名字，則網(wǎng)絡(luò)將有能力把不同的面部圖像與他的名字關(guān)聯(lián)起來(lái)，因?yàn)榫W(wǎng)絡(luò)在訓(xùn)練過(guò)程中已抽取了面部的特征．原則上網(wǎng)絡(luò)滿(mǎn)足的要求：

(1)具有識(shí)別能力

(2)具備學(xué)習(xí)的能力．*光學(xué)信息處理*8.3光學(xué)互連8.3.1矩陣-向量乘法方程(1)可改寫(xiě)為

zj=f{yi

+j}(1)其中yi

=∑i

jixi(2)盡管用光學(xué)方法實(shí)現(xiàn)方程(1)很困難，但實(shí)現(xiàn)方程(2)卻較簡(jiǎn)單，這是一個(gè)矩陣-向量乘法．而方程(1)可用電子學(xué)方法實(shí)現(xiàn)．矩陣-向量乘法光學(xué)系統(tǒng)*光學(xué)信息處理*非相干光處理器的主要問(wèn)題：不能同時(shí)處理正數(shù)和負(fù)數(shù)．解決方法：需要在矩陣-向量乘法器中有兩個(gè)通道，分別對(duì)應(yīng)于正和負(fù)的數(shù)值．最后正和負(fù)的結(jié)果可以用電子學(xué)的方法加以聯(lián)合。正、負(fù)通道可用一對(duì)正交的偏振態(tài)來(lái)編碼，也可以用不同時(shí)間的幀圖像來(lái)編碼．另一做法是，在每一權(quán)重中增加一個(gè)偏置，并相應(yīng)調(diào)整閾值．也有人證明，當(dāng)略去負(fù)的權(quán)重時(shí)神經(jīng)網(wǎng)絡(luò)的性能反而提高．*光學(xué)信息處理*相干光矩陣-向量乘法器圖8.4Kranzdorf相干光矩陣-向量乘法器*光學(xué)信息處理*簡(jiǎn)化的矩陣—向量乘法器

線(xiàn)狀光源均勻地照射到模板的一列上，而線(xiàn)狀探測(cè)器則對(duì)一行的光強(qiáng)求和．圖8.5簡(jiǎn)化的矩陣—向量乘法器*光學(xué)信息處理*8.3.2透鏡列陣

盡管我們還不清楚人的大腦是否把二維信息保持在相同的二維神經(jīng)圖案中，但圖8.2所示的一維工程神經(jīng)網(wǎng)絡(luò)卻容易擴(kuò)展，以處理二維信息.相應(yīng)地，(1)、(2)式變成

zjl=f{yjl

+jl

}

(3)其中yjl

=∑i∑k

jilk

xik

(4)輸入輸出都是二維矩陣，互連則是四維張量．(4)式可由透鏡列陣光學(xué)系統(tǒng)實(shí)現(xiàn)．矩陣-1維向量乘法:(3×1向量及3×3矩陣)

y1=

11x1+12x2+13x3(5)y2=

21x1+22x2+23x3

(6)

y3=

31x1+32x2+33x3

(7)用兩個(gè)透鏡陣實(shí)現(xiàn)

矩陣-向量乘法運(yùn)算張量-矩陣乘法的光學(xué)實(shí)現(xiàn)

設(shè)要處理的是一個(gè)2×2矩陣．結(jié)果的矩陣中的元素由下式給出：

y11=

1111x11+

1112x12+

1211x21+

1212x22

(8)y12=

1121x11+

1122x12+

1221x21+

1222x22(9)y21=

2111x11+

2112x12+

2211x21+

2212x22(10)y22=

2121x11+

2122x12+

2221x21+

2222x22(11)

一個(gè)透鏡把輸入矩陣模板x成像在互連張量模板

上，

已進(jìn)行分塊處理，并構(gòu)成二維模板的形式．后面的一個(gè)透鏡列陣把x的像和

進(jìn)行疊加，形成輸出矩陣y.對(duì)于N×N的輸入矩陣，互連張量的元素為(N×N)2個(gè)，而列陣中的透鏡數(shù)也等于N×N．成像透鏡和透鏡列陣實(shí)現(xiàn)

張量—矩陣乘法

1112x12

1122x12

2112x12

2122x12

1111x11

1121x11

2111x11

2121x11

1212x22

1222x22

2212x22

2222x22

1211x21

1221x21

2211x21

2121x22成像透鏡和透鏡列陣實(shí)現(xiàn)

張量—矩陣乘法

1112x12

1122x12

2112x12

2122x12

1111x11

1121x11

2111x11

2121x11

1212x22

1222x22

2212x22

2222x22

1211x21

1221x21

2211x21

2121x22*光學(xué)信息處理*Farhat和Psaltis的構(gòu)想（面探測(cè)器）點(diǎn)探測(cè)器代替面探測(cè)器*光學(xué)信息處理*Wu等方案*光學(xué)信息處理*8.3.3光學(xué)相關(guān)器yjl

=∑i∑k

jilk

xik

→

矩陣乘法→內(nèi)積→相關(guān)Joint變換相關(guān)器示意圖自相關(guān)互相關(guān)*光學(xué)信息處理*Jutamulia提出用自適應(yīng)聯(lián)合變換相關(guān)器來(lái)實(shí)現(xiàn)(8)-(11)，也就是(4)式．使用JTC來(lái)實(shí)現(xiàn)張量—矩陣乘法*光學(xué)信息處理*應(yīng)用JTC的優(yōu)點(diǎn)(1)透鏡列陣加工困難較大，特別是當(dāng)矩陣x較大時(shí)，加工更困難．JTC的應(yīng)用代替了透鏡列陣.(2)JTC具備表達(dá)單極性互連權(quán)重的能力．然而，正由于JTC是相關(guān)光學(xué)處理器，測(cè)到的強(qiáng)度是光學(xué)計(jì)算值的平方．VanderLugt相關(guān)器也可用于實(shí)現(xiàn)(8)-(11)式．與JTC不同，VanderLugt相關(guān)器中濾波器是很難調(diào)試的，當(dāng)然也可以用光折變晶體來(lái)生成實(shí)時(shí)的匹配濾波器．Chao和Stoner仍用透鏡列陣來(lái)實(shí)現(xiàn)多通道處理，而Psaltis等以及Hong等則用多角度體積全息來(lái)實(shí)現(xiàn)多通道處理．*光學(xué)信息處理*

非相干投影方法Lin等早在1989年就指出了相關(guān)處理的途徑，他們使用了非相干投影方法(見(jiàn)下圖).投影相關(guān)示圖f(x)上每一像元都向各個(gè)方向輻射一個(gè)非相干光波，該光波透過(guò)函數(shù)g(x)掩模板上所有的像元，同一方向的光束將會(huì)聚在透鏡后焦面上的同一點(diǎn)．焦面的光強(qiáng)分布則提供了f(x)和g(x)的相關(guān)。

為了模擬(8)-(11),用四個(gè)LED來(lái)表示x11,x12，x21和x22，分塊矩陣模板則安排在LED后面，如右圖．由于通過(guò)x11～

1111,x12～

1112,x21～

1211和x22～

1212的光線(xiàn)具有相同的方向，它們經(jīng)過(guò)透鏡聚焦在同一點(diǎn)y11,通過(guò)x11～

1121,x12～

1122,x21～

1221和x22～

1222

的光線(xiàn)也具有相同的方向，經(jīng)透鏡后聚焦在y12，等等．用投影相關(guān)法實(shí)現(xiàn)張量-矩陣乘法*光學(xué)信息處理*8.3.4全息術(shù)方法

全息圖記錄物光和參考光形成的干涉圖。參考光通常從一個(gè)點(diǎn)源輻射．當(dāng)用參考光再次照射全息圖時(shí)，就可以用光學(xué)方法重構(gòu)原來(lái)的物體。

在全息技術(shù)中，分塊矩陣模板可以用一組全息圖來(lái)記錄。當(dāng)用輸入矩陣x重構(gòu)時(shí)，方程(8)-(11)就可用全息方法有效地實(shí)現(xiàn)．在全息技術(shù)中，分塊矩陣模板可以用一組全息圖來(lái)記錄。當(dāng)用輸入矩陣x重構(gòu)時(shí)，方程(8)-(11)就可用全息方法有效地實(shí)現(xiàn)．

*光學(xué)信息處理*全息圖H11，H12，H21，H22的制作參考光

x11參考光

x12參考光

x21參考光

x22

11’

12’

22’

21’*光學(xué)信息處理**光學(xué)信息處理*參考光

x11參考光

x12參考光

x21參考光

x22重構(gòu)

ij’的強(qiáng)度正比于點(diǎn)源xij的光強(qiáng)．*光學(xué)信息處理*

Ivanov

等把一組一維全息圖裝在一個(gè)可旋轉(zhuǎn)的光學(xué)轉(zhuǎn)盤(pán)系統(tǒng)上以實(shí)現(xiàn)矩陣-向量乘法．在時(shí)刻

t1，輸入x1通過(guò)一維全息圖在y1，y2和y3

處分別產(chǎn)生

11x1

，

21x2

和

31x3

。在時(shí)刻t2，由于轉(zhuǎn)盤(pán)轉(zhuǎn)到另一位置，輸入x2通過(guò)全息圖在y1，y2和y3

分別產(chǎn)生

12x1

，

22x2和

32x3

，如此等等．

在時(shí)刻t1

到t3

，位于y1

～y3的每一探測(cè)器分別積分以得到(5)～(7)．

Psaltis和他的合作者用單個(gè)體全息圖代替分離的全息圖列陣來(lái)計(jì)算(8)-(11)．他們?cè)O(shè)想，從x11輻射的光波經(jīng)過(guò)體全息圖中與互連權(quán)重

1111對(duì)應(yīng)的光柵的衍射，應(yīng)當(dāng)射向y11，等等．在(8)-(11)式給出的例子中，有8組光柵共存于體全息介質(zhì)中。光柵

1111不會(huì)干擾除x1