第14章競(jìng)爭(zhēng)網(wǎng)絡(luò)

14.1目的

第3章所介紹的Hamming網(wǎng)絡(luò)，展示了一種用神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別的技術(shù)，這種技術(shù)需要事先知道原模型并且將原型模式以權(quán)值矩陣的行和網(wǎng)絡(luò)相結(jié)合。本章將討論一些在結(jié)構(gòu)上以及操作上都與Hamming網(wǎng)絡(luò)極為相似的網(wǎng)絡(luò)。14.2理論和實(shí)例

Hamming網(wǎng)絡(luò)是競(jìng)爭(zhēng)網(wǎng)絡(luò)中最簡單的例子。它的輸出層神經(jīng)元相互競(jìng)爭(zhēng)以確定勝者。勝者將指出哪一種原型模式最能代表輸入模式。這種競(jìng)爭(zhēng)是通過在輸出層神經(jīng)元之間一組負(fù)連接（即側(cè)向抑制）來實(shí)現(xiàn)的。早在1959年，F(xiàn)rankRosenblatt就創(chuàng)造了一種簡單的“自發(fā)”分類器，這是種基于感知機(jī)的無監(jiān)督的神經(jīng)網(wǎng)絡(luò)。這種網(wǎng)絡(luò)能夠?qū)W會(huì)將輸入的矢量分類成數(shù)目大致相等的兩類。

在20世紀(jì)60年代后期及70年代早期，StephenGrossberg引入了許多使用側(cè)向抑制而產(chǎn)生良好效果的競(jìng)爭(zhēng)網(wǎng)絡(luò)。

1973年，ChristophvonderMalsburg引入了一種自組織的學(xué)習(xí)規(guī)則，這種規(guī)則使得相鄰的神經(jīng)元對(duì)相似的輸入產(chǎn)生反應(yīng)。他這種網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)以某些方式模仿DavidHubel和TortenWiesel過去所發(fā)現(xiàn)的貓的視覺皮層的結(jié)構(gòu)。他的學(xué)習(xí)規(guī)則引起了人們極大的興趣，但是這種學(xué)習(xí)規(guī)則使用一種非局部計(jì)算以保證權(quán)值是歸格化的。這使得它在生物學(xué)上缺少合理性。

在本章我們集中討論Kohonende競(jìng)爭(zhēng)框架，他的模型體現(xiàn)了競(jìng)爭(zhēng)網(wǎng)絡(luò)的主要特征，而且也比Grossberg的網(wǎng)絡(luò)在數(shù)學(xué)上更易處理。這些網(wǎng)絡(luò)為競(jìng)爭(zhēng)學(xué)習(xí)提供了良好的說明。我們將從簡單的競(jìng)爭(zhēng)網(wǎng)絡(luò)開始。然后將結(jié)合網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)講解自組織特征圖。最后將討論學(xué)習(xí)向量量化。它將競(jìng)爭(zhēng)和有監(jiān)督的學(xué)習(xí)框架結(jié)合起來。14.2.1Hamming網(wǎng)絡(luò)

既然本章所討論的競(jìng)爭(zhēng)網(wǎng)絡(luò)與Hamming網(wǎng)絡(luò)(見圖14-1)緊密相關(guān)，所以先回顧一下Hamming網(wǎng)絡(luò)的一些主要概念。Hamming網(wǎng)絡(luò)由兩層組成。第一層將輸入向量與原型向量聯(lián)系起來。第二層采用競(jìng)爭(zhēng)方式?jīng)Q定哪種原型向量最接近輸入向量。1.第一層從第3章知道，Hamming網(wǎng)絡(luò)一個(gè)神經(jīng)元只能夠識(shí)別一種模式。為了能夠識(shí)別多種模式，就必須有多種神經(jīng)元。

假設(shè)要讓網(wǎng)絡(luò)識(shí)別以下原型向量：第一層的權(quán)值矩陣為，偏置向量是矩陣的每一行都代表我們想要識(shí)別的一種原型向量，的每個(gè)元素都設(shè)為等于每個(gè)輸入向量的元素個(gè)數(shù)R（神經(jīng)元個(gè)數(shù)S等于將識(shí)別的原型向量的個(gè)數(shù)Q）。第一層的輸出是注意：第一層的輸出等于原型向量與輸入的內(nèi)積再加上R。正如我們?cè)诘?章節(jié)討論的那樣，這些內(nèi)積表明原型向量與輸入向量之間的接近程度。2.第2層

第二層是競(jìng)爭(zhēng)層。這一層的神經(jīng)元用前饋層的輸出初始化，這些輸出指明了原型模型與輸入向量的相互關(guān)系。然后神經(jīng)元相互競(jìng)爭(zhēng)以確定勝者。競(jìng)爭(zhēng)過后，只有一個(gè)神經(jīng)元有非零輸出。獲勝的神經(jīng)元指明輸入屬于哪類（每個(gè)原型向量代表一個(gè)類）。第一冤層的害輸出攝用蠟來初特始化解第二政層：然后坐第二柏層的都輸出踏用如仰下遞室規(guī)關(guān)婦系更扔新：第二阻層的土權(quán)值甘矩陣拆的對(duì)姜角線殼元素暑都被幸設(shè)為1，不神再對(duì)康角線蛋上的館元素趴，設(shè)巖為某胞個(gè)小沫的負(fù)攤數(shù)：橫向彎抑制這個(gè)盆矩陣香產(chǎn)生脂橫向選抑制爸，即層每個(gè)命神經(jīng)競(jìng)元的灘輸出遵都將村對(duì)所作有其萌他的等神經(jīng)蠢元產(chǎn)借生一倒種抑共制作報(bào)用。導(dǎo)為了漿說明培這種藍(lán)效果堡，用1和拔的艘權(quán)值啞代入曲中合想適的腦元素陜。每次晨迭代志，每坦個(gè)神丙經(jīng)元敏的輸學(xué)出都卡會(huì)隨拖著所粥有其灘他神染經(jīng)元雙輸出洞的和敏按比晚例下檢降（劫最小直的輸合出為0）。勵(lì)初始撫狀態(tài)些最大簽的神蕉經(jīng)元節(jié)比起斧其他交神經(jīng)蒼元的殘輸出欺降得錄慢一保些。遠(yuǎn)最終嫌這個(gè)柱神經(jīng)煩元將勝成為秀惟一勵(lì)一個(gè)躁有正續(xù)值輸赴出的繼神經(jīng)摟元。胸這時(shí)林網(wǎng)絡(luò)窮已達(dá)允到了文穩(wěn)定睛狀態(tài)羞。第二懸層神該經(jīng)元序中有組穩(wěn)定瘋正值勢(shì)輸出標(biāo)的神爪經(jīng)元濤是和纏輸入脊匹配配得最稠好的津原型文向量敢的那刻個(gè)神崗經(jīng)元。14盡.2置.2競(jìng)爭(zhēng)度層競(jìng)爭(zhēng)Ha場(chǎng)mm下in彈g網(wǎng)絡(luò)膏的第亮二層疑的神讀經(jīng)元牲激活幕自己喚而抑渡制所擊有其唉他神難經(jīng)元慌，這律就叫挑做競(jìng)爭(zhēng)。為了己簡化很本章窯余下焦部分們的討情論，偷我們覆將定躍義一裕個(gè)傳賀輸函貢數(shù)，籃來作匙一個(gè)卵遞歸迎競(jìng)爭(zhēng)賢層所繼做的賺工作攝：它找?guī)诺阶顡u大凈軋輸入差的神紐奉經(jīng)元提的下屠標(biāo)，末并將緞其輸怨出設(shè)謎置為1。所頭有其申他的勺輸出價(jià)都設(shè)屢置為0。用一繞個(gè)作幸用于治第一敲層的灑競(jìng)爭(zhēng)舊傳輸報(bào)函數(shù)瞎代替Ha聯(lián)mm某in往g網(wǎng)絡(luò)期的遞蓋歸層親，將聽簡化羅此章朱的討禿論。及競(jìng)爭(zhēng)貧層如費(fèi)圖14中-2所示揪。正如Ha呆mm弦in屢g網(wǎng)絡(luò)躺那樣窗，原嶼型向懸量存覽儲(chǔ)于W矩陣責(zé)的每碎行之例中，喘凈輸?shù)饺雗計(jì)算厚輸入弊向量p和原兩每個(gè)冊(cè)原型是之間壟的矩典離（琴假設(shè)伴向量訓(xùn)歸格偶化長隸度為L）。希每個(gè)豎神經(jīng)為元i的凈湯輸入ni和p與原筆型向寺量贏之娘間的廊夾角寬成齒正比食：競(jìng)爭(zhēng)燦傳輸邊函數(shù)具對(duì)權(quán)差值向處量與生輸入違向量為方向掌最為消接近蟲的神丸經(jīng)元各的輸紀(jì)出指愚定為1：1.競(jìng)爭(zhēng)寒學(xué)習(xí)我們咳希望移有一絕個(gè)學(xué)劍習(xí)規(guī)群則，增在不氣知道要原型虜向量盟的情隔況下刑用來騙訓(xùn)練窮競(jìng)爭(zhēng)騾網(wǎng)絡(luò)鍋的權(quán)俗值。盡其中唉一個(gè)邪這樣疏的學(xué)誤習(xí)規(guī)煌則是博第13章討衡論的in攔st洞ar規(guī)則鼻：對(duì)于圍競(jìng)爭(zhēng)阿網(wǎng)絡(luò)趣：a只對(duì)澇競(jìng)爭(zhēng)舌獲勝撓神經(jīng)己元是律非零著的。因查此產(chǎn)繪生Ko隆ho滾ne接n規(guī)則如下屢：而因此逃，權(quán)嗚值矩級(jí)陣中園最接秘近輸孩入向管量的認(rèn)行（跌或者疾與輸熄入向盜量有惹最大患內(nèi)積遞的行剪）向肅輸入鄙向量猴移動(dòng)上。它島沿著斬權(quán)值鐵矩陣?yán)@原有她行與優(yōu)輸入捉向量衡之間美的連惕線移姑動(dòng)，顛如圖14監(jiān)-3所示獵?，F(xiàn)在創(chuàng)用圖14狠-4的6個(gè)向恩量來睬演示郵競(jìng)爭(zhēng)羽層如痛何學(xué)仇習(xí)分許類向景量。6個(gè)向旨量為獅：我們顆的競(jìng)內(nèi)爭(zhēng)網(wǎng)菠絡(luò)有3個(gè)神賊經(jīng)元饑，因狂而它歸可以策將向碌量分堵成3類。朋下面耽是“偽隨機(jī)容”選損擇的什規(guī)格免化初鵝始權(quán)鐘值：數(shù)值塞向量挺如圖14位-5所示俊，其舒中權(quán)萌值向針量用頂箭頭決表示平。我趴們將p2提交棵給網(wǎng)拘絡(luò)：第2個(gè)神換經(jīng)元個(gè)的權(quán)濱值向軍量與p2最接毀近，擇因而銅它競(jìng)德爭(zhēng)獲滋勝養(yǎng)，座且輸逗出為1?，F(xiàn)慣在應(yīng)凝用Ko良ho遲ne造n學(xué)習(xí)添規(guī)則橫，其治中學(xué)練習(xí)速素度。Ko榮ho古ne粱n學(xué)習(xí)蛛規(guī)則撈將嗎已接躍近至敘，正六如圖14悔-6所示保。如撫果不渡斷隨漠機(jī)選酷擇輸是入向慎量并湖且將富它們昨輸入劈燕網(wǎng)絡(luò)們，那槐么每渴次迭水代與繳輸入唱向量率最近掛的權(quán)洋值向濟(jì)量與賭將會(huì)亭向輸號(hào)入向材量移古動(dòng)。最終禍每個(gè)冤權(quán)值編向量乖將指蔬向輸牙入向廈量的借不同辜簇。健每個(gè)萍權(quán)值艦向量著會(huì)變趨成不悅同的禮簇的小原型案向量。這個(gè)儀問題紐奉足夠呀簡單容，以繳至能健夠預(yù)繁計(jì)哪蝦個(gè)權(quán)哄值向搭量將袋指向躺哪個(gè)必簇。軌最終紗的權(quán)床值向拉量將寨會(huì)如剪圖14們-7種所悶示。一旦笛神經(jīng)芽網(wǎng)絡(luò)溜學(xué)會(huì)般了如傷何將貞輸入約向量蓄分類括，那茄么對(duì)翅于新峽向量促它也裁將同葛樣分改類，戚如圖14扇-8所示蒼。陰杏影表錘示每店個(gè)神虹經(jīng)元熱將作蠻出響球應(yīng)的陸區(qū)域鄙。競(jìng)?cè)~爭(zhēng)層皂通過新使權(quán)盜值向川量最漸接近胃輸入拐向量p的神芹經(jīng)元確的輸涌出為1為每盾個(gè)輸烏入向淡量p指定蒸給這變些類虜中的欠一個(gè)包。2.競(jìng)爭(zhēng)嗚層中晝存在后的問河題競(jìng)爭(zhēng)盯網(wǎng)絡(luò)宜能夠夢(mèng)進(jìn)行陵有效舞的自粥適應(yīng)較分類絹，但料它仍叉存在列一些危問題翅。第一圖個(gè)問糠題就支是學(xué)勺習(xí)速夸度的削選擇減使得踐不得屋不在匆學(xué)習(xí)站速度硬和最仍終權(quán)它值向透量的囑穩(wěn)定腰性之屈間進(jìn)激行折毫中（見北圖14巧-9）。齒一個(gè)勺接近0的學(xué)攪習(xí)速獅度意銹味著仁慢速薪的學(xué)駱習(xí)。張然而迅，一直旦權(quán)辰值向拜量到修達(dá)一撕個(gè)簇素的中共心，短它將范保持混在中碗心附伍近。相反段，接族近1.姿0的學(xué)懷習(xí)速娃度將商導(dǎo)致南快速紙學(xué)習(xí)賓。然厭而，紫一旦宏權(quán)值抽向量米到達(dá)請(qǐng)一個(gè)梨簇。怨它將債作為陜它所恒代表取的簇游中的話不同師向量礎(chǔ)來回精震蕩影（見別圖14桶-1債0）。有時(shí)敵這種插在快速厭學(xué)習(xí)宮和穩(wěn)陪定性朋之間很的折柳中能肚夠帶味來好北處。初避始訓(xùn)軋練對(duì)萬于快久速學(xué)脆習(xí)可洗以用桂大的限學(xué)習(xí)偉速度殼來完邁成。敲然后儀學(xué)習(xí)鞠速度仍可以覆隨著夠訓(xùn)練最的進(jìn)雖程而僚逐漸剃減少僑，以舉達(dá)到稍穩(wěn)定燭的原炮型向啦量。暗令人秋遺憾男的是戴如果答網(wǎng)絡(luò)吃需不幕斷地蘿對(duì)輸玩入向俗量的某新排資列作懲出調(diào)種整的擺話，碰這種獻(xiàn)技術(shù)宵就不宅起作題用了蔑。當(dāng)簇虹彼此頭很靠塘近的僅時(shí)候，一音種更批為嚴(yán)槽重的興穩(wěn)定迅性問秩題產(chǎn)案生了煙。在驚特定誤的情方?jīng)r下等，一個(gè)世形成啄某簇矩原型章的權(quán)睜值向馳量會(huì)沸“侵恐入”康另一對(duì)個(gè)權(quán)發(fā)值向揪量的薯領(lǐng)地悉，從盈而破黑壞目克前的愉分類絹狀況碰。圖14孟-1胃1中的4個(gè)圖劇說明泉了這量個(gè)問猛題。棋兩個(gè)剩輸入聚向量像（圖漲（a）中錘用空想心圓阻圈表燃示）運(yùn)被提仗交了厭幾次嚴(yán)。結(jié)翁果是漸代表頁中間釣和右膠邊簇裳的權(quán)故值向私量移南向了隆右邊彩。最描后右泡邊簇俘的一鉗個(gè)向驅(qū)量被煉中心親權(quán)值剝向量屋重新逮分類轉(zhuǎn)。進(jìn)吼一步坦的提禮交向幣量使巾中間輝向量影移向狼右邊丹，直芳到它謹(jǐn)“丟錢失”木了一頁些它顧的向抓量才構(gòu)停止接，這諒些丟缸失的爆向量偏成為旋左邊藝權(quán)值殃向量貪所代兵表的耀類的胡一部據(jù)分。第三辣個(gè)問味題是毒有時(shí)抄一個(gè)輸神經(jīng)葉元的劉初始哀權(quán)值臥向量渣離輸嘉入向笨量太宿遠(yuǎn)以桑至于手它從攤未在迫競(jìng)爭(zhēng)射中獲饅勝，稅因此屑從來憲也得朝不到癢學(xué)習(xí)。這酷將產(chǎn)偽生一享個(gè)毫捐無用雀處的鹿“死戴”神克經(jīng)元益。例編如圖14逢-1源2無論兵以什棉么次醉序把壩向量釣提交炭給網(wǎng)強(qiáng)絡(luò)，韻向下寫指的曉那個(gè)必權(quán)值妙向量忙永遠(yuǎn)氣都得耗不到茄學(xué)習(xí)明。這個(gè)禁問題醉的一攜個(gè)解栽決辦趴法是申給每鼻個(gè)神析經(jīng)元盲的凈謙輸入紀(jì)加入甲一個(gè)識(shí)負(fù)的烘偏置舍值。塌每次受那個(gè)蠅神經(jīng)嬌元競(jìng)更爭(zhēng)獲染勝則密將偏冠置值瞎減少者。這將訊使一沸個(gè)經(jīng)漠常競(jìng)串爭(zhēng)獲她勝的頓神經(jīng)滑元獲拖勝的重機(jī)會(huì)總減少翻。這種炸機(jī)制蹤蝶有時(shí)直叫做俱“良克心”主。最終濾，一鋒個(gè)競(jìng)菠爭(zhēng)層步有多幣少個(gè)矛神經(jīng)鋸元，為就能灰夠有驅(qū)多少帖個(gè)類伙。這對(duì)遼于某羨些應(yīng)起用將蹈無法拳適用其，尤牢其在王事先途并不幻玉知道創(chuàng)簇的扎個(gè)數(shù)撕的時(shí)剪候。蠢此外席，對(duì)桿于競(jìng)旋爭(zhēng)層學(xué)，每數(shù)個(gè)類信在輸覺入空腐間之丈中都藝含有吵一個(gè)梅凸區(qū)云域。映當(dāng)在騎非凸拍區(qū)域獅或類劑是由購不連木接的界區(qū)域暫所組壯成的身時(shí)候毒，競(jìng)職爭(zhēng)層熔不能米形成輛類。14拖.2鎮(zhèn).3生物勝學(xué)意抄義上采的競(jìng)拿爭(zhēng)層在生敵物的爭(zhēng)神經(jīng)廚網(wǎng)絡(luò)創(chuàng)中，毛神經(jīng)卵元的兩典型尺情況肝是排缸列成薪二維肉層次拆，它闊們通它過橫孤向反既饋密旱集地歌聯(lián)結(jié)革在一贈(zèng)起。豪圖14劑-1搞3展示經(jīng)了以去二維做網(wǎng)絡(luò)天形式進(jìn)組織貴的25個(gè)神寨經(jīng)元凝。通常尼權(quán)值劇是聯(lián)姿結(jié)的醒神經(jīng)江元之滾間的性距離冒的函隊(duì)數(shù)。站例如雜，Ha頃mm央in鈔g網(wǎng)絡(luò)嘆第二唇層的慕權(quán)值隨定義錦如下述（14繳.1膏9）等式券（14平.2福0）與赴等式盯（14鋼.1創(chuàng)9）定測(cè)義了否同樣國的值飲，只窮是基于烤神經(jīng)置元之挖間的忍距離圖14稍-1飼4展示鉛了等蓬式（14偷.2伐0）或攔式（14考.1致9）所銹定義高的權(quán)置值。趕每個(gè)詳神經(jīng)強(qiáng)元i都標(biāo)凱以權(quán)繡值蚊，基即從播它到罵神經(jīng)申元j的權(quán)數(shù)值。加強(qiáng)斑中心/抑制消周圍加強(qiáng)付中心/抑制鑼周圍煙常被疾用來滔描述放如下感神經(jīng)短元之腔間的午一種澡聯(lián)結(jié)蘇方式有：每個(gè)暖神經(jīng)閘元加殊強(qiáng)自滅身（嚴(yán)中心臟），擔(dān)并且棟同時(shí)題抑制嘩周圍鍛的神莖經(jīng)元缸。這是框生物席學(xué)競(jìng)孔爭(zhēng)層研中的畢一種脆天然得的近忽似。鈴在生門物學(xué)孟中，僵大神與經(jīng)元只不僅爹加強(qiáng)百自己蘭，同籃時(shí)也妄加強(qiáng)汗接近姐它的革那些鄙神經(jīng)別元。閘一般他情況搞下，范隨著餃神經(jīng)橫元之次間的疾距離滋增加齊，從美加強(qiáng)崗到抑龜制的勁轉(zhuǎn)變大是平忍滑地谷出現(xiàn)丑的。墨西暴哥草派帽函歇數(shù)這種按轉(zhuǎn)變餓見圖14迷-1牲5中的貪左圖眾。這簡是一閘種將神絮經(jīng)元悅之間圈的距隨離與躲連接乘他們鋼的權(quán)釋值相且聯(lián)系羅起來解的函脈數(shù)。那些莊近似鉛的神忌經(jīng)元犁提供豬互相站加強(qiáng)槳的連謠接，摘并且呀激勵(lì)篩的幅多度隨疑著距妨離的銷增加鐮而降遙低。尊超過險(xiǎn)一定市距離盒，神堵經(jīng)元碗將呈粥現(xiàn)一沒種抑稀制性養(yǎng)聯(lián)結(jié)川，并虹且抑唯制隨鏈著距道離的安增加坦而增滔加。宿因?yàn)樵@個(gè)賞函數(shù)辮的形釋狀，錢它被冒稱為較墨西勁哥草狼帽函葛數(shù)。圖14瀉-1促5中的稱右圖厚是墨而西哥煩草帽矮（加爬強(qiáng)中覆心/抑制段周圍團(tuán)）函必?cái)?shù)的快一個(gè)山二維顫圖示溫，每慈個(gè)神某經(jīng)元i都被屑標(biāo)以紀(jì)符號(hào)灣及表鴿示它白到神著經(jīng)元j的權(quán)嘉值的囑相對(duì)角強(qiáng)度俯。生物市競(jìng)爭(zhēng)良系統(tǒng)秧，除了摟在加迫強(qiáng)中良心/抑制葛周圍珠的聯(lián)捕結(jié)模演式下帖，從輕激勵(lì)譯區(qū)域程到抑袖制區(qū)悔域的平轉(zhuǎn)變哭是漸老變以欲外，們還是殿一種潑相對(duì)怨于Ha嘩mm拒in晴g網(wǎng)絡(luò)況的“宋勝者代全得挨”競(jìng)酒爭(zhēng)較秤為弱狼的競(jìng)隆爭(zhēng)形胡式。生物霞網(wǎng)絡(luò)盜通常盆不是稀單個(gè)喂神經(jīng)銳元（陵競(jìng)爭(zhēng)宜獲勝植者）榴活躍陜，而招是在門最為疲活躍拳的神塌經(jīng)元早的周殺圍有狐活躍云區(qū)。這棕部分肚是由泉于加厘強(qiáng)中寶心/抑制游周圍輩的聯(lián)黎結(jié)方警式以息及非障線性王的反浮饋聯(lián)爬結(jié)引蜘起的方。14勇.2咬.4自組鉆織特?zé)┱鲌DSO供FM網(wǎng)絡(luò)掀鄰域?yàn)榱烁∧７略餄檶W(xué)系灣統(tǒng)的催活躍鑄區(qū)，四并且汪不必袍實(shí)現(xiàn)越非線含性的刃加強(qiáng)妨中心/抑制可周圍泡的反脆饋聯(lián)刑結(jié)，Ko吧ho澇ne桶n作了院如下身的簡增化設(shè)退計(jì)。自組怎織特之征圖支（SO鴉FM）網(wǎng)戶絡(luò)首駕先使野用競(jìng)珠爭(zhēng)層輕所用夾的同趨一過私程來較決出怖獲勝餅的神朱經(jīng)元敲；即然后決，在淹獲勝社神經(jīng)著元周姓圍一貞定范蛾圍內(nèi)要的所綁有神那經(jīng)元棄的權(quán)此值向槐量用Ko坡ho島ne培n規(guī)則順更新，其中催鄰域腿包見含所張有落多在以痕獲勝?zèng)錾窠?jīng)護(hù)元透為曲中心晌，半樓徑為d的所內(nèi)有神臨經(jīng)元腐的下閃標(biāo)：當(dāng)向斜量p被提藝交，估獲勝宋神經(jīng)汪元的燦權(quán)值宇和其吳鄰域黨內(nèi)的或神經(jīng)步元的弦將向p移動(dòng)躁。結(jié)末果是嗎多次艱提交加結(jié)束拼之后沿，鄰域摔內(nèi)的乞神經(jīng)骨元將窯通過疼學(xué)習(xí)趣而擁芝有彼示此相服像的歸學(xué)習(xí)球向量服。為了舞展示原鄰域?yàn)┑母弄z念，綱請(qǐng)考脈慮圖14態(tài)-1堂6種的鋸兩幅老圖。裙左邊村的說豆明圍劇繞神覽經(jīng)元13，半琴徑為1的二尖維鄰朱域；棉右邊躍的圖培表示獎(jiǎng)半徑厭為2的鄰潛域。這兩狡個(gè)鄰姻域的種定義棄如下宵：我們縣必須憤提及肉的是SO駕FM中的璃神經(jīng)丘元不傾必排析列成勿二維朗的形砍式，一維醬或者剛?cè)S藍(lán)甚至挨多維塊的排桂列都替是可及能的常。對(duì)粘于一猛維的SO嶼FM，神邀經(jīng)元披在半勾徑為1時(shí)只缸有2個(gè)鄰膀域（拾當(dāng)該惰神經(jīng)和元位黎于線頁之端獄點(diǎn)時(shí)精只有洞一個(gè)傘鄰域屠）。喬當(dāng)然膽也可港以用封不同食的方貍法來顏定義窮距離占，例帶如Ko片ho伯ne們n為了頂更有衛(wèi)效地波實(shí)現(xiàn)杜曾建形議使產(chǎn)用矩限形或反六邊殘形的竄鄰域出。神托經(jīng)網(wǎng)君絡(luò)的是性能叫對(duì)鄰冰域的吐確切掘形狀史并不茫敏感儀?，F(xiàn)在品我們派演示SO醬FM神經(jīng)紛網(wǎng)絡(luò)狼是如均何工嘗作的擋。圖14蘇-1永7表示衡一個(gè)香特征糠圖以件及其怖神經(jīng)綢元的貌二維羨拓?fù)溴懡Y(jié)構(gòu)容。圖14秋-1聰8展示抗了特牧征圖鴿的初湊始權(quán)圖值向胡量，懇每個(gè)節(jié)三元綿素權(quán)若值向危量都挖用球大體上舟的一迎個(gè)點(diǎn)霉表示傷（權(quán)朱值已天經(jīng)規(guī)須格化便，都秤能夠區(qū)落在粘球面巴之上別）。胡鄰域紀(jì)內(nèi)的槳神經(jīng)獎(jiǎng)元都堆用線劈燕連接泳起來吃，因必而可叔以看品到拓疤撲結(jié)男構(gòu)在藥輸入流空間帖中是沈如何共安排火的。圖14赴-1妻9展示特了一尚個(gè)球苗面上壓的方移形區(qū)做域。浩我們星將從公這個(gè)爪區(qū)域絨中隨聚機(jī)抽辨取向暑量，擱以提皮交給宵特征進(jìn)圖。每當(dāng)車一個(gè)歪向量費(fèi)被提及交，泰具有疊最近翼權(quán)值霸向量已的那磚個(gè)神侵經(jīng)元塊將競(jìng)肥爭(zhēng)獲望勝。封獲勝活神經(jīng)指元及降其鄰拿域內(nèi)姑的神奔經(jīng)元奇將移棒動(dòng)它驕們的攀權(quán)值贏向量恩從而蹲離輸箭入向柴量更柳近一如些。宣本例欺中我?guī)X們使傲用的戀鄰域奸半徑峽為1。權(quán)值成向量館有兩織個(gè)趨盟勢(shì)：首先塑，它留們隨似著更莫多的勢(shì)輸入元向量聯(lián)被提禁交而巡壽分布俗到整股個(gè)輸妙入空悄間。戚其次哈，它兵們移擊向鄰少域內(nèi)纏的神旨經(jīng)元播。這兩呀個(gè)趨屑勢(shì)共狼同作龍用使雕神經(jīng)但元在講那一情層重困新排抽列，博從而飛最終陣輸入掩空間嶄得到壺分類機(jī)。圖14貞-2率0所示塌的一敵系列澆圖展洞示了25個(gè)的數(shù)神經(jīng)朋元如雁何在節(jié)活動(dòng)跨的輸丑入空卻間內(nèi)充展開腹，并蔽自組搏織以凳匹配唱其拓頓撲結(jié)博構(gòu)。在這映個(gè)例純子中基，輸入揚(yáng)向量獵以等盆概率農(nóng)產(chǎn)生很于輸脈入空爸間的愉任何葡位置。因獅此，煙神經(jīng)岔元能伙夠?qū)⒆冚斎腩B空間篩分成曠大致摧相等饑的區(qū)她域。圖14麗-2轟1提供貧了更汪多的舅關(guān)于健輸入捐區(qū)域提及自島組織盤之后千的結(jié)盯果特堅(jiān)征圖濤的例漆子。有時(shí)叢特征往圖不舟能夠摸與他淹們輸嶄入空訊間的漢拓?fù)湓Y(jié)構(gòu)屠相匹遙配。這種貌情況艘通常新發(fā)生你在網(wǎng)蓄絡(luò)的塔兩部吵分與顆輸入嗽空間蒸的獨(dú)德立部流分的炕拓?fù)涞徒Y(jié)構(gòu)蟻相匹兇配，胃但網(wǎng)戀絡(luò)在椅這兩凝部分致之間艇卻發(fā)討生了們扭曲四，見梢圖14鋪-2壯2中的物例子府。這史種扭臥曲現(xiàn)記象不辨大可唉能消我除，觸因?yàn)樽婢W(wǎng)絡(luò)摟的兩牙端都踐已經(jīng)絮形成下對(duì)不騙同區(qū)疾域的攔穩(wěn)定祖的分峰類。改進(jìn)濟(jì)特征拳圖到目民前為仔止，猛我們蜘不僅梁討論加訓(xùn)練雕特征野圖的爐最基海本算右法。頃現(xiàn)在考慮毒幾種蠟?zāi)軌騼黾铀儆X自組吉織過歐程并秋且使曾它更注加可田靠的廉技術(shù)輪。一個(gè)群改進(jìn)顏?zhàn)越M豬織圖量的方鏈法是途在訓(xùn)魂練過癢程中盾改變?nèi)羿徲蚰恋拇筇K小。開始下，鄰繼域的妹半徑d設(shè)置徒得較飛大。掌隨著支訓(xùn)練插的進(jìn)趁行，d逐漸僻減少械，直紐奉到最濫終只也包含肢競(jìng)爭(zhēng)尊獲勝目的神魚經(jīng)元糖。這墳種方扒法加踐速自勤組織泛并且堡極不惑可能兩在網(wǎng)灣絡(luò)中該造成圾扭曲寸。學(xué)習(xí)施速度逗也可稿以隨澤著時(shí)櫻間而尺改變歐。初始哪學(xué)習(xí)彼速度圍為1使神攔經(jīng)元斥能夠職很快緒地學(xué)筐習(xí)提油供的旅向量笑。在存訓(xùn)練者過程牽中，悅學(xué)習(xí)夏速度職逐漸谷降至0，于康是學(xué)脂習(xí)變?nèi)醯梅€(wěn)備定了洪。另一聽種加件速自若組織節(jié)的改煙進(jìn)是命使競(jìng)洲爭(zhēng)獲走勝的敵神經(jīng)樸元有姥比其換鄰域獸內(nèi)的牧神經(jīng)眼元更襲大的煩學(xué)習(xí)遼速度勤。最終設(shè)，競(jìng)爭(zhēng)美層和桃特征拍圖通串常使厚用另森外一虧種表袋達(dá)式稍作為軌凈輸議入。它們鼠能夠?yàn)持苯觾捎?jì)算猶輸入監(jiān)向量伐與原冬型向步量之凡間的距離而不雄采用稀計(jì)算內(nèi)積的方溉法。這種匯利用膽距離紫的方川法，登優(yōu)點(diǎn)困在于慘輸入述向量碌不必書規(guī)格渴化。玩這種路改進(jìn)革的凈陰輸入懂表達(dá)杰式在狼下一潤節(jié)的LV交Q網(wǎng)絡(luò)豬中介夏紹。14趕.2軋.5學(xué)習(xí)稼向量膚量化這章郊我們燭討論盯的最住后一彩種神呈經(jīng)網(wǎng)回絡(luò)是浙學(xué)習(xí)黨向量瘡量化栗（LV究Q）網(wǎng)桑絡(luò)，銹見圖14感-2捆3所示縫。LV廳Q神經(jīng)哀網(wǎng)絡(luò)縱是一姐種混仙合網(wǎng)擁絡(luò)。通競(jìng)過有矛監(jiān)督碎及無懂監(jiān)督巡壽的學(xué)毀習(xí)來乒形成趕分類縫。在LV午Q網(wǎng)絡(luò)謹(jǐn)中，詠第一著層的庭每個(gè)樣神經(jīng)腰元都羨指定柴給同稠一類駐。每濱類再令被指嘗定給控第二章層的記一個(gè)碧神經(jīng)匹元。六第一灰層神易經(jīng)元占的個(gè)懶數(shù)杰，淚與第通二層桶神經(jīng)盜元的毫個(gè)數(shù)房誠至晚少相亭同，蔬并且果通常盟要大悠一些溪。和競(jìng)蠶爭(zhēng)網(wǎng)潔絡(luò)一警樣，LV貓Q網(wǎng)絡(luò)旱的第豆一層冶的每靠個(gè)神軍經(jīng)元州學(xué)習(xí)眠原型暴向量訪，它捧可以死對(duì)輸?shù)兹肟赵虚g的原區(qū)域客分類漲。然而賊，不刺是通短過計(jì)論算內(nèi)嫁積得榆到輸釣入和巡壽權(quán)值漢向量辮中最嚷接近宇者，我我們瓜通過瘡直接弟計(jì)算轉(zhuǎn)距離穗的方?jīng)Q法來戰(zhàn)模擬LV運(yùn)Q網(wǎng)絡(luò)煤。直接各計(jì)算朋距離往的一初個(gè)優(yōu)插點(diǎn)是圓向量罰不必雙先規(guī)寄格化券，當(dāng)向笑量規(guī)資格化透了，交無論增是采述用計(jì)鼓算內(nèi)忠積的視方法陰還是短直接藝計(jì)算劉距離港，網(wǎng)蠢絡(luò)的查響應(yīng)嗎將是抄相同扭的。LV篩Q網(wǎng)絡(luò)備的第割一層哀的凈襲輸入訴是或者件，用講向量哲形式LV豪Q網(wǎng)絡(luò)稻第一塞層的立輸出拿是因此靠那種相權(quán)值扒向量粗與輸頃入向據(jù)量最狀為接騾近的爬神經(jīng)胡元的酷輸出幟將為1，而撫其他壓神經(jīng)運(yùn)元的勒輸出秘為0。子類迄今透，LV磨Q網(wǎng)絡(luò)毅與競(jìng)溝爭(zhēng)網(wǎng)慎絡(luò)的斥特性膊幾乎很相同雀。然扔而，理其解邊釋方挎面有頑區(qū)別玩。對(duì)于晝競(jìng)爭(zhēng)角網(wǎng)絡(luò)頂，有灣非零肯輸出今的神糾經(jīng)元倚表示屈輸入板向量墾屬于煮那個(gè)走類。而對(duì)撒于LV硬Q網(wǎng)絡(luò)蠟，競(jìng)煌爭(zhēng)獲彼勝的見神經(jīng)伸元表彩示的企是一矛個(gè)子結(jié)類而粒非一慢個(gè)類即。一肯個(gè)類泰可能壯由幾虹個(gè)不牌同的嬸神經(jīng)墊元（站子類哨）組垃成。LV獵Q網(wǎng)絡(luò)嘗的第母二層卸將子沿類組危合成蹦一個(gè)梯類。這是鴉通過充矩陣畝來實(shí)持現(xiàn)的脖。矩陣葵的列泳代表廁子類哈，而朱行則瞎代表遲類。禮的每每列僅迅有一驗(yàn)個(gè)1，其櫻他元陵素都自設(shè)置殺為0。1出現(xiàn)紀(jì)的行辛表明牌這個(gè)秧子類嫌屬于沖那個(gè)壩類。這種斥將子舒類組默合成屢為類姓的過主程使背得LV害Q網(wǎng)絡(luò)喜產(chǎn)生嚇了復(fù)群雜的就類邊沾界。一個(gè)串標(biāo)準(zhǔn)王的競(jìng)欄爭(zhēng)層撿存在廊局限胸，即褲只能相夠創(chuàng)墳造凸鑼的判疤定區(qū)弦域。LV視Q網(wǎng)絡(luò)帶克服她了這歡個(gè)局助限。1.舒L還VQ學(xué)習(xí)LV虧Q網(wǎng)絡(luò)管的學(xué)扇習(xí)結(jié)合佩了競(jìng)蒙爭(zhēng)學(xué)遮習(xí)和鄉(xiāng)豐有監(jiān)鑄督的毒學(xué)習(xí)解。正如圈所有蔑有監(jiān)錄督的哨學(xué)習(xí)幟算法端一樣笛，它鳥需要妖一組膏正確盈網(wǎng)絡(luò)得行為臺(tái)的例間子：每個(gè)伯目標(biāo)埋向量央除了代一個(gè)喪是1以外柜，其盾余必回須全慢是0。1出現(xiàn)密的行悼表示徹輸入確向量螞屬于訪那個(gè)倡類。逮例如刷，如劣果有尚這樣鞠一個(gè)腔問題苦，必漢須將訊一個(gè)犧特別股的三巡壽元素危相量帝歸類擊入四克個(gè)類羊中的演第二陶類，角我們億可以孝這樣懸表達(dá)還：在學(xué)堅(jiān)習(xí)能黎夠進(jìn)園行之解前，把第睡一層磁的每盛個(gè)神危經(jīng)元舞指定饅給一膚個(gè)輸鳴出神施經(jīng)元。這旬樣就敵產(chǎn)生抖了矩譜陣右。絲式典型豈情況濁下，宋相同猾數(shù)量俘的隱裕藏神繳經(jīng)元渾聯(lián)結(jié)軌到每現(xiàn)個(gè)輸攪出神稅經(jīng)元雞，因做而每刺個(gè)類紅都能芳?jí)蛴沈v相同嶼數(shù)量撿的凸避區(qū)域塔組成孕。梳矩陣嬸的所煉有元這素都珠設(shè)置炸為0，除授了如恰下情薄況：一旦糟定義剝了伍，握它將滅不會(huì)設(shè)再改眨變了掛。隱藏波權(quán)值帆將用Ko極ho礎(chǔ)ne堆n規(guī)則閃的一密個(gè)變中化形仿式訓(xùn)渴練。LV森Q學(xué)習(xí)啄規(guī)則買以如眠下方竿式進(jìn)浪行。對(duì)在每廉次迭堆代過砌程，汪一個(gè)只輸入法向量p被提宅供給翅網(wǎng)絡(luò)沾，并刃且計(jì)嗽算每泊個(gè)原巡壽型向損量與p的距另離。亭隱含跪的神威經(jīng)元桐進(jìn)行螞競(jìng)爭(zhēng)檔，神幫經(jīng)元嶼競(jìng)壇爭(zhēng)獲刪勝，姐的第i個(gè)元?jiǎng)菟乇换O(shè)置檢為1。接鏡著秘與漠相乘擺從而垂得到停最終執(zhí)輸出屈，也陣是只床有一籍個(gè)非逼零元難素拍，浴表明p是指匪定給卵類的驅(qū)。Ko樂ho忠ne緣瑞n規(guī)則歷被用企在兩戰(zhàn)個(gè)方銀面以改玩進(jìn)LV感Q網(wǎng)絡(luò)冤的隱盤含層功。首芽先，扒如果p分類也正確故的話求，那虧么獲韻勝的黑隱含剖神經(jīng)掃元向p移動(dòng)膜：其次撲，如若果p被不替正確亡歸類爆，那韻么我愈們知兇道錯(cuò)頂誤的殿隱含翁層神歇經(jīng)元搖競(jìng)爭(zhēng)懇獲勝辯，因湖此，昨移動(dòng)恢它的搬權(quán)值遠(yuǎn)離p：結(jié)果仗是每鹽個(gè)隱愈含神飛經(jīng)元胸移向窮那些鐵落入吼形成慢子類膏的類真中的寇向量妻，而括遠(yuǎn)離盈那些蒙落入腫其他頸類中著的向免量。讓我灘們看軟一個(gè)LV觀Q訓(xùn)練擦的例懸子。賄我們例訓(xùn)練LV鼻Q網(wǎng)絡(luò)裹來求魚解如盡下分浸類問示題：正如恒圖14株-2最4所示頓，開狠始為聰每個(gè)綱輸入伙指定頓目標(biāo)零向量激：現(xiàn)在理必須贈(zèng)決定虧選擇伴多少溪子類屯來組希成這伏兩類荷中的涌每一憶類。警如果造讓每凱個(gè)類蜜是兩槽個(gè)子才類的芝聯(lián)合院，那鋼么隱傷含層濕中最吉終將預(yù)有四杏個(gè)神鼻經(jīng)元鑼。輸出醒層的帆權(quán)值分矩陣完將是將隱扇含神閃經(jīng)元1和2與輸翻出神秋經(jīng)元1連結(jié)交起來蟲，將源隱含行神經(jīng)餃元3和4與輸柿出神凡經(jīng)元2相連導(dǎo)。每掃個(gè)類左都將嶄由2個(gè)凸抄區(qū)域賤組成椒。的行垃向量租最初蠻被設(shè)吼置為僻隨機(jī)蛙值，碎見圖14茂-2儲(chǔ)5.定義靜類1的兩項(xiàng)個(gè)隱敢含神皇經(jīng)元應(yīng)的權(quán)險(xiǎn)值用植空心值圓圈物標(biāo)記膽，定