人工神經(jīng)網(wǎng)絡(luò)與人機(jī)博弈第1頁(yè)，共21頁(yè)，2023年，2月20日，星期日總目錄

生物學(xué)的神經(jīng)網(wǎng)絡(luò)1

人工神經(jīng)網(wǎng)絡(luò)2

神經(jīng)網(wǎng)絡(luò)的人機(jī)博弈應(yīng)用3

小實(shí)驗(yàn)：井字過(guò)三關(guān)4第2頁(yè)，共21頁(yè)，2023年，2月20日，星期日生物學(xué)的神經(jīng)網(wǎng)絡(luò)動(dòng)物的大腦結(jié)構(gòu)分為灰色的外層和白色的內(nèi)層。灰色層只有幾毫米厚，其中緊密地壓縮著幾十億個(gè)被稱(chēng)作神經(jīng)元的微小細(xì)胞。白色層在皮層灰質(zhì)的下面，占據(jù)了皮層的大部分空間，是由神經(jīng)細(xì)胞相互之間的無(wú)數(shù)連接組成。皮層象核桃一樣起皺，這可以把一個(gè)很大的表面區(qū)域塞進(jìn)到一個(gè)較小的空間里。這與光滑的皮層相比能容納更多的神經(jīng)細(xì)胞。

人的大腦大約含有1OG（即100億）個(gè)這樣的微小處理單元

第3頁(yè)，共21頁(yè)，2023年，2月20日，星期日生物學(xué)的神經(jīng)網(wǎng)絡(luò)神經(jīng)細(xì)胞神經(jīng)細(xì)胞都長(zhǎng)著一根像電線(xiàn)一樣的稱(chēng)為軸突（axon）的東西，它的長(zhǎng)度有時(shí)伸展到幾厘米，用來(lái)將信號(hào)傳遞給其他的神經(jīng)細(xì)胞。它由一個(gè)細(xì)胞體、一些樹(shù)突、和一根可以很長(zhǎng)的軸突組成。神經(jīng)細(xì)胞利用電-化學(xué)過(guò)程交換信號(hào)。輸入信號(hào)來(lái)自另一些神經(jīng)細(xì)胞。這些神經(jīng)細(xì)胞的軸突末梢和本神經(jīng)細(xì)胞的樹(shù)突相遇形成突觸，信號(hào)就從樹(shù)突上的突觸進(jìn)入本細(xì)胞。大腦的神經(jīng)細(xì)胞只有兩種狀態(tài)：興奮和不興奮。發(fā)射信號(hào)的強(qiáng)度不變，變化的僅僅是頻率。神經(jīng)細(xì)胞把所有從樹(shù)突上突觸進(jìn)來(lái)的信號(hào)進(jìn)行相加，如果全部信號(hào)的總和超過(guò)某個(gè)閥值，就會(huì)激發(fā)神經(jīng)細(xì)胞進(jìn)入興奮狀態(tài)，這時(shí)就會(huì)有一個(gè)電信號(hào)通過(guò)軸突發(fā)送出去給其他神經(jīng)細(xì)胞。第4頁(yè)，共21頁(yè)，2023年，2月20日，星期日神經(jīng)網(wǎng)絡(luò)特點(diǎn)能實(shí)現(xiàn)無(wú)監(jiān)督的學(xué)習(xí)—不存在導(dǎo)師，網(wǎng)絡(luò)根據(jù)外部數(shù)據(jù)的統(tǒng)計(jì)規(guī)律來(lái)調(diào)節(jié)系統(tǒng)參數(shù)，以使網(wǎng)絡(luò)輸出能反映數(shù)據(jù)的某種特性。對(duì)損傷有冗余性—大腦即使有很大一部分受到了損傷，它仍然能夠執(zhí)行復(fù)雜的工作。

處理信息的效率極高—神經(jīng)細(xì)胞采用了并行的工作方式，使得大腦能夠同時(shí)處理大量的數(shù)據(jù)。

善于歸納推廣—極擅長(zhǎng)的事情之一就是模式識(shí)別，并能根據(jù)已熟悉信息進(jìn)行歸納推廣。它是有意識(shí)的—這個(gè)在人工神經(jīng)網(wǎng)絡(luò)中不予討論。

第5頁(yè)，共21頁(yè)，2023年，2月20日，星期日人工神經(jīng)網(wǎng)絡(luò)模擬大腦的人工神經(jīng)網(wǎng)絡(luò)ANN是由許多叫做人工神經(jīng)細(xì)胞（也稱(chēng)人工神經(jīng)原，或人工神經(jīng)元）的細(xì)小結(jié)構(gòu)模塊組成。人工神經(jīng)細(xì)胞就像真實(shí)神經(jīng)細(xì)胞的一個(gè)簡(jiǎn)化版，但采用了電子方式來(lái)模擬實(shí)現(xiàn)。

一個(gè)人工神經(jīng)細(xì)胞可以有任意n個(gè)輸入，n代表總數(shù)?？梢杂孟旅娴臄?shù)學(xué)表達(dá)式來(lái)代表所有n個(gè)輸入：

x1,x2,x3,x4,x5,...,xn同樣n個(gè)權(quán)重可表達(dá)為:

w1,w2,w3,w4,w5...,wn那么激勵(lì)值就是所有輸入與它們對(duì)應(yīng)權(quán)重的之乘積之總和。第6頁(yè)，共21頁(yè)，2023年，2月20日，星期日如下圖，網(wǎng)絡(luò)的每一層神經(jīng)細(xì)胞的輸出都向前饋送到了它們的下一層，直到獲得整個(gè)網(wǎng)絡(luò)的輸出為止。這一種類(lèi)型的神經(jīng)網(wǎng)絡(luò)就叫前饋網(wǎng)絡(luò)。網(wǎng)絡(luò)共有三層（輸入層不是神經(jīng)細(xì)胞，神經(jīng)細(xì)胞只有兩層）。輸入層中的每個(gè)輸入都饋送到了隱藏層，作為該層每一個(gè)神經(jīng)細(xì)胞的輸入；然后，從隱藏層的每個(gè)神經(jīng)細(xì)胞的輸出都連到了它下一層（即輸出層）的每一個(gè)神經(jīng)細(xì)胞。圖中僅僅畫(huà)了一個(gè)隱藏層，作為前饋網(wǎng)絡(luò)，一般地可以有任意多個(gè)隱藏層。

人工神經(jīng)網(wǎng)絡(luò)第7頁(yè)，共21頁(yè)，2023年，2月20日，星期日神經(jīng)網(wǎng)絡(luò)的人機(jī)博弈應(yīng)用人機(jī)博弈的重要事件

1988年，“深思”擊敗丹麥特級(jí)大師拉爾森1989年，每秒思考速度達(dá)200萬(wàn)步的“深思”0比2不敵卡斯帕羅夫1993年，“深思”二代擊敗了丹麥國(guó)家隊(duì)，在與前女子世界冠軍小波爾加的對(duì)抗中獲勝1996年，性能高于“深思”數(shù)百倍的“深藍(lán)”以2比4負(fù)于卡斯帕羅夫1997年，“更深的藍(lán)”以3.5比2.5擊敗了卡斯帕羅夫2001年，一家德國(guó)公司開(kāi)發(fā)的國(guó)際象棋軟件“更弗里茨”擊敗了除克拉姆尼克之外的所有排名世界前十位的棋手2002年10月，“更弗里茨”與克拉姆尼克在巴林進(jìn)行“人機(jī)大戰(zhàn)”，雙方以4比4戰(zhàn)平2003年1至2月由兩位以色列電腦專(zhuān)家研究出的“更年少者”與卡斯帕羅夫?qū)?，雙方3比3戰(zhàn)平。1997年卡斯帕羅夫與深藍(lán)2的人機(jī)大戰(zhàn)2003年卡斯帕羅夫與更年少者的人機(jī)大戰(zhàn)第8頁(yè)，共21頁(yè)，2023年，2月20日，星期日神經(jīng)網(wǎng)絡(luò)的人機(jī)博弈應(yīng)用GeraldTesauro的西洋雙六棋

西洋雙陸棋是西方一種狀態(tài)空間比較大的棋類(lèi)游戲。1992年，IBM的工程師GeraldTesauro利用人工神經(jīng)網(wǎng)絡(luò)，編寫(xiě)出一款雙六棋程序TD-Gammon。在本例中使用的神經(jīng)網(wǎng)絡(luò)包含198個(gè)輸入節(jié)點(diǎn)、80個(gè)隱含節(jié)點(diǎn)和1個(gè)輸出節(jié)點(diǎn)。其中輸入節(jié)點(diǎn)輸入的是棋盤(pán)的局面特征,輸出的是對(duì)棋盤(pán)的評(píng)估值。

第9頁(yè)，共21頁(yè)，2023年，2月20日，星期日/massive/tdl.html#ref10有興趣的可以參考第10頁(yè)，共21頁(yè)，2023年，2月20日，星期日五子棋在本例中用這種方法的五子棋程序采用BP神經(jīng)網(wǎng)絡(luò)來(lái)求評(píng)估值,網(wǎng)絡(luò)即為局面評(píng)估函數(shù)f。它有56個(gè)輸入節(jié)點(diǎn),28個(gè)隱含節(jié)點(diǎn)和2個(gè)輸出節(jié)點(diǎn)。第11頁(yè)，共21頁(yè)，2023年，2月20日，星期日

輸入節(jié)點(diǎn)中有28個(gè)代表計(jì)算機(jī)局面的特征,另28個(gè)代表對(duì)手局面的特征。2個(gè)輸出節(jié)點(diǎn)分別是對(duì)計(jì)算機(jī)棋手局面與對(duì)手局面的評(píng)估,兩個(gè)值相減得到對(duì)局面的評(píng)估值。莫建文等.基于TD強(qiáng)化學(xué)習(xí)智能博弈程序的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用,2004,24(6):287-288有興趣的可以參考第12頁(yè)，共21頁(yè)，2023年，2月20日，星期日小實(shí)驗(yàn)：井字過(guò)三關(guān)介紹：

即課本第一章習(xí)題1.5中提到的tic-tac-toe。兩個(gè)玩家，一個(gè)打圈(O)，一個(gè)打叉(X)，輪流在3乘3的格上打自己的符號(hào)，最先以橫、直、斜連成一線(xiàn)則為勝。先下玩家有優(yōu)勢(shì)，雙方無(wú)失誤，將是和局。一個(gè)空白的棋盤(pán)一場(chǎng)游戲的過(guò)程第13頁(yè)，共21頁(yè)，2023年，2月20日，星期日原理概述設(shè)計(jì)由九個(gè)感知器組成的單層人工神經(jīng)網(wǎng)絡(luò)輸入：將棋局分布用九位的二進(jìn)制數(shù)表示，每一位作為一個(gè)輸入。對(duì)方用-1表示；己方用1表示；空白格用0表示。例子：1-1-101010-1輸出：應(yīng)該落子的位置輸出為1

其余位置輸出為0第14頁(yè)，共21頁(yè)，2023年，2月20日，星期日部分輸入向量對(duì)應(yīng)的目標(biāo)輸出值部分訓(xùn)練樣例第15頁(yè)，共21頁(yè)，2023年，2月20日，星期日

實(shí)驗(yàn)利用Matlab中的神經(jīng)網(wǎng)絡(luò)工具箱來(lái)進(jìn)行，將輸入向量和目標(biāo)輸出分別保存為p_1和t_1兩個(gè)文件，建立神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。學(xué)習(xí)速率取0.05，訓(xùn)練次數(shù)定為1000次。第16頁(yè)，共21頁(yè)，2023年，2月20日，星期日訓(xùn)練結(jié)果

經(jīng)過(guò)訓(xùn)練，對(duì)部分棋局能作出正確判斷，但有時(shí)也會(huì)出現(xiàn)不正確的結(jié)果。

成功的例子失敗的例子第17頁(yè)，共21頁(yè)，2023年，2月20日，星期日網(wǎng)絡(luò)過(guò)于簡(jiǎn)單？應(yīng)該下這一步