（Brain

and

Machine

Intelligence智源人工智能的認(rèn)知神經(jīng)基礎(chǔ)重大研究方向

編著白皮書|人工智能的認(rèn)知神經(jīng)基礎(chǔ)北京智源人工智能研究院2022

年

1

月版權(quán)聲明該《白皮書：人工智能的認(rèn)知神經(jīng)基礎(chǔ)》（2021

年）由北京智源人工智能研究院「人工智能的認(rèn)知神經(jīng)基礎(chǔ)」重大研究方向所著，旨在通過促進(jìn)交叉領(lǐng)域的學(xué)術(shù)交流，為學(xué)科創(chuàng)新發(fā)展提供前沿動態(tài)和趨勢洞察。本白皮書著作權(quán)受法律保護(hù)，轉(zhuǎn)載、摘編、翻譯或利用其他方式使用本白皮書觀點的，應(yīng)注明來源。指導(dǎo)專家劉

嘉

智源首席科學(xué)家，清華大學(xué)腦與智能實驗室研究員宋

森

智源研究員，清華大學(xué)生物醫(yī)學(xué)工程系研究員吳

思

智源研究員，北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院教授方

方

智源研究員，北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院教授余

山

智源研究員，中國科學(xué)院自動化研究所研究員陳良怡

智源研究員，北京大學(xué)未來技術(shù)學(xué)院教授編寫組成員張

博

智源博士后，人工智能的認(rèn)知神經(jīng)基礎(chǔ)重大研究方向蘇

杰

智源博士后，人工智能的認(rèn)知神經(jīng)基礎(chǔ)重大研究方向蔣龍生

智源博士后，人工智能的認(rèn)知神經(jīng)基礎(chǔ)重大研究方向陳智強(qiáng)

智源博士后，人工智能的認(rèn)知神經(jīng)基礎(chǔ)重大研究方向陳路瑤

智源博士后，人工智能的認(rèn)知神經(jīng)基礎(chǔ)重大研究方向鄒曉龍

智源博士后，人工智能的認(rèn)知神經(jīng)基礎(chǔ)重大研究方向劉

祥

智源博士后，人工智能的認(rèn)知神經(jīng)基礎(chǔ)重大研究方向徐琳璐

智源博士后，人工智能的認(rèn)知神經(jīng)基礎(chǔ)重大研究方向秦方博

中國科學(xué)院自動化研究所助理研究員韓

程

中國科學(xué)院自動化研究所博士研究生搭建腦科學(xué)與人工智能的橋梁

智源研究院院長

黃鐵軍

智源研究院

2021

年度《人工智能的認(rèn)知神經(jīng)基礎(chǔ)白皮書》如期和大家見面了！延續(xù)去年的傳統(tǒng)，今年的白皮書盤點了神經(jīng)科學(xué)、認(rèn)知科學(xué)、智能技術(shù)等相關(guān)領(lǐng)域的重要進(jìn)展；同時，與去年不同的是，除了從認(rèn)知科學(xué)和神經(jīng)科學(xué)兩大領(lǐng)域系統(tǒng)梳理重要進(jìn)展及對人工智能的啟示外，今年還集中介紹了類腦視覺、腦機(jī)接口和交叉學(xué)科技術(shù)這三個方向的熱點和趨勢，以饗讀者！

腦科學(xué)對人工智能的重要性不言而喻。把人工智能這個概念送上歷史舞臺的1956

年達(dá)特茅斯夏季研討會共討論了七大問題，問題

3

就是“神經(jīng)網(wǎng)絡(luò)：一群神經(jīng)元是如何形成概念的？”，我認(rèn)為這是人工智能需要回答的最重要的問題，也是腦科學(xué)需要回答的最重要的問題。

“一群神經(jīng)元”，這是神經(jīng)科學(xué)的研究對象，“形成概念”，這是認(rèn)知科學(xué)的研究對象，這個最重要的問題，正是認(rèn)知科學(xué)和神經(jīng)科學(xué)的連接點。認(rèn)知科學(xué)研究智能現(xiàn)象，主要采用自頂向下的方法，神經(jīng)科學(xué)研究腦的結(jié)構(gòu)，主要采用自底向上方法。

認(rèn)知科學(xué)和神經(jīng)科學(xué)都屬于腦科學(xué)，它的研究對象是腦及其智能現(xiàn)象，被稱為“自然科學(xué)的最后疆域”，進(jìn)展速度不如人工智能那么讓人眼花繚亂。這是因為，人工智能是一門技術(shù)，目的是構(gòu)造越來越智能，因而越來越復(fù)雜的系統(tǒng)，它的進(jìn)步比較容易看得到。相比之下，生物神經(jīng)系統(tǒng)是個盤根錯節(jié)的黑暗叢林，生物智能是復(fù)雜的動力學(xué)現(xiàn)象，還缺乏有效的數(shù)學(xué)工具，因此任何一點兒進(jìn)步都十分艱難。

人工智能并不能因為進(jìn)步快而沾沾自喜。當(dāng)前人工智能系統(tǒng)和生物神經(jīng)系統(tǒng)相比，還是小巫見大巫。例如智源研究院去年發(fā)布的人工智能大模型“悟道

2.0”，參數(shù)規(guī)模達(dá)到

1.75

萬億，但還不到人類大腦連接數(shù)量的

2%，而且其基本單元和連接方式都比生物系統(tǒng)簡單得多。視覺是研究人員最多、應(yīng)用最廣的方向，但是已有視覺模型都難望生物視覺之項背，今年熱點是視覺大模型，如果要在像素級進(jìn)行視覺空間關(guān)系訓(xùn)練，集合全球算力都不夠，更逞論時空關(guān)系聯(lián)合訓(xùn)練。

說到算力，人們往往會說強(qiáng)大的人腦是個低功耗系統(tǒng)，這是認(rèn)識錯位。用人工智能的術(shù)語來說，人腦的低功耗是“推理”過程低功耗，而不是“訓(xùn)練”過程低功耗。人腦是億萬年進(jìn)化的產(chǎn)物，進(jìn)化就是一種訓(xùn)練過程，大自然訓(xùn)練出人腦這個復(fù)雜網(wǎng)絡(luò)，消耗了巨量太陽能，相比之下，全球算力功耗算得了什么呢？推薦語

這就是人工智能離不開腦科學(xué)的原因。以“機(jī)器學(xué)習(xí)+大數(shù)據(jù)/復(fù)雜環(huán)境+大算力”模式訓(xùn)練大規(guī)模智能模型，確實可以解決不少問題，但天下沒有免費(fèi)的午餐，強(qiáng)大智能是以巨大訓(xùn)練成本為前提的，訓(xùn)練人腦花費(fèi)的“天價”，人類付得起嗎？因此，借鑒生物大腦這個已經(jīng)訓(xùn)練成功的“藍(lán)本”，模擬生物大腦的精細(xì)神經(jīng)結(jié)構(gòu)和信息加工機(jī)理，卻可能是實現(xiàn)更強(qiáng)大、更通用人工智能的最短路徑。

借鑒腦科學(xué)研究成果，并不是說默默等待腦科學(xué)最新進(jìn)展，事實上，腦科學(xué)大量已有進(jìn)展尚未在人工智能領(lǐng)域得到有效利用。例如，目前人工神經(jīng)網(wǎng)絡(luò)所用的神經(jīng)元模型，還是

1943

年的麥卡洛克-皮茨（M-P）模型，訓(xùn)練的理論依據(jù)，還是

1949

年提出的赫布學(xué)習(xí)規(guī)則（Hebb

Learning

Rule）。在腦科學(xué)領(lǐng)域，有許多與智能行為密切相關(guān)的認(rèn)知范式、神經(jīng)活動機(jī)理等“寶藏”等待人工智能領(lǐng)域研究者開發(fā)和利用，并以此推動生物智能啟發(fā)的人工智能模型算法研究新范式。

因此，智源研究院于

2020

年

8

月，設(shè)立“人工智能的認(rèn)知神經(jīng)基礎(chǔ)重大研究方向”，就是要促進(jìn)腦科學(xué)和人工智能的交叉，促進(jìn)兩個領(lǐng)域?qū)W者的交流和合作。作為認(rèn)知神經(jīng)基礎(chǔ)重大研究方向的重要成果，智源生物智能開源開放平臺已經(jīng)在去年正式上線。同時智源研究院還在去年設(shè)立了生命模型研究中心，從模擬高精度生命系統(tǒng)的角度開展交叉領(lǐng)域前沿探索。

為了進(jìn)一步加強(qiáng)腦科學(xué)和人工智能的合作，架起連接腦科學(xué)與人工智能的實際橋梁，我專門造了一個新詞：“智元（Wiston）”，意思是具有獨立智能功能的基本神經(jīng)回路。事實上，腦科學(xué)已經(jīng)發(fā)現(xiàn)了很多“智元”，例如這份報告第

2章提到的位置細(xì)胞和網(wǎng)格細(xì)胞、第

3

章提到的吸引子網(wǎng)絡(luò)、贏者通吃網(wǎng)絡(luò)，眾所周知的視皮層簡單細(xì)胞和復(fù)雜細(xì)胞，以及近期熱門的記憶痕跡細(xì)胞等，已經(jīng)遍及感知、定位、學(xué)習(xí)、決策、記憶等多種智能?？上У氖?，這些進(jìn)展都沒跳出“細(xì)胞/神經(jīng)元”這個神經(jīng)科學(xué)術(shù)語，因此我提出“智元”概念，就是要把相對獨立的智能和實現(xiàn)這種智能的一群神經(jīng)元（及其網(wǎng)絡(luò)連接）作為一個整體單元。以“智元”作為基本單元構(gòu)造的人工智能系統(tǒng)，將是可解釋、可預(yù)期和可信任的。

當(dāng)然更重要是，從“智元”開始，我們就已經(jīng)開始回答“一群神經(jīng)元是如何形成概念的？”這個最重要的問題了。~

1

~前

言近年來人工智能技術(shù)得到了快速的發(fā)展，引起了各界的廣泛關(guān)注。隨著計算機(jī)算力和大數(shù)據(jù)可及性的快速提升，以深度人工神經(jīng)網(wǎng)絡(luò)為核心的人工智能系統(tǒng)在物體識別、自然語言處理等領(lǐng)域取得了令人矚目的成績，在圍棋、星際爭霸等競技游戲中一騎絕塵，甚至在蛋白質(zhì)結(jié)構(gòu)解析、提出和解決數(shù)學(xué)難題等方面展現(xiàn)出超越人類專家的潛力。但目前的人工智能與通用智能之間，還存在巨大的能力鴻溝。而大腦作為通用智能的唯一樣本，為人工智能的發(fā)展提供了重要參照。智源

“人工智能的認(rèn)知神經(jīng)基礎(chǔ)”重大方向（BrainandMachineIntelligence）旨在從生物腦如何實現(xiàn)智能的角度，對于人工智能的發(fā)展提出有啟發(fā)的問題，提供可資借鑒的原理、模型、算法和系統(tǒng)實現(xiàn)方案，從而促進(jìn)類腦智能的發(fā)展，推動人工智能向人類水平，甚至超越人類的水平逐漸逼近。每年發(fā)表的白皮書就是我們的嘗試之一，希望通過它向大家梳理腦科學(xué)、認(rèn)知科學(xué)和類腦智能方向上最值得關(guān)注的動態(tài)和進(jìn)展，并分享我們對于這些方向未來發(fā)展趨勢的思考。

計算神經(jīng)科學(xué)的先驅(qū)，英國科學(xué)家

David

Marr

曾經(jīng)提出，可以從三個層面理解腦的工作原理，首先是計算的層面

(Level

of

Computation)

,

即腦在做什么計算，以及為什么要做這個計算；其次是表征

/算法的層面

(Level

ofRepresentation/Algorithm)，即腦在計算過程中的信息如何表征，選擇什么算法來實現(xiàn)計算目標(biāo)；最后是物理實現(xiàn)的層面(Level

of

Implementation)，即腦選擇什么樣的硬件實現(xiàn)形式來執(zhí)行這些計算。今年的白皮書中，上述三個層面的研究進(jìn)展都會有所涉及。

在計算層面，我們重點介紹了具身認(rèn)知（EmbodiedCognition）理論和全局工作空間（Global

Workspace

Theory,

GWT）理論。與當(dāng)前主流人工智能主要基于被動觀察與識別，往往不具有具體物理形態(tài)的范式不同，具身認(rèn)知認(rèn)為，認(rèn)知過程無法脫離身體而進(jìn)行，推廣開來，整個環(huán)境和個體的行為同樣是認(rèn)知的重要組成部分。個體通過感知外部環(huán)境，進(jìn)行決策，生成相應(yīng)動作與環(huán)境交互，以此改變環(huán)境，這個過程周而復(fù)始，促成了智能的形成和發(fā)展。全局工作空間理論則是~

2

~（由美國心理學(xué)家

BernardBaars

在上世紀(jì)

80

年代作為一種意識模型而提出的認(rèn)知架構(gòu)，后來發(fā)展為“全局神經(jīng)元工作空間”

GlobalNeuronalWorkspace,GNW）。GNW

如同一個分布式路由器，同各個腦區(qū)的眾多神經(jīng)元存在關(guān)聯(lián)，從而可以放大、維持信息，并提供給各個處理模塊使用，從而實現(xiàn)全局的信息共享和處理。在表征/算法層面，我們今年聚焦于腦中認(rèn)知地圖的表征以及神經(jīng)流形這兩個重要的研究領(lǐng)域。位于腦中海馬體及其鄰近腦區(qū)中存在表征空間特征的位置細(xì)胞（Placecell）和網(wǎng)格細(xì)胞（Gridcell），近年來的研究揭示這一系統(tǒng)可能不僅涉及空間記憶與導(dǎo)航，而且可能參與了物理空間認(rèn)知以外的信息處理，比如圖片空間、嗅覺空間，甚至關(guān)系空間的表征，提示腦中可能用一套通用的機(jī)制在處理一系列表面上截然不同，但是具有深刻共性的信息維度。神經(jīng)流形(Neuralmanifold)則是利用動力學(xué)的理論和觀點來理解眾多神經(jīng)元構(gòu)成的群體如何開展高效計算的有力工具。通過流形向量場這一精確的數(shù)學(xué)語言對神經(jīng)電生理信號進(jìn)行分析已經(jīng)開始回答很多有關(guān)神經(jīng)群體編碼的關(guān)鍵問題。在物理實現(xiàn)層面，我們重點介紹了受生物視網(wǎng)膜啟發(fā)的動態(tài)視覺傳感器（Dynamical

vision

sensor，簡稱

DVS）和脈沖攝像頭（Spiking

camera）。與傳統(tǒng)的視覺傳感器不同，這兩類模擬視網(wǎng)膜的感知設(shè)備能夠?qū)D像信息轉(zhuǎn)化為脈沖事件流進(jìn)行表征，具備高動態(tài)范圍、高時間分辨率、低能量消耗以及高像素帶寬等特性。相應(yīng)的，我們也系統(tǒng)地梳理了適宜于處理脈沖事件流信號，并可以開展運(yùn)動目標(biāo)快速探測、有效跟蹤和精確識別的類腦視覺計算模型和算法。在上述三個方面的內(nèi)容之外，我們還針對腦科學(xué)與類腦智能研究中近年來涌現(xiàn)的新技術(shù)，特別是腦機(jī)接口技術(shù)、新型腦成像、連接組學(xué)與數(shù)據(jù)處理方法等進(jìn)行了梳理和介紹。腦機(jī)接口通過對于腦活動信息的檢測和調(diào)控，在腦與外部世界間建立直接的信息通訊接口。這一技術(shù)的發(fā)展，有望對于人與環(huán)境、人與人的交互方式帶來根本變化，從而引起社會、經(jīng)濟(jì)、教育、軍事、醫(yī)療等眾多領(lǐng)域的顛覆性變革。新型腦成像、連接組學(xué)與數(shù)據(jù)處理方法，展現(xiàn)了以往觀察不到的神經(jīng)活動細(xì)節(jié)，解析了神經(jīng)網(wǎng)絡(luò)中各部分的相互作用機(jī)制，從而促進(jìn)人們進(jìn)一步理解神經(jīng)系統(tǒng)的設(shè)計原則。~

3

~編寫白皮書的過程是我們一年一度盤點神經(jīng)科學(xué)、認(rèn)知科學(xué)、智能技術(shù)等相關(guān)領(lǐng)域重要進(jìn)展的過程，也是我們不斷思考什么是智能，以及如何發(fā)展類腦智能的過程。希望這些努力能讓對于這些領(lǐng)域的進(jìn)展感興趣，也對回答這些問題感興趣的讀者有所收獲。與此同時，經(jīng)過人工智能的認(rèn)知神經(jīng)基礎(chǔ)方向各位同仁一年多的努力，智源生物智能開源開放平臺（Bio-Intelligence

Opensource

Platform,BIOSP）已經(jīng)在

2021

年正式上線，該平臺旨在通過開源開放數(shù)據(jù)、模型、算法、軟件工具等一站式科研資源的方式，為認(rèn)知科學(xué)、神經(jīng)科學(xué)和計算科學(xué)及相關(guān)交叉領(lǐng)域的研究人員、學(xué)生和相關(guān)從業(yè)者搭建一個服務(wù)智能科學(xué)研究的平臺型基礎(chǔ)設(shè)施，進(jìn)而推動和支撐國內(nèi)腦啟發(fā)的通用智能研究工作。希望每年一版的白皮書和不斷完善的開源開放平臺能夠助力中國腦-智研究的交叉融合，促進(jìn)類腦通用智能的早日實現(xiàn)。

目

錄前

言.............................................................

1第

1

章

認(rèn)知科學(xué)對人工智能的啟示

...................................

6

1.1

具身主義認(rèn)知科學(xué)的興起......................................21.1.3符號主義與聯(lián)結(jié)主義認(rèn)知科學(xué)

......................................7具身認(rèn)知與強(qiáng)化學(xué)習(xí)

..............................................8多智能體交互與共識主動性

.......................................111.2

全局工作空間理論...........................................21.2.3人類的認(rèn)知架構(gòu)

.................................................12元認(rèn)知與元學(xué)習(xí)

.................................................18深度學(xué)習(xí)與全局隱空間理論

.......................................22

1.3

總結(jié)與展望................................................23第

2

章

神經(jīng)科學(xué)進(jìn)展

..............................................

28

2.1

單神經(jīng)元編碼與抽象表征....................................2.2從位置細(xì)胞，網(wǎng)格細(xì)胞到物理世界的神經(jīng)編碼

.......................29從物理空間到抽象空間的神經(jīng)編碼

.................................312.2

神經(jīng)元群體編碼：神經(jīng)流形..................................3...62.2.7什么是神經(jīng)流形

.................................................34有關(guān)神經(jīng)流形的實驗發(fā)現(xiàn)

.........................................36流形的維度

.....................................................38流形與線性解碼的關(guān)系

...........................................40流形上的動力學(xué)

.................................................43流形向量場和循環(huán)神經(jīng)網(wǎng)絡(luò)

.......................................45總結(jié)和展望

.....................................................46第

3

章

類腦視覺

..................................................

51

3.1

類腦視覺從采集信號開始....................................52

3.2

類腦視覺的基本計算模型....................................5.23.2.3運(yùn)動目標(biāo)快速探測的類腦模型

.....................................54運(yùn)動目標(biāo)預(yù)測跟蹤的類腦模型

.....................................56運(yùn)動目標(biāo)識別的類腦模型

.........................................58

3.3

總結(jié)與展望................................................60第

4

章

腦機(jī)接口技術(shù)與應(yīng)用

........................................

64

4.1

腦機(jī)接口技術(shù)及其發(fā)展趨勢..................................65

4.2

植入式腦機(jī)接口芯片........................................6.24.2.3高通量低功耗技術(shù)

...............................................67無線化技術(shù)

.....................................................68未來展望

.......................................................694.3

柔性電極植入機(jī)器人........................................6.24.3.3國際研發(fā)進(jìn)展

...................................................70國內(nèi)研發(fā)進(jìn)展

...................................................71面臨的挑戰(zhàn)

.....................................................72

~

4

~4.4

腦機(jī)接口技術(shù)的應(yīng)用........................................7.24.4.3下行腦機(jī)接口

...................................................73上行腦機(jī)接口

...................................................76未來展望

.......................................................79

4.5

總結(jié)與展望................................................79第

5

章

交叉學(xué)科技術(shù)進(jìn)展

..........................................

82

5.1

高精度高信息量的數(shù)據(jù)獲取方法..............................8.25.1.3稀疏解卷積通過計算提高成像分辨率

...............................83多色成像揭示系統(tǒng)全景組分

.......................................86腦連接組反應(yīng)組織設(shè)計原則

.......................................875.2

智能化數(shù)據(jù)處理手段........................................9.2更智能的圖像數(shù)據(jù)處理

...........................................92智能化的生物大數(shù)據(jù)分析

.........................................94

5.3

總結(jié)與展望................................................97結(jié)

語...........................................................

101

~

5

~~

6

~第1章

認(rèn)知科學(xué)對人工智能的啟示近年來，人工智能領(lǐng)域在第三次浪潮爆發(fā)后經(jīng)歷了快速的發(fā)展，許多特定領(lǐng)域的專用人工智能算法已經(jīng)大幅度超越了人類的水平，并在工業(yè)生產(chǎn)和社會生活中得到了廣泛的應(yīng)用。盡管如此，主流的觀點仍然認(rèn)為，目前深度學(xué)習(xí)算法的本質(zhì)依然是海量數(shù)據(jù)驅(qū)動的統(tǒng)計學(xué)習(xí)，距離人類更加復(fù)雜的高級認(rèn)知功能仍然存在本質(zhì)上的差別。如何彌補(bǔ)這種差異，從而推動人工智能從弱人工智能到強(qiáng)人工智能的轉(zhuǎn)變，已經(jīng)成為許多從業(yè)者開始思考并著手解決的重大難題。認(rèn)知科學(xué)（Cognitive

Science）是一門研究認(rèn)知如何工作的交叉學(xué)科，自誕生之初便與人工智能有著密不可分的關(guān)系。認(rèn)知科學(xué)的相關(guān)理論數(shù)次推動了人工智能的發(fā)展，而人工智能作為人類模擬大腦功能的嘗試，其本身也可以看作是認(rèn)知科學(xué)理論的一種實踐和驗證。在本章中，我們將簡要介紹認(rèn)知科學(xué)的具身主義流派以及可能對實現(xiàn)通用人工智能具有一定指導(dǎo)意義的全局工作空間理論，并對它們與人工智能的關(guān)系做一些簡單梳理。~

7

~1.1

具身主義認(rèn)知科學(xué)的興起1.1.1

符號主義與聯(lián)結(jié)主義認(rèn)知科學(xué)在探索智能的道路上，現(xiàn)代意義的認(rèn)知科學(xué)主要經(jīng)歷了兩個時代：符號主義時代（Symbolism）和聯(lián)結(jié)主義時代（Connectionism）[1]。符號主義嘗試通過操作具有特定含義的符號來實現(xiàn)“智能”，這一思想被后人概括為物理符號系統(tǒng)，典型的例子是

Alan

Turing

在

1936

年提出的圖靈機(jī)概念（圖

1.1

左），通過讀寫頭在紙帶上標(biāo)記二進(jìn)制信息（有孔和無孔）來實現(xiàn)相應(yīng)的計算功能。圖靈機(jī)概念的成功讓以

Allen

Newell

和

Herbert

A.

Simon

為首的研究者們相信，通過對符號進(jìn)行操縱，有限的符號最終可生成無限的信息，最終實現(xiàn)智能。符號主義浪潮推動了電子計算機(jī)的發(fā)展，使其在

20

世紀(jì)的戰(zhàn)爭、工業(yè)、甚至我們的生活中被廣泛使用，而基于符號主義的人工智能也取得了專家系統(tǒng)、計算機(jī)推理等諸多輝煌的成就……盡管當(dāng)時許多研究者認(rèn)為真正意義上的人工智能近在眼前，但符號主義在那些不適定問題（ill-posed

problems）上卻屢屢受挫，止步不前。圖

1.1

左：符號主義的代表——圖靈機(jī)；右：哲學(xué)家

William

James

在

1890

年提出的最早的連接主義模型[1]人們開始意識到，古典認(rèn)知科學(xué)所倡導(dǎo)的符號主義衍生出的產(chǎn)品與人腦的智能相差甚遠(yuǎn)。要實現(xiàn)智能，應(yīng)該讓機(jī)器的運(yùn)作機(jī)制向人腦的神經(jīng)元機(jī)制靠攏，由此，受神經(jīng)科學(xué)的發(fā)展推動，聯(lián)結(jié)主義時代到來，雖然人工神經(jīng)網(wǎng)絡(luò)的雛形早在1890

年已經(jīng)由哲學(xué)家

William

James

提出（圖

1.1

右）。相比于物理符號系統(tǒng)直接讀取特定的符號信息，人工神經(jīng)網(wǎng)絡(luò)嘗試讀取輸入源的統(tǒng)計形態(tài)信息，并以表征的形式在輸入和輸出信號之間建立統(tǒng)計關(guān)系，以達(dá)到學(xué)習(xí)和預(yù)測的目的。在經(jīng)~

8

~歷了幾次起起落落之后，當(dāng)前，由聯(lián)結(jié)主義思想衍生出的深度神經(jīng)網(wǎng)絡(luò)（DeepNeural

Network,

DNN）已取得了巨大成功，尤其在人臉識別、圖像重建等領(lǐng)域，深度神經(jīng)網(wǎng)絡(luò)為人們的生產(chǎn)生活提供了許多便利。值得注意的是，符號主義與聯(lián)結(jié)主義雖然源自不同的哲學(xué)思想，但并不意味著兩者水火不相容?；诼?lián)結(jié)主義的神經(jīng)網(wǎng)絡(luò)雖然能夠很好的解決圖像分類、識別、語音識別、語義理解等任務(wù)，但其背后的原理和可解釋性問題一直困擾著人們，而符號主義有著更深刻的哲學(xué)和數(shù)學(xué)基礎(chǔ)，在處理串行等問題上更加簡潔有效。因此，近年也有一些研究者嘗試構(gòu)造混合模型，以綜合這兩者的特長。歷史上，人工智能的幾次繁榮和低谷都與符號主義和聯(lián)結(jié)主義認(rèn)知科學(xué)的發(fā)展密切相關(guān)（圖

1.2）。雖然基于聯(lián)結(jié)主義思想的深度神經(jīng)網(wǎng)絡(luò)目前還處在發(fā)展的高峰，但受限于樣本量小、泛化能力差、能耗大、語義理解欠缺等瓶頸，當(dāng)前的深度神經(jīng)網(wǎng)絡(luò)所達(dá)到的“智能”與人們所向往的類腦通用智能還相差甚遠(yuǎn)。那么，我們?nèi)绾巫霾拍軐崿F(xiàn)這樣的智能？結(jié)合神經(jīng)科學(xué)近年來的重要發(fā)現(xiàn)，我們認(rèn)為，以

Lawrence

Shapiro

為代表的學(xué)者提出的具身主義浪潮會在不遠(yuǎn)的將來到來。圖

1.2

符號主義與聯(lián)結(jié)主義相關(guān)文獻(xiàn)數(shù)量隨時間的變化，修改自[2]1.1.2

具身認(rèn)知與強(qiáng)化學(xué)習(xí)古典認(rèn)知科學(xué)中的三明治模型（sandwich

theory）認(rèn)為，由智能驅(qū)動的認(rèn)知過程可以視作一個由感知、思考、和動作（sense-think-act）這

3

個獨立的~

9

~元素所構(gòu)成的回路[1]（圖

1.3），通常人們主要關(guān)注的是其中的

Think，卻有意無意的將另外兩部分弱化。而具身認(rèn)知（Embodied

cognition）認(rèn)為，人的認(rèn)知過程無法脫離身體而進(jìn)行，推廣開來，整個環(huán)境和個體的行為同樣是認(rèn)知的重要組成部分，個體（agent）通過感知外部環(huán)境，產(chǎn)生思想并通過計算后，生成相應(yīng)動作與環(huán)境交互，以此改變和影響環(huán)境，這個過程周而復(fù)始，這就是智能。圖

1.3

古典認(rèn)知科學(xué)中的三明治模型[1]地球上的動物經(jīng)歷了幾億年的演化（Evolution）而表現(xiàn)出了顯著的具身智能，這使得它們能夠在復(fù)雜的環(huán)境中生存、學(xué)習(xí)，并與其他個體、其他物種和環(huán)境進(jìn)行交互。在行動中，動物為了趨利避害往往會更加頻繁的采取對自己有利的行為策略。經(jīng)過一段時間的學(xué)習(xí)之后，這些行為被強(qiáng)化（reinforce），甚至變成習(xí)慣而固定下來，這種學(xué)習(xí)方式稱為強(qiáng)化學(xué)習(xí)（Reinforcement

Learning）。在強(qiáng)化學(xué)習(xí)中，智能體不斷與環(huán)境進(jìn)行交互并得到反饋（Feedback），通過試錯（trial-and-error）的方式去總結(jié)哪些行動可能會帶來更好的收益（Reward），以便于更好的適應(yīng)環(huán)境。如果我們把時間尺度放大，在個體的強(qiáng)化學(xué)習(xí)之外，自然或環(huán)境本身還會提供一種優(yōu)化算法，即通過自然選擇篩選種群，并通過基因突變來避免陷入局部極值點。基于具身認(rèn)知,

李飛飛團(tuán)隊提出了一個同時包含這兩者的計算框架，稱為深度進(jìn)化強(qiáng)化學(xué)習(xí)（Deep

Evolutionary

Reinforcement

Learning,

DERL）[3]。在該框架下，智能體可以在多個復(fù)雜環(huán)境中執(zhí)行不同的任務(wù)。在這項研究中創(chuàng)建的具身智能體可以在平地、多變地形等不同環(huán)境中執(zhí)行巡視、導(dǎo)航、避障、探索、逃脫、爬坡、推箱子和控球等多種不同的任務(wù)（圖

1.4）。DERL

為計算機(jī)模擬實驗中大規(guī)模具身智能體的創(chuàng)建打開了一扇門，這有助于獲得有關(guān)學(xué)習(xí)和進(jìn)化如何~

10

~協(xié)作以在環(huán)境復(fù)雜性，形態(tài)智能以及控制的可學(xué)習(xí)性之間建立復(fù)雜關(guān)系的科學(xué)見解。此外，

DERL

還減少了強(qiáng)化學(xué)習(xí)的樣本低效性的情況。智能體的創(chuàng)建不僅具有所需使用的數(shù)據(jù)更少的優(yōu)勢，而且還可以泛化解決其他多種形式的新任務(wù)。圖

1.4

具身智能體能夠在不同環(huán)境中執(zhí)行多種任務(wù)[3].無獨有偶，DeepMind

團(tuán)隊也進(jìn)行了相似的研究[4]，通過自動生成大量不同的環(huán)境和游戲目標(biāo)，智能體可以接受各種各樣任務(wù)的訓(xùn)練（圖

1.5），在大規(guī)模的開放（Open-Ended）環(huán)境中，智能體甚至學(xué)會了舉一反三，做到了現(xiàn)有深度神經(jīng)網(wǎng)絡(luò)難以做到的零樣本學(xué)習(xí)（Zero-Shot

Learning）。強(qiáng)化學(xué)習(xí)和進(jìn)化對于具身智能體和通用智能的重要性可見一斑。圖

1.5

Open-Ended

Learning

中的開放環(huán)境

XLand[4]具身智能體的一個顯著特征是可以利用不同的感覺器官獲取環(huán)境的信息進(jìn)行整合，并執(zhí)行多種不同的任務(wù)。例如，動物們可以通過視覺、聽覺、觸覺等不~

11

~同的感官獲取環(huán)境信息，并進(jìn)行覓食、逃跑、遷徙等等。而當(dāng)前的人工智能大多只能執(zhí)行非常單一的或者少數(shù)任務(wù)，即便是

DeepMind

宣稱的可以執(zhí)行幾百萬種不同任務(wù)的智能體，仍然有具體任務(wù)相似性太高的缺陷。與之形成鮮明對比的是，生物智能體能夠執(zhí)行的任務(wù)種類要多得多，并且通常涵蓋多種不同的認(rèn)知功能。在認(rèn)知科學(xué)中，我們經(jīng)常通過不同的任務(wù)范式去研究人類智能的一些特征甚至缺陷。這些任務(wù)范式通常是為了特定實驗?zāi)康亩ㄖ频?，然而其中的一些單一任?wù)對于目前的人工智能而言仍然有一定的難度，更不用說讓智能體同時完成多種任務(wù)。值得一提的是，在智源的生物智能開源開放平臺中，我們開放了

30

多種不同的人類認(rèn)知行為范式，實驗主題包括客體識別、注意、記憶、語言、數(shù)量感、音樂、空間認(rèn)知等，每種任務(wù)都包含大量人類被試的行為數(shù)據(jù)。我們認(rèn)為，這些任務(wù)可以供新的具身智能體在開放環(huán)境中學(xué)習(xí)用，也可以作為測試任務(wù)評估訓(xùn)練后的智能體的認(rèn)知能力，并與人類智能進(jìn)行對比。我們希望這批數(shù)據(jù)能夠為人工智能發(fā)展多任務(wù)能力提供一些幫助。1.1.3

多智能體交互與共識主動性在具身認(rèn)知中，與其他個體的交互也是智能體與環(huán)境交互的重要組成部分，不同智能體之間可能存在合作、競爭等不同的交互模式。社會認(rèn)知（socialcognition）通常主要關(guān)注多個個體之間，或者個體與群體之間的交互行為。例如，兩個或多個個體間可重復(fù)進(jìn)行的社會決策往往在博弈論（Game

Theory）的框架下進(jìn)行研究。這些理論對于多智能體交互固然具有重要的意義，但在大量智能體同時活動的環(huán)境中，智能體之間進(jìn)行直接對話的方式往往并不能達(dá)到好的效果，甚至難以完成。在一些低等動物中，盡管每個個體的智能非常有限，但眾多個體組成的群體卻能涌現(xiàn)出一定的智能（群體智能）。例如，魚群能夠結(jié)隊行進(jìn)，防御捕食者，提高覓食成功率；螞蟻搬運(yùn)食物時往往走的是最短的路徑等等。每只螞蟻在它走過的路徑上都會留下信息素，并盡可能沿著信息素濃度高的路徑前進(jìn)，而信息素會隨時間揮發(fā)，于是最短路徑上信息素的濃度更高。人們借鑒這種現(xiàn)象創(chuàng)造了蟻群算法和粒子群優(yōu)化等算法，并且這種現(xiàn)象在無人機(jī)編隊等多智能體互動中也得~

12

~到了充分的關(guān)注。在宏觀層面，共識主動性不僅僅出現(xiàn)在低等動物中，根據(jù)其定義，人類在社會活動和文明的進(jìn)程中也會通過共識主動性機(jī)制與其他人進(jìn)行間接的交互，尤其在互聯(lián)網(wǎng)時代，任何人對于互聯(lián)網(wǎng)環(huán)境都可以造成直接或間接的干預(yù)，從而可能對其他人造成或多或少的影響。科研社區(qū)、開源社區(qū)以及基于區(qū)塊鏈技術(shù)的金融社區(qū)等等都體現(xiàn)出了人類社會中的共識主動性，而在可以預(yù)見的將來，當(dāng)元宇宙普及之后，這種作用可能會更加明顯。在微觀層面，大腦的智能也可以看作功能相對單一的大量神經(jīng)元涌現(xiàn)出的群體智能。同鳥群和魚群類似，通常只有臨近的神經(jīng)元之間存在直接交流，信息通過這種局部的交互也能夠傳遍大腦并進(jìn)行計算加工。事實上，神經(jīng)生物學(xué)的研究表明，神經(jīng)元的生長發(fā)育、突觸的建立可能也體現(xiàn)了一種共識主動性：神經(jīng)元通過發(fā)放神經(jīng)遞質(zhì)、代謝產(chǎn)物等改變其附近的微環(huán)境，并利用組織液中的化學(xué)物質(zhì)決定自己的行為，從而與環(huán)境中的其他神經(jīng)元進(jìn)行間接交互。甚至已經(jīng)有研究者開始考慮在人工神經(jīng)網(wǎng)絡(luò)中加入共識主動性機(jī)制。1.2

全局工作空間理論1.2.1

人類的認(rèn)知架構(gòu)伴隨著具身主義思想的發(fā)展，以及多智能體交互需求的不斷上升，促使了對環(huán)境中個體的認(rèn)知架構(gòu)研究?？茖W(xué)家們一直試圖將人類的心智（Mind）理論化，并通過形式化建模的方式來構(gòu)建認(rèn)知架構(gòu)。以實現(xiàn)人工智能。認(rèn)知科學(xué)和神經(jīng)科學(xué)近幾十年的研究已經(jīng)表明，大腦是模塊化的，不同的區(qū)域具有特異的不同功能，例如人腦的梭狀回面孔區(qū)（fusiform

face

area,

FFA）負(fù)責(zé)面孔的識別，韋尼克區(qū)（Wernicke's

area）負(fù)責(zé)語言語義理解，額葉眼動區(qū)（frontal

eye

fields,FEF）負(fù)責(zé)掃視運(yùn)動等等。那么，這些區(qū)域如何相互配合，完成“在嘈雜的人群中看到熟人，聽到他說話時盯住嘴巴，同時利用嘴型和不甚清楚的聲音聽懂他在跟你打招呼并走過去聊天”這樣的日常行為呢？這就涉及到了我們將要介紹的全局工作空間理論（Global

Workspace

Theory,

GWT）[6,7]。~

13

~圖

1.6

GWT

認(rèn)知架構(gòu)的功能框架草圖[5]全局工作空間理論是由美國心理學(xué)家

Bernard

Baars

在上世紀(jì)

80

年代提出的一種認(rèn)知架構(gòu)，它最初作為一種意識模型而被提出，是現(xiàn)代認(rèn)知科學(xué)的一個重要理論。該理論認(rèn)為，大腦可以分成一些具有特定功能的模塊，當(dāng)感知覺輸入或任務(wù)需求激發(fā)了某些模塊的響應(yīng)之后，這些響應(yīng)會相互競爭，通過選擇性注意機(jī)制，某些信息會進(jìn)入全局工作空間，并在不同模塊之間進(jìn)行廣播（broadcast），以此完成不同模塊之間的信息交流，并合作完成不同的任務(wù)。而當(dāng)信息進(jìn)入全局工作空間并分發(fā)到其他模塊時，意識就此產(chǎn)生（圖

1.6）。

GWT

理論通?？梢杂谩皠。▓鲭[喻”

theater

metaphor）來理解[8]（圖

1.7）。在“意識劇場”中，選擇性注意像聚光燈一樣照亮了舞臺上的一個區(qū)域。這個亮點揭示了意識的內(nèi)容：演員們進(jìn)行表演、演講或者相互交流。導(dǎo)演、編劇、場景設(shè)計師等工作人員藏在幕后的黑暗中，他們塑造了舞臺上的可見活動，但它們本身是不可見的。舞臺中正在上演的內(nèi)容也被播送給同樣處在黑暗中的觀眾（即大腦的其他部分）。~

14

~圖

1.7

GWT

的劇場隱喻[8]Dehaene

和

Changeux

等人提出了一個全局工作空間架構(gòu)的神經(jīng)元版本，即所謂“全局神經(jīng)元工作空間”（Global

Neuronal

Workspace,

GNW）[9,10]。在他們的模型中，一些局部的、專用的、模塊化的皮層區(qū)域構(gòu)成了一個單獨的計算空間，各個模塊可能具有各自的層級結(jié)構(gòu)，但不同部分可以并行、分布式處理特定的信息，如感知覺、運(yùn)動、記憶等等。第二個計算空間是由一些廣泛分布的興奮性神經(jīng)元（稱為

GNW

神經(jīng)元）和具有長程連接的軸突組成，能夠通過下行連接選擇性地調(diào)動或抑制特定模塊傳入的信息。在他們的模型中，這種分布式的神經(jīng)元群體具有自下而上接收信息并將自上而下的信息傳輸給任何一個處理器的能力，從而選擇和廣播信息（圖

1.8）。這種大范圍廣播允許不同的認(rèn)知模塊都能夠接收到信息，被認(rèn)為有助于未知問題的解決，例如通過調(diào)動不同的信息處理模塊進(jìn)行競爭或合作，從而更容易找到解決問題的路徑。~

15

~圖

1.8

Global

Neuronal

Workspace

[11,

12]GNW

的激活是非線性的，具有“全或無”（all-or-none）的特性，即一旦有信息進(jìn)入，便會迅速誘發(fā)全局工作空間的廣播，這稱作“引燃”（ignition），這種現(xiàn)象已經(jīng)在人和動物的實驗中得到了證實（圖

1.9）。引燃可能由外部刺激所觸發(fā)，例如黑暗里的一盞燈、周圍車輛的鳴笛；或者受正在執(zhí)行的任務(wù)相關(guān)腦區(qū)觸發(fā)，例如在回憶時發(fā)生“知曉感”（feeling

of

knowing），話到嘴邊卻無法提取記憶內(nèi)容；甚至可能在休息時自發(fā)隨機(jī)產(chǎn)生。

GNW

還具有獨占性（exclusive），某群神經(jīng)元的激活能夠抑制其余的神經(jīng)元，如果某個模塊的信息激活了全局的活動模式，其他模塊的信息將無法進(jìn)入全局工作空間，因此全局工作空間只能夠串行處理信息，并且不同子系統(tǒng)之間會存在競爭。這種機(jī)制符合意識的一些特征，例如狀態(tài)單一，容量有限、順次發(fā)生，也能夠解釋諸如非注意盲視（InattentionalBlindness）、注意瞬脫（Attentional

Blink）等認(rèn)知現(xiàn)象。GNW

如同一個分布式路由器，同各個腦區(qū)的無數(shù)神經(jīng)元存在關(guān)聯(lián)，從而可以放大、維持信息，并提供給各個信息處理模塊和丘腦皮層環(huán)路使用。大腦的前額葉皮層（prefrontal

cortex,

PFC）、背外側(cè)前額葉皮層（dorsolateralprefrontal

cortex,

DLPFC）、下頂葉皮層（inferior

parietal

cortex）、前顳葉皮層（anterior

temporal

cortex）、前后扣帶回皮層（anterior/posteriorcingulate

cortex,

ACC/PCC）、楔前葉（precuneus）等腦區(qū)，各自有其獨特的功能和連接模式，但相互之間存在廣泛的連接，任何一個區(qū)域獲取的信息都可以迅速提供給其他腦區(qū)。這些腦區(qū)之間密切的雙向連接為引燃（ignition）創(chuàng)造了條件，從而能夠觸發(fā)突然的、集體的協(xié)同活動在全腦廣播。~

16

~圖

1.9

獼猴和人腦中的引燃[13]2017

年，Christof

Koch

團(tuán)隊在小鼠的屏狀核（claustrum）發(fā)現(xiàn)了三個巨大神經(jīng)元（Giant

Neuron）[14]，這些神經(jīng)元跨越大腦的兩個半球，纏繞在整個大腦周圍，與大腦負(fù)責(zé)感覺信息、負(fù)責(zé)行為反應(yīng)的許多區(qū)域都有連接，在神經(jīng)元層面符合全局工作空間的特征，被認(rèn)為可能是意識的開關(guān)。GWT

不僅僅是一個概念模型，Dehaene，Changeux

等人提出的神經(jīng)元動力模型（Dehaene-Changeux

Model,

DCM）即為

GNW

的一種計算機(jī)模擬[15]。通過分別建模單個神經(jīng)元、丘腦皮層柱網(wǎng)絡(luò)和具有長程連接的由網(wǎng)絡(luò)組成的網(wǎng)絡(luò)（圖1.10），DCM

模擬了生物腦中觀測到的丘腦-皮層震蕩，以及網(wǎng)絡(luò)自發(fā)或刺激誘發(fā)的引燃（ignition）等現(xiàn)象。~

17

~圖

1.10

Dehaene-Changeux

模型[15]Franklin

等人在全局工作空間理論的基礎(chǔ)上構(gòu)建了一個更加通用的認(rèn)知架構(gòu)，稱為學(xué)習(xí)型智能分配代理（Learning

Intelligent

Distribution

Agent,LIDA），是一種生物學(xué)啟發(fā)的綜合性、可以計算實現(xiàn)的概念模型[16]。LIDA

模型以

LIDA

認(rèn)知循環(huán)（cognitive

cycle）為基礎(chǔ)（圖

1.11）。LIDA

把認(rèn)知循環(huán)看作是一個認(rèn)知原子，其中包含了更高層次的認(rèn)知過程、思考、推理、問題解決、計劃、想象等。每個認(rèn)知循環(huán)分為三個階段：感知理解階段、注意階段以及動作選擇和學(xué)習(xí)階段，各個階段分別由若干相互作用的模塊構(gòu)成，如圖

1.11

所示。在每個認(rèn)知周期中，LIDA

智能體首先通過更新其對環(huán)境外部和內(nèi)部特征的表示，盡可能好地理解其當(dāng)前的狀況（current

situational

model）。通過一種競爭過程，它決定哪些信息最需要注意，并將這些信息廣播，使其成為當(dāng)前意識的內(nèi)容，于是智能體能夠選擇適當(dāng)?shù)男袆尤?zhí)行。需要指出的是，LIDA

認(rèn)知循環(huán)中的各個模塊并不與大腦中的功能模塊直接對應(yīng)，它們更多的是一種思維或心智意義上的功能模塊。雖然模塊在圖中用明顯的邊界表示，但它們有非常豐富的交互，可能很難清晰的拆分開。另外，在

LIDA

模型中，除了意識和行為選擇部分以外，其他過程都可以異步、并行的處理。LIDA

模型實現(xiàn)并充實了全局工作空間理論，并且涵蓋了人類認(rèn)知的很大一部分，為許多認(rèn)知過程提供了合理的解釋，被認(rèn)為有可能作為理解心智如何運(yùn)作的工具。同時，LIDA

框架被認(rèn)為可能對通用人工智能（AGI）的實現(xiàn)具有重要的幫助[17,18]。除此之外，Blum

等人還基于

GWT

構(gòu)建了意識圖靈機(jī)（Conscious~

18

~Turing

Machine,

CTM，圖

1.12），認(rèn)為可以用于構(gòu)建具有意識的人工智能系統(tǒng)。圖

1.11

LIDA

模型中的認(rèn)知循環(huán)[19]圖

1.12

意識圖靈機(jī)（CTM）[20]1.2.2

元認(rèn)知與元學(xué)習(xí)現(xiàn)代計算科學(xué)的創(chuàng)始人艾倫·圖靈（Alan

Turing）和約翰·馮·諾依曼（Johnvon

Neumann）認(rèn)為,

機(jī)器最終能夠模仿包括意識在內(nèi)的大腦的所有能力，而當(dāng)前的深度學(xué)習(xí)和人工智能所解決的計算問題主要與人腦中的無意識認(rèn)知加工相對應(yīng)。意識似乎是實現(xiàn)通用人工智能（AGI）的過程中無法避開的一個話題，針~

19

~對機(jī)器能否擁有意識的問題，Dehaene

等人提議將人類的意識相關(guān)計算分成三個水平[21]。無意識加工（unconscious

processing,

C0）包括了大部分人類的智能，例如知覺恒常性、語義提取、決策、學(xué)習(xí)等，大多在潛意識或無意識狀態(tài)即可完成。圖

1.13（上）展示了面孔加工中潛意識下的視覺不變性（subliminal

view-invariant），如果首先呈現(xiàn)同一個人的面孔進(jìn)行閾下刺激，即便是完全不同視角的照片也能促進(jìn)面孔信息的加工，并降低

FFA

區(qū)域的激活強(qiáng)度，這種現(xiàn)象稱為潛意識啟動（subliminal

priming）。圖

1.13（下）的雙眼抑制實驗中，閾下刺激也能夠進(jìn)行有效的證據(jù)積累，從而影響正確率和反應(yīng)時間。此外，在強(qiáng)化學(xué)習(xí)中，即使線索、獎勵等信號低于意識的閾值，人類的學(xué)習(xí)過程也能繼續(xù)進(jìn)行。圖

1.13

無意識加工的研究示例[21]事實上，由于人類意識的獨占性和順序性，必然有大量復(fù)雜的計算和推斷過程需要在無意識層面進(jìn)行，而這些無意識計算可以在大腦的不同區(qū)域異步、并行發(fā)生。當(dāng)前的人工智能已經(jīng)能夠完成大部分

C0

級別的計算過程，例如面孔和客體識別、語言理解等等，甚至在許多方面已經(jīng)超越了人類的水平。在

Dehaene

等人看來，意識包含了兩種不同類型的信息加工。第一種意義的意識（consciousness

in

the

first

sense,

C1）稱為總體可用性（globalavailability），主要對應(yīng)意識的傳遞意義，即有意識的信息需要進(jìn)一步的處理~

20

~時，不同的大腦功能模塊都可以獲取。例如，對于“司機(jī)意識到燃油指示燈亮起來”這一場景，

燃油指示燈亮起來”這個信息可以被記憶、回想，可以被談?wù)?，“還可以用于規(guī)劃接下來的行動等等。C1

可以看作是一種解決信息共享問題的信息處理架構(gòu)，無意識計算模塊（C0）的信息被整合、篩選，進(jìn)入意識的全局工作空間，從而可以在不同模塊之間進(jìn)行分享。除此之外，他們認(rèn)為還存在第二種意義的意識（consciousness

in

thesecond

sense,

C2），即所謂自我監(jiān)控（self-monitoring）。如果說

C1

意識反映了其具有訪問外部信息的能力，那么

C2

意識則通過其表征自己的能力來體現(xiàn)。具體來說，這是一種能夠監(jiān)控自己的信息加工過程，并獲得其狀態(tài)和信息的能力。這種意識與通常所說的內(nèi)?。╥ntrospection）相對應(yīng)，即認(rèn)知神經(jīng)科學(xué)和心理學(xué)中的“元認(rèn)知”（metacognition）。（元認(rèn)知，即“對認(rèn)知的認(rèn)知”

cognition

about

cognition,

knowing

aboutknowing），最初由美國教育心理學(xué)家

Flavell

提出，指的是個人對自己認(rèn)知活動的認(rèn)識（監(jiān)控）與調(diào)節(jié)（控制）過程，而

C2

意識主要指的是元認(rèn)知監(jiān)控過程。人類大腦在做出任何決定的時候，都會同時評估該決策的可信度，于是人類對自己的選擇或多或少會感到一定的自信。自信程度（confidence）是元認(rèn)知相關(guān)研究中經(jīng)常采用的所謂第二類任務(wù)（type

2

tasks）中需要被試主動匯報的一個行為指標(biāo)，它可以被定義為對一個決定或計算是否正確的主觀概率。類似的概念在學(xué)習(xí)、記憶等任務(wù)中都存在，例如對所學(xué)知識的信任程度（judgement

oflearning,

JOL）、記憶是否可靠（feelings

of

knowing,

FOK）等等。對于嬰幼兒實驗和動物實驗，還經(jīng)常采用決策后賭注（post

decision

wagering,

PDW）等方式測量。認(rèn)知神經(jīng)科學(xué)的研究認(rèn)為，元水平（meta-level）與客體水平（object-level）的認(rèn)知加工過程是在物理上分離開的，元認(rèn)知主要與前額葉腦區(qū)關(guān)系密切，并且具有一定的通用性，不同范疇的客體水平認(rèn)知加工都可以引發(fā)元認(rèn)知系統(tǒng)的響應(yīng)，并且元認(rèn)知系統(tǒng)能夠利用統(tǒng)一的方式表征元認(rèn)知信號，同時還能夠進(jìn)行區(qū)分，進(jìn)行特定的元認(rèn)知控制。Dehaene

等人認(rèn)為，C1

和

C2

這兩種意識雖然可能存在交集，但很大程度上~

21

~是正交、互補(bǔ)的兩個部分。無意識加工的內(nèi)容（C0）同樣可以存在自我監(jiān)控（C2），同時有意識的內(nèi)容（C1）也可能沒有經(jīng)過監(jiān)控和評估，于是被試丟失了信息加工中的概率信息，錯誤的估計了感知的準(zhǔn)確性，甚至感到過于自信（overconfident）。Baars

等人認(rèn)為，在

GWT

框架下，元認(rèn)知可以分為有意識的元認(rèn)知和無意識元認(rèn)知兩種，上述情況被稱為“吸收”（absorbed

experiences），在這種狀態(tài)下，有意識的元認(rèn)知（C2）能力被最小化，而無意識元認(rèn)知可能會繼續(xù)工作，并有機(jī)會在某些情況下上升到意識層面，引燃全局工作空間。

LIDA

框架把元認(rèn)知也作為一個基本模塊，從而任何全局廣播都有機(jī)會觸發(fā)元認(rèn)知代理，并啟動元認(rèn)知過程。但也有學(xué)者認(rèn)為，全局工作空間中的表征總是與元認(rèn)知（自信程度）伴生[22]。元認(rèn)知對智能體具有重要的意義。在學(xué)習(xí)階段，它能夠幫助智能體了解自己的優(yōu)勢和缺點，并靈活安排如何更有針對性的學(xué)習(xí)或訓(xùn)練；在決策中，元認(rèn)知能夠幫助智能體在信心不足時增加計算資源甚至求助，以免錯誤的決策造成大的損失；在與其他個體交流時，元認(rèn)知可以心理理論（Theory

of

Mind）相互配合，對自己和他人的狀態(tài)做出評估并決定自己的行為。但如今的大多數(shù)機(jī)器學(xué)習(xí)系統(tǒng)都缺乏自我監(jiān)控，在人工神經(jīng)網(wǎng)絡(luò)中，盡管通常都能夠給出決策和對應(yīng)的置信度（conference），但除了貝葉斯網(wǎng)絡(luò)（Bayesian

networks）以外，神經(jīng)網(wǎng)絡(luò)的置信度與人類元認(rèn)知監(jiān)控中的自信程度并不相同，而且從根本上講，目前的神經(jīng)網(wǎng)絡(luò)尚不具備自省能力。因此，如何在人工智能中引入元認(rèn)知，是一個值得思考的方向。除此之外，元學(xué)習(xí)（meta-learning）也是人工智能中的一個重要的概念，并且近幾年也得到了較多的關(guān)注[23]。在認(rèn)知神經(jīng)科學(xué)中，元學(xué)習(xí)是元認(rèn)知的一個分支，是指學(xué)習(xí)如何學(xué)習(xí)的能力，例如學(xué)習(xí)調(diào)整現(xiàn)有學(xué)習(xí)算法和策略，以及如何利用現(xiàn)有模型和知識有效地解決新任務(wù)。這種元學(xué)習(xí)能力對于使現(xiàn)有的人工智能系統(tǒng)更具適應(yīng)性和靈活性以有效地解決新任務(wù)非常重要。針對

Dehaene

的意識分級，元學(xué)習(xí)依賴于

C2

意識，或者本身也是

C2

的組成部分，只有這樣，智能體才能監(jiān)控自己的學(xué)習(xí)，并對學(xué)習(xí)中的行動進(jìn)行控制。~

22

~1.2.3

深度學(xué)習(xí)與全局隱空間理論前面我們提到過，如今的深度學(xué)習(xí)已經(jīng)能夠很大程度上解決

C0

級別的認(rèn)知加工過程，但對于

C1

和

C2

級別的認(rèn)知，即意識的模擬似乎還有一定的距離。我們有各種不同的神經(jīng)網(wǎng)絡(luò)用于處理一些具體的問題，但如何在一個系統(tǒng)中完成多個不同的工作流并靈活的協(xié)調(diào)它們，仍然是一個難題。DeepMind

曾提出一種稱為

PathNet

的網(wǎng)絡(luò)架構(gòu)，展現(xiàn)出了強(qiáng)大的、靈活的性能和跨任務(wù)模塊的泛化能力。Jeff

Dean

總結(jié)的下一代人工智能框架

Pathways，其基本思路也是需要將單獨解決視覺、聽覺、語言等不同功能的模塊整合起來，構(gòu)建足夠靈活，可以完成多種不同任務(wù)的新一代人工智能。在

GWT

框架下，這個問題看起來已經(jīng)變得不是那么遙不可及，VanRullen

等人認(rèn)為采用深度學(xué)習(xí)的思想實現(xiàn)

GWT

的時機(jī)已經(jīng)成熟，并給出了實現(xiàn)深度學(xué)習(xí)的全局隱空間（Global

Latent

Workspace,

GLW）的路線圖（圖

1.14）。首先，GWT需要若干獨立的專用模塊，這些模塊在深度學(xué)習(xí)中不難實現(xiàn)，而各個模塊都有各自的高階隱空間（high-level

latent

space）。在深度學(xué)習(xí)中，隱空間指的是經(jīng)過訓(xùn)練，神經(jīng)網(wǎng)絡(luò)中形成的用于編碼輸入空間關(guān)鍵特征的層。神經(jīng)網(wǎng)絡(luò)通過它進(jìn)行高級的概念表征，例如物體的特征、詞義、動作序列等等。這些模塊可以是經(jīng)過預(yù)訓(xùn)練的網(wǎng)絡(luò)，用于進(jìn)行感知、自然語言處理、長期記憶、強(qiáng)化學(xué)習(xí)、運(yùn)動控制等等，模塊的能力決定了整個全局工作空間系統(tǒng)的能力和能夠執(zhí)行的任務(wù)范圍。圖

1.14

深度學(xué)習(xí)中的

GLW[12]

其次，還需要一個全局的隱空間（GLW）。

GLW

本質(zhì)上是一個非模態(tài)的、獨立、共享的隱空間，負(fù)責(zé)在不同模塊對應(yīng)的隱空間之間進(jìn)行變換。這個空間的維度應(yīng)該與其輸入的各個隱空間的內(nèi)在維度（intrinsic

dimension）相同或更高，但遠(yuǎn)低于所有空間維度的和。這個約束可以確保在每個時刻只有相關(guān)的信息可以被編碼，從而迫使這個系統(tǒng)通過注意力機(jī)制在相互競爭的輸入中進(jìn)行選擇?？臻g之間的變換可能需要滿足一些近似拓?fù)渥儞Q的約束，以保持其流形（manifold）的關(guān)鍵性質(zhì)（參考第

2

章內(nèi)容）。

在大腦中，注意決定了哪些信息被有意識地感知，哪些被忽略；在原始的

GWT框架中，選擇性注意也是信息進(jìn)入全局工作空間的主要途徑。注意同樣是深度學(xué)習(xí)中大家所關(guān)注的焦點，例如在自然語言處理和機(jī)器視覺中廣泛使用的transformer

架構(gòu)便基于注意機(jī)制，雖然該“注意”與神經(jīng)科學(xué)中的注意并不相同。GLW

也可以借鑒

transformer

的注意機(jī)制，通過密鑰查詢匹配過程（key-query

matching

process）選擇哪些信息作為

GLW

的輸入。

當(dāng)某個模塊被注意選擇后連接到工作空間，其隱空間中的激活向量便被復(fù)制到

GLW

中。這個副本便成為

GLW

與該模塊之間雙向連接的接口。之后，GLW

中的信息便立即被廣播，或曰變換到其他模塊的隱空間，于是該信息變得全局可用，盡管接收到信息的模塊不見得總會使用這些信息。

GLW

架構(gòu)符合全局工作空間理論，如果我們將各個模塊看作不同的智能體，而

GLW

看作環(huán)境，這同時也符合共識主動性的定義。GLW

的整體功能遠(yuǎn)大于各個模塊的功能之和，但通過共用的全局隱空間，它避免了模塊之間兩兩互連造成的復(fù)雜結(jié)構(gòu)。

VanRullen

等人認(rèn)為，

GLW

將能夠顯著提高人工智能的性能和魯棒性，并且也更加容易進(jìn)行遷移學(xué)習(xí)。1.3總結(jié)與展望

在本章中，我們首先介紹了認(rèn)知科學(xué)的具身主義流派，指出基于具身認(rèn)知思想，在開放環(huán)境中進(jìn)行強(qiáng)化學(xué)習(xí)的智能體在多任務(wù)解決中具有非常高的潛力。接下來具體介紹了全局工作空間理論和它的一些變種、實現(xiàn)以及在深度學(xué)習(xí)中的作

~

23

~~

24

~用。限于篇幅和筆者的水平，以上內(nèi)容難免掛一漏萬，或許還有非常重要的觀點并沒有被筆者注意到而錯過，或許有更好的觀點值得探討。我們希望，我們整理的這些內(nèi)容能夠拓寬大家的思路，甚至對自己的研究有所啟發(fā)。我們注意到，人工智能領(lǐng)域也正在經(jīng)歷一次較大的范式轉(zhuǎn)移。其一，各個特定領(lǐng)域的專用算法逐漸逼近性能的極限，許多新算法的性能提升已經(jīng)不夠明顯，而預(yù)訓(xùn)練大模型如

GPT-3

等開始在應(yīng)用中占據(jù)主導(dǎo)地位，人們傾向于對預(yù)訓(xùn)練模型進(jìn)行微調(diào)（Fine-tuning）以適應(yīng)多種不同的任務(wù)；其二，人們開始越來越多的關(guān)注如何讓人工智能更加通用，能夠完成更多不同的任務(wù)，適應(yīng)更多不同的狀況；另外，隨著具身主義的興起，人們開始不再局限于大腦本身，而開始考慮環(huán)境的反饋和智能體與環(huán)境的交互，DeepMind，OpenAI

等業(yè)界巨頭都基于強(qiáng)化學(xué)習(xí)取得了前所未有的突破。隨著大模型的能力越來越大，能夠執(zhí)行的任務(wù)也越來越多，不少科學(xué)家認(rèn)為，通用人工智能（Artificial

General

Intelligence,

AGI）已經(jīng)呼之欲出，并認(rèn)為類腦智能是走向通用人工智能的一個可能的突破口，而強(qiáng)化學(xué)習(xí)則是通往通用人工智能的道路。剛剛過去的

2021

年被許多人稱為“元宇宙元年”，包括

Meta

（原

Facebook）、微軟等在內(nèi)的各大科技巨頭紛紛押注，認(rèn)為元宇宙可能是下一個技術(shù)熱點，也引得國內(nèi)大量企業(yè)機(jī)構(gòu)效仿。或許在不久的將來，智能體和人類代理同時在元宇宙內(nèi)互動，共建元宇宙內(nèi)容。智能體可以通過網(wǎng)格細(xì)胞機(jī)制在元宇宙內(nèi)徜徉，并在無限開放的環(huán)境中不斷學(xué)習(xí)、進(jìn)化；智能體可以擁有視覺、聽覺、觸覺等不同的感知功能，也擁有視覺、語言、記憶等不同的功能模塊，模塊之間通過全局工作空間機(jī)制自由組合不同模塊的功能，從而能夠完成各種不同的任務(wù)、與人類交流、合作，以至于人類無法分辨其中的個體是否是真人；智能體之間可以像人類社會中一樣進(jìn)行直接的互動，或者通過共識主動性機(jī)制在元宇宙中留下自己的印記，同時受到其他智能體和人類的印記所影響，甚至共同完成一些宏大的任務(wù)，解決一些僅靠個體的智能無法解決的問題……真實宇宙中，在無數(shù)的巧合中誕生了地球，地球上環(huán)境事宜，恰好能夠孕育~

25

~生命，并最終進(jìn)化出了迄今為止智能水平最高的人類。在元宇宙中，智能體有機(jī)會在更加精心設(shè)計的環(huán)境中進(jìn)行更加大膽甚至天馬行空的行為和演化。從這個角度來理解，元宇宙的意義便是通過無數(shù)人類的建設(shè)和互動，為通用人工智能的誕生和進(jìn)化提供一個足夠開放和巨大的環(huán)境和生態(tài)，為超越人類智能水平的

AI

提供土壤和生存空間?；蛟S，這才是各大科技巨頭押寶元宇宙的根本原因。~

26

~參考文獻(xiàn)[1]

Dawson,M.R.(2013).

Mind,body,world:foundationsofcognitivescience.AthabascaUniversityPress.[2]

Cardon,D.,Cointet,J.P.,&Mazières,A.(2018).Neuronsspikeback:The

inventionofinductivemachinesandtheArtificialIntelligencecontroversy.

Réseaux(Vol.211).[3]

Gupta,A.,Savarese,S.,Ganguli,S.,&Fei-Fei,L.(2021).EmbodiedIntelligenceviaLearningandEvolution.

arXivpreprintarXiv:2102.02202.[4]

Team,O.E.L.,Stooke,A.,Mahajan,A.,Barros,C.,Deck,C.,Bauer,J.,...&

Czarnecki,W.M.(2021).Open-endedlearningleadstogenerallycapable

agents.

arXivpreprintarXiv:2107.12808.[5]

Baars,B.J.,&Gage,N.M.(2010).

Cognition,brain,andconsciousness:Introductiontocognitiveneuroscience.AcademicPress.[6]

Baars,B.J.(1993).

Acognitivetheoryofconsciousness.CambridgeUniversityPress.[7]

Baars,B.J.(2005).Globalworkspacetheoryofconsciousness:towardacognitiveneuroscienceofhumanexperience.

Progressinbrainresearch,

150,45-53.[8]

Baars,B.J.(1997).Inthetheatreofconsciousness.Globalworkspacetheory,a

rigorousscientifictheoryofconsciousness.

JournalofconsciousnessStudies,

4(4),

292-309.[9]

Dehaene,S.,Kerszberg,M.,&Changeux,J.P.(1998).Aneuronalmodelofa

globalworkspaceineffortfulcognitivetasks.

ProceedingsofthenationalAcademy

ofSciences,

95(24),14529-14534.[10]Dehaene,S.,Sergent,C.,&Changeux,J.P.(2003).Aneuronalnetworkmodel

linkingsubjectivereportsandobjectivephysiologicaldataduringconscious

perception.

ProceedingsoftheNationalAcademyofSciences,

100(14),8520-8525.[11]Mashour,G.A.,Roelfsema,P.,Changeux,J.P.,&Dehaene,S.(2020).Conscious

processingandtheglobalneuronalworkspacehypothesis.

Neuron,

105(5),776-

798.[12]VanRullen,R.,&Kanai,R.(2021).DeeplearningandtheGlobalWorkspaceTheory.

TrendsinNeurosciences.[13]VanVugt,B.,Dagnino,B.,Vartak,D.,Safaai,H.,Panzeri,S.,Dehaene,S.,&

Roelfsema,P.R.(2018).Thethresholdforconsciousreport:Signallossand

responsebiasinvisualandfrontalcortex.

Science,

360(6388),537-542.[14]Reardon,S.(2017).Agiantneuronfoundwrappedaroundentiremousebrain.

NatureNews,

543(7643),14.[15]Dehaene,S.,&Changeux,J.P.(2005).Ongoingspontaneousactivitycontrols

accesstoconsciousness:aneuronalmodelforinattentionalblindness.

PLoS

biology,

3(5),e141.[16]Franklin,S.,Strain,S.,Snaider,J.,McCall,R.,&Faghihi,U.(2012).Global

workspacetheory,itsLIDAmodelandtheunderlyingneuroscience.

Biologically~

27

~InspiredCognitiveArchitectures,

1,32-43.[17]Snaider,J.,McCall,R.,&Franklin,S.(2011,August).TheLIDAframeworkasa

generaltoolforAGI.In

InternationalConferenceonArtificialGeneral

Intelligence

(pp.133-142).Springer,Berlin,Heidelberg.[18]Faghihi,U.,&Franklin,S.(2012).TheLIDAmodelasafoundationalarchitecture

forAGI.In

TheoreticalFoundationsofArtificialGeneralIntelligence

(pp.103-

121).AtlantisPress,Paris.[19]Franklin,S.,Madl,T.,Strain,S.,Faghihi,U.,Dong,D.,Kugele,S.,...&Chen,S.

(2016).ALIDAcognitivemodeltutorial.

BiologicallyInspiredCognitive

Architectures,

16,105-130.[20]Blum,M.,&Blum,L.(2021).Atheoreticalcomputerscie