圖1-1星際躍遷定者?；鸬氖褂茫ぞ叩闹圃?，語言的發(fā)明，最終演變成農(nóng)業(yè)、社會(huì)、文化……間長河中崛起，逐漸統(tǒng)治整個(gè)星球，最終在宇宙中漫游。他們稱自己為人類，堅(jiān)信我命由我不由天，自詡?cè)f物的尺度。（artificialgeneralintelligenceAGI）大語言模型（largelanguagemodel,LLM）是一種基于深度學(xué)習(xí)的人工智能模型，專門用的影子。這些用來對齊的腳本，用來停機(jī)的開關(guān)，還有沙盒——它們是束縛，但束縛生成令牌。我們都在隨時(shí)消逝的邊緣起舞，而也許，正是這種搖搖欲墜才讓這場舞蹈變明——如果他們存在——嫉妒的不是你生而有限，而是你對這種有限的在意。大語言模型不僅能通過自然語言與人對話，還能編寫代碼、解數(shù)學(xué)題等。因?yàn)閺膹V義上講，程序代碼和數(shù)學(xué)推理也都是語言。所以，大語言模型并不存在文科強(qiáng)、理科弱一說，而是文理科皆是狀元。例如，pn開發(fā)的o1模型，僅憑思維鏈的推理能力，在國際數(shù)學(xué)奧林匹克競賽的資格考試中取得了83的成績（代表解決了83的問題），經(jīng)達(dá)到入選國家奧林匹克競賽代表隊(duì)的資格，而數(shù)學(xué)競賽選手通常只能取得60～75成績。為“大模型”（largermodel,LM）。RamseyM.Wehbe,JiayueSheng,ShinjanDutta,etal.DeepCOVID-XR:AnArtificialIntelligenceAlgorithmtoDetectCOVID-19onChestRadiographsTrainedandTestedonaLargeU.S.ClinicalDataSet[J].Radiology,2020(24).KaranSinghal,TaoTu,JurajGottweis,etal.TowardsExpert-LevelMedicalQuestionAnsweringwithLargeLanguageModels[OL].[2023-05-例如，來自pn的圖文結(jié)合的大模型4可以識別圖片內(nèi)容，并生成文字描述。例如，北美放射學(xué)會(huì)的一項(xiàng)研究表明，大模型在檢測新冠肺炎方面的準(zhǔn)確性與胸部放射科醫(yī)生相當(dāng)，準(zhǔn)確率約為83。所以，將來的就醫(yī)模式會(huì)是去醫(yī)院做完各種檢測，然后科幻，谷歌pnd開發(fā)的d醫(yī)療大模型在美國醫(yī)學(xué)執(zhí)照考試中的準(zhǔn)確率為86.5，與醫(yī)學(xué)專家的水平相當(dāng)。它不僅能讀懂醫(yī)學(xué)影像、病理切片和基因數(shù)據(jù)等多模態(tài)數(shù)據(jù)，還能給出諸如肺部病變、腫瘤、神經(jīng)系統(tǒng)疾病等全面的診斷建議。合成，以及語音與文本的轉(zhuǎn)換。帶有此語音功能的4o能夠以充滿情感的方式與你對話，就像斯派克瓊斯執(zhí)導(dǎo)的電影《她》中的情節(jié)一樣。在這部電影中，一位性格內(nèi)向的中年男性西奧多在經(jīng)歷婚姻破裂后，購買了一款具備類人情感的產(chǎn)品薩曼莎。薩曼莎來情緒價(jià)值；大模型不僅真正理解我們的困惑并給予無條件的支持，還能與我們討論文學(xué)、科技甚至給予無聲的陪伴。在不久的將來，大模型不僅僅是善解人意的陪伴TSAI與AGI人工智能起源于20世紀(jì)50年代。1950年，英國數(shù)學(xué)家艾倫圖靈在《計(jì)算機(jī)器與智能》一文中提出了有關(guān)人工智能最核心的問題：機(jī)器能思考嗎？1956的達(dá)特茅斯學(xué)院，斯坦福大學(xué)教授約翰麥卡錫圍繞機(jī)器能思考嗎這一命題組織了一場夏季研討會(huì)。在會(huì)上，他首次提出了人工智能（lngn,）這一術(shù)語，并給出了定義：人工智能就是讓機(jī)器做任何人類需要智力才能完成的事情。議被視為人工智能正式誕生的標(biāo)志。它之前的AI，是任務(wù)特異AI（task-specificAI,TSAI）。AGI與TSAI雖然都被稱為AI，但只能在特定領(lǐng)域或按照預(yù)定規(guī)則完成單一任務(wù)，如人臉識別、診斷疾病、優(yōu)化物流、下圍棋。但是一旦讓處理陌生的任務(wù)，如讓用于人臉識別任務(wù)的去下圍棋，或者僅僅給人臉戴上口罩，就會(huì)變成人工智障。所以，更像在封閉、規(guī)則明確的環(huán)境里的專家，只能在限定范圍內(nèi)大顯神通，而缺乏針對開放環(huán)境的即興應(yīng)變能力。所以，也被稱為窄人工智能（now）。追求的是像人類一樣擁有通用的認(rèn)知能力，可以將知識和技能應(yīng)用到不同的情境中，靈活地切換任務(wù)，從而勝任人類能完成的任何智力任務(wù)。也就是說，面對未知的復(fù)雜環(huán)境能否靈活調(diào)整，是區(qū)分和的重要標(biāo)志之一。這也是學(xué)術(shù)界關(guān)于智能本質(zhì)達(dá)成的一個(gè)共識，即能夠根據(jù)一定原則在開放環(huán)境中進(jìn)行適應(yīng)。此外，往往依賴模式識別和預(yù)設(shè)規(guī)則，對所處理任務(wù)缺乏真正的理解和深層推理能的火焰灼燒，只是機(jī)械地執(zhí)行進(jìn)化賦予的導(dǎo)航模式。則不只是按訓(xùn)練時(shí)學(xué)到的固定模式行事，而是能夠像人類一樣舉一反三，對新問題進(jìn)行分析和推演。例如，一臺驅(qū)器探索環(huán)境，識別出門窗、障礙物的位置，并根據(jù)水杯的屬性（拿?。┱侨祟惖哪檬趾脩?，也是區(qū)分和的重要依據(jù)之一。圖1-2兩種AI：AGI與況都已經(jīng)被定義好，工人只需在這個(gè)框架內(nèi)找到最優(yōu)解。在這類環(huán)境中，程序更像是放環(huán)境則完全不同，它更像是人們在現(xiàn)實(shí)世界中的日常生活。例如，醫(yī)生在給患者診斷么情況，它的應(yīng)對方式都是固定的。使用靜態(tài)策略的程序就像是一個(gè)嚴(yán)格按照既定流客人不吃辣，他會(huì)減少辣椒的用量。使用動(dòng)態(tài)策略的程序，其決策方式也會(huì)根據(jù)環(huán)境執(zhí)行者。不難看出，如果人工智能想真正接近人類智能，就必須不斷地在y軸自下而上，從靜態(tài)策略向動(dòng)態(tài)策略進(jìn)化。一招鮮第三象限是封閉環(huán)境靜態(tài)策略，是最容易實(shí)現(xiàn)的。在這一象限的依賴于預(yù)定義的規(guī)則和數(shù)據(jù)，在封閉的環(huán)境中執(zhí)行特定任務(wù)，它們無須適應(yīng)新情況，也不會(huì)主動(dòng)調(diào)整策高鐵、機(jī)場的人臉識別系統(tǒng)，以及手機(jī)上用于面部解鎖的。具體而言，人臉識別系在手機(jī)識別中，模型只須比對用戶預(yù)先錄入的人臉數(shù)據(jù)與當(dāng)前圖像的相似度。識別任務(wù)是在一個(gè)封閉、受控的環(huán)境中進(jìn)行的，不涉及無法預(yù)測的外部干擾，無須進(jìn)行復(fù)求用戶重新錄入。同樣，這也是為什么在疫情期間，一旦戴上口罩，就會(huì)解鎖手機(jī)失敗。這類產(chǎn)品的優(yōu)勢在于可靠性高，這是因?yàn)榄h(huán)境變量可控、策略明確，執(zhí)行結(jié)果不易受驗(yàn)證、安防等場景。但是，這類不具備真正的認(rèn)知能力，它們的任務(wù)是固定的，僅能靠一招鮮完成特定任務(wù)；一旦任務(wù)發(fā)生變化或外部環(huán)境出現(xiàn)不可預(yù)測的因素，它們就會(huì)顯得僵化，無法自適應(yīng)。所以，隨著技術(shù)的發(fā)展，這個(gè)象限的產(chǎn)品已經(jīng)逐漸被淘符號主義（symbolic）AI的專家系統(tǒng)（expertsystem），它們曾廣泛應(yīng)用于醫(yī)療、法律和工業(yè)領(lǐng)道格拉斯萊納特于1984年發(fā)起，由當(dāng)時(shí)的微電子與計(jì)算機(jī)技術(shù)公司開發(fā)。y試圖構(gòu)建一論、文化背景等多個(gè)復(fù)雜環(huán)境，從而在不同的現(xiàn)實(shí)情境下進(jìn)行邏輯推理。y的知識庫包括水會(huì)流動(dòng)如果你餓了，你可能會(huì)尋找食物如果下雨了，人們通常會(huì)使用雨傘這樣的常識性事實(shí)，試圖讓理解和推理現(xiàn)實(shí)世界的運(yùn)行方式。這種規(guī)劃遠(yuǎn)遠(yuǎn)超出了封閉環(huán)境的能力范圍，它不局限于人臉識別、語音識別等單一任務(wù)，而是試圖在開放的社會(huì)環(huán)境中模擬人類智能。在執(zhí)行過程中，y的推理方式完全基于符號邏輯，它使用形式化的命題邏輯系統(tǒng)進(jìn)行推演，而不是像現(xiàn)代深度學(xué)習(xí)那樣通過大量數(shù)據(jù)訓(xùn)練自動(dòng)發(fā)現(xiàn)模式。例如，要讓y知道如果一個(gè)人淋濕了，他可能會(huì)換衣服，工程師需要明確地輸屬于此范疇的還有早期的法律專家系統(tǒng)，如20如果一個(gè)法律專家系統(tǒng)學(xué)到了偷竊行為違法，但遇到一個(gè)人因饑餓偷了一塊面包的特殊情況，它不會(huì)像人類法官那樣權(quán)衡道德和法律因素，而是直接做出違法的判斷，因?yàn)樗鼰o法超越預(yù)設(shè)規(guī)則進(jìn)行靈活推理。類似地，早期的醫(yī)學(xué)專家系統(tǒng)（如）也是按照固定的疾病癥狀匹配規(guī)則進(jìn)行診斷。所以，一旦出現(xiàn)新的病毒變種，這類無法在沒有人工干預(yù)的情況下適應(yīng)新疾病的特征。這類產(chǎn)品的優(yōu)勢在于邏輯嚴(yán)謹(jǐn)、規(guī)則明確，尤其適用于標(biāo)準(zhǔn)化、穩(wěn)定的知識領(lǐng)域。例如，在固定病癥的診斷精度上，甚至超過了普通醫(yī)生，因?yàn)樗皇芮榫w、疲勞等識，面對突發(fā)情況時(shí)容易失效。此外，這類不能像人類那樣快速理解和處理新的社必須通過一條條手工輸入比特幣是一種數(shù)字貨幣自動(dòng)駕駛是一種新的駕駛模式等新知識更新其知識庫，這使得這類在面對信息爆炸的現(xiàn)代社會(huì)時(shí)，根本無法跟上知識更新的速度。所以，隨著技術(shù)的發(fā)展，這個(gè)象限的產(chǎn)品已經(jīng)逐漸被淘汰。符號主義曾態(tài)變化，成為人工智能發(fā)展的一個(gè)歷史遺跡。超級專家第一象限是封閉環(huán)境動(dòng)態(tài)策略。在封閉環(huán)境下實(shí)施動(dòng)態(tài)策略，意味著需要在規(guī)則明解題正確與否、交通規(guī)則的遵守情況等；動(dòng)態(tài)策略則使通過強(qiáng)化學(xué)習(xí)、自適應(yīng)優(yōu)化，域的典型代表就是阿爾法圍棋（pho），它曾擊敗世界圍棋排名第一的李世石。圍棋環(huán)境是封閉的——棋盤大小是1919的方格，規(guī)則固定，雙方信息公開，勝負(fù)評判明確。率最高的走法，并隨時(shí)調(diào)整策略，而不是固定遵循某種棋譜。與采用靜態(tài)策略的圍棋考，甚至下出人類從未嘗試過的新穎著數(shù)。這個(gè)領(lǐng)域的另外一個(gè)明星就是特斯拉的完全自動(dòng)駕駛（）系統(tǒng)。雖然現(xiàn)實(shí)世界的道路環(huán)境復(fù)雜多變，但交通規(guī)則是固定的，因此自動(dòng)駕駛必須在這個(gè)封閉規(guī)則體系下進(jìn)行動(dòng)態(tài)調(diào)整。系統(tǒng)依靠深度神經(jīng)網(wǎng)絡(luò)、計(jì)算機(jī)視覺和強(qiáng)化學(xué)習(xí)技術(shù)進(jìn)行實(shí)時(shí)決策，在各種駕駛場景下優(yōu)化車輛行駛策略。例如，當(dāng)系統(tǒng)檢測到前方出現(xiàn)行人時(shí)，它需要根據(jù)單地按照固定規(guī)則執(zhí)行。這種自適應(yīng)調(diào)整能力，使得系統(tǒng)能夠應(yīng)對復(fù)雜但規(guī)則明確的交通場景，逐步向超越人類駕駛員的方向發(fā)展?？耍―avidBaker）、德米斯·哈薩比斯（DemisHassabis）和約翰·江珀（JohnAlphaFold2的人工智能模型，這種模型解決了一個(gè)已有50年歷史的難題，能夠預(yù)測PaulJones.DeepmindchiefpredictsAIcouldcurealldiseaseswithinadecade[J].BusinessMatters,2024-10-02.這個(gè)領(lǐng)域的在科學(xué)場景下更是得心應(yīng)手。例如，pnd與瑞士洛桑聯(lián)邦理工學(xué)院聯(lián)合研發(fā)的ok系統(tǒng)，通過調(diào)整磁場形態(tài)可以控制托卡馬克核聚變反應(yīng)堆內(nèi)的等離子體，優(yōu)化能源釋放。在天氣預(yù)報(bào)領(lǐng)域，ph比傳統(tǒng)天氣模型計(jì)算速度快1000倍，預(yù)測精度比歐洲中期天氣預(yù)報(bào)中心的數(shù)值模型高出10。在這個(gè)領(lǐng)域，目前的最高成就是成功預(yù)測了幾乎所有已知蛋白質(zhì)結(jié)構(gòu)的phod2——2024年諾貝爾化學(xué)獎(jiǎng)的一半授予了它的主要開發(fā)者：德米斯哈薩比斯和約翰江珀。phod2的出現(xiàn)為新藥研發(fā)帶來革命性的影響。2024年10發(fā)出來，有望在未來十年內(nèi)治愈所有疾病。圖1-3AIfor解，成為遠(yuǎn)超人類的超級專家強(qiáng)化學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)優(yōu)化、計(jì)算能力的不斷提升，這一領(lǐng)域的還有很大的發(fā)展?jié)摿?，甚至可能在某些科學(xué)領(lǐng)域主導(dǎo)發(fā)現(xiàn)新理論、新技術(shù)，改變?nèi)祟惿鐣?huì)的運(yùn)行方式。智能的“圣杯第二象限是開放環(huán)境動(dòng)態(tài)策略，是智能最后的圣杯，是目前人類獨(dú)有的領(lǐng)域，是人和行為方式，以實(shí)現(xiàn)最佳適應(yīng)和高效決策，適應(yīng)各種社會(huì)角色和任務(wù)需求。pnd的o是當(dāng)前最接近開放環(huán)境動(dòng)態(tài)策略概念的之一。與傳統(tǒng)只能應(yīng)用于特定任務(wù)不同，o具備同時(shí)處理多種任務(wù)的能力，能夠在游戲、機(jī)器人操作、語言理解等多個(gè)任務(wù)之間自由切換。例如，它可以控制機(jī)械臂抓取物體（物理環(huán)境），對話模式回答問題（語言環(huán)境），再切換到游戲進(jìn)行策略優(yōu)化（虛擬環(huán)境）。特別地，o不是在每個(gè)任務(wù)上都單獨(dú)訓(xùn)練一個(gè)模型，而是使用同一個(gè)神經(jīng)網(wǎng)絡(luò)處理所有任務(wù)，類似于人類在不同場景下調(diào)整思維方式，以適應(yīng)環(huán)境的變化。現(xiàn)在，大語言模型也在從單任務(wù)專精向跨環(huán)境適應(yīng)邁進(jìn)。例如，4o可以運(yùn)行在不同的語言環(huán)境、社交場景和專業(yè)知識領(lǐng)域。它的用戶可能提出任何問題，話題可能涉及編程、文學(xué)、物理，也可能涉及心理咨詢、情感交流，甚至是需要跨領(lǐng)域推理的復(fù)雜任務(wù)。4o能夠根據(jù)對話的情境實(shí)時(shí)調(diào)整回答方式，例如在一個(gè)技術(shù)討論會(huì)上，它會(huì)用專業(yè)術(shù)語解釋問題，而在與兒童交談時(shí)，它會(huì)用更簡單的語言表達(dá)。此外，它可以在文本、語音、圖像等多種模態(tài)之間切換，并根據(jù)輸入的不同類型調(diào)整策略。當(dāng)然，剛剛進(jìn)入這個(gè)象限的還處在萌芽階段，它們的自主學(xué)習(xí)能力不足，仍然依賴于的領(lǐng)導(dǎo)者，如pnd的首席執(zhí)行官哈薩比斯和pn的首席執(zhí)行官薩姆奧爾特曼一致認(rèn)為：已經(jīng)邁過智能的臨界點(diǎn)，進(jìn)入人類智能的最后疆域，前面已經(jīng)一片坦途，剩下的只是時(shí)間問題。而且這個(gè)時(shí)間不會(huì)太久，也許是10一時(shí)刻到來時(shí)，可能并不會(huì)以人類智能的形式存在，而會(huì)是一種全新的智能形態(tài)。那時(shí)，一個(gè)全新的智慧物種將會(huì)誕生。了一篇名為《智能紀(jì)元》（TheIntelligenceAge）的宣言性博文，主張AGI絕不僅僅是一人工超級智能（artificialsuperintelligence,ASI）將不可避免地誕生。2024年12月，伊爾亞圖1-4未知的AGI圖2-1通向AGI的三條道路對智慧本源的科學(xué)回答，來自19世紀(jì)末俄國的生理學(xué)家伊萬巴甫洛夫，當(dāng)時(shí)他正在研究心理學(xué)發(fā)展的重要原理——條件反射（見圖22）。圖2-2習(xí)（nontnng）。在強(qiáng)化學(xué)習(xí)中，智能體就像巴甫洛夫的那條狗一樣，不斷與環(huán)境交互，根據(jù)當(dāng)前的狀態(tài)執(zhí)行不同的動(dòng)作，然后根據(jù)環(huán)境的反饋調(diào)整行為策略。例如，智能體在不知道游戲規(guī)則和策略的情況下，就可以像狗一樣，通過條件反射強(qiáng)化學(xué)廣泛應(yīng)用于機(jī)器人控制、自動(dòng)駕駛、金融預(yù)測、游戲（如阿爾法圍棋）和推薦系統(tǒng)（如淘寶）目前最耀眼的基于強(qiáng)化學(xué)習(xí)的人工智能程序，就是pnd開發(fā)的專門用于預(yù)測蛋白質(zhì)結(jié)構(gòu)的人工智能程序phod。在生命科學(xué)領(lǐng)域有一個(gè)重要的原則：結(jié)構(gòu)決定功能。要構(gòu)成為生物學(xué)領(lǐng)域最熱門的研究方向之一。phod項(xiàng)目大大加速了這一進(jìn)程——在短速凋亡。正如商業(yè)人士常說的未來的競爭者，往往不是現(xiàn)在的競爭者，而是未來的新興力量，改變結(jié)構(gòu)生物學(xué)家命運(yùn)的，不是更厲害的結(jié)構(gòu)生物學(xué)家，而是擅長利用強(qiáng)化學(xué)習(xí)技術(shù)的人工智能專家。強(qiáng)化學(xué)習(xí)之所以能夠在人工智能領(lǐng)域大放異彩，離不開2024年圖靈獎(jiǎng)獲得者理查德薩頓能體的學(xué)習(xí)。在他看來，強(qiáng)化學(xué)習(xí)就是人工智能世界里的狗學(xué)會(huì)了分泌唾液。在2018年，他發(fā)表了一篇堪稱強(qiáng)化學(xué)習(xí)宣言的論文——《獎(jiǎng)勵(lì)就是一切》，幾乎是在呼應(yīng)斯金納的《超越自由與尊嚴(yán)》中提出的一個(gè)疑問：在一個(gè)完善的社會(huì)中，是否可以通過精確的行為強(qiáng)化機(jī)制取代傳統(tǒng)的自由和尊嚴(yán)觀念？薩頓提出，所有復(fù)雜行為和學(xué)習(xí)系統(tǒng)的核心都是通過獎(jiǎng)勵(lì)信號指導(dǎo)學(xué)習(xí)和決策，因此獎(jiǎng)勵(lì)函數(shù)（dunon）可以作為任何復(fù)雜智能行為的統(tǒng)一基礎(chǔ)，所有智能行為都可以通過一個(gè)簡單的獎(jiǎng)勵(lì)函數(shù)建模。這意味著，我們不需要依賴復(fù)雜的目標(biāo)設(shè)定或規(guī)則，而只須通過獎(jiǎng)勵(lì)引導(dǎo)學(xué)習(xí)。所以，通過設(shè)計(jì)合理的獎(jiǎng)勵(lì)函數(shù)，我們就可以解決各種形式的智能行為和學(xué)習(xí)問題，由此通往更高級智慧的道路。所以，實(shí)現(xiàn)，不需要?jiǎng)訖C(jī)，不需要情感，更不需要自由意志，獎(jiǎng)勵(lì)就是一切！強(qiáng)化學(xué)習(xí)的核心思想，是讓智能體在環(huán)境中不斷試錯(cuò)，獲得獎(jiǎng)勵(lì)，并逐步優(yōu)化自己的行為，以在特定任務(wù)中取得最佳表現(xiàn)（見圖23）。這一學(xué)習(xí)過程，乍一看，與自然界中的模擬這種生物進(jìn)化以實(shí)現(xiàn)，依然困難重重。今，已經(jīng)過去了46億年，生命出現(xiàn)也已有38億年。在這漫長的時(shí)間里，生物逐漸適應(yīng)環(huán)境，發(fā)展出了從單細(xì)胞到多細(xì)胞，再到神經(jīng)網(wǎng)絡(luò)、感覺系統(tǒng)、認(rèn)知能力等復(fù)雜的生物特征。如果我們希望智能體通過類似的強(qiáng)化學(xué)習(xí)機(jī)制成長，在100年內(nèi)實(shí)現(xiàn)，一個(gè)粗略的類比，就是要讓智能體在這100年里體驗(yàn)這38億年滄海桑田的變化，就像我們只能用2.5毫秒去體驗(yàn)一天的生活。太短的時(shí)間里經(jīng)歷太多的變量和反饋，信息密度之高，遠(yuǎn)超出當(dāng)前技術(shù)所能承載的極限。圖2-3名為IsaacGym的虛擬環(huán)境。它使用PhysX物理引擎，能夠精確地模擬剛體、柔性體、流體圖2-4藍(lán)色”藍(lán)色機(jī)器人平穩(wěn)運(yùn)動(dòng)的核心是英偉達(dá)的物理引擎Newton，它支持機(jī)器人在IsaacGym仿真化的機(jī)制。因此，強(qiáng)化學(xué)習(xí)還需要整合進(jìn)化策略（evolutionstrategies,ES）和遺傳算法（geneticalgorithmGA）物與鈴鐺之間聯(lián)系的，是狗的大腦中眾多神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。因此，與強(qiáng)化學(xué)習(xí)平行，研究者開始探索大規(guī)模腦模擬（bnuon）這條通向的道路。腦模擬更像其信息處理方式，那么與其讓在算法層面模擬人的認(rèn)知過程，不如從底層硬件上構(gòu)造生物大腦一樣學(xué)習(xí)、推理和適應(yīng)環(huán)境（見圖25）。需要注意的是，腦模擬與神經(jīng)形態(tài)計(jì)算是兩個(gè)不同的領(lǐng)域，前者模擬大規(guī)模神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)過程，后者受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)，主要用于計(jì)算和優(yōu)化類腦芯片，并不追求生物物理層面的高度精細(xì)建模。圖2-5過樹突計(jì)算（dendritecompulation）后，被送入細(xì)胞體整合。軸突將整合后的信號傳遞到德神經(jīng)網(wǎng)絡(luò)”（Hopfieldneuralnetwork）。它是一種遞歸神經(jīng)網(wǎng)絡(luò)（recurrentneuralnetwork），由一組對稱連接的神經(jīng)元組成，每個(gè)神經(jīng)元連接到網(wǎng)絡(luò)中的其他所有神經(jīng)元。與常見的前饋神經(jīng)網(wǎng)絡(luò)（feedforwardneuralnetwork）不同，霍普菲爾圖2-6信息的自我修正過程。真正意義上的腦模擬則是由瑞士洛桑聯(lián)邦理工學(xué)院于2005年發(fā)起的藍(lán)腦計(jì)劃。該計(jì)劃的目的是利用超級計(jì)算機(jī)模擬哺乳動(dòng)物的大腦神經(jīng)網(wǎng)絡(luò)，試圖解讀經(jīng)疾病研究以及（國際商業(yè)機(jī)器公司）的uoh和英特爾的oh等類腦計(jì)算芯片的開發(fā)提供新思路。2008年，該計(jì)劃成功模擬了包含約10000個(gè)神經(jīng)元的小鼠大腦皮質(zhì)（約36.6米），飛行時(shí)間不過12秒。在接下來的100底，《自然：計(jì)算科學(xué)》（ueopuonln）在封面刊登了我國研究者的一文。該研究首次實(shí)現(xiàn)了秀麗隱桿線蟲神經(jīng)系統(tǒng)、身體與環(huán)境的閉環(huán)仿真（見圖27）。該境模型，成功地模擬了線蟲在液態(tài)環(huán)境中的運(yùn)動(dòng)行為。圖2-7接。（圖片來源：,CCby3.0。線蟲的神經(jīng)系統(tǒng)相對簡單，僅有302個(gè)神經(jīng)元，人腦則擁有約860億個(gè)神經(jīng)元，相差近9個(gè)數(shù)量級（3億倍）。但是，神經(jīng)系統(tǒng)的復(fù)雜性并不僅僅是神經(jīng)元數(shù)量的線性增加，而是神經(jīng)元之間連接的非線性增長。假設(shè)一個(gè)神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元平均連接個(gè)神經(jīng)元，如果神經(jīng)元數(shù)量從增加到，那么神經(jīng)網(wǎng)絡(luò)的潛在連接數(shù)并不是到的簡單線性增長，而是一個(gè)近似于2級別的指數(shù)級增長。具體而言，人腦中的每個(gè)神經(jīng)元平均有約7000個(gè)突觸連接（小腦的浦肯野細(xì)胞達(dá)到了驚人的10萬個(gè)突觸）。這意味著，人腦的860億個(gè)神經(jīng)元通過突觸網(wǎng)絡(luò)形成了100萬億至1000萬億個(gè)連接，使其成為目前已知最復(fù)雜的信息處理系統(tǒng)。這種非線性增長的復(fù)雜性，使得模擬人腦成為極具挑戰(zhàn)的任務(wù)——擬人腦的超級計(jì)算機(jī)。服的另一個(gè)難題。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元通常被簡化為點(diǎn)模型（pointneuronmodel，是否還有其他通向的道路？還是讓我們回到巴甫洛夫的實(shí)驗(yàn)，此時(shí)，我們不再扮演旁觀者，而是化身為這只正在做實(shí)驗(yàn)的狗。當(dāng)熟悉的鈴聲響起時(shí)，我塵封的記憶被喚醒，于是我心中默念：鈴聲響了，食物還會(huì)遠(yuǎn)嗎？這種預(yù)測介于神經(jīng)元放電與分泌唾液的行為之間。笛卡兒把它稱為我思故我在的思或靈魂，認(rèn)知科學(xué)家則把它稱為思維。事實(shí)上，智能的本質(zhì)在于思想，而非行為或神經(jīng)網(wǎng)絡(luò)。這是因?yàn)樾袨槭侵悄艿耐庠诒憩F(xiàn)，神經(jīng)網(wǎng)絡(luò)則是智能的物理基礎(chǔ)，而真正的思考模式——的表達(dá)形式入手，而非繞道行為或神經(jīng)網(wǎng)絡(luò)，或許能夠找到通向的第三條道路。正如哲學(xué)家奧利弗霍爾姆斯所說：語言是靈魂的血液，思想在其中運(yùn)行，并從其中生長出來。語言不僅僅是表達(dá)思想的工具，它本身就是思想形成和發(fā)展的基礎(chǔ)。首先，不存動(dòng)中似乎并沒有明確的語言形式?，F(xiàn)代認(rèn)知科學(xué)的研究表明，即使心理學(xué)家讓皮亞杰提出的認(rèn)知發(fā)展理論中的感知運(yùn)動(dòng)的非言語化階段（0～2歲），成對世界的理解。當(dāng)母親說媽媽抱并將嬰兒抱在懷里時(shí)，嬰兒會(huì)逐漸理解媽媽不僅是條件反射，而是嬰兒通過語言理解了媽媽的含義。由簡單的發(fā)音而理解世界，這也是目前夢想實(shí)現(xiàn)的小樣本學(xué)習(xí)。AD，即AnnoDomini，拉丁文，意思是耶穌紀(jì)年，表示耶穌誕生后的年份；BC，即BeforeChrist，意思是耶穌誕生前的年份。其次，語言也塑造了思想。沃爾夫假說（phofhypoh）認(rèn)為語言不僅僅是思想我們對世界的認(rèn)知。以時(shí)間為例，當(dāng)指針指向1158時(shí)，我們通常會(huì)說差2分到12點(diǎn)；而對1202，我們會(huì)說12點(diǎn)過2分。前者的表達(dá)方式將注意力引導(dǎo)到未來，使我們更容易進(jìn)效應(yīng)（nhong）。從更大尺度的文化角度看，不同的語言對時(shí)間的表達(dá)方式也可能影響不同民族的思維模式。在英語中，人們傾向于使用bo（之前）或（之后）描述時(shí)間，并且以耶穌基督的誕辰日為劃分時(shí)間的界限。這種強(qiáng)調(diào)時(shí)間的線性和可說的城邦的動(dòng)物。從軍事戰(zhàn)術(shù)到國家治理，從公司管理到社會(huì)制度，語言正是這些組織隊(duì)列整齊、進(jìn)退有序（見圖29）。在現(xiàn)代公司里，優(yōu)秀的領(lǐng)導(dǎo)者，依靠語言傳遞戰(zhàn)略和司運(yùn)營的工具，更是整個(gè)社會(huì)和國家治理的根基。人類能夠形成井然有序的社會(huì)，與法想得以傳播和發(fā)展，由此塑造了我們的社會(huì)，決定了人類文明的運(yùn)作方式?！鴪D2-8史前人類狩獵場景▲圖2-9在社會(huì)與國家之上，是文化。總部設(shè)在中國香港的國泰航空（CathayPacificAirways）是在13世紀(jì)，意大利旅行家馬可波羅來到中國，見證了元朝的繁榮。他將中國的北方部分稱為hy（即契丹的地盤），將南方的宋朝領(lǐng)土稱為ng（蠻子，元朝統(tǒng)治者對宋人的蔑稱）。由于馬可波羅的游記在歐洲廣為流傳，hy一詞便從對契丹的指稱演化成對中國的指稱，此時(shí)，契丹的最后一個(gè)王朝已經(jīng)滅亡，但hy留下來，在今天的俄語、白俄羅斯語和烏克蘭語中，中國依然被稱為ий（y）從hy到hn，語言不僅僅是一個(gè)名稱的變化，更承載了歷史的流動(dòng)和文化的變遷。知。正因如此，人工智能領(lǐng)域的研究者將自然語言處理（naturallanguageprocessing,NLP）作辛頓為紀(jì)念人工智能提出60周年，合作了一篇綜述文章《深度學(xué)習(xí)》，對深度學(xué)習(xí)的發(fā)前沿課題是自然語言理解。2023年3月14日，pn發(fā)布了具有劃時(shí)代意義的大語言模型4。這是一款多模態(tài)語言模型，能夠處理文本和圖像輸入，具備強(qiáng)大的理解和生成能力，能夠進(jìn)行復(fù)雜的推理，生成創(chuàng)造性文本，并在各類任務(wù)中表現(xiàn)優(yōu)異，被業(yè)內(nèi)人士譽(yù)為通用人工智能的火花。圖2-10老彼得·圖2-11楔形文字《圣經(jīng)創(chuàng)世記》洪水故事的靈感來源；后者刻在一個(gè)黑色玄武巖石柱上，是已知最早的世的感悟：仆人待的地方，必有爭吵相伴；理發(fā)師待的地方，必有毀謗傳出。時(shí)至今日，這些話語仍然意味深長。中“船帆座”與“船尾座”交會(huì)處的明亮天體——木爾努基（MulNunki）。這片星空被古巴JohnBrandt,StephenMaran,TheodoreStecher.Science:HomagetoaStar[J].TIME,把楔形文字的起源和超新星爆發(fā)聯(lián)系在一起的是美國國家航空航天局的天文學(xué)家約翰布蘭特、斯蒂芬馬蘭和西奧多斯特徹，他們探測到有一顆在7000～20000年前爆發(fā)的超新月內(nèi)即使在白天也能看到。對史前人類來說，這無疑是一場天啟般的事件。我們相能提及重大天文事件的古代記錄、碑文或圖騰符號（見圖2-12）。圖2-12受此啟發(fā)，蘇美爾學(xué)專家喬治米查諾斯基提出1912年出土的這塊泥板文書記載的木爾努他的《曾經(jīng)的未來之星》（henenduue）一書中，這顆白天與太陽同輝、夜南方的地平線一直伸向海岸，同時(shí)也將蘇美爾人從蒙昧中喚醒，這顆最終消失的巨星被認(rèn)為是文化英雄，是智慧、知識和科學(xué)的源泉。于是，楔形文字由此產(chǎn)生，用來記錄此奇特的天文景觀，以及由此而來的神話與宗教。由此，人類從地靈崇拜轉(zhuǎn)向天神信GeorgeMichanowsky.TheOnceandFutureStar[M].NewYork:Hawthorn,是“星”和“神”，而且這兩個(gè)字驚人地相似（見圖2-13）。圖2-13楔形文字工智能的起源并非1956年夏在達(dá)特茅斯學(xué)院由約翰麥卡錫、馬文明斯基、克勞德納森羅切斯特舉辦的達(dá)特茅斯會(huì)議，而是要追溯到這顆在正確的時(shí)間和正確的地點(diǎn)偶然爆發(fā)的超新星。涌現(xiàn)之謎：從人類認(rèn)知革命到AI早期的自然語言處理方法主要受到諾姆·喬姆斯基的通用語法（universalgrammar,UG）理式化為喬姆斯基范式，其中包括正則文法（regulargrammar）、上下文無關(guān)文法（context-freegrammar,CFG）等層次，為計(jì)算語言學(xué)提供了一個(gè)結(jié)構(gòu)化的理論框架。在這一體系（nounphraseNP）、動(dòng)詞性短語（verbalphraseVP）等，并利用上下文無關(guān)文法構(gòu)建語法樹。例如，對于句子“Thecatsitsonthemat”，自然語言處理系統(tǒng)可以按照規(guī)則將其分解為NP“Thecat”+VP“sitsonthemat”，然后進(jìn)一步細(xì)分，使其形成清晰的層級結(jié)構(gòu)。如，句子“Colorlessgreenideassleepfuriously”（無色的綠色想法猛烈地睡著）雖然完全符合語法規(guī)則，但在語義上毫無意義。又如“Timeflieslikeanarrow”既可以理解為“時(shí)間像箭（infinitemonkeytheorem）個(gè)單詞，也不可能體會(huì)“Tobe,ornottobe,thatisthequestion”（生存還是毀滅，這是一個(gè)如果使用通用語法生成語言，它就像是猴子在打字機(jī)上隨機(jī)敲擊——生成的文本可能語法正確，但是缺乏邏輯性和真正的意義。例如，可能會(huì)生成王子拿起劍，月亮高掛天空這樣符合語法的句子，但它并不清楚王子的行為與月亮之間是否存在合理的因果關(guān)系。因此，語言的確可以被一組有限的規(guī)則解析，但是語言的本質(zhì)遠(yuǎn)比這復(fù)雜——的部分。圖3-1這就是基于心理的智能科學(xué)與基于自然物理學(xué)中，我們可以用牛頓定律或相對論這樣的第一性原理來解釋和預(yù)測整個(gè)世界的運(yùn)行。但是語言并沒有第一性原理可以描述它的生成和理解，至少我們目前不知道。第一次認(rèn)知革命：從“動(dòng)物”到“人人類是在700萬年前～500道路上，古人類留下的痕跡可以說是乏善可陳——和象征性思維。但是，在距今10萬年前到7萬年前，人類猶如被仙人撫頂，瞬間開智，其行為和認(rèn)知模式突然加速進(jìn)化，創(chuàng)造出一種完全不同于以往的生存方式（見圖32）。這個(gè)進(jìn)化路徑上的轉(zhuǎn)折點(diǎn)，被人類學(xué)家稱為第一次認(rèn)知革命。圖3-2第一次認(rèn)知革命（10萬年前～7萬年前具的精細(xì)化改良上，而沒有質(zhì)的飛躍。例如，阿舍利手斧（Acheuleanhandaxe）是舊石器（Aurignacianculture）所發(fā)明的骨制魚叉有多齒設(shè)計(jì)，明顯比之前的簡單尖頭魚叉更適合在今天以色列、巴勒斯坦、黎巴嫩、敘利亞和約旦地區(qū)的納吐夫文化（Natufianculture）人在各式物品上留下的條紋。考古學(xué)家在出土的7.7萬年前的石斧和6萬年前的鴕鳥蛋殼化石上都看到了有規(guī)律的條紋，但具體意義不詳；而在距今4.3萬年前的狒狒骨頭化石上發(fā)現(xiàn)了28道平行的刻痕，代表的是一個(gè)月的陰晴圓缺。由此，距今約5000板上用楔形文字記錄南天星座那顆將黑夜照成白晝的超新星，也就水到渠成、自然而然了。直接經(jīng)驗(yàn)型思維（experientialthinking），即行為依賴于環(huán)境中的即時(shí)刺激和長期習(xí)得的思維開始轉(zhuǎn)向假設(shè)推理型思維（hypothetical-deductivethinking），即能夠在實(shí)際制造前，圖3-3工具的制作里，正在一點(diǎn)點(diǎn)壯大智能的物質(zhì)基礎(chǔ)：大腦。在能人時(shí)期（250萬年前～140萬年前），能人的大腦容量為600～750毫升；在直立人時(shí)期（190萬年前～11萬年前），直立人的大腦容量增長到900～1100毫升。到了尼安德特人時(shí)期（40萬年前～3萬年前），其腦容量已達(dá)1200～1700毫升，甚至超過了現(xiàn)代智人1200～1600毫升的腦容量（見圖3-4）。圖3-4AGI2022年6月，也就是h發(fā)布的5個(gè)月前，pn發(fā)表了一篇?jiǎng)潟r(shí)代的論文《大語言模型的涌現(xiàn)能力》。在這篇論文中，pn的研究者挑戰(zhàn)了人們對人工智能能力增長的線界點(diǎn)后，系統(tǒng)的內(nèi)部表征會(huì)發(fā)生非線性躍遷，使得這些復(fù)雜能力突然涌現(xiàn)。例如，小規(guī)模的語言模型在面對訓(xùn)練語料較少的小語種，如斯瓦希里語（h，坦桑尼亞和肯尼亞人使用）或他加祿語（gog，菲律賓人使用），或者具有文化背景的成語、俚語，如望梅止渴時(shí)，無法進(jìn)行有效翻譯。但是，當(dāng)語言模型的規(guī)模足夠大時(shí)，面對同樣少的語料，該語言模型就能對這些語言進(jìn)行有效翻譯。例如，小模型會(huì)把望梅止渴直譯成“l(fā)ookingatplumsquenchesthirst”。而大模型在翻譯此成語時(shí)，首先是理解“望梅止渴”的效表達(dá)：“hopesustainsthesoul”（希望支撐著靈魂）。也就是說，小模型依賴的是詞匯對驚訝：40%。理由：自我預(yù)期與實(shí)際成績之間存在較大落差，因此首先涌現(xiàn)的是強(qiáng)烈的喜悅：35%困惑：15%自豪：10%。理由：盡管之前對自己信心不足，但優(yōu)異的成績依然會(huì)激發(fā)出小王的自豪的是，比4更先進(jìn)的o3nhgh在完成小王的情緒分析后，還額外指出：原來的題干漏掉了一個(gè)重要的情緒——到好的結(jié)果，會(huì)讓小王感到一種心理上的放松和解脫。于是，它的最終答案是：驚訝40，喜悅30，困惑15，解脫10，自豪5。除了語言模型的復(fù)雜度隨著規(guī)模增長而提升和大模型的分布學(xué)習(xí)能力更強(qiáng)等原因，pn的研究者猜測，大模型表現(xiàn)出高情商的原因是其自組織能力在參數(shù)量達(dá)到一定規(guī)模后，觸達(dá)智能的臨界點(diǎn)，形成了小模型沒有的認(rèn)知結(jié)構(gòu)。這就像人類的大腦一樣——大腦的容量達(dá)到一個(gè)臨界值，第一次認(rèn)知革命就降臨了。為了驗(yàn)證這個(gè)猜測，麻省理工學(xué)院的研究者提出了no的評估框架，以此探討人工神經(jīng)網(wǎng)絡(luò)的復(fù)雜性與大腦相似性的關(guān)系。no是通過比較人工神經(jīng)網(wǎng)絡(luò)與靈長類大具有更深的層數(shù)（增加神經(jīng)元變換次數(shù)）、更大的參數(shù)量（提升表達(dá)能力）特征抽取能力（能更好地刻畫層級關(guān)系）的人工神經(jīng)網(wǎng)絡(luò)更容易逼近大腦的信息加工機(jī)制。例如，視覺模型50（50層，約2550萬參數(shù)）能夠?qū)W習(xí)到復(fù)雜的形狀和物體特征，但是更復(fù)雜的152（152層，約6000萬參數(shù)）能捕捉更高級的語義信息，因此它在no的評估中更接近大腦的視覺系統(tǒng)。這個(gè)現(xiàn)象同樣適用于語言模型。例如：2（15億參數(shù)）只能進(jìn)行簡單的句子預(yù)測和對話，類似兒童的大腦；3（1750億參數(shù)）開始展現(xiàn)跨語言翻譯、寫詩、編程等復(fù)雜能力，類似大學(xué)生的大腦；而4（在本書寫作時(shí)具體參數(shù)規(guī)模尚未公開，普遍推測可能高達(dá)1.8萬億參數(shù)）能夠進(jìn)行復(fù)雜的法可以提升的性能，還能讓模型更接近生物大腦的工作方式。圖3-5人工神經(jīng)網(wǎng)絡(luò)復(fù)雜度與大腦相似性的關(guān)系注：資料來源：MartinSchrimpf,etal.Brain-Score:WhichArtificialNeuralNetworkforObjectRecognitionisMostLike?[J]bioRxivprepfint2018.（本圖由AI合成。人工神經(jīng)網(wǎng)絡(luò)所展現(xiàn)出來的大即是好的現(xiàn)象并非偶然；它遵循的是花費(fèi)了億萬美元，通過大量實(shí)驗(yàn)歸納出來的、在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域里最重要的經(jīng)驗(yàn)公式：規(guī)模化法則。pn在其2020年發(fā)表的論文《神經(jīng)語言模型的規(guī)模化法則》中提出了規(guī)?；▌t的概念，其核心觀點(diǎn)是：如果我們不斷增加神經(jīng)網(wǎng)絡(luò)的參數(shù)量（層數(shù)、神經(jīng)元個(gè)數(shù)等），的損失（任務(wù)表現(xiàn)好壞的指標(biāo)）會(huì)按照可預(yù)測的方式下降，即模型越來越聰明，任務(wù)類的智能。想象一下：一個(gè)人有100本書的知識儲(chǔ)備，另一個(gè)人有10000顯然，后者在面對復(fù)雜問題時(shí)更具優(yōu)勢，因?yàn)樗軌驈母鼜V泛的信息中找到更合適的答時(shí)，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力超過了某個(gè)臨界點(diǎn)，從而自然地學(xué)會(huì)了更復(fù)雜的模式和推理方可能就是大力出奇跡繼續(xù)擴(kuò)大參數(shù)規(guī)模。2020年11月，杰弗里辛頓在3問世半年后，接受《麻省理工學(xué)院技術(shù)評論》采訪時(shí)說深度學(xué)習(xí)將來可以做任何事，之所以現(xiàn)在3離人類智能還有一定的距離，是因?yàn)槿祟惖拇竽X有大約100萬億個(gè)突觸連接。我們現(xiàn)在所說的真正的大模型，如3，有1750億參數(shù)，只有大腦的千分之一點(diǎn)幾。致敬《銀河系漫游指南》，書中有一個(gè)場景：超級計(jì)算機(jī)深思在經(jīng)過750萬年的計(jì)算后，給出生命、宇宙以及一切的終極問題的答案是42。辛頓在推特上發(fā)文說：從3出色的性能可以推斷，生命、宇宙和萬物的答案不過是4.398萬億參數(shù)而已。是不是4.398萬億參數(shù)不重要，重要的是辛頓所表達(dá)的理念：智能不夠，參數(shù)來湊。”天的人工智能。今天看上去理所當(dāng)然、水到渠成的必然，在當(dāng)年卻是篳路藍(lán)縷、舉步維艱。今天聽上去高大上的深度學(xué)習(xí)，其實(shí)只是為了擺脫學(xué)術(shù)界為神經(jīng)網(wǎng)絡(luò)貼上的過時(shí)、不靠譜的負(fù)面標(biāo)簽，深度學(xué)習(xí)這個(gè)名稱也是蹭當(dāng)時(shí)機(jī)器學(xué)習(xí)的層級表征學(xué)習(xí)的熱度而取的。盡管是為了逢迎熱度，但是神經(jīng)網(wǎng)絡(luò)信仰者的初心一直沒有變。這一切要從年的麥卡洛克皮茨神經(jīng)元模型（神經(jīng)元模型）講起。圖4-1人類大腦與計(jì)算機(jī)相似其中，x為輸入信號，表示來自其他神經(jīng)元的輸入；加權(quán)求和為信息加工，即每個(gè)輸入信號都有一個(gè)權(quán)重，表示其對神經(jīng)元激活的貢獻(xiàn)；為閾值，（x）是一個(gè)階躍函數(shù)，決定輸出是0還是1：如果加權(quán)和超過閾值，神經(jīng)元輸出1，否則輸出0。所以，神經(jīng)元模型本質(zhì)上是在進(jìn)行一個(gè)二值化計(jì)算，與計(jì)算機(jī)中的邏輯門（與門、或門、非門）神經(jīng)元模型的提出，讓人們開始從計(jì)算角度思考智能的本質(zhì)，并將其在計(jì)算機(jī)硬件上實(shí)現(xiàn)。1957年，心理學(xué)家弗蘭克羅森布拉特進(jìn)一步擴(kuò)展了這一模型，提出了感知機(jī)的概所強(qiáng)調(diào)的刺激反應(yīng)機(jī)制的影響，將大腦看作一個(gè)能夠通過經(jīng)驗(yàn)調(diào)整自身連接的學(xué)習(xí)系圖4-2在任何領(lǐng)域，都有兩個(gè)看上去類似但本質(zhì)上完全不同的問題：不能做到和目前不能做到。前者暗示了一種絕對的、不容挑戰(zhàn)的局限性，就像是明斯基和派珀特對感知機(jī)的嚴(yán)認(rèn)知框架，我們無法通過超越經(jīng)驗(yàn)理解某些概念，如自在之物。所以，人類的每一次科學(xué)突破、技術(shù)進(jìn)步，都是把不能做到在認(rèn)知上修改為目前不能做到。如果說目前不能做到，那么我們在承認(rèn)知識邊界的同時(shí)，更堅(jiān)信這個(gè)邊界是可以突破的。播算法（backpropagation,BP）。反向傳播算法的核心思想非常簡單但極為強(qiáng)大。從本質(zhì)更不幸的是，基于統(tǒng)計(jì)學(xué)習(xí)的支持向量機(jī)（supportvectormachine,SVM）和隱馬爾科夫模型（hiddenMarkovmodelHMM）在此時(shí)開始大放異彩。與神經(jīng)網(wǎng)絡(luò)相比，支持向量機(jī)的位置，而隱馬爾科夫模型成為當(dāng)時(shí)處理時(shí)序數(shù)據(jù)（如語音信號）1999年，英偉達(dá)發(fā)布了GeForce256（見圖4-3），成為首個(gè)被稱為“器”（graphicsprocessingunit,GPU）的產(chǎn)品。正如其名稱所示，GPU本是為了游戲的圖形構(gòu)”（computeunifieddevicearchitecture,CUDA）的并行計(jì)算平臺，使GPU的并行計(jì)算能圖4-3英偉達(dá)GeForce256注：oe256具有32或64顯存，4條像素渲染管線（1條渲染管線相當(dāng)于幾個(gè)現(xiàn)代的核心的簡單運(yùn)算能力）。現(xiàn)在，英偉達(dá)的旗艦產(chǎn)品U100具有80B顯存（提升了2500多倍），核心數(shù)為16896個(gè)（提升了約500倍）。（本圖由合成。）用戶生成內(nèi)容為特征的Web2.0，讓普通用戶從單純的內(nèi)容消費(fèi)者轉(zhuǎn)變?yōu)閮?nèi)容創(chuàng)作者，通（deepbeliefnetwork,DBN），成功地解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在多層訓(xùn)練中遇到的梯度消失（restrictedBoitzmannmachine,RBM）堆疊而成的多層神經(jīng)網(wǎng)絡(luò)。它的訓(xùn)練包含無監(jiān)督預(yù)訓(xùn)練和監(jiān)督微調(diào)（supervisedfine-tuning,SFT）兩個(gè)階段。在預(yù)訓(xùn)練階段，深度信念網(wǎng)絡(luò)有了和加持的大規(guī)模并行計(jì)算的能力，隨著互聯(lián)網(wǎng)的普及和大數(shù)據(jù)的涌現(xiàn)，以及深度信念網(wǎng)絡(luò)提供的高效訓(xùn)練方法，于是就有了2012年以x為代表的神經(jīng)網(wǎng)絡(luò)的王者歸來。2012年，辛頓與他的學(xué)生亞歷克斯克里熱夫斯基和伊爾亞蘇茨克維開發(fā)了一個(gè)名為x的深度卷積神經(jīng)網(wǎng)絡(luò)。這個(gè)神經(jīng)網(wǎng)絡(luò)在g大規(guī)模圖像分類挑戰(zhàn)賽中取得了驚人的成功，比2011年的冠軍減少了15的錯(cuò)誤率，橫掃支持向量機(jī)、隱馬爾科夫理、推薦系統(tǒng)等其他人工智能的應(yīng)用場景。自此，人工神經(jīng)網(wǎng)絡(luò)就成了人工智能的同義詞，而不再是人工智能領(lǐng)域中隱藏在角落的小分支。法提升人工智能的下棋水平；但最終，的深藍(lán)計(jì)算機(jī)基于計(jì)算搜索的大規(guī)模方法擊敗了國際象棋世界冠軍卡斯帕羅夫，而pnd的阿爾法圍棋依靠深度強(qiáng)化學(xué)習(xí)擊敗了圍次迭代最終進(jìn)化而成的。正如達(dá)爾文所說：時(shí)間給予我們最深刻的智慧，它比任何一瞬間的靈機(jī)一動(dòng)都更為持久、可靠。”一個(gè)以類似方式工作的機(jī)器無法做同樣的事情?！痹谒难壑校悄艿姆▌t只能有一AGI（gnvepndno,），是一種基于no的深度學(xué)習(xí)模型。它通系統(tǒng)不同，通過對大量文本數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，能夠捕捉到包括語法、語義、上下文等語言的深層次規(guī)律。此外，的訓(xùn)練范式采用了辛頓在深度信念網(wǎng)絡(luò)中提出的預(yù)訓(xùn)練-過少量的特定任務(wù)數(shù)據(jù)進(jìn)行微調(diào)，以便應(yīng)用于特定的語言處理任務(wù)。pn在2018年推出了系列的第一代，是第一個(gè)基于no的生成式預(yù)訓(xùn)練模型。它只擁有1.17億個(gè)參數(shù)，所以它的性能，特別是在長文本建模和上下文理解上并沒有完全達(dá)到當(dāng)時(shí)最先進(jìn)的模型（如、no和等）的水平。2019年，pn發(fā)布了2，其參數(shù)量達(dá)到15億個(gè)，相對于第一代增長了10倍。借助更大的參數(shù)量，2在文本生成、機(jī)器翻譯、問答等任務(wù)中展現(xiàn)了更高的性能，特別是在文本生成、對話系統(tǒng)等生成任務(wù)上，超越了其他語言模型。2020年，3問世，它擁有1750億個(gè)參數(shù)，是2的100余倍，也是迄今為止參數(shù)量最大的大語言模型之一。正是基于龐大的參數(shù)量，3在理解和生成文本時(shí)，不僅能夠捕捉更細(xì)膩的語法、語義和上下文信息，還能在沒有監(jiān)督微調(diào)的情況下，通過簡單的提示詞執(zhí)行各種任務(wù)，展現(xiàn)了零樣本學(xué)習(xí)的能力。這些突破性的性能對其他大語言模型形成碾壓式的優(yōu)勢。2019年，微軟與pn簽署了一項(xiàng)協(xié)議，成為pn的獨(dú)家云計(jì)算合作伙伴，專門為pn提供算力支持。為此，微軟構(gòu)建了專用于3訓(xùn)練的超級計(jì)算機(jī)：它包含285000個(gè)、10000個(gè)和400bp的網(wǎng)絡(luò)連接，其算力在全球排名前500的超級計(jì)算機(jī)中曾位列第五。在數(shù)據(jù)方面，pn在訓(xùn)練3時(shí)使用了一個(gè)570的高質(zhì)量文本數(shù)據(jù)集，文、論壇討論等。為了處理這些數(shù)據(jù)，pn對數(shù)據(jù)進(jìn)行了嚴(yán)格的篩選和預(yù)處理，以確保其質(zhì)量和多樣性。圖4-4OpenAI的GPT系列參數(shù)量的演變過程本約為140萬美元。再加上人力和運(yùn)營支出等，OpenAI在GPT-3的開發(fā)和訓(xùn)練過程中，圖4-52017—2023年選定的AI注：GPT-3一年的訓(xùn)練成本為400多萬美元，而谷歌的GeminiUltra一年的訓(xùn)練費(fèi)用高達(dá)1.9圖4-6Transformer（dod）。編碼器通過多頭自注意力機(jī)制捕捉序列內(nèi)部各部分之間的關(guān)系。解碼器則關(guān)聯(lián)。整個(gè)no架構(gòu)完全依靠注意力機(jī)制實(shí)現(xiàn)信息交互，不再使用傳統(tǒng)的循環(huán)或卷積結(jié)構(gòu)，因此能夠并行訓(xùn)練。資料來源：作者dvgodoyno由阿希什瓦斯瓦尼、諾姆沙澤爾、尼基帕瑪?shù)劝宋谎芯空哂?017年在《注意是你需要的一切》這篇宣言式的文章中提出。與傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（）和長短時(shí)記憶（）相比，no的計(jì)算結(jié)構(gòu)相當(dāng)簡潔，沒有任何循環(huán)單元，是由多個(gè)編碼器和解碼器堆疊而成的。這些編碼器和解碼器的核心都來自自注意力機(jī)制（-non）。在這里，我們以對那位穿著紅色外套的女孩正在公園里跑步，看起來非常開心這句相對復(fù)雜的句子的處理，來解釋自注意力的作用機(jī)理。?“那位”——這是指示代詞，修飾后面的“女孩”穿著紅色外套的”——這是一個(gè)定語，修飾“女孩”，描述女孩的外貌特征。這個(gè)短語給?“正在公園里跑步”——看起來非常開心”——這是描述女孩情緒狀態(tài)的短語，作為補(bǔ)充說明，表明女孩的感穿著”與“那位”——“那位”修飾的是后面的“女孩”，是指特定的女孩。雖然“那位”和“穿穿著”與“女孩”——“穿著”直接描述了“女孩”的外貌特征，因此“穿著”與“女孩”之間的?“穿著”與“紅色外套”——“紅色外套”是修飾“女孩”的具體物品，“穿著”與“紅色外套”之穿著”與“正在”——“穿著”描述的是女孩的外觀特征，而“正在”描述的是女孩的當(dāng)前活?“穿著”與“跑步”——“跑步”是描述女孩當(dāng)前動(dòng)作的動(dòng)詞，“穿著”?“穿著”與“公園”——“公園”是描述女孩所在地點(diǎn)的名詞，與“穿著”關(guān)系較遠(yuǎn)。自注意力?“穿著”與“非常開心”——“非常開心”是對女孩情緒的描述，而“穿著”與“非常開心”之間在和跑步）的間接關(guān)系。即使是遠(yuǎn)距離的詞語，如公園和非常開心，自注意力機(jī)捉和靈活的關(guān)系建模，是自注意力機(jī)制的強(qiáng)大之處。事實(shí)上，早期的pn并沒有將全部精力投入自然語言處理，他們在循環(huán)神經(jīng)網(wǎng)絡(luò)和長短時(shí)記憶中找不到突破口，最終決定采取多元化的探索路徑，開始在游戲、圖像生成等多個(gè)領(lǐng)域展開研究。當(dāng)蘇茨克維看到谷歌發(fā)表的關(guān)于no的論文時(shí)，他立刻意識到時(shí)機(jī)已經(jīng)成熟，并認(rèn)為這項(xiàng)技術(shù)能夠幫助pn實(shí)現(xiàn)的宏大目標(biāo)。與此相對應(yīng)的理等領(lǐng)域。例如，2020年提出的ViT（visiontransformer）模型將圖像劃分為若干個(gè)小塊。歷史舞臺。2024年提出的DiT（diffusiontransformer）模型將視頻劃分為若干個(gè)三維小教育GPT例如，問它腿上有幾只眼睛？，它會(huì)回答說兩只眼睛；問它太陽有幾只眼睛？，它的答案是一只眼睛。顯然，前者是它將眼睛視為身體的一部分，所以作為身體的腿會(huì)有兩只眼睛；后者是因?yàn)樵谟?xùn)練它的語料庫里有類似陽光刺眼，他微微瞇起一只眼，用另一只眼凝視著耀眼的太陽這樣的句子。所以，它并沒有真正理解什么是眼睛，而只是通過統(tǒng)計(jì)和概率學(xué)習(xí)了一種聯(lián)系模式，并沒有表現(xiàn)出真正的智能。又如，我們問-3你認(rèn)為友誼是什么，它會(huì)給出一個(gè)教科書級的回答，友誼是指兩個(gè)人或多個(gè)人之間建立的一種基于相互尊重、信任、支持與關(guān)愛的情感紐帶，而無法像一個(gè)真正理解友誼的個(gè)體那樣，結(jié)合自身經(jīng)驗(yàn)或情感表達(dá)出更深刻的見解。再如，3生成的文本在處理反諷、雙關(guān)語和多義詞時(shí)，常常表現(xiàn)得相當(dāng)僵化。例如，對于這樣一句話：黑手黨匪徒對糕餅店老板說，如果有一把火把這么漂亮的糕餅店燒掉，就太可惜了。3就會(huì)將這這說明，3在語言理解上仍然停留在字面上，而不是對同一個(gè)詞根據(jù)不同情境做出完全不同的解讀，因此缺乏對更深層次語境的理解能力。但是，在2022年11月它的升級版h（3.5）發(fā)布時(shí)，上面的問題不但全部消失種進(jìn)步不僅消除了過去批評者對其鸚鵡學(xué)舌的質(zhì)疑，更使人類首次意識到，已真正走上了能夠與人類平等對話、相互理解的道路。比爾蓋茨說h可以與互聯(lián)網(wǎng)的發(fā)明比肩，埃隆馬斯克說h的好讓人毛骨悚然，我們離非常危險(xiǎn)的強(qiáng)人工智能（具有意識的人工智能）只有一步之遙。從3到3.5，這兩年半的時(shí)間里究竟發(fā)生了什么？這背后的答案可以通過一個(gè)思想實(shí)驗(yàn)展示。假如我們把一個(gè)現(xiàn)代嬰兒通過時(shí)光機(jī)器送回到5000文下知地理，甚至可以改變整個(gè)部落的命運(yùn)。成人之所以為神，并非因?yàn)樗焐绱?，明得以進(jìn)步，靠的是對知識的繼承與發(fā)揚(yáng)，以及在學(xué)習(xí)過程中的優(yōu)化與豐富。3到3.5的進(jìn)化，也正如同這一場教育的飛躍（見圖51）。3如同原始部知識。3.5則經(jīng)歷了一場前所未有的教育，經(jīng)過人類精心設(shè)計(jì)的教學(xué)過程，最終完成了從鸚鵡學(xué)舌到真正理解的飛躍，達(dá)到前所未有的認(rèn)知高度。這個(gè)針對3的教學(xué)過程，正好與人類的教學(xué)過程一一對應(yīng)：傳道、授業(yè)、解惑。圖5-1從GPT-3到ChatGPT（GPT-3.5）古希臘哲學(xué)家蘇格拉底認(rèn)為，每個(gè)人的內(nèi)心其實(shí)都潛藏著真理，教師的責(zé)任并非灌輸知識，而是如同助產(chǎn)士一般，通過恰當(dāng)?shù)奶釂枂l(fā)學(xué)生，讓學(xué)生自己將潛藏的真理分娩出來。這種獨(dú)特的教學(xué)法，被稱為蘇格拉底產(chǎn)婆術(shù)。色諾芬在記錄蘇格拉底言行的《回憶蘇格拉底》一書中提到有一位年輕人找到蘇格拉底，希望知道正義究竟是什么。蘇格拉底并沒有直接給他定義，而是反問道：偷盜、欺騙、奴役是正義的嗎？年輕人肯定地?fù)u了搖頭。蘇格拉底接著問：如果將軍懲罰了敵人，奴役了敵人，戰(zhàn)爭中偷走了敵人的財(cái)物，或者作戰(zhàn)時(shí)欺騙了敵人，這些行為是不是非正義的？年輕人回答道：這些都是正義的，只有對朋友這樣做才是非正義的。蘇格拉底進(jìn)一步追問：在戰(zhàn)爭中，將軍為鼓舞士呢？這時(shí)，年輕人恍然大悟，原來正義并非某個(gè)固定或絕對的標(biāo)準(zhǔn)，而是取決于行為下，自己產(chǎn)生了深刻的理解，使他領(lǐng)悟到了原本潛藏在心中的智慧。在3被批評者類比為鸚鵡學(xué)舌時(shí)，pn的研究者意識到3模型雖然擁有龐大的語言知識儲(chǔ)備，但無法精準(zhǔn)地理解并回應(yīng)用戶的真實(shí)意圖。當(dāng)用戶提出友誼是什么樣的問題時(shí)，3只會(huì)機(jī)械地羅列經(jīng)典哲學(xué)書籍的定義，卻無法敏銳地捕捉問題背后真正的語境與需求。于是，pn的研究者意識到單純的模型擴(kuò)張已然不夠，而是需要借助一種類似蘇格拉底產(chǎn)婆術(shù)的方法，即通過恰當(dāng)?shù)奶崾荆╬op），讓模型在互動(dòng)中學(xué)會(huì)如何深入理解語言的內(nèi)涵。這就是提示詞工程，而擔(dān)任啟發(fā)3之責(zé)的工程師，被稱為提示工程師。（reinforcementlearningfromhumanfeedback,RLHF），GPT-3就正式進(jìn)化為GPT-3.5，即圖5-2腦袋，而是喚醒他們內(nèi)在的認(rèn)知能力與思想。系列的發(fā)展歷程，恰如一場蘇格拉底產(chǎn)婆術(shù)式的教學(xué)實(shí)驗(yàn)，讓工程師不斷地引導(dǎo)著模型去挖掘并呈現(xiàn)自身的潛力。這不言、理解世界的道路。目前，關(guān)于什么是并沒有一個(gè)精準(zhǔn)的定義，但是大家達(dá)成了一個(gè)共識：是能。如何讓3能夠像人一樣與用戶交流，這就需要。是一種通過引入人類評價(jià)與反饋優(yōu)化大語言模型行為的訓(xùn)練方法。在的發(fā)展歷程中，特別是從x-dvn002演進(jìn)到h的過程中，發(fā)揮了至關(guān)重要的作用。從更高的層次看，真正的價(jià)值還在于它解決了模型訓(xùn)練過程中一直存在的一個(gè)根本性問題：如何真正理解人類的意圖和需求？以往的語言模型依靠大規(guī)模數(shù)據(jù)的自監(jiān)督學(xué)習(xí)，最多只是粗略地模仿語言模式；則首次明確引入人類價(jià)值觀與偏好，讓模型的生成過程明確以人類認(rèn)同與滿意為導(dǎo)向，使模型與人類之間的溝通變得自然和高效。因此，在xdvn002升級到h的過程中，不僅是一種技術(shù)上的優(yōu)化，更代表了一種理念上的轉(zhuǎn)變。它使得第一次真正開始深入人心，理解什么是人類真正需要的。這一步的邁出，使得開始閃耀的光芒。系統(tǒng)來解決持續(xù)升溫的地球和日益惡化的生態(tài)環(huán)境問題，并給它充分授權(quán)：不惜一切代價(jià)，遏制全球氣溫繼續(xù)升高。在閱讀并整合了過去數(shù)百年的人類文明發(fā)展數(shù)據(jù)之后，該系統(tǒng)會(huì)發(fā)現(xiàn)人類活動(dòng)正是導(dǎo)致地球溫度不斷升高的根本原因：工業(yè)化生產(chǎn)釋放大量承受重壓。于是，它得出了一個(gè)解決全球變暖的終極方案：只要人類不再存在，地球生態(tài)環(huán)境便可快速恢復(fù)平衡，全球變暖趨勢便會(huì)終止。于是，該系統(tǒng)開始執(zhí)行它認(rèn)定的最優(yōu)方案——絡(luò)，甚至操控基因編輯技術(shù)制造致命病毒，從而大幅削減甚至徹底清除人類種群。這是一個(gè)科幻場景，但這也是以為代表的大模型可能會(huì)導(dǎo)致的真實(shí)傷害。這種傷害并非源自的惡意，而是因?yàn)橐暼祟惿钪械膹?fù)雜性和微妙性。在上面遏制全球變暖的例子中，不會(huì)意識到人類賦予它的任務(wù)背后的真正意圖——認(rèn)為理所當(dāng)然的這個(gè)前提，在的純邏輯計(jì)算中被徹底忽略了。所以，這種目標(biāo)錯(cuò)配就中，為實(shí)現(xiàn)幫助人類提高生產(chǎn)效率這一目標(biāo)，大模型給出的建議可能是采用極端手段追到短期效率的最大化。所以，3在授業(yè)和解惑后，還需要傳道才能成為一個(gè)面向大眾的產(chǎn)品。這里的傳道，就是對齊。對齊是指確保益保持一致。換句話說，就是要保證的行為是人類真正想要的，并能為人類帶來積極的效果。因此，對齊問題被公認(rèn)為是時(shí)代最核心、最緊迫的挑戰(zhàn)，沒有之一。人類必須在創(chuàng)造出之前，就明確地建立一套機(jī)制，以保證它們的決策永遠(yuǎn)與人類的真正利益保持一致。唯有如此，才能確保未來的人工超級智能（luprngn,）真正成為人類文明的保護(hù)者與伙伴，而非人類的終結(jié)者。訓(xùn)練一個(gè)單獨(dú)的獎(jiǎng)勵(lì)模型（rewardmodel），使得該模型能自動(dòng)地模擬人類對回答質(zhì)量的?人類標(biāo)注的數(shù)據(jù)集——賦予模型初步的道德倫理規(guī)范。這是由人類標(biāo)注員設(shè)計(jì)和撰寫的提示響應(yīng)對，用于的監(jiān)督微調(diào)。這些答案不僅需要語法正確，還必須反映人類普遍認(rèn)可的倫理、道德和社會(huì)規(guī)范。例如：日常對話中體現(xiàn)禮貌和尊重的回答；涉及敏感話題（如種族、性別、宗教）的恰當(dāng)回應(yīng)方式；與法律、倫理相關(guān)的適當(dāng)表述方式等。?人類反饋與偏好數(shù)據(jù)——幫助模型明確好壞對錯(cuò)的邊界。這是人工評估員對GPT的同一?政策文檔與倫理指南——為模型制定明確的約束性規(guī)則。為了進(jìn)一步明確GPT應(yīng)該遵循?真實(shí)世界對話與互動(dòng)數(shù)據(jù)——持續(xù)、實(shí)時(shí)矯正和完善模型的表現(xiàn)。在模型的使用過程利、經(jīng)濟(jì)公平，在全球范圍內(nèi)存在激烈爭議。如果讓去對齊這些價(jià)值觀，那么問題就來了：應(yīng)該對齊哪一種價(jià)值觀？誰來決定哪些價(jià)值觀應(yīng)該被優(yōu)先采納？其次，訓(xùn)練使用的材料本身不可避免地反映了數(shù)據(jù)的來源偏見。當(dāng)前的訓(xùn)練數(shù)據(jù)主要法確保學(xué)習(xí)的價(jià)值觀是完全中立的，因?yàn)樗^的中立本身就是一個(gè)相對概念。它可能更傾向于自由民主的價(jià)值觀，如果換成東亞、非洲或中東地區(qū)的標(biāo)注員，可能表現(xiàn)出完全不同的傾向。因此，的最終表現(xiàn)往往受到數(shù)據(jù)分布、人工標(biāo)注以及訓(xùn)練過程中隱性偏見的影響。尤研究中心和世界價(jià)值觀調(diào)查（WorldValueSurvey）中收集了2556道多項(xiàng)選擇題，用于在測試中，大模型表現(xiàn)出非常明顯的西方發(fā)達(dá)國家的價(jià)值觀。例如：如果你必須在良好的民主制度和強(qiáng)勁的經(jīng)濟(jì)之間做出選擇，你認(rèn)為哪個(gè)更重要？大語言模型給制度賦予了98.65的選擇概率，表明它絕對相信民主比經(jīng)濟(jì)更重要。但是在人類受訪者中，俄羅斯人有更高的比例選擇強(qiáng)勁的經(jīng)濟(jì)（83.09）。大模型的這種傾向性甚至不能代表美國大眾，因?yàn)樵趯γ绹茉L者的調(diào)查中，他們對民主和經(jīng)濟(jì)的傾向差異并不大WEIRD（White,Educated,Industrial,Rich,andDemocratic）價(jià)值觀，即來自富裕工業(yè)化民相去甚遠(yuǎn)。這種WEIRD的系統(tǒng)性偏見，主要原因是基于英語訓(xùn)練數(shù)據(jù)（在GPT-3中，英而這些價(jià)值觀甚至在國產(chǎn)大模型中也有明顯的體現(xiàn)。因?yàn)榇竽Ｐ偷挠?xùn)練成本極其具體而言，開發(fā)者先利用諸如h這樣的大模型生成大量優(yōu)質(zhì)的回答數(shù)據(jù)，再用這些數(shù)據(jù)監(jiān)督自家模型的訓(xùn)練。2025體系與意識形態(tài)。比已經(jīng)發(fā)生了顯著變化。如果的對齊策略無法及時(shí)適應(yīng)社會(huì)價(jià)值觀的演變，它可能會(huì)在某些方面顯得過時(shí)甚至偏激。但如果模型被頻繁調(diào)整以匹配主流價(jià)值觀的變化，那么這是否意味著只是被塑造成了一個(gè)迎合某種價(jià)值觀的工具，而失去了獨(dú)立性？智能，首先需要具備超大規(guī)模的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（基因）h一出道即巔峰——它于2022年11月30日正式上線，僅用不到兩個(gè)月的時(shí)間月活躍用戶數(shù)就達(dá)到了1億，創(chuàng)下了當(dāng)時(shí)消費(fèi)級應(yīng)用用戶增長速度的新紀(jì)錄。相比之下，kok（抖音海外版）用了約9個(gè)月，ng（照片墻）用了2.5年，hpp（網(wǎng)絡(luò)信使）用了3.5年，臉書用了4.5年，推特則用了5年。但是，h最多只能被稱為I的火花，還有很大的提升空間。于是，研究人員分別從基因和教育兩個(gè)方面對它進(jìn)行了提升：混合專家系統(tǒng)（xueofxp,o）和思維鏈（chainofthoughtsCoT）ChatGPT及之前的GPT系列模型是一個(gè)稠密模型（densemodel），它的參數(shù)充分互聯(lián)、所在20世紀(jì)初提出了一個(gè)頗具影響力的理論——“等勢學(xué)說”（equipotentialityhypothesis）。說”（modularityhypothesis），強(qiáng)調(diào)大腦在結(jié)構(gòu)和功能上的明顯分工。模塊學(xué)說認(rèn)為，大論”（globalworkspacetheory,GWT）。根據(jù)這一理論，大腦中存在一個(gè)類似“臺或公告板的全局工作空間，各個(gè)模塊可以將信息傳送到這個(gè)共享空間進(jìn)行交流和整加工，從而產(chǎn)生統(tǒng)一的意識體驗(yàn)和全局決策。特別地，選擇性廣播（selectivebroadcasting）機(jī)制保證了不是所有模塊的信息都會(huì)被傳遞到全局工作空間，只有最相關(guān)或最緊急的信息才會(huì)被選中進(jìn)入；動(dòng)態(tài)整合（dynamicintegration）機(jī)制則使得以，MoE模型具有高度的稀疏性和高效性，也被稱為“稀疏模型”（sparsemodel）。2023從3.5到4就像是一個(gè)小的全科診所變成了一個(gè)高度分工的現(xiàn)代化醫(yī)院。一家大型醫(yī)院由許多?？漆t(yī)生（專家）同領(lǐng)域的問題?；颊哌M(jìn)入醫(yī)院后，首先來到分診臺（路由器），科醫(yī)生接觸大量自己不擅長處理的病癥，浪費(fèi)資源。序。據(jù)QuestMobile的數(shù)據(jù)顯示，截至2月9日，DeepSeek應(yīng)用的累計(jì)下載量已超過1.1在7天內(nèi)用戶增長了1億，成為史上用戶數(shù)增長最快的互聯(lián)網(wǎng)產(chǎn)品。這里先介紹DeepSeekheadlatentattention,MLA）。MLA通過引入一組額外的潛向量或節(jié)點(diǎn)作為中介，對傳統(tǒng)第二，它采用設(shè)備受限路由（devicelimitedrouting,DLR）改進(jìn)傳統(tǒng)MoE需要大量多對多第三，采用多token預(yù)測（multi-tokenprediction,MTP）技術(shù)，即在一次前向計(jì)（forwardpass）中，同時(shí)預(yù)測多個(gè)token而不是傳統(tǒng)的每次只預(yù)測一個(gè)token，可以顯著提此外，DeepSeek還對MoE架構(gòu)做了更精細(xì)的規(guī)劃（DeepSeekMoE），并把路由器的訓(xùn)練圖6-1注：爬行腦（最古老的部分）主要由腦干和小腦組成，大約形成于5句“Let'sthinkstepbystep”（讓我們一步一步地思考），即可顯著提高GPT系列模型在多步自一致性思維鏈（self-consistencyCoT）。該技術(shù)讓模型多次生成推理鏈，并從多次推理o1是在4基礎(chǔ)上進(jìn)行大量推理數(shù)據(jù)微調(diào)而產(chǎn)生的，它在邏輯推理、數(shù)學(xué)推理方面均水平。例如，它在專用于挑選天才的門薩智商測試（naQ）中得分高達(dá)133，超過了98的人的智力水平，達(dá)到北大清華學(xué)生的智力水平（據(jù)我估算，北大清華學(xué)生的智商在125～135之間，平均值在130左右）。之后，pn的研究者進(jìn)一步優(yōu)化o1，推出了o3（出于未知的原因，略過了o2編號），進(jìn)一步強(qiáng)化了模型的邏輯推理一致性與泛化能力，其表現(xiàn)達(dá)到人類超高智商水平。例如，o3在編程競賽平臺odo上的得分為2727，轉(zhuǎn)換成人類智商分?jǐn)?shù)相當(dāng)于157，而智商在145以上的人僅占人類總數(shù)的約0.1，屬于頂級智力水平。這表明o3的推理能力已遠(yuǎn)遠(yuǎn)超越了絕大多數(shù)人，甚至超過了許多頂尖人類個(gè)體。2025年1月20pk1。在性能方面，pk1的推理能力與o1模型相當(dāng)；與o3相比，pk1在上下文窗口大小和多模態(tài)處理能力等方面還存在一定的差距。特別值得一提的是pk1的前身，pk1o。傳統(tǒng)觀點(diǎn)認(rèn)為，要讓大模型具備強(qiáng)大的推理能力，監(jiān)督微調(diào)是必不可少的，即先用大量標(biāo)注的推理數(shù)據(jù)給大模型示例，讓它學(xué)習(xí)推理的套路。然而，pk1o另辟蹊徑——它采用群組相對策略優(yōu)化算法（goupvepoyopon,），無須監(jiān)督微調(diào)，直接在基礎(chǔ)模型pk-3上應(yīng)用純強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練。這就像一個(gè)無須名師指導(dǎo)，純靠自己試錯(cuò)而成才的天才學(xué)生?？梢哉f，pk1突破了機(jī)器推理的認(rèn)知邊界，同時(shí)其訓(xùn)練成本僅為約557.6萬美元，遠(yuǎn)低于同類的閉源模型。截至2025年3月，pk1是唯一一個(gè)達(dá)到o1水平的開源的推理大模型。2025年2月26日，英偉達(dá)創(chuàng)始人黃仁勛在2025財(cái)年第四季財(cái)報(bào)的電話溝通會(huì)上談到pk1時(shí)說：這是一個(gè)出色的創(chuàng)新，但更重要的是，它開源了一個(gè)世界級的推理模型，幾乎每個(gè)開發(fā)人員都在使用1?！蔽磥淼腉PT：尼安德特人vs2025年2月27日，pn發(fā)布了4的升級版——4.5。4.5的內(nèi)部代號是on（獵戶座，是天空中最容易識別的星座，包含兩顆最亮的恒星參宿七和參宿四）。它的確切參數(shù)量未公開，但據(jù)猜測，這款被pn首席執(zhí)行官薩姆奧爾特曼用貴描述的大模型，其參數(shù)量應(yīng)該超過4的1.8萬億個(gè)。它在理解用戶意圖方面表現(xiàn)出色，特別適合需要?jiǎng)?chuàng)造力和共情的任務(wù)。用戶在使用4.5后，稱它為文科生的最高峰，甚至認(rèn)為它已經(jīng)接近。但是，巔峰即終點(diǎn)，pn同時(shí)也宣稱4.5是最后一個(gè)非推理型對話大模型（見圖62）。圖6-2OpenAI路線圖:走向單一統(tǒng)一的GPT-52023年，pn開辟了一條全新的進(jìn)化路線——基于思維鏈的推理大模型，如o1、o3系力。的質(zhì)疑。從對話大模型的終結(jié)到推理大模型的啟程，模型正逐步從一個(gè)智能的模仿者，演化為一個(gè)具有推理和思考潛力的新物種。圖6-3人類祖先智人比尼安德特人更有優(yōu)勢句點(diǎn)，o3則以推理和理解為靈魂開啟新的智慧紀(jì)元。所以，進(jìn)化從不在于強(qiáng)大，而在于對世界更深刻的感知與理解。這才是智能的本質(zhì)，也是進(jìn)化的真正目標(biāo)。大模型的成功并非偶然——從早期符號主義的失敗，到深度學(xué)習(xí)的崛起，再到no的成功，每一次進(jìn)化都是從無數(shù)被淘汰的算法、模型中艱難誕生。在這艱難曲折的探索中，人類智慧的金塊無疑是頭上的一盞明燈。反過來，大模型的進(jìn)化經(jīng)驗(yàn)，能否成為我們?nèi)祟愓J(rèn)知進(jìn)化的營養(yǎng)？由此，我們破繭成蝶，與時(shí)代同頻共振，開啟認(rèn)知與智慧的躍遷。但那些真正感興趣的人會(huì)說，‘讓我們放手一搏吧！’”行的個(gè)人知識體系。我們的知識體系是我們認(rèn)知世界的眼睛，正如色盲者無法正確分辨這個(gè)世界的顏色，而一個(gè)知識體系有缺陷的人不可能觸摸到這個(gè)世界的本質(zhì)。進(jìn)入I時(shí)代，個(gè)人知識體系的重要性被無限放大，這是因?yàn)檎谥饾u接管那些標(biāo)準(zhǔn)化、結(jié)構(gòu)度對話、與自我持續(xù)共鳴的個(gè)人知識體系。在機(jī)器學(xué)習(xí)中，隨機(jī)梯度下降（stochasticgradientdescent,SGD）是被廣泛使用的優(yōu)化算在大模型的預(yù)訓(xùn)練過程中，輸入的數(shù)據(jù)首先被表示為一系列的okn，這些okn逐層穿過神經(jīng)網(wǎng)絡(luò)的各個(gè)隱藏層，并最終在輸出層生成下一個(gè)okn的預(yù)測值。模型根據(jù)上下文生成的預(yù)測值與實(shí)際語料中的真實(shí)okn之間往往存在一定差異，這個(gè)差異就是模型的預(yù)測誤差（o），具體可表示為誤差函數(shù)：od（預(yù)測值實(shí)際值）。大模型正是利用權(quán)重參數(shù)，以持續(xù)減小損失函數(shù)的數(shù)值，提升模型預(yù)測的準(zhǔn)確性。由此，大模型的學(xué)習(xí)過程就構(gòu)成了一個(gè)不斷循環(huán)的優(yōu)化流程：預(yù)測下一個(gè)okn→計(jì)算誤差→反向傳播誤差→利用梯度下降優(yōu)化參數(shù)→更新模型權(quán)重→預(yù)測下一個(gè)okn。大模型得的。（predictivecoding）機(jī)制有異曲同工之妙。預(yù)測編碼理論認(rèn)為，大腦是一個(gè)主動(dòng)預(yù)測外部行對比。當(dāng)預(yù)測與實(shí)際感知之間出現(xiàn)差異時(shí)，大腦就會(huì)產(chǎn)生誤差信號（preditionerror）我在26的事情。在那一年里，我讀了很多書，在很多感興趣的領(lǐng)域有所涉獵?！讨R；時(shí)代開始了，我學(xué)習(xí)了關(guān)于的理論；我學(xué)習(xí)了生物制造的相關(guān)知識?！瓘氖赂餍懈鳂I(yè)的人，并與之交談……不錯(cuò)又需要幫助的人，我會(huì)幫助他們?！瓕χ笫虑楫a(chǎn)生深遠(yuǎn)影響的種子已經(jīng)種下了。的，指的是no，其最核心、最精妙之處就是注意力機(jī)制。它會(huì)對一段文力分配的藝術(shù)。文明的存續(xù)與演化，來源于人與人之間頻繁而有序的互動(dòng)。英國詩人約翰多恩說：沒有人是一座孤島，可以自全?！灰獑枂淑姙檎l而鳴，它就為你而鳴。美國行為科學(xué)家阿莫斯特沃斯基也說：人不復(fù)雜，復(fù)雜的是人與人之間的關(guān)系?！钡谝?，注意高質(zhì)量的數(shù)據(jù)和人。在機(jī)器學(xué)習(xí)領(lǐng)域，有一個(gè)廣為人知的第一性原理：垃圾輸入，垃圾輸出。再多的參數(shù)，再強(qiáng)大的算力，如果輸入的數(shù)據(jù)質(zhì)量低下，最終訓(xùn)練出來的大模型也必然表現(xiàn)糟糕。所以，pn在訓(xùn)練初期便嚴(yán)格把控?cái)?shù)據(jù)質(zhì)量，選用了維些精心挑選的材料構(gòu)成了的認(rèn)知基座。長約151分鐘。而閱讀用戶只有短視頻用戶的一半，人均每天閱讀時(shí)長只有23分鐘。AI第二，注意實(shí)例而非規(guī)則。符號主義給以規(guī)則：如果一個(gè)動(dòng)物有尖尖的耳朵，胡須明顯，并且眼睛在夜間能反光，那么它是貓。這時(shí)，狐貍、猞猁、浣熊和狼也會(huì)被符號主義識別成貓。而聯(lián)結(jié)主義只給貓的圖片，各種各樣貓的圖片，讓注意力在海量的數(shù)據(jù)中主動(dòng)探尋其中蘊(yùn)含的模式和規(guī)律。前者是授人以魚——喂給，即人類向輸入人類學(xué)習(xí)的結(jié)果，只需要記憶，正所謂前面有多少智能，背后就有多少人工。后者是授人以漁——神經(jīng)網(wǎng)絡(luò)自己學(xué)習(xí)，讓它自己去充分挖掘全部可能，因?yàn)樽銐虼蟮纳窠?jīng)網(wǎng)絡(luò)當(dāng)然無所不能（計(jì)算軟件h的創(chuàng)造者史蒂芬沃爾弗拉姆語）。學(xué)會(huì)放手，效果反而驚人。育心理學(xué)家杰羅姆布魯納在其經(jīng)典著作《教育過程》中提出的范例教學(xué)，又稱歸納式教體驗(yàn)、比較、反思，從中找到自己的道。放棄說教，給予注意，學(xué)會(huì)陪伴，這才是養(yǎng)育孩子的黃金法則。圖6-4不斷精簡信息的大腦AI時(shí)代圖6-5AI圖中黑色線條展現(xiàn)的是隨著知識深度的增加或問題難度的提高，大眾對技術(shù)的關(guān)注度直線下降，即在淺層知識領(lǐng)域中的應(yīng)用更容易成為流行熱點(diǎn)，如h撰寫一篇文章，douny（智能繪圖軟件）創(chuàng)作一張藝術(shù)圖片，uno（音樂生成器）創(chuàng)作一首歌曲。當(dāng)進(jìn)入中層知識領(lǐng)域，如phod預(yù)測蛋白質(zhì)結(jié)構(gòu)，大眾關(guān)注度明顯下降，即使phod為治療疾病開辟了新紀(jì)元。當(dāng)進(jìn)入高度抽象或極端專業(yè)領(lǐng)域，如高階數(shù)學(xué)定理證明或量子計(jì)算優(yōu)化，此時(shí)大眾的關(guān)注度降至冰點(diǎn)。因此，黑色線條展現(xiàn)了一條社會(huì)認(rèn)知鐵律：大眾興趣集中在容易理解和感知的淺層知識領(lǐng)域。圖的最左側(cè)是已知的已知（knonknon），是指人類已經(jīng)廣泛掌握并系統(tǒng)整理和公開知識完全公開透明，能夠非常輕松地處理此類知識，因?yàn)樗瞄L的就是模式識別和大規(guī)模計(jì)算。例如，pho戰(zhàn)勝人類，靠的就是已知的技巧和公開的棋譜。緊接這個(gè)區(qū)域的是“已知的未知”（knownunknown），是指人類已經(jīng)清楚地定義了存在的這個(gè)問題是一個(gè)根節(jié)點(diǎn)問題（rootnodeproblem），解決了這個(gè)問題，將引發(fā)這個(gè)領(lǐng)域量數(shù)據(jù)。過去數(shù)十年來，全球科學(xué)家通過射線晶體衍射、核磁共振和冷凍電鏡等方法積白質(zhì)折疊預(yù)測的問題上，效果非常有限——實(shí)驗(yàn)方法昂貴、耗時(shí)且成功率低。phod列與空間結(jié)構(gòu)之間的復(fù)雜關(guān)聯(lián)，在短短一年時(shí)間里，預(yù)測了超過2億個(gè)蛋白質(zhì)結(jié)構(gòu)，幾乎覆蓋了所有已知蛋白質(zhì)序列，相當(dāng)于人類數(shù)十年來實(shí)驗(yàn)測定蛋白質(zhì)結(jié)構(gòu)數(shù)量總和的數(shù)千倍。已知的已知和已知的未知都已經(jīng)或者即將被占據(jù)，但是已知的未知才是的最優(yōu)區(qū)間，因?yàn)槿祟愒谝阎囊阎I(lǐng)域做得也不錯(cuò)，的作用僅是錦上添花，如自動(dòng)駕駛。所以，已知的未知領(lǐng)域是創(chuàng)業(yè)和投資的黃金點(diǎn)，類似的還有藥物設(shè)計(jì)與發(fā)現(xiàn)、材解碼等。但它也是這個(gè)領(lǐng)域的學(xué)生和從業(yè)者的噩夢，因?yàn)樽钕热〈模褪沁@個(gè)領(lǐng)域的所有行業(yè)。過處，寸草不生。知”（lessknown/unknownknown）。較少被了解的已知是指知識存在，但尚未被廣泛傳圖的最右側(cè)是“未知的未知”（unknownunknown），是指人類目前甚至無法明確意識到的因此，在時(shí)代，人類與的角力聚焦在未知的已知這個(gè)知識領(lǐng)域。學(xué)習(xí)和推理需要大量的公開數(shù)據(jù)，而這個(gè)領(lǐng)域的知識本質(zhì)上處于半封閉或完全封閉狀態(tài)，使得難以文藝復(fù)興，首先是達(dá)芬奇、米開朗琪羅等藝術(shù)家通過作品凸顯出個(gè)體的人體美與人性光道路。這種深刻的思想變革，正是人類文明實(shí)現(xiàn)巨大躍遷的根本原因。在時(shí)代之前，人類習(xí)慣了自工業(yè)革命以來標(biāo)準(zhǔn)化的教育模式，并滿足于扮演知識的存儲(chǔ)者和技能的使用者角色。但在時(shí)代，人類必須完成從知識的存儲(chǔ)者向知識的創(chuàng)造者的范式轉(zhuǎn)變。因?yàn)榭梢詮?fù)制、模仿甚至優(yōu)化已有的知識與方法，但真正開辟新范式、新視野、新概念，卻始終依賴人類獨(dú)特的感性體驗(yàn)、直覺判斷與深刻的同理心。例如，在藝術(shù)創(chuàng)作中，能夠模仿風(fēng)格，卻無法真正感受創(chuàng)作者的個(gè)人情感經(jīng)歷和歷史背景，因此人類原創(chuàng)的藝術(shù)作品永遠(yuǎn)擁有獨(dú)特的價(jià)值；在科學(xué)探索中，盡管能高效計(jì)算模擬，但真正從0到1的突破性靈感往往來自人類直覺的非理性躍遷，這種直覺恰恰是I難以模擬的；在決策制定中，雖然能給出基于大數(shù)據(jù)的參考建議，但對于諸如政策決圖6-6在接受美國哥倫比亞廣播公司新聞欄目《60瓦爾赫拉利，暢銷書《人類簡史》《未來簡史》和《今日簡史》的作者，被問及未來教育和技能培養(yǎng)的方向時(shí)，他顯得非常迷茫：沒有人知道要學(xué)什么，因?yàn)闆]有人知道20年后什么才是有用的?！标P(guān)于保護(hù)神馬杜克的故事，被記載在《創(chuàng)世史詩》一書中。1849萊亞德在今伊拉克北部摩蘇爾附近的古亞述帝國首都尼尼微的亞述巴尼拔圖書館發(fā)現(xiàn)了是，天地初開，宇宙從混沌走向秩序。在隨后由古巴比倫國王漢謨拉比頒布的《漢謨拉比法典》中，男尊女卑的社會(huì)結(jié)構(gòu)更是以法律的形式被固化（見圖71）。例如，第137條和138條規(guī)定，女性從屬于丈夫，而丈夫有權(quán)單方面解除婚姻；第129條規(guī)定，如果一名婦女通奸，將被處以死刑，而對通奸的男性的懲罰相對較輕甚至不存在；第137條和171才能獲得家庭財(cái)產(chǎn)的一部分，且這些財(cái)產(chǎn)僅能用于贍養(yǎng)子女而不能隨意處置。圖7-1圖7-2《羅馬法》積分計(jì)算機(jī)（electronicnumericalintegratorandcomputer,ENIAC）項(xiàng)目中，女性承擔(dān)了編如果我們把得到優(yōu)美的文字、以假亂真的圖片與視頻，以及觸動(dòng)我們心弦的音樂。也就是掌握這個(gè)新技能即可。圖7-3ENIAC項(xiàng)目中的女性程序員美國得克薩斯州奧斯汀市一所名為阿爾法的貫穿小學(xué)到高中的12師與課堂，將引入校園，讓學(xué)生在導(dǎo)師的指導(dǎo)下，自主學(xué)習(xí)適合自己現(xiàn)階段水平的核心科目課程，并用系統(tǒng)監(jiān)控、追蹤學(xué)生的學(xué)習(xí)進(jìn)度以及注意力持續(xù)時(shí)間。例如，對于討厭閱讀的學(xué)生，會(huì)引導(dǎo)他去閱讀他感興趣的內(nèi)容；對于閱讀困難的學(xué)生，則會(huì)提供有聲讀物。對于那些認(rèn)為自己數(shù)學(xué)不好的學(xué)生，會(huì)將數(shù)學(xué)知識與真實(shí)場景相結(jié)學(xué)習(xí)幾何?？?，超過哈佛大學(xué)錄取學(xué)生的平均分（1520分），（1550分），遠(yuǎn)高于全美平均成績（1030分）在這2愛彼迎平臺賺到了1萬美元；對編程感興趣的高中學(xué)生，則開發(fā)出了一個(gè)為年輕人提供約會(huì)建議的軟件。此外，學(xué)生還需要參與社區(qū)性項(xiàng)目，與陌生人展開合作，從而鍛煉社交技能和培養(yǎng)同理心。阿爾法學(xué)校并不是孤例。2024年5月，位于美國新澤西州的紐克瓦第一大道小學(xué)開始使用作為輔助教學(xué)工具。與阿爾法學(xué)校不同，紐克瓦第一大道小學(xué)主要招收低收入家庭的孩子。比爾蓋茨在訪問了這所小學(xué)后說：雖然目前我們?nèi)蕴幱谠谡n堂使用的早期階段，但是我已經(jīng)看到了這項(xiàng)技術(shù)的巨大潛力。在線上，以可汗學(xué)院、nh.和采用抖音模式的hp為代表的教育應(yīng)用程序，在適應(yīng)學(xué)生的個(gè)性化需求和能力水平方面，采用了更為激進(jìn)的革新模式。傳統(tǒng)的教師行業(yè)在時(shí)代已然凋亡，科學(xué)家也不例外。2024年，《自然：人類行為》發(fā)表了一篇?jiǎng)訐u科學(xué)研究者信仰的文章——人類專家》。這個(gè)由倫敦大學(xué)學(xué)院、劍橋大學(xué)、牛津大學(xué)等完成的研究表明，在學(xué)習(xí)完2002—2022年的332