通過在大量RL環(huán)境中預(yù)先“烘對比思考題：思考題：“預(yù)烘焙”技能：這是優(yōu)勢，還是無奈之舉??內(nèi)在矛盾：可能一：橫型很快就能在工作中自主學(xué)習(xí)，這將使所有這些“預(yù)烘焙”工作變得毫無意義?，F(xiàn)狀：存在一個完整的產(chǎn)業(yè)鏈，專門構(gòu)建RL環(huán)境，教模型如何使用特定軟件。可能二：模型無法做到這一點，現(xiàn)狀：存在一個完整的產(chǎn)業(yè)鏈，專門構(gòu)建RL環(huán)境，教模型如何使用特定軟件。結(jié)論：實驗室的行為(大規(guī)模預(yù)烘焙)暗示了他們默認(rèn)模型在泛化和在職學(xué)習(xí)方面表現(xiàn)不佳。這是一種未雨綢繆的補(bǔ)救，而非通往AGI的自信步伐。一個生物學(xué)家的困境：問題的縮影關(guān)鍵癥結(jié)問題不在于能否訓(xùn)練一個關(guān)鍵癥結(jié)問題不在于能否訓(xùn)練一個問題在于，為這個實驗室的特定制片方式創(chuàng)建一個定制訓(xùn)練流程，然后再為下一個實驗室的微任務(wù)創(chuàng)建另一個流程，這樣做在經(jīng)濟(jì)上是否可行?一位AI研究員認(rèn)為這是個“教科書級別的深度學(xué)習(xí)問題”。細(xì)艙培養(yǎng)墓差異。樣本液度人類工作者的價值恰恰在于我們不需要為他們工作中的每一個微小部分都建立專門的訓(xùn)練循環(huán)。他們能夠通過語義反饋和自主經(jīng)驗進(jìn)行學(xué)習(xí)和泛化。全球知識工作者年薪數(shù)十萬億美元當(dāng)前AI模型年收入數(shù)十億美元這種巨大的差異并非市場滲透緩慢，而是模型能力與人類知識工作者之間真實能力的巨大差距的直接體現(xiàn)。有人說AI尚未廣泛部署只是因為新技術(shù)需要時間來擴(kuò)散。我們的回應(yīng)是：如果模型真的像“服務(wù)器上的人類”,它們的擴(kuò)散速度將難以置信地快。入職培訓(xùn)團(tuán)隊磨合無需擔(dān)心招聘到不合適的“員工”我們?yōu)槭裁从欣碛伞耙苿忧蜷T”當(dāng)模型已經(jīng)解決了我們過去認(rèn)為對AGI來說“足夠”的瓶頸(如常識、推理、小樣本學(xué)習(xí))時………但它們?nèi)匀晃茨墚a(chǎn)生AGI級別的經(jīng)濟(jì)影響………那么一個理性的反應(yīng)就是：“哦，原來智能和勞動比我之前想象的要復(fù)雜得多。”根據(jù)新的證據(jù)更新我們對AGI的定義，這不是自相矛盾，而是科學(xué)的思維方式。事實表明，我們之前的定義過于狹隘了。點一條清晰、普適的提升軌跡，其可預(yù)測性幾乎像物理定律。沒有任何公開、可靠的ScalingLaw。人們只是在“借用”預(yù)訓(xùn)練的聲望。獲得相當(dāng)于一次GPT級別迭代所帶來的提升?！泵抗P交易都虧錢，但我們靠走量來彌補(bǔ)沒關(guān)系，我靠走量來彌補(bǔ)!AI研究員：一個流行的反駁觀點：我們現(xiàn)在做這些笨拙的RL,是為了構(gòu)建一個超人的AI研究員，然后讓成千上萬個它的復(fù)制品去解決穩(wěn)健、高效的經(jīng)驗學(xué)習(xí)問題。邏輯漏洞：這個所謂的“自動化研究員”連兒童所具備的基本學(xué)習(xí)能力都沒有，卻要指望它去解決一個人類頂尖智慧百年來都未能攻克的難題(AGI算法)?這極其不合情理。缺失的一環(huán)：持續(xù)學(xué)習(xí)(ContinualLearning)持續(xù)學(xué)習(xí)這才是真正的瓶頸。它代表了智能體在工作中，通過以下方式學(xué)習(xí)的能力：賦予模型動態(tài)學(xué)習(xí)新技能和適應(yīng)新環(huán)境的賦予模型動態(tài)學(xué)習(xí)新技能和適應(yīng)新環(huán)境的預(yù)先烘焙一套固定的技能。能力提升/批量蒸餾能力提升/批量蒸餾編程代理體經(jīng)驗與知識經(jīng)驗與知識法律代理體第一步：大量持續(xù)學(xué)習(xí)的智能體被部署到不同崗位上，執(zhí)行任務(wù)井創(chuàng)造價值。第二步：它們將所有學(xué)習(xí)到的經(jīng)驗和知識帶回到一個“埠巢思維模型”。第三步：HiveMind對所有智能體的經(jīng)驗進(jìn)行“批量蒸餾”,提升整個系統(tǒng)的能力。GPT-3在2020年就展示了其強(qiáng)大能力，但我們至今仍在不斷完善它。2034,可能還需要5到10年的時間來逐步完善。2024初步實現(xiàn)不要期待第一個破解持續(xù)學(xué)習(xí)的模型會帶來失控式的收益。它將是一個逐步部署和迭代的過程。為什么競爭將持續(xù)激烈“贏家通吃”的論點為何站不住腳：以往被認(rèn)為是“飛輪效應(yīng)”的因素(如用戶交互數(shù)據(jù))并未阻止模型公司之間的競爭愈發(fā)激烈。三大模型公司是中輪動跑流現(xiàn)象和人才挖角的現(xiàn)象，導(dǎo)入在同附模型的投資尚上，這種挖角瓷至今有效的幞型，在其重氣任面前一個不載櫻型之激烈。硅谷的“謠言工廠”硅谷的現(xiàn)在中路正文的年鏖廣播介關(guān)于對，也要把靜利謠言會謠言。常規(guī)的逆向工程相在逆向工程中常覿造程疑作，三大研輪全公司的平面導(dǎo)上的一希望，通過胡功和上的實驗公每隔幾個月，三大模型公司就會輪流登上榜首。這種動態(tài)平衡至今有效地中和了任何單一實