微課視頻：唐杰談GLM教材《機器學(xué)習(xí)(Python版)》ML唐杰ML圖1：JieTang(Tang,Jie)唐杰（清華大學(xué)計算機科學(xué)與技術(shù)系長聘教授，智源研究院副院長）大模型發(fā)展回顧ML算法之戰(zhàn)（2018—2020）：基于Transformer的BERT、GPT/GPT-2/GPT-3、T5等基于大規(guī)模無標注數(shù)據(jù)自監(jiān)督學(xué)習(xí)的大規(guī)模預(yù)訓(xùn)練算法。唐杰團隊研發(fā)了屬于自己的算法GLM(GeneralLanguageModel)，該算法結(jié)合了BERT和GPT的優(yōu)勢。MLML模型之戰(zhàn)（2020—2022）：2020年的GPT-3（擁有1750億參數(shù)）可以看作這一戰(zhàn)的起點，它開啟了基座模型的新時代，在語言生成、上下文學(xué)習(xí)和知識（常識）理解等方面展現(xiàn)出驚人的能力。很多人喜歡把這一年叫做大模型元年。谷歌、Meta等公司開始不斷發(fā)布百億到千億的大型語言模型。開源大語言模型也開始受到關(guān)注。2022年，清華大學(xué)和智譜AI開源了基于GLM算法訓(xùn)練的千億基座模型GLM-130B。ML大模型發(fā)展回顧ML產(chǎn)業(yè)落地之戰(zhàn)（2023）：2022年11月30日ChatGPT發(fā)布。2023年2月初就研發(fā)出了第一代ChatGLM，是國內(nèi)最早可以線上測試使用的千億級對話模型。2023年8月基于ChatGLM開發(fā)的智譜清言通過國家第一批《生成式人工智能服務(wù)管理暫行辦法》備案認證，正式面向公眾上線使用。隨后，國內(nèi)呈現(xiàn)“百模大戰(zhàn)”。ML大模型發(fā)展回顧MLGPT系列模型與GLM系列模型的對比：ML大模型發(fā)展回顧ML基礎(chǔ)能力對比測試結(jié)果（英文）：MLGLM能力測試ML對齊能力對比測試結(jié)果（中文，數(shù)據(jù)集AlignBench）：MLGLM能力測試ML長文本能力對比測試結(jié)果（中文，數(shù)據(jù)集LongBench、NeedleTest）：MLGLM能力測試ML多模態(tài)能力——文生圖性能評測（SDXL是開源最佳模型）：MLGLM能力測試ML智能體能力——AllTools：MLGLM能力測試ML智能體能力——網(wǎng)頁瀏覽（左）和函數(shù)調(diào)用（右）：MLGLM能力測試ML智能體能力案例：“查詢一下全球近年的GDP。分析這些數(shù)據(jù)中哪些年份GDP下降了，畫折線圖并將下降的年份標紅”MLGLM能力測試未來展望ML未來AGI之路在哪里？在美國，OpenAI、GoogleDeepMind、Anthropic、Meta、xAI、斯坦福等公司和科研機構(gòu)基本上形成了國際頂尖的大模型團隊，這源于它們對創(chuàng)新型頂尖人才的匯聚，以及對基于大模型的AGI之路的執(zhí)著和技術(shù)積累。OpenAI曾經(jīng)在看不到前景和沒有明顯效果的階段(2018~2021年)，仍然堅定地投入大量人力和算力，這種長期的堅持和純粹的創(chuàng)新精神是成功的必要條件。ML未來展望MLAGI是否能夠通過大模型的縮放定律(ScalingLaws)來實現(xiàn)？縮放定律描述了大模型性能與其參數(shù)量、數(shù)據(jù)規(guī)模、計算量之間的關(guān)系。雖然備受質(zhì)疑，但直到今天，可能高質(zhì)量的縮放仍然是提高大模型性能的重要方法。ML未來展望MLAGI也需要參考人腦智能的實現(xiàn)機理：基于大模型的AGI或者說機器智能不一定要和人腦認知的機理一樣，但剖析人腦的工作機理也許可以更好地啟發(fā)AGI的實現(xiàn)。ML未來展望ML新型原生多模態(tài)基座模型：目前的大模型主要基于Transformer架構(gòu)，有三種主流架構(gòu)：編碼器(encoder-only，例如BERT)、編碼器-解碼器(encoder-decoder，例如T5)，以及解碼器(decoder-only，例如GPT)。如何從本質(zhì)上改進預(yù)訓(xùn)練模型的基座能力，實現(xiàn)Transformer架構(gòu)上的顛覆式創(chuàng)新還存在巨大挑戰(zhàn)。ML未