大語言模型通識微課

大模型生成原理大語言模型的底層邏輯包括深度學習架構(gòu)、訓練機制與應用場景等。近年來，大模型取得顯著進展，通過擴大數(shù)據(jù)大小和模型大小，這些大模型提高了驚人的涌現(xiàn)能力，包括上下文學習（ICL）、指令微調(diào)和思維鏈（CoT）。另一方面，盡管大模型在大多數(shù)自然語言處理任務中表現(xiàn)出了令人驚訝的零樣本/少樣本推理性能，但天生對視覺“視而不見”，因為它們只能理解離散文本。微課3.1大模型生成原理簡單來說，GPT大模型是一種基于深度學習的自然語言處理模型，它生成文本（文生文）結(jié)果的原理，就是通過學習語言的規(guī)律，然后根據(jù)已有的語境（上文），預測下一個單詞（頻率），從而生成連貫的文本。這一點，和人類說話或?qū)懳恼率穷愃频?。圖3-1通過預測生成文本微課3.1大模型生成原理比如，人類對話中，“我”后面通常會跟“是”，“你”后面通常會跟“好”等等，這就是一種語言規(guī)律。GPT模型通過類似方式來學習語言規(guī)律。在模型訓練過程中，GPT模型會閱讀大量，甚至是數(shù)以億計的文本數(shù)據(jù)，從中學習到這些文本中非常復雜的語言規(guī)律。這就是為什么GPT模型可以生成非常自然、連貫文本的原理。微課3.1大模型生成原理GPT模型的內(nèi)部結(jié)構(gòu)由多層神經(jīng)網(wǎng)絡組成，每一層神經(jīng)網(wǎng)絡都可以抽取文本的某種特征。例如：·第一層神經(jīng)網(wǎng)絡抽取出單詞的拼寫規(guī)律；·第二層神經(jīng)網(wǎng)絡抽取出詞性的規(guī)律；·第三層神經(jīng)網(wǎng)絡抽取出句子的語法規(guī)律等等。通過層層抽取，GPT模型可以學習到深層次的語言規(guī)律。實際上，其工作原理還涉及到很多復雜的數(shù)學和計算機科學知識。微課3.1大模型生成原理大模型的上下文學習能力，簡單來說就是，對于一個預訓練好的大模型，遷移到新任務上的時候，并不需要重新訓練，而只需要給模型提供任務描述（可選項），輸入幾個示例（輸入-輸出對），最后加上要模型回答的查詢，模型就能為新輸入生成正確輸出查詢對應的答案，而不需要對模型做微調(diào)。GPT系列模型都屬于自回歸類，就是根據(jù)當前輸入預測下一個詞，然后將預測結(jié)果和輸入拼接再當作模型的輸入預測下一個詞，這樣循環(huán)往復。3.1.1上下文學習指令微調(diào)是一種通過在由(指令,輸出)對組成的數(shù)據(jù)集結(jié)構(gòu)上進一步訓練大模型的過程，以增強大模型的能力和可控性。其中，指令代表模型的人類指令，輸出代表遵循指令的期望輸出。這種結(jié)構(gòu)使得指令微調(diào)專注于讓模型理解和遵循人類指令。這個過程有助于彌合大模型的下一個詞預測目標與用戶讓大模型遵循人類指令的目標之間的差距。指令微調(diào)可以被視為有監(jiān)督微調(diào)的一種特殊形式。3.1.2指令微調(diào)舉個例子：公司門禁用了人臉識別，而你只提供一張照片，門禁系統(tǒng)就能從各個角度認出你，這就是單一樣本?？梢园褑我粯颖纠斫鉃橛?條數(shù)據(jù)微調(diào)模型。在人臉識別場景里，單一樣本很常見。在自然語言處理中，用百度百科的數(shù)據(jù)、新聞等訓練一個GPT模型，直接拿來做對話任務，這個就是零樣本（無監(jiān)督學習）。然后，發(fā)現(xiàn)里面胡說八道有點多，于是標注少量優(yōu)質(zhì)數(shù)據(jù)喂進去，這就是少樣本。少樣本時應該標注哪些數(shù)據(jù)，將它們跟強化學習結(jié)合起來，就是人類反饋強化學習，這是ChatGPT的核心技術(shù)。3.1.3零樣本/少樣本2021年8月份，李飛飛等學者聯(lián)名發(fā)表一份200多頁的研究報告《論基礎(chǔ)模型的機遇與風險》，詳細描述了當前大規(guī)模預訓練模型面臨的機遇和挑戰(zhàn)。在文章中，大模型被統(tǒng)一命名為“基礎(chǔ)模型”，論文肯定了基礎(chǔ)模型對智能體基本認知能力的推動作用。2017年Transformer結(jié)構(gòu)的提出，使得深度學習模型參數(shù)突破，大模型蓬勃發(fā)展，已經(jīng)出現(xiàn)多個參數(shù)超過千億的大模型。參數(shù)量多，學習的數(shù)據(jù)量更多，模型的泛化能力更強，也就是一專多能，可以完成多個不同的任務。3.1.4深度學習架構(gòu)（1）詞嵌入層。將文本中的每個詞匯轉(zhuǎn)化為高維向量，確保模型可以處理連續(xù)的符號序列。這些向量編碼詞匯本身的含義，還考慮潛在關(guān)聯(lián)。（2）位置編碼。為解決詞語順序問題，引入了位置編碼機制，允許模型理解并記住單詞之間的相對或絕對位置關(guān)系，使保留上下文信息。（3）自注意力機制。這是核心部件，通過計算輸入中每個位置的單詞與其他所有位置單詞的相關(guān)性，實現(xiàn)對句子全局建模。（4）前饋神經(jīng)網(wǎng)絡（FFN）。用于進一步提煉和組合特征，增強模型對復雜語言結(jié)構(gòu)的理解和表達能力。3.1.4深度學習架構(gòu)大量實驗證明，在高質(zhì)量的訓練語料進行指令微調(diào)的前提下，超過百億參數(shù)量的模型才具備一定的涌現(xiàn)能力，尤其是在一些復雜的推理任務上。然而，一般情況下人們并不具備如此大規(guī)模的計算資源。因此，要在訓練和推理兩個階段采用一些優(yōu)化策略，以滿足在有限計算資源條件下訓練大模型。（1）自我監(jiān)督學習。利用大規(guī)模無標簽文本數(shù)據(jù)進行預訓練時，主要采用如掩碼語言模型（MLM）或自回歸模型（GPT-style）等策略。MLM通過對部分詞匯進行遮蔽并讓模型預測被遮蔽的內(nèi)容來學習語言表征；而自回歸模型則是基于歷史信息預測下一個詞的概率。3.1.5訓練策略及優(yōu)化技術(shù)（2）微調(diào)階段。預訓練完成后，模型在特定任務上進行微調(diào)以適應具體需求。它涉及文本分類、問答系統(tǒng)、機器翻譯等各種下游任務，通過梯度反向傳播調(diào)整模型參數(shù)，提升任務性能。（3）