05人工智能技術(shù)的突破-大語言模型原理與訓(xùn)練021本章目標(biāo)理解大語言模型工程了解大語言模型的應(yīng)用了解大語言模型評估重點難點2/52引入數(shù)據(jù)工程（Data）能力（Capabilities）規(guī)模擴展（Scalingup）大模型的核心能力3/52大語言模型工程scalingUP大力出奇跡3-1ScalingLaw在人工智能領(lǐng)域，尤其是在大模型的發(fā)展中scalinglaw扮演著至關(guān)重要的角色。它描述了模型性能如何隨著模型規(guī)模（如參數(shù)數(shù)量）、數(shù)據(jù)量和計算資源的增加而提升。這一定律對于理解大模型的能力擴展和優(yōu)化訓(xùn)練策略具有重要意義。5/52scalingUP大力出奇跡3-2模型規(guī)模與性能計算資源與性能數(shù)據(jù)量與性能模型參數(shù)量增加通常會提升性能，但這種提升遵循冪律關(guān)系，即小幅度規(guī)模增加可能帶來較大性能改進，而規(guī)模進一步增加時，性能提升速率會逐漸放緩。訓(xùn)練數(shù)據(jù)量的增加也與模型性能的提升相關(guān)聯(lián)。更多的數(shù)據(jù)可以幫助模型學(xué)習(xí)更豐富的特征，但同樣存在一個飽和點，超過這個點后，性能提升的速率會減緩計算資源的增加，如更多的FLOPs（浮點運算次數(shù)），同樣與模型性能的提升相關(guān)。6/52scalingUP大力出奇跡3-3性能提升能力增強大模型參數(shù)量不斷增長，從億級到百億級性能提升顯著，超100B后邊際效益減弱。詞表從幾千詞擴大到幾萬甚至十幾萬詞，增強語義表達準(zhǔn)確性。詞向量維度從512維增至768、1024或2048維，提升語義捕捉能力，但過高維度會增計算開銷。Transformer模型層數(shù)從8層增至48層、96層甚至上百層，增強表達和泛化能力，但過多層數(shù)可能遇梯度消失等問題。當(dāng)模型規(guī)模超10B時，會出現(xiàn)能力涌現(xiàn)現(xiàn)象，即模型在訓(xùn)練時未被特別設(shè)計的能力，在實際使用時卻能表現(xiàn)出來。如GPT主要任務(wù)是預(yù)測下一個token，但達百億參數(shù)時，能進行上下文學(xué)習(xí)、具備推理能力、遵循指令生成內(nèi)容，甚至處理未訓(xùn)練過的新任務(wù)。能力涌現(xiàn)非絕對發(fā)生，但為大模型增添吸引力和應(yīng)用潛力。7/52data大語言模型的來源4-12134如圖書館的公開藏書、研究論文等數(shù)據(jù)公開數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)是大模型的主要數(shù)據(jù)來源，尤其是社交媒體、博客、新聞等文本數(shù)據(jù)?；ヂ?lián)網(wǎng)數(shù)據(jù)例如GitHub上的代碼數(shù)據(jù)，它對大模型的推理能力提升起到了重要作用。半公開數(shù)據(jù)未來可能包括圖像、視頻、語音等多模態(tài)數(shù)據(jù)，但如何有效結(jié)合這些數(shù)據(jù)以用于語言模型的訓(xùn)練仍在研究中。其他領(lǐng)域數(shù)據(jù)8/52data大語言模型的來源4-29/93數(shù)據(jù)來源說明維基百科在線百科,嚴謹圖書經(jīng)典為主的古登堡計劃和自助出版

平臺Smashwords等雜志期刊論文：ArXiv等鏈接WebText,RedditCommon

Crawl開源項目,爬取互聯(lián)網(wǎng)數(shù)據(jù)GitHub程序員聚集地合計700多GB,約有19萬套四大名著的閱讀量,5000億左右的token數(shù)量GPT-3的訓(xùn)練數(shù)據(jù)9/52data大語言模型的來源4-310/93語言過濾指標(biāo)過濾統(tǒng)計特征過濾關(guān)鍵詞過濾質(zhì)量過濾句子級別文檔級別數(shù)據(jù)集級別冗余去除隱私數(shù)據(jù)發(fā)現(xiàn)隱私數(shù)據(jù)消除隱私消除子詞詞元化字節(jié)對編碼wordpiece詞元切分小紅愛吃蘋果，**@她吃完蘋果會寫作業(yè)。小紅愛吃蘋果。她喜歡吃蘋果。小紅的身份證號是32343455.小紅愛吃蘋果。小紅/愛吃/蘋果數(shù)據(jù)處理流程10/52data大語言模型的來源4-4AB數(shù)據(jù)比例數(shù)據(jù)順序與輪次例如，維基百科、知乎、互聯(lián)網(wǎng)爬取的文本和代碼數(shù)據(jù)等，它們在訓(xùn)練中占據(jù)的比例會影響模型的文本生成能力、知識覆蓋面和推理能力。在訓(xùn)練時，數(shù)據(jù)被分批送入模型，不同類型數(shù)據(jù)的輸入順序及每輪訓(xùn)練中的數(shù)據(jù)比例是否一致，都會對模型的訓(xùn)練效果產(chǎn)生影響。數(shù)據(jù)混合策略11/52Capabilities：大語言模型的能力語言表達能力是模型最基本的能力。如ChatGPT等模型，早在2018年GPT-1就已展現(xiàn)此能力，能生成自然語言和代碼語言，未來或能理解動物語言。因語言模型本質(zhì)是建模語言規(guī)律，通過大量數(shù)據(jù)轉(zhuǎn)化為模型，使大語言模型在語言處理上出色。模型的推理能力是涌現(xiàn)能力，需100億級以上參數(shù)。目前的大模型中，10B以上的基本上都有一定的推理能力，得益于強化學(xué)習(xí)技術(shù)的突破，目前最強的是OpenAI的o1和DeepSeekR1。模型具備知識存儲能力，能存儲海量公開知識，如GPT-2可回答李白相關(guān)問題。但存在“幻覺”和災(zāi)難性遺忘問題，大模型在知識存儲上表現(xiàn)更佳。推理能力知識存儲能力語言表達能力12/52小結(jié)大語言模型工程如何處理大語言模型的訓(xùn)練數(shù)據(jù)？大語言模型有哪些能力？13/52大語言模型的應(yīng)用大語言模型應(yīng)用場景分析3-1如撰寫文章、編寫文案等文本生成將文本從一種語言翻譯成另一種語言翻譯對長文本進行概括，提取出主要內(nèi)容摘要對文本進行情感分析、主題分類等文本分析2341語言處理場景15/52大語言模型應(yīng)用場景分析3-2模型回答用戶提出的問題，提供準(zhǔn)確且相關(guān)的信息智能問答系統(tǒng)它能夠處理客戶的咨詢、問題解答和其他常見服務(wù)需求，減少人工客服的負擔(dān)，提高響應(yīng)速度和服務(wù)質(zhì)量客戶服務(wù)系統(tǒng)幫助企業(yè)和用戶分析數(shù)據(jù)趨勢、生成報告、提供商業(yè)洞察等，通常應(yīng)用于金融、市場研究等領(lǐng)域。智能數(shù)據(jù)分析助手231知識助手場景 16/52大語言模型應(yīng)用場景分析3-3模型將復(fù)雜的任務(wù)分解成多個可執(zhí)行的步驟，并依次執(zhí)行任務(wù)分解與執(zhí)行模型能夠理解編程語言，解釋代碼邏輯，甚至生成新的代碼代碼解釋與生成如調(diào)用代碼解釋器、使用軟件接口PlugIn等軟件接口操作231任務(wù)執(zhí)行場景17/52大語言模型應(yīng)用類型分析在模型即服務(wù)中，模型被打造成一種服務(wù)，通過API或其他形式提供給用戶使用。例如，OpenAI提供的API服務(wù)，開發(fā)者可以通過調(diào)用API來利用模型的強大能力進行各種自然語言處理任務(wù)。模型增強AI賦能指的是將大語言模型嵌入到現(xiàn)有的工作流程和工具中，以提高效率和質(zhì)量。這類應(yīng)用通過將模型與現(xiàn)有工具結(jié)合，實現(xiàn)工具功能的增強和流程的改進。AI賦能AI原生應(yīng)用是基于人工智能技術(shù)創(chuàng)造出的全新應(yīng)用場景和需求。這些應(yīng)用是完全依賴于人工智能技術(shù)的創(chuàng)新。如斯坦福小鎮(zhèn)的智能代理（Agent）應(yīng)用，靠多個智能代理協(xié)作完成復(fù)雜任務(wù)。AI原生18/52應(yīng)用方法19/93微調(diào)技術(shù)promptRAG在已有的預(yù)訓(xùn)練模型基礎(chǔ)上，使用特定任務(wù)的數(shù)據(jù)對模型進行再訓(xùn)練，以優(yōu)化其在該任務(wù)上的表現(xiàn)。結(jié)合檢索和生成的技術(shù)，通過檢索外部知識來增強模型的回答準(zhǔn)確性和相關(guān)性。設(shè)計特定的輸入提示來引導(dǎo)模型生成預(yù)期的輸出，常用于對話系統(tǒng)和文本生成。19/52大模型微調(diào)技術(shù)大模型微調(diào)微調(diào)是對預(yù)訓(xùn)練模型進行進一步訓(xùn)練的過程。被微調(diào)的模型可能是預(yù)訓(xùn)練的基座模型，也可能是已經(jīng)微調(diào)過的模型。微調(diào)的核心在于引入新數(shù)據(jù)，調(diào)整模型的訓(xùn)練數(shù)據(jù)分布，使模型參數(shù)進行適度變化。與完全重新訓(xùn)練不同，微調(diào)可以只對部分參數(shù)進行小幅度調(diào)整，以保留模型原有的知識和能力。20/52全量微調(diào)3-1"總結(jié)這篇文章的主要觀點。"[相應(yīng)的總結(jié)]"解釋光合作用的過程。"[關(guān)于光合作用的詳細解釋]指令遵循微調(diào)（SupervisedFine-Tuning,SFT）21/52全量微調(diào)3-2對齊微調(diào)（AlignmentFine-Tuning）22/52全量微調(diào)3-3全量微調(diào)的挑戰(zhàn)tokens選擇、隱私處理、混合策略、數(shù)據(jù)順序和訓(xùn)練輪次等batchsize、訓(xùn)練輪次、checkpoint設(shè)置等如QKV矩陣運算、自動微分、梯度計算等GPU利用率、顯存管理、精度選擇（如FP16、FP32或TF精度）等計算方法優(yōu)化超參數(shù)調(diào)整硬件參數(shù)優(yōu)化數(shù)據(jù)處理23/52高效微調(diào)5-124/52高效微調(diào)5-2132loraLoRA方法僅調(diào)整模型極小部分參數(shù)（通常為千分之一到千分之幾）。PromptTuning通過優(yōu)化輸入提示（prompt）來調(diào)整模型行為，而不直接修改模型參數(shù)。Adapter在原有模型層之間插入小型可訓(xùn)練模塊，僅訓(xùn)練這些新增模塊。25/52高效微調(diào)5-3準(zhǔn)備數(shù)據(jù)實現(xiàn)lora訓(xùn)練過程評估任務(wù)描述假設(shè)我們有一個在通用文本上預(yù)訓(xùn)練的大型語言模型（如BERT-large），現(xiàn)在我們想要將其應(yīng)用于電影評論的情感分析任務(wù)，但我們的計算資源有限。實現(xiàn)流程26/52高效微調(diào)5-4準(zhǔn)備數(shù)據(jù)收集一個包含標(biāo)記了積極/消極情感的電影評論數(shù)據(jù)集。實現(xiàn)LoRA在BERT的每個注意力層中添加LoRA模塊。設(shè)置LoRA的秩（rank）為8（這是一個較小的值，可以根據(jù)需要調(diào)整）。27/52高效微調(diào)5-5訓(xùn)練過程凍結(jié)原始BERT模型的所有參數(shù)。只訓(xùn)練新添加的LoRA參數(shù)和分類頭。使用電影評論數(shù)據(jù)集進行訓(xùn)練。評估在測試集上評估模型性能，比較與全量微調(diào)方法的差異。28/52全量微調(diào)與高效微調(diào)優(yōu)缺點全量微調(diào)優(yōu)點缺點性能最優(yōu)：能夠充分利用模型的所有參數(shù)，通常在特定任務(wù)上達到最佳性能計算資源消耗大：需要訓(xùn)練所有參數(shù)，對硬件資源要求高適應(yīng)性強：不受限于任務(wù)類型或數(shù)據(jù)集特性，適用范圍廣訓(xùn)練時間長：由于參數(shù)量大，訓(xùn)練過程耗時，不利于快速迭代無需額外優(yōu)化：直接對所有參數(shù)進行調(diào)整，無需復(fù)雜的優(yōu)化策略容易過擬合：在小規(guī)模數(shù)據(jù)集上容易出現(xiàn)過擬合高效微調(diào)計算資源消耗低：僅更新少量參數(shù)，顯著減少計算資源需求，適合在資源有限的環(huán)境中使用性能上限較低：在某些復(fù)雜任務(wù)上，可能無法達到全量微調(diào)的性能水平訓(xùn)練速度快：由于更新參數(shù)少，訓(xùn)練時間大幅縮短，適合快速迭代適應(yīng)性有限：對某些特定任務(wù)或數(shù)據(jù)集的適應(yīng)能力可能不如全量微調(diào)，尤其是在任務(wù)復(fù)雜或數(shù)據(jù)分布差異較大時泛化能力強：較少的參數(shù)更新降低了過擬合的風(fēng)險，尤其適用于小規(guī)模數(shù)據(jù)集優(yōu)化難度較高：部分高效微調(diào)方法（如PrefixTuning、P-tuning）需要對訓(xùn)練過程進行精細優(yōu)化29/52prompt工程2-1提示詞格式提示詞可以是一個單詞、一句話或一段文字。功能提示詞是用來引導(dǎo)人工智能模型生成特定內(nèi)容的文本輸入。結(jié)果通過提示詞，用戶可以指定生成內(nèi)容的主題、風(fēng)格或格式。30/52prompt工程2-2輸入觀察結(jié)果優(yōu)化提示詞提示詞工程初始化設(shè)計提示詞prompt格式：確定prompt的結(jié)構(gòu)和格式，例如，問題形式、描述形式、關(guān)鍵詞形式等。prompt內(nèi)容：選擇合適的詞語、短語或問題，以確保模型理解用戶的意圖。prompt上下文：考慮前文或上下文信息，以確保模型的回應(yīng)與先前的對話或情境相關(guān)。prompt編寫技巧：使用清晰、簡潔和明了的語言編寫prompt，以準(zhǔn)確傳達用戶的需求。獲取問題31/52為什么要用提示詞工程提高生成內(nèi)容的質(zhì)量和準(zhǔn)確性增強內(nèi)容的多樣性和創(chuàng)造性節(jié)省時間和提高效率適應(yīng)復(fù)雜和專業(yè)任務(wù)改善用戶體驗32/52RAG2-133/52RAG2-2RetrievalAugmentedGenerationFine-tuning原理RAG結(jié)合了檢索（Retrieval）和生成（Generation）兩部分。首先，它通過檢索模塊從外部知識庫中獲取相關(guān)信息，然后將這些信息作為上下文傳遞給生成模塊，用于生成回答。Fine-tuning是對預(yù)訓(xùn)練語言模型進行再訓(xùn)練，使其在特定領(lǐng)域或特定任務(wù)上表現(xiàn)更好。通過在包含領(lǐng)域特定知識和問題的訓(xùn)練數(shù)據(jù)上進行微調(diào)，模型可以更準(zhǔn)確地回答相關(guān)問題，減少幻覺現(xiàn)象。實現(xiàn)方式檢索模塊生成模塊選擇預(yù)訓(xùn)練模型準(zhǔn)備領(lǐng)域特定數(shù)據(jù)微調(diào)訓(xùn)練應(yīng)用場景適用于需要動態(tài)獲取最新信息的場景，如實時新聞、問答系統(tǒng)。適用于知識庫比較完善且易于更新的系統(tǒng)。適用于特定領(lǐng)域的應(yīng)用，如醫(yī)學(xué)、法律等。適用于數(shù)據(jù)量較大且領(lǐng)域知識穩(wěn)定的場景。區(qū)別依賴性：RAG依賴于外部知識庫的檢索，而Fine-tuning依賴于高質(zhì)量的領(lǐng)域特定數(shù)據(jù)。靈活性：RAG更靈活，可以動態(tài)獲取最新信息；Fine-tuning依賴于訓(xùn)練時的數(shù)據(jù)，更新較為困難。實現(xiàn)復(fù)雜度：RAG需要構(gòu)建和維護檢索系統(tǒng)，F(xiàn)ine-tuning需要大量高質(zhì)量標(biāo)注數(shù)據(jù)和計算資源進行再訓(xùn)練。RAG與Fine-tuning對比34/52RAG的工作原理6-1數(shù)據(jù)輸入獲取案例用戶輸入：“人工智能的發(fā)展歷程是怎樣的？”文檔方面：準(zhǔn)備人工智能相關(guān)的資料35/52RAG的工作原理6-2信息檢索-檢索相關(guān)文檔文檔切分：將長文檔切分成較小的段落或片段。文本向量：將輸入問題和知識庫文檔轉(zhuǎn)換為向量表示。知識庫和向量數(shù)據(jù)：構(gòu)建和存儲包含向量表示的知識庫。檢索和排序：根據(jù)輸入問題檢索和排序相關(guān)文檔片段。36/52RAG的工作原理6-3信息檢索-檢索相關(guān)文檔案例系統(tǒng)從知識庫中檢索相關(guān)的文檔。例如，檢索到以下文檔：文檔A：介紹了人工智能的起源和早期發(fā)展。文檔B：討論了人工智能在20世紀末的突破。文檔C：描述了近年來深度學(xué)習(xí)的發(fā)展及其影響。37/52RAG的工作原理6-4答案生成prompt預(yù)處理答案生成答案篩選格式化輸出輸出答案38/52RAG的工作原理6-5答案生成案例答案可能是：“人工智能的發(fā)展歷程可以分為幾個階段：起源和早期發(fā)展、20世紀末的突破、以及近年來的深度學(xué)習(xí)革命。這些階段共同推動了人工智能技術(shù)的快速發(fā)展和應(yīng)用?！?9/52RAG的工作原理6-640/52RAG最適合的應(yīng)用場景動態(tài)知識環(huán)境在需要頻繁更新知識庫或處理最新信息的場景中，RAG表現(xiàn)出色。開放域問答當(dāng)系統(tǒng)需要回答廣泛且不可預(yù)測的問題時，RAG能夠靈活地檢索和整合相關(guān)信息。專業(yè)領(lǐng)域應(yīng)用在醫(yī)療、法律、金融等專業(yè)領(lǐng)域，RAG可以有效結(jié)合專業(yè)知識庫和語言模型，提供準(zhǔn)確的專業(yè)回答。大規(guī)模信息處理對于需要從海量文檔中快速提取信息的場景，如企業(yè)知識管理、學(xué)術(shù)研究等，RAG能夠顯著提高效率。個性化服務(wù)在需要根據(jù)用戶背景或歷史交互提供定制化回答的應(yīng)用中，RAG可以有效整合用戶相關(guān)信息。41/52RAG實際應(yīng)用場景客戶服務(wù)系統(tǒng)科研文獻助手法律咨詢系統(tǒng)醫(yī)療診斷輔助企業(yè)知識管理系統(tǒng)RAG可以協(xié)助律師快速檢索相關(guān)法律條文、判例和解釋，提供更準(zhǔn)確的法律建議。RAG可以幫助客服人員快速檢索產(chǎn)品信息，提供準(zhǔn)確的客戶支持。在科研領(lǐng)域，RAG可以幫助研究人員快速定位和綜合大量學(xué)術(shù)文獻中的關(guān)鍵信息。通過檢索最新的醫(yī)學(xué)文獻和病例，輔助醫(yī)生進行診斷和治療決策。在大型企業(yè)中，RAG技術(shù)可以有效整合和利用企業(yè)內(nèi)部的龐大知識庫。42/52RAG技術(shù)的擴充知識預(yù)處理語義向量化實時語義搜索答案生成在系統(tǒng)部署前，整理常見問題和標(biāo)準(zhǔn)答案，建立高質(zhì)量的問答對數(shù)據(jù)庫。用戶提問時，在向量數(shù)據(jù)庫中進行語義搜索，匹配用戶問題與預(yù)存的問答對。將預(yù)處理后的問答對轉(zhuǎn)化為向量形式，存儲在向量數(shù)據(jù)庫中。將匹配到的答案交給模型，進行自然語言生成，使答案更貼近人類語言表達。靜態(tài)知識庫檢索步驟43/52RAG技術(shù)的擴充RAG技術(shù)框架智能代理型RAG通過集成動態(tài)代理進行實時調(diào)整，能夠自動適應(yīng)用戶的需求和上下文變化。糾錯型RAG旨在通過反饋機制不斷改進生成結(jié)果。模型生成的初始內(nèi)容會經(jīng)過反饋循環(huán)進行調(diào)整，以確保最終輸出的準(zhǔn)確性,特別適用于需要高準(zhǔn)確度的領(lǐng)域。智能代理型RAG糾錯型RAG在圖譜RAG中，模型通過動態(tài)構(gòu)建知識圖譜（KnowledgeGraph），鏈接相關(guān)實體以提升檢索的效率和準(zhǔn)確度。融合型RAG利用多個檢索源同時提供信息，生成更全面的回答。根據(jù)用戶查詢動態(tài)調(diào)整檢索策略，減少對單一數(shù)據(jù)源的依賴，提供多源檢索，增加生成結(jié)果的多樣性與完整性。圖譜RAG融合型RAG推測型RAG通過并行生成多個草稿并采用驗證模型，提升生成效率和質(zhì)量，提高了生成速度并保持較高的準(zhǔn)確性，特別適用于需要快速生成內(nèi)容的應(yīng)用場景。自增強型RAG利用先前生成的內(nèi)容作為下一輪檢索的基礎(chǔ)，不斷提升生成的上下文一致性與準(zhǔn)確性。推測型RAG自增強型RAG44/52RAG的優(yōu)勢與局限優(yōu)勢局限提高回答準(zhǔn)確性：通過引入外部知識，減少知識幻覺計算資源需求：實時檢索和知識整合需要較高的計算資源。增強專業(yè)性：能夠處理特定領(lǐng)域的專業(yè)問題。知識庫質(zhì)量依賴：系統(tǒng)性能很大程度上取決于知識庫的質(zhì)量和全面性。實時性：可以利用最新更新的知識庫內(nèi)容。潛在的檢索偏差：檢索結(jié)果可能不完全匹配用戶意圖，影響回答質(zhì)量。靈活性：適應(yīng)各種類型的查詢，包括開放性問題。RAG優(yōu)勢與局限45/52小結(jié)大語言模型應(yīng)用lora微調(diào)的技術(shù)原理是什么？rag的具體的工作流程是怎