大語(yǔ)言模型

（largelanguagemodel,LLM）張杲峰，劉剛，周慶國(guó)人民郵電出版社2025神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(微課)內(nèi)容概要大語(yǔ)言模型簡(jiǎn)介大語(yǔ)言模型的定義大語(yǔ)言模型的預(yù)訓(xùn)練和微調(diào)基于HuggingFaceTransformers的應(yīng)用開(kāi)發(fā)基于HuggingFaceTransformers的應(yīng)用案例神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)2大語(yǔ)言模型簡(jiǎn)介T(mén)ransformer模型為更大規(guī)模的語(yǔ)言模型提供了可擴(kuò)展的架構(gòu)基礎(chǔ)。當(dāng)基于Transformer的模型參數(shù)量突破10億級(jí)別時(shí)，模型展現(xiàn)出傳統(tǒng)小模型不具備的涌現(xiàn)能力(emergentabilities)——這種規(guī)模效應(yīng)推動(dòng)了大語(yǔ)言模型（largelanguagemodel,LLM）的誕生。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)3大語(yǔ)言模型簡(jiǎn)介涌現(xiàn)出了眾多大語(yǔ)言模型OpenAI的GPT系列、Google的PaLM等、深度求索（DeepSeek）的DeepSeek-R1、百度的文心大模型和阿里巴巴的通義千問(wèn)等等。國(guó)產(chǎn)模型不僅具備與國(guó)際先進(jìn)水平相當(dāng)?shù)哪芰?，還在中文理解、本土知識(shí)融合等方面展現(xiàn)出獨(dú)特優(yōu)勢(shì)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)4大語(yǔ)言模型的定義大語(yǔ)言模型是基于深度學(xué)習(xí)架構(gòu)構(gòu)建的、參數(shù)量級(jí)達(dá)到或超過(guò)10億的統(tǒng)計(jì)語(yǔ)言模型，這類(lèi)模型通過(guò)自監(jiān)督學(xué)習(xí)范式，在超大規(guī)模文本語(yǔ)料（通?！?TB）上進(jìn)行訓(xùn)練。核心架構(gòu)普遍采用Transformer網(wǎng)絡(luò)結(jié)構(gòu)。大語(yǔ)言模型擁有三個(gè)顯著的特征：規(guī)模驅(qū)動(dòng)的能力涌現(xiàn)、基于上下文的任務(wù)泛化和人機(jī)交互的語(yǔ)義對(duì)齊。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5大語(yǔ)言模型的定義大語(yǔ)言模型的標(biāo)度率(scalinglaw)當(dāng)模型參數(shù)量突破10億級(jí)別（如GPT-3的1750億參數(shù)）并配合TB級(jí)數(shù)據(jù)訓(xùn)練時(shí)，會(huì)出現(xiàn)傳統(tǒng)小模型不具備的涌現(xiàn)能力。這種性能提升與模型規(guī)模、數(shù)據(jù)量和計(jì)算量遵循冪律關(guān)系，這被稱(chēng)為大語(yǔ)言模型的標(biāo)度率(scalinglaw)。具體表現(xiàn)為在如數(shù)學(xué)推理、多語(yǔ)言翻譯等未專(zhuān)門(mén)訓(xùn)練的任務(wù)上，模型突然展現(xiàn)出接近人類(lèi)水平的性能。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)6大語(yǔ)言模型的定義大語(yǔ)言模型通過(guò)提示工程(promptengineering)通過(guò)提示工程，LLM實(shí)現(xiàn)了前所未有的任務(wù)泛化能力。與傳統(tǒng)模型需要針對(duì)每個(gè)任務(wù)重新訓(xùn)練不同，大模型僅需調(diào)整輸入文本的提示詞（prompt），就能靈活切換問(wèn)答、摘要、翻譯等不同功能。這種特性源于訓(xùn)練過(guò)程中對(duì)海量異構(gòu)數(shù)據(jù)的學(xué)習(xí)，使模型構(gòu)建了覆蓋語(yǔ)法、邏輯、領(lǐng)域知識(shí)的通用表征。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)7大語(yǔ)言模型的定義人類(lèi)反饋強(qiáng)化學(xué)習(xí)(reinforcementlearningfromhumanfeedback，RLHF)大語(yǔ)言模型還通過(guò)人類(lèi)反饋強(qiáng)化學(xué)習(xí)(reinforcementlearningfromhumanfeedback，RLHF)實(shí)現(xiàn)了行為模式的優(yōu)化對(duì)齊。該技術(shù)讓模型不僅能理解字面語(yǔ)義，還能捕捉人類(lèi)偏好和倫理準(zhǔn)則。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)8大語(yǔ)言模型的預(yù)訓(xùn)練和微調(diào)大語(yǔ)言模型采用預(yù)訓(xùn)練（pre-training）-微調(diào)（fine-tuning）的范式預(yù)訓(xùn)練在大規(guī)模文本數(shù)據(jù)上，通過(guò)自監(jiān)督學(xué)習(xí)——如掩碼語(yǔ)言建模（maskedlanguagemodeling,MLM）或自回歸預(yù)測(cè)（autoregressivemodeling）——訓(xùn)練模型，構(gòu)建通用表征空間，使其學(xué)習(xí)通用的語(yǔ)言理解和生成能力。微調(diào)在預(yù)訓(xùn)練模型的基礎(chǔ)上，用特定領(lǐng)域或任務(wù)的標(biāo)注數(shù)據(jù)集，通過(guò)監(jiān)督學(xué)習(xí)進(jìn)行二次訓(xùn)練，實(shí)現(xiàn)任務(wù)特定空間的適應(yīng)性映射，從而使其更適配特定需求。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)9基于HuggingFaceTransformers的應(yīng)用開(kāi)發(fā)HuggingFaceHuggingFace是一個(gè)開(kāi)源社區(qū)驅(qū)動(dòng)的人工智能平臺(tái)，在大語(yǔ)言模型和自然語(yǔ)言處理領(lǐng)域占據(jù)著舉足輕重的地位。HuggingFace提供了一整套完善的工具鏈Transformers庫(kù)ModelHub模型倉(cāng)庫(kù)Datasets數(shù)據(jù)集庫(kù)InferenceAPI神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)10基于HuggingFaceTransformers的應(yīng)用開(kāi)發(fā)Transformers庫(kù)Transformers是一個(gè)開(kāi)源Python庫(kù)，提供了訪問(wèn)和使用預(yù)訓(xùn)練語(yǔ)言模型的標(biāo)準(zhǔn)接口。開(kāi)發(fā)者可以通過(guò)統(tǒng)一的API調(diào)用BERT、GPT、T5等各類(lèi)Transformer架構(gòu)模型。Transformers庫(kù)將模型加載、分詞處理、訓(xùn)練和推理等流程封裝為簡(jiǎn)潔易用的組件。庫(kù)內(nèi)置的pipeline()函數(shù)進(jìn)一步簡(jiǎn)化了常見(jiàn)NLP任務(wù)（如文本分類(lèi)、命名實(shí)體識(shí)別）的開(kāi)發(fā)流程，只需幾行代碼即可實(shí)現(xiàn)端到端應(yīng)用。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)11基于HuggingFaceTransformers的應(yīng)用開(kāi)發(fā)ModelHub倉(cāng)庫(kù)ModelHub是一個(gè)開(kāi)放的模型倉(cāng)庫(kù)，托管了超過(guò)20萬(wàn)個(gè)預(yù)訓(xùn)練模型，涵蓋NLP、計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等多個(gè)領(lǐng)域。ModelHub采用社區(qū)驅(qū)動(dòng)的模式，研究人員和開(kāi)發(fā)者可以自由上傳、下載、分享和復(fù)現(xiàn)模型。ModelHub支持版本控制和模型卡片（modelcard）機(jī)制，確保模型的可追溯性和可重復(fù)性。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)12基于HuggingFaceTransformers的應(yīng)用開(kāi)發(fā)Datasets庫(kù)Datasets庫(kù)是HuggingFace生態(tài)系統(tǒng)中專(zhuān)門(mén)用于數(shù)據(jù)集管理的工具庫(kù)。提供1,000多個(gè)經(jīng)過(guò)標(biāo)準(zhǔn)化的數(shù)據(jù)集，覆蓋文本、圖像、音頻等多種模態(tài)，包括GLUE、SQuAD等知名基準(zhǔn)數(shù)據(jù)集。Datasets庫(kù)采用創(chuàng)新的內(nèi)存映射技術(shù)實(shí)現(xiàn)高效數(shù)據(jù)加載，即使處理超大規(guī)模數(shù)據(jù)集也不會(huì)耗盡內(nèi)存。庫(kù)內(nèi)置豐富的數(shù)據(jù)處理方法。數(shù)據(jù)集版本控制功能確保實(shí)驗(yàn)可復(fù)現(xiàn)。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)13基于HuggingFaceTransformers的應(yīng)用開(kāi)發(fā)InferenceAPIInferenceAPI是一項(xiàng)托管的模型部署服務(wù)，允許開(kāi)發(fā)者將機(jī)器學(xué)習(xí)模型快速轉(zhuǎn)化為可調(diào)用的WebAPI。這項(xiàng)服務(wù)支持直接從ModelHub部署模型，無(wú)需配置服務(wù)器環(huán)境或擔(dān)心GPU資源管理。InferenceAPI能夠根據(jù)請(qǐng)求量動(dòng)態(tài)調(diào)整計(jì)算資源，既保證服務(wù)可用性又優(yōu)化成本。InferenceAPI支持多種任務(wù)類(lèi)型，包括文本生成、圖像分類(lèi)和語(yǔ)音識(shí)別等，并可通過(guò)簡(jiǎn)單的HTTP請(qǐng)求調(diào)用。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)14基于HuggingFaceTransformers的應(yīng)用案例使用DistilBERT實(shí)現(xiàn)情感分析使用蒸餾版BERT（DistilBERT）實(shí)現(xiàn)情感分析。通過(guò)知識(shí)蒸餾技術(shù)，DistilBERT將BERT模型壓縮40%，在保持90%以上準(zhǔn)確率的同時(shí)大幅降低計(jì)算開(kāi)銷(xiāo)。本案例通過(guò)使用Pipeline，僅需很少代碼即可完成模型加載和預(yù)測(cè)，CPU環(huán)境下單次推理需約400ms。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)15#導(dǎo)入pipelinefromtransformersimportpipeline

#加載大模型classifier=pipeline("text-classification",#task，指定任務(wù)類(lèi)型，如：#"text-classification"（文本分類(lèi)）#"question-answering"（問(wèn)答）#"text-generation"（文本生成）model="distilbert-base-uncased-finetuned-sst-2-english"#指定模型名稱(chēng)（HuggingFaceHub路徑）或本地路徑)

result=classifier("Thismovieisfantastic!")print(result)

[輸出][{'label':'POSITIVE','score':0.9998828172683716}]基于HuggingFaceTransformers的應(yīng)用案例使用DistilBERT實(shí)現(xiàn)情感分析模型名稱(chēng)DistilBERT-base-uncased-finetuned-sst-2-english的“uncased”表示模型在訓(xùn)練時(shí)忽略字母大小寫(xiě)差異，“finetuned-sst-2”說(shuō)明該版本已在斯坦福情感樹(shù)庫(kù)（SST-2）的二分類(lèi)任務(wù)上進(jìn)行了微調(diào)，專(zhuān)門(mén)用于英語(yǔ)文本的情感分析（正面/負(fù)面分類(lèi)）。輸出分類(lèi)為正面（POSITIVE），置信度達(dá)到99.99%。神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)16#導(dǎo)入pipelinefromtransformersimportpipeline

#加載大模型classifier=pipeline("text-classification",#task，指定任務(wù)類(lèi)型，如：#"text-classification"（文本分類(lèi)）#"question-answering"（問(wèn)答）#"text-generation"（文本生成）model="distilbert-base-uncased-finetuned-sst-2-english"#指定模型名稱(chēng)（HuggingFaceHub路徑）或本地路徑)

result=classifier("Thismovieisfantastic!")print(result)

[輸出][{'label