電子工業(yè)出版社03大語言模型01.大語言模型的基本概念目錄CONTENTS02.大模型的分類03.大語言模型產(chǎn)品04.大模型與人工智能的關(guān)系大語言模型的基本概念認(rèn)識(shí)大語言模型大語言模型是指使用大量文本數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)模型，使得該模型可以生成自然語言文本或理解語言文本的含義。核心思想通過海量文本數(shù)據(jù)大規(guī)模的無監(jiān)督訓(xùn)練學(xué)習(xí)自然語言的模式和結(jié)構(gòu)，能夠精準(zhǔn)捕捉自然語言中的語法規(guī)則、語義關(guān)聯(lián)、語境信息以及語言模式等復(fù)雜特征。優(yōu)化與調(diào)整大語言模型通過不斷調(diào)整自身的參數(shù)，以最小化預(yù)測(cè)誤差，從而在一定程度上模擬人類的語言認(rèn)知和生成過程。這種模擬并非完全等同于人類的語言能力，但在許多任務(wù)上已經(jīng)達(dá)到了令人驚嘆的水平

大模型的發(fā)展歷程0102

大模型的發(fā)展歷程0102Google發(fā)表了《Attentionisallyouneed》該論文提出的Attention機(jī)制和基于此機(jī)制的Transformer架構(gòu)，大大提高了訓(xùn)練效率和模型性能，開啟了大語言模型的研究和發(fā)展時(shí)代。01Transformer革命（2017）大規(guī)模預(yù)訓(xùn)練，Google的BERT-Large（3.4億）OpenAI的GPT-2（15億），我國清華大學(xué)、百度和華為起步，并嶄露頭角。02預(yù)訓(xùn)練Transformer模型時(shí)代（2018-2020）為了提高質(zhì)量，采用監(jiān)督微調(diào)（SFT）和基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）技術(shù)，2022年11月，OpenAI

GPT-3.5橫空出世，僅僅兩個(gè)月用戶就突破了1億，讓人們深刻意識(shí)到AI領(lǐng)域即將迎來重大變革，意味著大語言模型時(shí)代的到來。03后訓(xùn)練對(duì)齊(2021–2022)

大模型的發(fā)展歷程0102通過整合來自不同模態(tài)的數(shù)據(jù)（如圖像、文字、音頻、視頻等），從而增強(qiáng)模型的理解能力和推理能力。2023年，OpenAI推出了GPT-4V，將語言能力與計(jì)算機(jī)視覺相結(jié)合，能夠解釋圖像、生成標(biāo)題和回答視覺問題。04多模態(tài)模型（2023-2024）2024年，OpenAI發(fā)布了O1模型，該模型通過思維鏈過程增強(qiáng)推理能力，使其能夠?qū)?fù)雜問題分解為更小的步驟，逐步推理得出答案，展示了AI在深度推理和問題解決方面的巨大潛力。05推理模型（2024）2025年1月，我國深度求索公司發(fā)布了DeepSeek-R1模型，標(biāo)志著成本效率的一大飛躍。該模型利用專家混合架構(gòu)和優(yōu)化算法，在達(dá)到同等推理效果的情況下，與許多美國模型相比，運(yùn)營成本降低了多達(dá)50倍。06成本高效的推理模型（2025）

大語言模型的特點(diǎn)01巨大的規(guī)模強(qiáng)大的語言理解和生成能力上下文感知能力泛化能力強(qiáng)參數(shù)達(dá)到數(shù)千億。規(guī)模優(yōu)勢(shì)使得模型能夠捕捉到更加豐富的語言知識(shí)和復(fù)雜的語法結(jié)構(gòu)，為高水平的語言理解和生成能力奠定了基礎(chǔ)。能夠精準(zhǔn)解析語義，可生成高質(zhì)量的流暢文本，涵蓋文章、對(duì)話、代碼等多種形式。能夠基于前文內(nèi)容生成邏輯連貫的后續(xù)文本。這一特性使其在對(duì)話系統(tǒng)、長文生成和情境化任務(wù)中表現(xiàn)出色?？缛蝿?wù)遷移：有效應(yīng)用于未見過的具體任務(wù)，多領(lǐng)域適配：適應(yīng)多種語言風(fēng)格（如學(xué)術(shù)寫作、日常對(duì)話）和領(lǐng)域（如醫(yī)療、法律、技術(shù)文檔）020304涌現(xiàn)能力模型規(guī)模達(dá)到臨界閾值后，LLM會(huì)表現(xiàn)出令人矚目的涌現(xiàn)能力，即某些高級(jí)語言處理能力（如復(fù)雜推理、跨領(lǐng)域知識(shí)遷移）05大語言模型的特點(diǎn)06多模態(tài)支持?預(yù)訓(xùn)練和微調(diào)?逐步推理多領(lǐng)域應(yīng)用支持文本、圖像、語音等跨模態(tài)數(shù)據(jù)的處理預(yù)訓(xùn)練階段：形成強(qiáng)大的語言表征能力。微調(diào)階段：針對(duì)特定任務(wù)，實(shí)現(xiàn)通用能力與領(lǐng)域需求的平衡。借助“思維鏈”策略，LLM能夠通過多步邏輯推導(dǎo)解決復(fù)雜問題，文本生成、教育輔導(dǎo)、醫(yī)療報(bào)告生成、法律合同審查、代碼輔助編寫等，提升了各行業(yè)的效率與智能化水平。070809大模型分類大語言模型可根據(jù)應(yīng)用領(lǐng)域分為通用語言模型、多模態(tài)模型和領(lǐng)域?qū)Ｓ媚Ｐ桶磻?yīng)用領(lǐng)域劃分01大語言模型按照技術(shù)路線分為自回歸模型、自編碼模型和混合架構(gòu)模型按技術(shù)路線劃分03大模型按照開源的程度可以劃分為開源模型、半開源模型和閉源模型按開源程度劃分04根據(jù)訓(xùn)練數(shù)據(jù)的類型，大語言模型分為純文本模型、多模態(tài)數(shù)據(jù)模型和多語言模型。按訓(xùn)練數(shù)據(jù)類型劃分02大語言模型的分類國內(nèi)主要模型1DeepSeek（深度求索）

2文心一言/3通義千問

/qianwen/4訊飛星火

/5智譜清言

/6豆包

/7盤古大模型

/product/pangu大語言模型產(chǎn)品國外主要模型1

GPT系列/2Llama系列/3Geminihttps://ai.google/discover/gemini4Claude/claude大語言模型產(chǎn)品GPT介紹OpenAI公司于2018年推出首個(gè)GPT模型，該模型基于Transformer架構(gòu)，擁有1.17億參數(shù),2022年發(fā)布的ChatGPT，迅速成為里程碑性的產(chǎn)品，2023年的GPT-4及后續(xù)版本支持多模態(tài)輸入（文本、圖像），參數(shù)規(guī)模和性能進(jìn)一步提升。GPT有著很大的歷史地位與影響，包括技術(shù)突破的里程碑、技術(shù)范式的革新者、產(chǎn)業(yè)變革的催化劑，是本輪AI產(chǎn)業(yè)革面發(fā)展的核心推動(dòng)力量。DeepSeek介紹深度求索公司2023推出首個(gè)開源模型DeepSeekCoder，2024年12月-2025年1月，先后推出DeepSeek-V3和DeepSeek-R1的開源推理模型，成本僅為OpenAI同類模型的1/20，由于其開源與低成本，引發(fā)了全球下載熱潮。成為大模型發(fā)展歷史上重要的里程碑產(chǎn)品，其歷史地位與作用包括全球AI格局重塑、推動(dòng)AI普惠化、成為競(jìng)爭(zhēng)力全球領(lǐng)先地位、對(duì)于保障我國國家信息安全和科技安全具有重要的戰(zhàn)略意義。大語言模型產(chǎn)品

大語言模型是AI的子領(lǐng)域，屬于自然語言處理領(lǐng)域，是人工智能技術(shù)的重要組成部分，是技術(shù)發(fā)展到深度學(xué)習(xí)階段的核心成果之一。從屬關(guān)系LLM是基于AI技術(shù)框架深化發(fā)展而來的，是以大量的AI技術(shù)為基礎(chǔ)的，同時(shí)也推動(dòng)了人工智能技術(shù)的發(fā)展。技術(shù)實(shí)現(xiàn)層面的聯(lián)系大模型與人工智能01020304

1．技術(shù)突破：主要包括參數(shù)規(guī)模效應(yīng)和多模態(tài)擴(kuò)展。2．應(yīng)用場(chǎng)景擴(kuò)展：推動(dòng)生產(chǎn)力工具發(fā)展、推動(dòng)對(duì)各個(gè)行業(yè)賦能、日常工作優(yōu)化高效3．引發(fā)AI研究范式轉(zhuǎn)變從“任務(wù)專用模型”轉(zhuǎn)向“通用基座模型+垂直微調(diào)”的技術(shù)路線。從“算法設(shè)計(jì)”向“數(shù)據(jù)工程、算力優(yōu)化、對(duì)齊（Alignment）”的全鏈條研究。大模型對(duì)AI發(fā)展的推動(dòng)作用1．與“強(qiáng)人工智能”的差距主要在模型解釋性和“幻覺”兩方面存在差距2．技術(shù)挑戰(zhàn)數(shù)據(jù)依賴性高：數(shù)據(jù)