模塊2

初涉AI大模型知識探析關(guān)于AI大模型/AI預訓練模型當前，通用大模型、行業(yè)大模型、端側(cè)大模型如雨后春筍般涌現(xiàn)，AI大模型產(chǎn)業(yè)的應用落地將進一步提速。作為新一代人工智能產(chǎn)業(yè)的核心驅(qū)動力，AI大模型廣泛賦能我國經(jīng)濟社會的多個領域，為人們打開通往AGI的大門，推動新一輪的科技革命與產(chǎn)業(yè)變革。當前，我國AI大模型產(chǎn)業(yè)呈現(xiàn)蓬勃發(fā)展的態(tài)勢。伴隨著多家科技廠商推出的AI大模型落地商用，各類通用、行業(yè)及端側(cè)大模型已在多個領域，如金融、醫(yī)療、政務等領域取得了顯著成果，AI大模型已成為提升服務質(zhì)量和效率的重要手段。AI大模型是一種機器學習模型，它可以學習和處理大量的信息（如圖像、文本、音頻等），也可以通過訓練完成各種復雜的任務，例如，智能語音助手識別語音指令和圖像識別軟件識別圖像都會用到AI大模型。AI預訓練模型可以通過對不同領域數(shù)據(jù)的大量訓練，掌握知識和技能。這里的“預訓練”，可以理解為像學生學習知識一樣，機器也需要通過學習和訓練來獲取相關(guān)的知識和技能，以完成各種任務。由OpenAI開發(fā)的模型ChatGPT就是一種大型語言模型（LargeLanguageModel，LLM），也是一種預訓練模型，它可以自動生成各類文本（如新聞報道、小說）。也可以回答問題、與用戶進行對話。伴隨著人工智能技術(shù)的加速演進，AI大模型已成為全球科技競爭的新高地、未來產(chǎn)業(yè)的新賽道、經(jīng)濟發(fā)展的新引擎，AI大模型發(fā)展?jié)摿Υ?、應用前景廣。知識探析AI大模型的主要特征AI大模型具有泛化性（將知識遷移到新領域）、通用性（不局限于特定領域），以及涌現(xiàn)性（產(chǎn)生預料之外的結(jié)果）特征。以ChatGPT為代表的AI大模型因具有大量參數(shù)和深度網(wǎng)絡結(jié)構(gòu)，能學習并理解更多的特征和模式，從而在處理復雜任務時展現(xiàn)出強大的自然語言理解、意圖識別、推理、內(nèi)容生成等能力，同時具有通用問題求解能力，被視作通往AGI的重要路徑。知識探析AI大模型的主要類型按照部署方式，AI大模型主要分為云側(cè)大模型和端側(cè)大模型兩類。云側(cè)大模型部署在云端，其擁有參數(shù)規(guī)模更大、算力資源更多及滿足海量數(shù)據(jù)存儲需求等特點；端側(cè)大模型通常部署在手機、個人計算機等終端上，具有參數(shù)規(guī)模小、本地化運行、隱私保護性強等特點。AI大模型的類型AI大模型的功能AI大模型的典型案例通用大模型文本生成、語言理解、知識問答、邏輯推理、數(shù)學運算、代碼生成、多模態(tài)等百度——文心大模型科大訊飛——星火認知大模型阿里云——通義大模型行業(yè)大模型w

金融：文檔處理、知識問答、內(nèi)容生成、輔助決策。w

醫(yī)療：醫(yī)學影像生成、知識問答、輔助決策。w

政務：政策檢索、知識問答、輔助決策。w

電商：經(jīng)營分析、商品推廣、商品銷售。w

傳媒：錄音轉(zhuǎn)寫、新聞寫作、視頻剪輯用友——YonGPT大模型蜜度——文修大模型容聯(lián)云——赤兔大模型人民網(wǎng)——“寫易”智能創(chuàng)作引擎端側(cè)大模型物體識別、語言理解等蔚來——NOMIGPT大模型端云結(jié)合大模型語義搜索、知識問答、文本創(chuàng)作、圖像生成、智慧交互等vivo——藍心大模型知識探析AI大模型的應用場景我國AI大模型產(chǎn)業(yè)發(fā)展源于多領域的廣泛需求，例如，來自辦公、制造、金融、醫(yī)療、政務等領域中的自動化生產(chǎn)、降低風險、提高診斷準確率、提高政務服務效率等需求。相關(guān)領域的創(chuàng)新和發(fā)展共同推動著我國AI大模型產(chǎn)業(yè)的蓬勃發(fā)展，預示著該產(chǎn)業(yè)擁有廣闊的市場前景。Transformer架構(gòu)Transformer架構(gòu)是目前大語言模型采用的主流架構(gòu)，其主要思想是通過自注意力機制獲取輸入序列的全局信息，并將這些信息通過網(wǎng)絡層進行傳遞。Transformer架構(gòu)的優(yōu)勢在于其具有較好的特征提取能力和并行計算效率。Transformer架構(gòu)主要由輸入部分、多層編碼器部分、多層解碼器部分和輸出部分組成。自注意力機制作為Transformer架構(gòu)的核心組件，允許架構(gòu)在處理序列數(shù)據(jù)時，對每個詞位置的輸入進行加權(quán)求和，得到一個全局的上下文表示。為了提高表達能力，Transformer架構(gòu)采用了多頭自注意力機制多頭自注意力的實現(xiàn)方法是將輸入序列分成多個組，每個組使用一個獨立的權(quán)重矩陣進行線性變換，并計算自注意力。最終，自注意力的輸出被拼接起來，并通過一個線性層得到最終的輸出表示。在計算自注意力和多頭自注意力之后，Transformer架構(gòu)使用前饋神經(jīng)網(wǎng)絡（即圖2-1中前饋層）對輸入序列進行非線性變換。前饋神經(jīng)網(wǎng)絡由多個全連接層組成，每個全連接層都使用ReLU激活函數(shù)。知識探析AI大模型的核心技術(shù)圖2-1

Transformer架構(gòu)基于人類反饋的強化學習基于人類反饋的強化學習是指將人類標記者引入大模型的學習過程中，訓練與人類偏好對齊的獎勵模型，進而有效指導大語言模型的訓練，使得模型能夠更好地遵循用戶意圖，生成符合用戶偏好的內(nèi)容?；谌祟惙答伒膹娀瘜W習具體包括以下幾個步驟。①

訓練監(jiān)督策略模型：使用監(jiān)督學習策略，對一個預訓練的語言模型進行訓練，通過給予特定獎勵或懲罰引導AI大語言模型的輸出或行為，使其能夠根據(jù)給定的輸入預測輸出或行為。②

訓練獎勵模型：讓數(shù)據(jù)標記工程師參與提供有關(guān)模型輸出結(jié)果的反饋，對模型生成的多個輸出或行為的質(zhì)量或正確性進行排名或評分，這些反饋被轉(zhuǎn)換為獎勵信號，用于后續(xù)的強化學習過程。③

采用近端策略優(yōu)化進行強化學習：先通過監(jiān)督學習策略生成近端策略優(yōu)化模型，經(jīng)過獎勵機制反饋最優(yōu)結(jié)果后，再將結(jié)果用于優(yōu)化和迭代PPO模型參數(shù)。具體而言，在PPO模型訓練過程中，智能系統(tǒng)通過嘗試不同的行為，并根據(jù)每個行為獲得的獎勵來評估其質(zhì)量，以逐步改進行為策略?；谌祟惙答伒膹娀瘜W習示意如圖2-2所示。知識探析AI大模型的核心技術(shù)圖2-2

基于人類反饋的強化學習示意指令微調(diào)指令微調(diào)（InstructionFine-Tuning）是一種幫助大語言模型實現(xiàn)遵循人類語言指令，在零樣本設置上將模型對語言指令的理解和執(zhí)行能力泛化到未知任務上的學習方法。指令微調(diào)可以讓大語言模型理解人類語言指令并按照指令要求完成任務，即在給定指令提示的情況下給出特定的回應。指令微調(diào)可被視為有監(jiān)督微調(diào)的一種特殊形式，但兩者的目標有所差別。SFT是一種使用標記數(shù)據(jù)對預訓練模型進行微調(diào)的過程，以便模型能夠更好地執(zhí)行特定任務，而指令微調(diào)是一種在包含(指令，輸出)的數(shù)據(jù)集上進

一步訓練大語言模型的過程，以便增強大語言模型的預測能力和可控性。指令微調(diào)的特殊之處在于其數(shù)據(jù)集的結(jié)構(gòu)，即由人類語言指令和期望的輸出組成的數(shù)據(jù)對，這種結(jié)構(gòu)使得指令微調(diào)專注于讓模型理解和遵循人類語言指令。知識探析AI大模型的核心技術(shù)模型提示通過大規(guī)模文本數(shù)據(jù)預訓練之后的大語言模型具備作為通用任務求解器的潛在能力，這些能力在模型執(zhí)行特定任務時可能不會顯式地展示出來，在模型輸入中設計合適的人類語言指令作為提示有助于激發(fā)這些能力，這種技術(shù)稱為模型提示。典型的模型提示包括指令提示和思維鏈提示。①指令提示：OpenAI在GPT-3中首次提出指令提示（InstructionPrompt），并發(fā)現(xiàn)GPT-3在特定領域少樣本提示下的能力水平能夠達到人類水平，證明指令提示在少資源場景下非常有效。指令提示的核心思想是避免強制大語言模型適應下游任務，而通過提供“提示”（Prompt）來給數(shù)據(jù)嵌入額外的上下文以重新組織下游任務，使其看起來更像是在大語言模型預訓練過程中解決的問題。②思維鏈提示：推理的過程通常涉及多個推理步驟，通過多步推理產(chǎn)生可驗證的輸出，可以提高黑盒模型的可解釋性。思維鏈（ChainofThought，CoT）提示是一種模型提示，已被廣泛用于激發(fā)大語言模型的多步推理能力，鼓勵大語言模型生成思維鏈來解決問題，這類似于人類通過深思熟慮來執(zhí)行復雜的任務。知識探析我國Al大模型產(chǎn)業(yè)發(fā)展趨勢展望近年來，我國始終高度重視人工智能的發(fā)展和頂層設計，將其上升為國家戰(zhàn)略，出臺一系列人工智能支持政策和規(guī)劃，國務院于2017年發(fā)布《新一代人工智能發(fā)展規(guī)劃》。科技部等6部門也于2022年印發(fā)《關(guān)于加快場景創(chuàng)新以人工智能高水平應用促進經(jīng)濟高質(zhì)量發(fā)展的指導意見》對《新一代人工智能發(fā)展規(guī)劃》進行落實，為AI大模型產(chǎn)業(yè)發(fā)展創(chuàng)造了良好的環(huán)境。2024年發(fā)布的《政府工作報告》中提出開展“人工智能+”行動。伴隨著人工智能領域中大模型技術(shù)的快速發(fā)展，我國各地方政府出臺相關(guān)支持政策，推動大模型產(chǎn)業(yè)的持續(xù)發(fā)展。我國AI大模型產(chǎn)業(yè)發(fā)展受政策、技術(shù)和市場等多方面驅(qū)動。在政策方面，各地方政府出臺相關(guān)支持政策，推動大模型產(chǎn)業(yè)發(fā)展；在技術(shù)方面，Transformer架構(gòu)、基于人類反饋的強化學習等關(guān)鍵技術(shù)帶動了產(chǎn)業(yè)發(fā)展；在市場方面，辦公、制造、金融、醫(yī)療、政務等多領域的需求推動了產(chǎn)業(yè)發(fā)展。知識探析Al大模型將加快新質(zhì)生產(chǎn)力發(fā)展AI大模型可以創(chuàng)造新價值、適應新產(chǎn)業(yè)、重塑新動能，是加快新質(zhì)生產(chǎn)力發(fā)展的關(guān)鍵要素。AI大模型作為當前人工智能領域的重要技術(shù)，是孕育新質(zhì)生產(chǎn)力的沃土。據(jù)新華網(wǎng)描述，新質(zhì)生產(chǎn)力是創(chuàng)新起主導作用，擺脫傳統(tǒng)經(jīng)濟增長方式、生產(chǎn)力發(fā)展路徑，具有高科技、高效能、高質(zhì)量特征，符合新發(fā)展理念的先進生產(chǎn)力質(zhì)態(tài)，其由技術(shù)革命性突破、生產(chǎn)要素創(chuàng)新性配置、產(chǎn)業(yè)深度轉(zhuǎn)型升級而催生。新質(zhì)生產(chǎn)力以勞動者、勞動資料、勞動對象及其優(yōu)化組合的躍升為基本內(nèi)涵，以全要素生產(chǎn)率大幅提升為核心標志。AI大模型作為加快新質(zhì)生產(chǎn)力發(fā)展的重要手段，可以推動多個領域的智能化升級，提高生產(chǎn)效率、降低生產(chǎn)成本、提升產(chǎn)業(yè)競爭力。隨著我國經(jīng)濟進入高質(zhì)量發(fā)展階段，AI大模型在催生新產(chǎn)業(yè)、新模式、新動能方面展現(xiàn)出巨大潛力，不僅支撐了經(jīng)濟社會的高質(zhì)量發(fā)展，也符合《國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略綱要》所強調(diào)的創(chuàng)新驅(qū)動和產(chǎn)業(yè)升級要求。我國眾多產(chǎn)業(yè)對于高質(zhì)量發(fā)展的需求，將為AI大模型的落地應用提供場景支撐。隨著人工智能技術(shù)的不斷升級，AI大模型產(chǎn)業(yè)化應用也成為可能。面對未來，我國需進一步加強對資源與研發(fā)力量的統(tǒng)籌，強化AI大模型在發(fā)展中的場景牽引作用，促進經(jīng)濟社會的高質(zhì)量發(fā)展，以實現(xiàn)基于AI大模型技術(shù)的高質(zhì)量應用突破，驅(qū)動實體經(jīng)濟的迅速發(fā)展和產(chǎn)業(yè)變革。OpenAI是一家致力于推動人工智能技術(shù)發(fā)展的公司，成立于2015年。OpenAI在多個AI領域取得了顯著成就，尤其是其開發(fā)的GPT系列語言模型，這些模型通過深度學習和海量數(shù)據(jù)訓練，能夠理解并生成自然語言，廣泛應用于文本生成、自動翻譯、情感分析等領域。此外，OpenAI還在計算機視覺和強化學習等領域推出了DALL·E等創(chuàng)新產(chǎn)品。百度的文心大模型科大訊飛的星火認知大模型阿里云的通義大模型深度求索的混合專家語言模型智譜的智譜清言大模型百川智能的百川大模型字節(jié)跳動的云雀大模型昆侖萬維的天工大模型騰訊的騰訊混元大模型其他AI大模型OpenAI的ChatGPT谷歌公司的Gemini微軟的CopilotAnthropic的ClaudeAI知識探析AI大模型開發(fā)公司及其開發(fā)的AI大模型各盡所能、各有所長國內(nèi)的AI大模型開發(fā)公司及其大模型國外主流的AI大模型開發(fā)公司及其大模型OpenAI公司開發(fā)的GPT系列模型知識探析常用的國產(chǎn)綜合型AI工具或平臺簡介序號名稱1文心一言2豆包3DeepSeek4Kimi5訊飛星火6通義7智譜清言8天工AI9騰訊元寶10海螺AI綜合型AI工具或平臺提供文本聊天、繪畫、文檔閱讀、代碼生成、智能搜索等綜合性的功能。目前，常用的國產(chǎn)綜合型AI工具或平臺如表2-2所示。表2-2

常用的國產(chǎn)綜合型AI工具或平臺知識探析文心一言的基本功能與頁面布局1．文心一言的基本功能（1）知識增強、檢索增強和對話增強文心一言基于百度在人工智能領域的深厚積累，持續(xù)從海量數(shù)據(jù)和大規(guī)模知識中融合學習，具備知識增強、檢索增強和對話增強的技術(shù)特色，能高效、便捷地幫助用戶獲取信息、知識和靈感。（2）多樣化使用功能文心一言提供PC端、App端以及API接入等多種使用方式，滿足不同用戶在不同場景下的需求，App端增加了社區(qū)和發(fā)現(xiàn)功能，API接入則適用于企業(yè)級場景。（3）文本處理功能文心一言可對用戶輸入的文本內(nèi)容自動進行分類，如新聞、小說、評論等；可對文本進行情感傾向性分析，有助于用戶更好地理解文本所傳達的情緒和態(tài)度；可比較兩個文本的相似度，判斷它們是否具有較高的相關(guān)性，有助于用戶在大量文本中快速找到與查詢文本相似的文章或句子。知識探析文心一言的基本功能與頁面布局文心一言的頁面主要包括3個部分。（1）側(cè)邊欄側(cè)邊欄主要包括新對話、創(chuàng)意寫作、閱讀分析、智慧繪圖、近期對話和智能體廣場等。（2）內(nèi)容區(qū)域

內(nèi)容區(qū)域會推薦一些今日熱點、主要功能等，為新手提供指引，幫助其快速進行體驗。（3）搜索區(qū)域搜索區(qū)域除了文字互動外，用戶還可以上傳文檔、圖像、音頻、視頻等。圖2-5

文心一言的首頁知識探析文心一言的基本功能與頁面布局3．文心一言的特色功能（1）百度網(wǎng)盤聯(lián)動百度網(wǎng)盤是基于云端的文件存儲空間，用戶可以通過網(wǎng)絡將文件上傳到百度網(wǎng)盤，也可以從百度網(wǎng)盤下載文件到本地設備。它相當于一個虛擬的“網(wǎng)絡硬盤”，用戶可以隨時隨地通過互聯(lián)網(wǎng)訪問和管理存儲在其中的文件。（2）閱讀分析閱讀分析可以分為論文閱讀、報告閱讀、工作文檔閱讀3個類別，面對較長的文章或報告，用戶往往難以快速把握其核心內(nèi)容，文心一言閱讀分析功能能夠自動提取文章或報告的關(guān)鍵信息，生成簡潔明了的摘要，幫助用戶快速了解文章或報告的主旨。（3）智慧繪圖文心一言的AI繪畫技術(shù)升級后，支持一鍵生成多比例圖像，用戶只需在提示詞中加入所需的畫面比例詞，如“3∶4”或“16∶9”，系統(tǒng)便能生成相應比例的圖像，極大地簡化了新媒體配圖的流程。文心一言同時涵蓋圖像重繪、局部編輯功能，能夠提高圖像繪制的準確率及加強對用戶需求的視覺支持。（4）雙端協(xié)同通過企業(yè)用戶端（B端）和個人消費者端（C端）的協(xié)同，文心一言不僅能夠為企業(yè)用戶提供強大的技術(shù)支持，還能為個人消費者提供便捷的智能服務，實現(xiàn)技術(shù)與市場的雙重拓展。此外，文心一言通過B端、C端協(xié)同，實現(xiàn)消息互通與體驗一致，使用戶能夠在PC端跟進在移動端的使用過程，極大地方便了辦公人群。知識探析豆包的主要功能圖2-6

豆包的首頁應用實踐剖析我國通用大模型的典型案例【任務描述】對文心大模型、星火認知大模型、通義大模型等典型的通用大模型的優(yōu)勢與應用進行較為全面與客觀的剖析。【任務實施】1．案例1：百度——文心大模型文心大模型是百度自主研發(fā)的產(chǎn)業(yè)級知識增強大模型，它通過融合海量數(shù)據(jù)與大規(guī)模知識圖譜，具備跨模態(tài)、多任務的深度語義理解與生成能力，既能像人類一樣理解文本、圖像和語音信息，又能基于知識推理完成復雜邏輯任務。文心大模型現(xiàn)已在智能創(chuàng)作、智能客服、產(chǎn)業(yè)智能升級等場景中實現(xiàn)規(guī)?；瘧茫蔀橥苿尤斯ぶ悄芘c實體經(jīng)濟深度融合的關(guān)鍵技術(shù)底座。2．案例2：科大訊飛——星火認知大模型星火認知大模型是科大訊飛推出的新一代認知大模型，可實現(xiàn)基于自然對話方式的用戶需求理解與任務執(zhí)行。星火認知大模型從賦能人機交互、賦能知識學習與內(nèi)容創(chuàng)作、提升數(shù)智化生產(chǎn)力3個方面展現(xiàn)其應用能力。星火認知大模型具備七大核心能力：文本生成、語言理解、知識問答、邏輯推理、數(shù)學題解答、代碼理解與編寫和多模態(tài)交互。3．案例3：阿里云——通義大模型通義大模型是阿里云推出的多模態(tài)人工智能大模型，它基于統(tǒng)一技術(shù)底座與層次化架構(gòu)，能夠?qū)崿F(xiàn)對文本、圖像、音頻、視頻等多模態(tài)數(shù)據(jù)的智能處理。通義大模型在醫(yī)療、司法等領域?qū)崿F(xiàn)病歷處理、法律文書生成等場景落地。此外，通義大模型提供開源模型與開發(fā)者生態(tài)支持，正探索長期記憶與多智能體協(xié)作能力以推動通用人工智能發(fā)展。應用實踐剖析我國行業(yè)大模型的典型案例【任務描述】對YonGPT大模型、文修大模型、赤兔大模型、“寫易”智能創(chuàng)作引擎等典型的行業(yè)大模型的優(yōu)勢與應用進行較為全面與客觀的剖析。【任務實施】1．案例1：用友——YonGPT大模型YonGPT大模型是用友基于數(shù)字和智能技術(shù)服務企業(yè)和公共組織數(shù)智化的企業(yè)服務大模型。YonGPT大模型在企業(yè)服務領域的應用主要集中在4個方向：智能化的業(yè)務運營、自然化的人機交互、智慧化的知識生成、語義化的應用生成。2．案例2：蜜度——文修大模型文修大模型是蜜度推出的一款聚焦于智能校對領域的大語言模型，其基于蜜度在校對領域的知識和經(jīng)驗積累，為政務單位、新聞媒體、企業(yè)單位、學校機構(gòu)、出版機構(gòu)等專業(yè)用戶提供更貼合使用場景的校對服務。3．案例3：容聯(lián)云——赤兔大模型赤兔大模型是容聯(lián)云開發(fā)的面向企業(yè)應用的垂直行業(yè)多層次大語言模型，其能夠賦能企業(yè)搭建專屬智能客服和實現(xiàn)數(shù)智化營銷，完成從“降本增效”到“價值創(chuàng)造”的進化。其能力包括會話洞察、業(yè)務話術(shù)、問答知識庫、數(shù)據(jù)分析、智能對話框架、流程管理等。4．案例4：人民網(wǎng)——“寫易”智能創(chuàng)作引擎“寫易”智能創(chuàng)作引擎是人民網(wǎng)推出的垂直類寫作大模型，依托自主研發(fā)的主流價值觀大模型針對寫作場景訓練而成?！皩懸住敝悄軇?chuàng)作引擎適用于黨政黨媒、央企國企、學校醫(yī)院等有日常閱讀需求和寫作需求的群體，可以為他們提供專業(yè)、系統(tǒng)、持續(xù)更新的數(shù)智服務。應用實踐剖析我國端云結(jié)合大模型的典型案例【任務描述】對vivo的藍心大模型的優(yōu)勢與應用進行較為全面與客觀的剖析?！救蝿諏嵤克{心大模型是行業(yè)內(nèi)首個在手機端運行的開源自研大模型，也是更適合中文用戶的中文開源大模型，其參數(shù)規(guī)模龐大。隨著參數(shù)量的提升，藍心大模型逐漸具備內(nèi)容創(chuàng)作、知識問答、邏輯推理、代碼生成、信息提取等能力?；谒{心大模型的能力，vivo開發(fā)出藍心小V和藍心千詢等智能產(chǎn)品。應用實踐體驗文心一言的多種應用場景【任務描述】文心一言憑借其全面的指令集，不僅實現(xiàn)了對自然語言的高效理解和處理，還能夠為用戶提供多元化的智能服務，極大地拓寬了應用場景和提高了用戶體驗。在文心一言中完成以下任務。①

查詢天氣。②

設置提醒。③

文本生成。④

詩歌創(chuàng)作。⑤

邏輯推理。⑥

情感分析。⑦

文章語氣和語調(diào)調(diào)整。⑧

撰寫詩句。應用實踐體驗文心一言的多種應用場景【任務實施】1．查詢天氣2．設置提醒3．文本生成4．詩歌創(chuàng)作5．邏輯推理6．情感分析7．文章語氣和語調(diào)調(diào)整8．撰寫詩句AI的創(chuàng)造性與其訓練數(shù)據(jù)和模型息息相關(guān)，不同的AI工具生成的內(nèi)容可能不同。以AI目前的發(fā)展水平，AI工具生成