大模型概念、技術(shù)與應用實踐第4章

大模型工具目錄4.1國外的大模型產(chǎn)品4.2國內(nèi)的大模型產(chǎn)品4.3中美兩國在大模型領(lǐng)域的競爭4.4大模型工具的“幻覺”問題4.1國外的大模型產(chǎn)品4.1國外的大模型產(chǎn)品ChatGPTGeminiSoraOpenAIo34.1.1ChatGPTChatGPT是一種由OpenAI訓練的大語言模型，于2022年11月30日發(fā)布。它是基于Transformer架構(gòu)，經(jīng)過大量文本數(shù)據(jù)訓練而成，能夠生成自然、流暢的語言，并具備回答問題、生成文本、語言翻譯等多種功能4.1.2GeminiGemini是谷歌發(fā)布的大模型，它能夠同時處理多種類型的數(shù)據(jù)和任務，覆蓋文本、圖像、音頻、視頻等多個領(lǐng)域。Gemini采用了全新的架構(gòu)，將多模態(tài)編碼器和多模態(tài)解碼器兩個主要組件結(jié)合在一起，以提供最佳結(jié)果4.1.4OpenAIo3OpenAIo3（如圖）是OpenAI于2024年12月20日發(fā)布的人工智能“推理”模型，采用“私人思想鏈”進行“思考”，可在響應前暫停，考慮相關(guān)提示并解釋推理過程4.2國內(nèi)的大模型產(chǎn)品4.2國內(nèi)的大模型產(chǎn)品大模型圖標指標排名DeepSeek

能力測評第一豆包

用戶數(shù)量第一Kimi

文本處理第一即夢AI

作圖能力第一通義萬相

視頻生成第一智譜清言

文檔歸納第一4.3中美兩國在大模型領(lǐng)域的競爭4.3中美兩國在大模型領(lǐng)域的競爭首先，美國處于領(lǐng)先優(yōu)勢，并遏制中國發(fā)展。大模型的多項關(guān)鍵技術(shù)，比如Transformer架構(gòu)、強化學習從人類反饋（RLHF）等，多源于美國實驗室。美國為了確保自己的領(lǐng)先優(yōu)勢，不斷加大對中國發(fā)展人工智能的遏制力度。2023年10月升級芯片禁令，限制A800/H800對華出口，迫使中國企業(yè)轉(zhuǎn)向國產(chǎn)算力堆疊。美國對7nm以下制程高端光刻機設(shè)備的封鎖，使中國大模型訓練成本增加3-5倍。GPU是大模型訓練最重要的硬件設(shè)施，大模型的出現(xiàn)，就是堆疊大量GPU算力以后“大力出奇跡”的結(jié)果。而美國在GPU制造領(lǐng)域，擁有著顯著的壟斷優(yōu)勢。英偉達H100/H200GPU占據(jù)全球95%的高端AI芯片市場（如圖所示），支撐OpenAI、Meta等企業(yè)持續(xù)迭代模型。HuggingFace平臺匯聚全球70%的開源模型，PyTorch框架占據(jù)75%的開發(fā)者使用率。4.3中美兩國在大模型領(lǐng)域的競爭其次，中國正在加速追趕，努力突破美國封鎖。我國GPU近年來取得顯著進展，華為、景嘉微、沐曦、摩爾線程等企業(yè)不斷發(fā)力，已實現(xiàn)國產(chǎn)替代的重要突破，可滿足部分對圖形處理有較高要求的應用場景其中，華為昇騰910B芯片算力達英偉達A100的80%。在大模型上，百度文心大模型4.0（2600億參數(shù)）在中文理解任務上超越GPT-4，DeepSeekR1的推理能力追平OpenAIo12025年2月1日，硅基流動和華為云宣布聯(lián)合發(fā)布并上線基于華為云昇騰云服務的DeepSeekR1/V3推理服務，并可獲得持平全球高端GPU部署模型的效果，這標志著國內(nèi)大模型開始從軟件到硬件平臺實現(xiàn)全面國產(chǎn)化4.4大模型工具的“幻覺”問題4.4大模型工具的“幻覺”問題大模型幻覺，也被稱為AI幻覺，是指大型語言模型在生成內(nèi)容時，產(chǎn)生與事實不符、邏輯錯誤或無中生有等不合理信息的現(xiàn)象。其產(chǎn)生原因主要包括：模型訓練數(shù)據(jù)存在偏差、不完整或錯誤，導致在學習過程中引入了不準確的信息.模型基于概率分布生成內(nèi)容，在某些情況下會選擇一些看似合理但實際錯誤的路徑。4.4大模型工具的“幻覺”問題如圖給出了目前國內(nèi)主流大語言模型的非幻覺率排行榜，這里的“非幻覺率”是指大模型生成的回答中不包含幻覺的比例，即回答真實、準確并與正確答案一致的內(nèi)容所占的比例謝謝觀看！林子雨副教授廈門大學附錄A：主講教師林子雨簡介單位：廈門大學計算機科學與技術(shù)系E-mail:ziyulin@個人網(wǎng)頁：/post/linziyu數(shù)據(jù)庫實驗室網(wǎng)站：主講教師：林子雨林子雨，男，1978年出生，博士（畢業(yè)于北京大學），全國高校知名大數(shù)據(jù)教師，入選“2021年高校計算機專業(yè)優(yōu)秀教師獎勵計劃”。現(xiàn)為廈門大學計算機科學與技術(shù)系副教授，廈門大學信息學院實驗教學中心主任，曾任廈門大學信息科學與技術(shù)學院院長助理、晉江市發(fā)展和改革局副局長。中國計算機學會數(shù)據(jù)庫專業(yè)委員會執(zhí)行委員，中國計算機學會信息系統(tǒng)專業(yè)委員會執(zhí)行委員。國內(nèi)高校首個“數(shù)字教師”提出者和建設(shè)者，廈門大學數(shù)據(jù)庫實驗室負責人，廈門大學云計算與大數(shù)據(jù)研究中心主要建設(shè)者和骨干成員，2013年度、2017年度、2020年度和2023年度廈門大學教學類獎教金獲得者，榮獲2024年福建省高等教育教學成果獎特等獎（個人排名第七）、2022年福建省高等教育教學成果獎特等獎（個人排名第一）、2018年福建省高等教育教學成果獎二等獎（個人排名第一）、2018年國家精品在線開放課程、2021年國家級線上一流本科課程、2020年國家級線上一流本科課程。主要研究方向為數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)，并以第一作者身份在《軟件學報》《計算機學報》和《計算機研究與發(fā)展》等國家重點期刊以及國際學術(shù)會議上發(fā)表多篇學術(shù)論文。作為項目負責人主持的科研項目包括1項國家自然科學青年基金項目(No.61303004)、1項福建省自然科學青年基金項目(No.2013J05099)和1項中央高?；究蒲袠I(yè)務費項目(No.2011121049)，主持的教改課題包括1項2016年福建省教改課題、1項2016年教育部產(chǎn)學協(xié)作育人項目、1項2024年教育部產(chǎn)學協(xié)作育人項目。編著出版了《大數(shù)據(jù)技術(shù)原理與應用》等18本大數(shù)據(jù)與人工智能系列教材，被國內(nèi)1000多所高校采用；建設(shè)了國內(nèi)高校首個大數(shù)據(jù)課程公共服務平臺，為教師教學和學生學習大數(shù)據(jù)課程提供全方位、一站式服務，年訪問量超過400萬次，累計訪問量超過2800萬次。大數(shù)據(jù)系列MOOC課程入選“2023年教育部國家智慧教育公共服務平臺應用典型案例”。附錄B：大數(shù)據(jù)學習路線圖大數(shù)據(jù)學習路線圖訪問地址:/post/10164/附錄C：林子雨大數(shù)據(jù)系列教材了解全部教材信息:/post/bigdatabook/附錄D：《人工智能通識教程》林子雨

主編《人工智能通識教程》人民郵電出版社ISBN:978-7-04-064880-52025年6月第1版，定價：39.9元

教材官網(wǎng)：/post/ai/本書詳細闡述了培養(yǎng)具有人工智能（AI）素養(yǎng)的綜合型人才所需要的相關(guān)知識儲備。作為通識類課程教材，本書在確定知識布局時，緊緊圍繞通識教育核心理念，系統(tǒng)介紹人工智能相關(guān)知識，努力培養(yǎng)學生的AI思維和AI能力。全書共9章，內(nèi)容包括信息與計算機基礎(chǔ)、人工智能概述、人工智能與其他新興技術(shù)的關(guān)系、大模型：人工智能的前沿、智能體、具身智能、AIGC應用與實踐、AI智能辦公、人工智能倫理等。本書以“零代碼”學習人工智能為原則，使用AIGC工具解決學習、工作、生活中的各種問題。書中包含了大量生動、有趣、實用的實戰(zhàn)案例，可以讓讀者切身感受人工智能的強大功能，培養(yǎng)讀者使用AI工具解決實際問題的能力。廈門大學數(shù)據(jù)庫實驗室和金山WPS校企合作教材附錄E：《數(shù)字素養(yǎng)通識教程》林子雨編著《數(shù)字素養(yǎng)通識教程——大數(shù)據(jù)與人工智能時代的計算機通識教育》人民郵電出版社ISBN:978-7-115-65946-02025年1月第1版，定價：59.8元

教材官網(wǎng)：/post/digital-literacy/15年計算機教學生涯感悟升華，15本計算機暢銷教材知識凝練數(shù)字時代的大學計算機公共課教材，重構(gòu)大學計算機公共課知識體系深刻變革傳統(tǒng)大學計算機通識教育，培養(yǎng)學生計算思維、數(shù)據(jù)思維和AI思維附錄F：《大數(shù)據(jù)導論（通識課版，第2版）》教材高等教育出版社

2024年7月第2版ISBN：978-7-04-062466-3定價：39.50元

教材官方網(wǎng)站:/post/bigdataintroduction2/0503020104引導學生步入大數(shù)據(jù)時代，積極投身大數(shù)據(jù)的變革浪潮之中了解大數(shù)據(jù)概念，培養(yǎng)大數(shù)據(jù)思維，養(yǎng)成數(shù)據(jù)安全意識認識大數(shù)據(jù)倫理，努力使自己的行為符合大數(shù)據(jù)倫理規(guī)范要求熟悉大數(shù)據(jù)應用，探尋大數(shù)據(jù)與自己專業(yè)的應用結(jié)合點激發(fā)學生基于大數(shù)據(jù)的創(chuàng)新創(chuàng)業(yè)熱情開設(shè)全校公共選修課的優(yōu)質(zhì)教材，本課程旨在實現(xiàn)以下幾個培養(yǎng)目標：附錄G：《大數(shù)據(jù)與人工智能導論（通識課版）》《大數(shù)據(jù)與人工智能導論（通識課版）》版次：2025年1月第1版林子雨

編著，人民郵電出版社

ISBN:978-7-115-65696-4定價：59.8元

教材官網(wǎng)：/post/bigdata-ai-introduction/本書詳細闡述了培養(yǎng)具有數(shù)字素養(yǎng)的綜合型人才所需要的相關(guān)知識儲備。作為通識類課程教材，本書在確定知識布局時，緊緊圍繞通識教育核心理念，系統(tǒng)介紹大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)、人工智能、區(qū)塊鏈、元宇宙等技術(shù)的相關(guān)知識，努力培養(yǎng)學生的數(shù)字素養(yǎng)。全書共9章，內(nèi)容包括大數(shù)據(jù)概述、大數(shù)據(jù)技術(shù)、大數(shù)據(jù)應用、大數(shù)據(jù)基礎(chǔ)知識、人工智能、大模型：人工智能的前沿、AIGC應用與實踐、新興數(shù)字技術(shù)、新興數(shù)字技術(shù)的倫理問題。為了避免陷入空洞的理論介紹，本書在很多章節(jié)都融入了豐富的案例，這些案例就發(fā)生在我們生活的數(shù)字時代，很具有代表性和說服力，能夠讓學生直觀感受相應理論的具體內(nèi)涵。附錄H：《大數(shù)據(jù)導論（第2版）》教材林子雨編著《大數(shù)據(jù)導論（第2版）》人民郵電出版社

ISBN：978-7-115-64185-4定價：59.80元2024年7月教材官方網(wǎng)站:/post/bigdata-introduction2/開設(shè)大數(shù)據(jù)專業(yè)導論課的優(yōu)質(zhì)教材，本書詳細闡述了培養(yǎng)復合型大數(shù)據(jù)專業(yè)人才所需要的大數(shù)據(jù)相關(guān)知識。全書共10章，內(nèi)容包括：大數(shù)據(jù)概述大數(shù)據(jù)與其他新興技術(shù)的關(guān)系大數(shù)據(jù)基礎(chǔ)知識大數(shù)據(jù)應用大數(shù)據(jù)硬件環(huán)境數(shù)據(jù)采集與預處理數(shù)據(jù)存儲與管理數(shù)據(jù)處理與分析數(shù)據(jù)可視化大數(shù)據(jù)分析綜合案例在大數(shù)據(jù)基礎(chǔ)知識部分，本書詳細介紹了與培養(yǎng)學生的數(shù)據(jù)素養(yǎng)相關(guān)的知識，包括大數(shù)據(jù)安全、大數(shù)據(jù)思維、大數(shù)據(jù)倫理、數(shù)據(jù)共享、數(shù)據(jù)開放和大數(shù)據(jù)交易。附錄I：《大數(shù)據(jù)技術(shù)原理與應用（第4版）》教材《大數(shù)據(jù)技術(shù)原理與應用——概念、存儲、處理、分析與應用（第4版）》林子雨編著，人民郵電出版社

ISBN:978-7-115-64181-6定價：65元2024年8月教材官方網(wǎng)站:/post/bigdata4國內(nèi)高校第一本系統(tǒng)介紹大數(shù)據(jù)知識的專業(yè)教材，本書系統(tǒng)介紹大數(shù)據(jù)的相關(guān)知識，分為大數(shù)據(jù)基礎(chǔ)篇、大數(shù)據(jù)存儲與管理篇、大數(shù)據(jù)處理與分析篇、大數(shù)據(jù)應用篇。全書共14章，內(nèi)容包含：本書在Hadoop、HDFS、HBase、MapReduce、Hive、Spark和Flink等相關(guān)章安排了入門級的實驗，以便讀者能更好地學習和掌握大數(shù)據(jù)的關(guān)鍵技術(shù)。大數(shù)據(jù)概述大數(shù)據(jù)處理架構(gòu)Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)庫HBaseNoSQL數(shù)據(jù)庫云數(shù)據(jù)庫MapReduceHadoop再探討數(shù)據(jù)倉庫HiveSpark流計算Flink圖計算大數(shù)據(jù)應用附錄J：《大數(shù)據(jù)基礎(chǔ)編程、實驗和案例教程（第3版）》與《大數(shù)據(jù)技術(shù)原理與應用（第4版）》教材配套的唯一指定實驗指導書林子雨編著，清華大學出版社

ISBN:978-7-302-66922-7

定價：69元

2024年8月第3版《大數(shù)據(jù)基礎(chǔ)編程、實驗和案例教程（第3版）》深入淺出，去粗取精，豐富的代碼實例幫助快速掌握大數(shù)據(jù)基礎(chǔ)編程方法步步引導，循序漸進，詳盡的安裝指南為順利搭建大數(shù)據(jù)實驗環(huán)境鋪平道路0102精心設(shè)計，巧妙融合，八套大數(shù)據(jù)實驗題目促進理論與編程知識的消化和吸收03結(jié)合理論，聯(lián)系實際，大數(shù)據(jù)課程綜合實驗案例精彩呈現(xiàn)大數(shù)據(jù)分析全流程04附錄K：《數(shù)據(jù)采集與預處理（第2版）》詳細闡述了大數(shù)據(jù)領(lǐng)域數(shù)據(jù)采集與預處理的相關(guān)理論和技術(shù)林子雨編著，人民郵電出版社2025年1月

978-7-115-65728-2

定價：69.80元教材官網(wǎng)：/post/data-collection2/全書共8章，內(nèi)容包括：概述大數(shù)據(jù)實驗環(huán)境搭建網(wǎng)絡(luò)數(shù)據(jù)采集分布式消息系統(tǒng)Kafka日志采集系統(tǒng)Flume數(shù)據(jù)倉庫中的數(shù)據(jù)集成ETL工具Kettle使用pandas進行數(shù)據(jù)清洗本書在網(wǎng)絡(luò)數(shù)據(jù)采集、Kafka、Flume、Kettle、pandas等重要章節(jié)安排了豐富的實踐操作，以便讀者更好地學習和掌握數(shù)據(jù)采集與預處理的關(guān)鍵技術(shù)。附錄L：《Python程序設(shè)計基礎(chǔ)教程（微課版）》教材：林子雨，趙江聲，陶繼平.《Python程序設(shè)計基礎(chǔ)教程（微課版）》人民郵電出版社,2022年2月.教材官網(wǎng)（獲取講義PPT、代碼等）：

/post/python/

實驗手冊：林子雨，鄭海山.《Python程序設(shè)計實驗指導與習題解答》.人民郵電出版社，2022年4月.實驗手冊官網(wǎng)（獲取代碼等）：/post/python-experiment/附錄M：《Python程序設(shè)計基礎(chǔ)（通識課版）》教材：林子雨.《Python程序設(shè)計基礎(chǔ)（通識課版）》人民郵電出版社,2025年2月.教材官網(wǎng)（獲取講義PPT、代碼等）：

/post/python-general/

教材ISBN:978-7-115-65678-0定價：59.8元本書詳細介紹了獲得Python基礎(chǔ)編程能力所需要掌握的各方面技術(shù)。全書共11章，內(nèi)容包括Python語言概述、基礎(chǔ)語法知識、程序控制結(jié)構(gòu)、序列、函數(shù)、模塊、異常處理、文件和數(shù)據(jù)庫操作、常用的標準庫和第三方庫、基于Matplotlib的數(shù)據(jù)可視化、網(wǎng)絡(luò)爬蟲等。本書每個章節(jié)都安排了入門級的編程實踐操作，以便讀者更好地學習和掌握Python編程方法。本書官網(wǎng)免費提供了全套的在線教學資源，包括講義PPT、源代碼、軟件、數(shù)據(jù)集等。附錄N：《Python數(shù)據(jù)分析、挖掘與可視化》教材：林子雨

編著《Python數(shù)據(jù)分析、挖掘與可視化》人民郵電出版社,2025年5月.教材官網(wǎng)（獲取講義PPT、代碼等）：/post/python-analysis/教材ISBN:978-7-115-66088-6定價：59.8元數(shù)據(jù)分析能夠幫助人們深入洞察數(shù)據(jù)的內(nèi)在規(guī)律和趨勢，提取有價值的信息，為決策提供科學依據(jù)。在當今信息爆炸的時代，數(shù)據(jù)分析已成為各行各業(yè)不可或缺的技能。本書通過豐富的案例幫助讀者快速掌握Python數(shù)據(jù)分析的核心技能，提高數(shù)據(jù)處理和分析的能力，從而更好地應對學習和工作中的挑戰(zhàn)。全書共10章，內(nèi)容包括Python語言概述、基礎(chǔ)語法知識、程序控制結(jié)構(gòu)、序列、函數(shù)、文件和數(shù)據(jù)庫操作、數(shù)據(jù)分析基礎(chǔ)工具NumPy、基于Matplotlib的數(shù)據(jù)可視化、基于pandas的數(shù)據(jù)預處理和分析、基于sklearn的機器學習。附錄O：《Spark編程基礎(chǔ)（Scala版，第2版）》《Spark編程基礎(chǔ)（Scala版，第2版）》林子雨，賴永炫，陶繼平

編著，人民郵電出版社

ISBN:978-7-115-59501-0

教材官網(wǎng)：/post/spark2/本書以Scala作為開發(fā)Spark應用程序的編程語言，系統(tǒng)介紹了Spark編程的基礎(chǔ)知識。全書共9章，內(nèi)容包括：大數(shù)據(jù)技術(shù)概述Scala語言基礎(chǔ)Spark的設(shè)計與運行原理Spark環(huán)境搭建和使用方法RDD編程SparkSQLSparkStreamingSparkMLlib本書每個章節(jié)都安排了入門級的編程實踐操作，以便讀者更好地學習和掌握Spark編程方法。本書官網(wǎng)免費提供了全套的在線教學資源，包括講義PPT、習題、源代碼、軟件、數(shù)據(jù)集、授課視頻、上機實驗指南等。披荊斬棘在大數(shù)據(jù)叢林中開辟學習捷徑填溝削坎為快速學習Spark技術(shù)鋪平道路深入淺出有效降低Spark技術(shù)學習門檻資源全面構(gòu)建全方位一站式在線服務體系附錄P：《Spark編程基礎(chǔ)（Python版，第2版）》《Spark編程基礎(chǔ)》（Python版，第2版）林子雨，鄭海山，賴永炫

編著，人民郵電出版社

ISBN:978-7-115-64403-9

出版發(fā)行，教材官網(wǎng)：/post/spark-python2/本書以Python作為開發(fā)Spark應用程序的編程語言，系統(tǒng)介紹了Spark編程的基礎(chǔ)知識。全書共9章，內(nèi)容包括：大數(shù)據(jù)技術(shù)概述Spark的設(shè)計與運行原理大數(shù)據(jù)實驗環(huán)境搭建Spark環(huán)境搭建和使用方法RDD編程SparkSQLSparkStreamingSparkMLlib本書在非理論的章節(jié)都安排了入門級的編程實踐操作，以便讀者更好地學習和掌握Spark編程方法。本書官網(wǎng)免費提供了全套的在線教學資源，包括講義PPT、習題、源代碼、軟件、數(shù)據(jù)集、授課視頻、上機實驗指南等。披荊斬棘在大數(shù)據(jù)叢林中開辟學習捷徑填溝削坎為快速學習Spark技術(shù)鋪平道路深入淺出有效降低Spark技術(shù)學習門檻資源全面構(gòu)建全方位一站式在線服務體系SparkMLlib附錄Q：《數(shù)據(jù)庫系統(tǒng)原理（微課版）》《數(shù)據(jù)庫系統(tǒng)原理（微課版）》版次：2024年4月第1版林子雨編著，人民郵電出版社

ISBN:978-7-115-63182-4

定價：69.80元

教材官網(wǎng)：/post/database/本書對數(shù)據(jù)庫系統(tǒng)的概念、原理、技術(shù)和方法進行了系統(tǒng)和全面的闡述。全書共14章，內(nèi)容包括：本書在關(guān)系數(shù)據(jù)庫標準語言SQL、關(guān)系數(shù)據(jù)庫編程、關(guān)系數(shù)據(jù)庫安全和保護、分布式數(shù)據(jù)HBase、鍵值數(shù)據(jù)庫Redis等重要章節(jié)安排了豐富的實踐操作，以便讀者更好地學習和掌握數(shù)據(jù)庫技術(shù)。數(shù)據(jù)庫概述關(guān)系數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫標準語言SQL關(guān)系數(shù)據(jù)庫編程關(guān)系數(shù)據(jù)庫安全和保護關(guān)系數(shù)據(jù)庫的規(guī)范化理論關(guān)系數(shù)據(jù)庫設(shè)計NoSQL數(shù)據(jù)庫分布式數(shù)據(jù)HBase文檔數(shù)據(jù)庫MongoDB鍵值數(shù)據(jù)庫Redis云數(shù)據(jù)庫數(shù)據(jù)倉庫和數(shù)據(jù)湖SQL與大數(shù)據(jù)附錄R：《Flink編程基礎(chǔ)（Java版）》《Flink編程基礎(chǔ)（Java版）》版次：2024年7月第1版林子雨編著，人民郵電出版社

ISBN:978-7-115-64149-6

定價：69.80元

教材官網(wǎng)：/post/flink-java/披荊斬棘，在大數(shù)據(jù)叢林中開辟學習捷徑填溝削坎，為快速學習Flink技術(shù)鋪平道路深入淺出，有效降低Flink技術(shù)學習門檻資源全面，構(gòu)建全方位一站式在線服務體系本書以Java作為開發(fā)Flink應用程序的編程語言，系統(tǒng)介紹了Flink編程的基礎(chǔ)知識。