大模型概念、技術(shù)與應(yīng)用實(shí)踐第5章

本地部署大模型目錄5.1為什么需要本地部署大模型5.2本地部署大模型的成本5.3DeepSeek大模型一體機(jī)5.4本地部署DeepSeekR1大模型5.5模型微調(diào)和本地知識(shí)庫(kù)5.1為什么需要本地部署大模型5.1為什么需要本地部署大模型在本地部署大模型具有以下優(yōu)勢(shì)：優(yōu)勢(shì)數(shù)據(jù)隱私與安全性成本與資源優(yōu)化避免使用限制定制化與靈活性離線與高效使用5.1為什么需要本地部署大模型數(shù)據(jù)隱私與安全性所有數(shù)據(jù)運(yùn)算和存儲(chǔ)均在本地完成，不會(huì)上傳至云端，有效避免了數(shù)據(jù)在傳輸和云端存儲(chǔ)過程中可能帶來的隱私泄露風(fēng)險(xiǎn)數(shù)據(jù)本地存儲(chǔ)用戶可以完全掌控?cái)?shù)據(jù)的使用和存儲(chǔ)，確保數(shù)據(jù)不被未經(jīng)授權(quán)的訪問或用于其他目的完全掌控?cái)?shù)據(jù)支持訪問權(quán)限控制，進(jìn)一步增強(qiáng)數(shù)據(jù)安全性隱私保護(hù)機(jī)制5.1為什么需要本地部署大模型定制化與靈活性用戶可以根據(jù)自己的需求對(duì)模型進(jìn)行自定義知識(shí)庫(kù)訓(xùn)練，進(jìn)一步提升模型在特定領(lǐng)域的性能自定義知識(shí)庫(kù)訓(xùn)練根據(jù)業(yè)務(wù)需求靈活調(diào)整模型參數(shù)和功能，滿足不同場(chǎng)景下的個(gè)性化需求靈活調(diào)整模型參數(shù)開源模型一般都允許用戶無(wú)限制地進(jìn)行微調(diào)或?qū)⑵浼傻阶约旱捻?xiàng)目中開源靈活性5.1為什么需要本地部署大模型離線與高效使用離線訪問本地部署后，無(wú)需依賴網(wǎng)絡(luò)連接，適合旅行或網(wǎng)絡(luò)不穩(wěn)定的場(chǎng)景，隨時(shí)隨地可用避免服務(wù)器繁忙再也不用擔(dān)心“服務(wù)器繁忙”的問題，提升使用體驗(yàn)5.1為什么需要本地部署大模型成本與資源優(yōu)化長(zhǎng)期使用比云服務(wù)更經(jīng)濟(jì)，尤其適合高頻調(diào)用場(chǎng)景成本可控對(duì)硬件資源要求較低，可在較少GPU或高級(jí)CPU集群上運(yùn)行，資源效率顯著硬件友好5.1為什么需要本地部署大模型避免使用限制本地部署避免了可能出現(xiàn)的使用限制，不受未來商業(yè)化影響，可永久免費(fèi)使用。通過本地部署開源大模型，用戶不僅能夠享受強(qiáng)大的AI功能，還能在數(shù)據(jù)隱私、定制化需求和使用成本等方面獲得顯著優(yōu)勢(shì)5.2本地部署大模型的成本5.2本地部署大模型的成本DeepSeekR1本地部署的成本，因部署方案和硬件配置差異較大，具體可分為以下三類情況：類別企業(yè)級(jí)滿血版（671B參數(shù)）部署個(gè)人開發(fā)者方案云服務(wù)方案5.2本地部署大模型的成本企業(yè)級(jí)滿血版（671B參數(shù)）部署企業(yè)級(jí)滿血版參數(shù)規(guī)模是671B，即6710億參數(shù)運(yùn)維成本硬件采購(gòu)成本服務(wù)器集群（含8張NVIDIAA100/H100顯卡的服務(wù)器）的成本約80-120萬(wàn)元，配套設(shè)備（液冷系統(tǒng)、冗余電源等）的成本約15-25萬(wàn)元在電費(fèi)方面，滿載功耗約6000W，年電費(fèi)約5-8萬(wàn)元（按工業(yè)電價(jià)1.2元/度計(jì)算）。在維護(hù)方面，專業(yè)工程師團(tuán)隊(duì)年成本約30-50萬(wàn)元5.2本地部署大模型的成本個(gè)人開發(fā)者方案大模型蒸餾，簡(jiǎn)單來說，就是將一個(gè)復(fù)雜的大模型（教師模型）的知識(shí)遷移到一個(gè)較小的模型（學(xué)生模型）中。就像老師把自己淵博的知識(shí)傳授給學(xué)生，讓學(xué)生能夠在資源有限的情況下，盡可能地表現(xiàn)出和老師相似的能力。一般采用雙卡配置，包括2張RTX3090顯卡（約2.4萬(wàn)元）和64GB內(nèi)存（約0.3萬(wàn)元），總成本約3-4萬(wàn)元?大模型的量化版本是指通過降低模型參數(shù)的數(shù)值精度（如將32位浮點(diǎn)數(shù)轉(zhuǎn)換為8位整數(shù)），實(shí)現(xiàn)模型壓縮和推理加速的技術(shù)?。這種技術(shù)通過犧牲少量精度換取更小的存儲(chǔ)需求和更高的計(jì)算效率，使大模型能在資源受限的設(shè)備上運(yùn)行。一般采用單卡配置，需要NVIDIARTX4090顯卡（約1.8萬(wàn)元）和128GB內(nèi)存（約0.6萬(wàn)元），總成本約2.5-3萬(wàn)元（含整機(jī)配置）量化版模型部署（70B4bit）蒸餾版模型部署（32B參數(shù)）5.2本地部署大模型的成本云服務(wù)方案比如租賃華為云服務(wù)，一般采用按需付費(fèi)的方式，搭載8卡A100的實(shí)例約58元/小時(shí)。如果采用包月套餐，費(fèi)用約3.5-4萬(wàn)元/月（含模型調(diào)用權(quán)限）5.2本地部署大模型的成本下表給出了三種不同方案的費(fèi)用對(duì)比情況方案類型初始投入年運(yùn)維成本適用場(chǎng)景企業(yè)級(jí)滿血版95-145萬(wàn)元35-58萬(wàn)元大型機(jī)構(gòu)/科研中心個(gè)人量化版2.5-3萬(wàn)元0.5-1萬(wàn)元開發(fā)者/小型團(tuán)隊(duì)華為云租賃0元（按需付費(fèi)）3.5-4萬(wàn)元/月短期項(xiàng)目/臨時(shí)需求5.3DeepSeek大模型一體機(jī)5.3DeepSeek大模型一體機(jī)DeepSeek大模型一體機(jī)具有以下特點(diǎn)：全生命周期管理數(shù)據(jù)安全與本地化部署行業(yè)場(chǎng)景深度適配動(dòng)態(tài)資源調(diào)度全尺寸模型支持特點(diǎn)5.3DeepSeek大模型一體機(jī)

目前國(guó)內(nèi)廠商提供的DeepSeek大模型一體機(jī)解決方案主要包括：

1.天璣科技：PriData超融合一體機(jī)；2.深信服：一朵云；3.海康威視：文搜存儲(chǔ)系列產(chǎn)品；4.大華股份：大華神算；5.浪潮信息：DeepSeek“推理一體機(jī)”；6.中國(guó)長(zhǎng)城：長(zhǎng)城擎天GF7280V5AI訓(xùn)推一體機(jī)；7.中科曙光：曙光DeepSeek人工智能一體機(jī)；8.優(yōu)刻得：DeepSeek滿血版大模型一體機(jī)；9.云從科技：從容大模型訓(xùn)推一體機(jī)；10.天融信：融信DeepSeek安全智算一體機(jī)；11.新致軟件：新致信創(chuàng)一體機(jī)；12.軟通動(dòng)力：DeepSeek應(yīng)用方案一體機(jī)；13.科大訊飛：“星火+DeepSeek”雙引擎一體機(jī)；14.拓維信息：拓維信息智能數(shù)據(jù)標(biāo)注一體機(jī)；15.協(xié)創(chuàng)數(shù)據(jù)：FcloudDeepSeek滿血版一體機(jī)；

16.麒麟信安：麒麟信安全國(guó)產(chǎn)化智算一體機(jī)；17.亞康華創(chuàng)科技：D-BOXPro桌面級(jí)智能一體機(jī)；18.華為昇騰：昇騰DeepSeek推理一體機(jī)；19.聯(lián)想集團(tuán)：智能體一體機(jī)與訓(xùn)推一體服務(wù)器；20.釘釘科技：專屬AI一體機(jī)；21.新華三：DeepSeek智能一體機(jī)；22.寶得：DeepSeek一體化智能設(shè)備；23.中國(guó)電信：息壤智算一體機(jī)DeepSeek版；24.中國(guó)移動(dòng)：智算一體機(jī)DeepSeek版；25.中國(guó)聯(lián)通：DeepSeek一體機(jī)；26.柏飛電子：DeepSeek加固式一體機(jī)；27.京東云：DeepSeek大模型一體機(jī)；28.華能振宇：天巡DeepSeek大模型一體機(jī)；29.昆侖技術(shù)：DeepSeek本地化部署一體機(jī)；30.百度：百舸DeepSeek一體機(jī)；31.黃河信產(chǎn)：黃河DeepSeek一體機(jī)。

5.4本地部署DeepSeekR1大模型5.4本地部署DeepSeekR1大模型DeepSeekR1簡(jiǎn)介在本地計(jì)算機(jī)部署DeepSeekR15.4.1DeepSeekR1簡(jiǎn)介

2025年1月20日，我國(guó)杭州深度求索公司的DeepSeekR1大模型正式發(fā)布，它是一個(gè)基于深度學(xué)習(xí)的推薦系統(tǒng)模型，通常用于處理推薦任務(wù)，如商品推薦、內(nèi)容推薦等。DeepseekR1的發(fā)布，標(biāo)志著大模型產(chǎn)品的“平民”時(shí)代已經(jīng)到來，它大大降低了對(duì)計(jì)算機(jī)硬件的要求，可以部署在普通的個(gè)人計(jì)算機(jī)上，甚至部署在手機(jī)等便攜式設(shè)備中。Deepseek采用了較為簡(jiǎn)潔高效的模型架構(gòu)，去除了一些不必要的復(fù)雜結(jié)構(gòu)和計(jì)算，在保證模型性能的基礎(chǔ)上，降低了對(duì)計(jì)算資源的需求，使模型在本地計(jì)算機(jī)上運(yùn)行更加輕松。通過先進(jìn)的量化壓縮技術(shù)，Deepseek將模型的參數(shù)進(jìn)行壓縮存儲(chǔ)和計(jì)算，大大減少了模型所需的存儲(chǔ)空間和計(jì)算量。2025年1月30日，微軟公司宣布支持在Win11電腦本地運(yùn)行DeepSeekR1大模型。5.4.2在本地計(jì)算機(jī)部署DeepSeekR1安裝Ollama訪問Ollama官網(wǎng)（/），點(diǎn)擊“Download”（如圖左所示），根據(jù)操作系統(tǒng)（Windows、macOS或Linux）下載自己操作系統(tǒng)對(duì)應(yīng)的安裝包（如圖右所示）5.4.2在本地計(jì)算機(jī)部署DeepSeekR1安裝Ollama下載完成以后，雙擊安裝包文件“OllamaSetup.exe”完成安裝安裝完成后，在Windows系統(tǒng)中，右鍵單擊開始菜單按鈕，在彈出的菜單中選擇“運(yùn)行”，再在彈出的對(duì)話框中輸入“cmd”并回車，打開cmd命令行工具窗口，輸入以下命令驗(yàn)證是否安裝成功：ollama--version如果顯示Ollama版本號(hào)，說明安裝成功（如圖所示）5.4.2在本地計(jì)算機(jī)部署DeepSeekR1下載DeepSeekR1Ollama已經(jīng)在第一時(shí)間支持DeepSeekR1，模型下載地址是/library/deepseek-r1。請(qǐng)根據(jù)自己的顯存選擇對(duì)應(yīng)的模型，建議選擇參數(shù)較少、體積最小的1.5B版本（如果計(jì)算機(jī)的配置較高，也可以選擇參數(shù)較大的版本）。當(dāng)然，我們可以不用到這個(gè)下載地址手動(dòng)下載，只需要在cmd命令行窗口中執(zhí)行如下命令就可以自動(dòng)下載DeepSeekR1大模型：ollamarundeepseek-r1:1.5b下載完成后，可以使用以下命令查看模型信息：ollamalist

該命令會(huì)列出本地已下載的模型及其狀態(tài)5.4.2在本地計(jì)算機(jī)部署DeepSeekR1運(yùn)行DeepSeekR1可以在cmd命令行窗口中執(zhí)行如下命令啟動(dòng)DeepSeekR1大模型：ollamarundeepseek-r1:1.5b啟動(dòng)后，模型會(huì)進(jìn)入交互模式，用戶可以直接輸入問題并獲取回答。在交互模式下，可以測(cè)試DeepSeekR1的多種功能（如圖所示），例如：

智能客服：輸入常見問題，如“如何學(xué)習(xí)人工智能？”。

內(nèi)容創(chuàng)作：輸入“請(qǐng)為我撰寫一篇介紹沙縣小吃的宣傳文案”。

編程輔助：輸入“用Python繪制一個(gè)柱狀圖”。

教育輔助：輸入“解釋牛頓第二定律”。5.4.2在本地計(jì)算機(jī)部署DeepSeekR1運(yùn)行DeepSeekR1cmd窗口關(guān)閉以后，DeepSeekR1大模型就停止運(yùn)行了。下次再次使用時(shí)，需要再次在cmd窗口中執(zhí)行如下命令啟動(dòng)DeepSeekR1大模型：ollamarundeepseek-r1:1.5b這種以命令行的方式與大模型進(jìn)行對(duì)話，顯然不太友好，因此，下面介紹如何通過瀏覽器來與大模型進(jìn)行對(duì)話，這里就需要安裝OpenWebUI，由于OpenWebUI依賴于Python環(huán)境，因此，在安裝OpenWebUI之前，需要首先安裝Python環(huán)境5.4.2在本地計(jì)算機(jī)部署DeepSeekR1安裝Python這里使用的Python版本是3.12.2（該版本于2024年2月6日發(fā)布），不要安裝最新的版本3.13。請(qǐng)到Python官方網(wǎng)站下載與自己計(jì)算機(jī)操作系統(tǒng)匹配的安裝包，比如，64位Windows操作系統(tǒng)可以下載python-3.12.2-amd64.exe。運(yùn)行安裝包開始安裝，在安裝過程中，要注意選中“Addpython.exetoPATH”復(fù)選框，如圖所示，這樣可以在安裝過程中自動(dòng)配置PATH環(huán)境變量，避免了手動(dòng)配置的煩瑣過程5.4.2在本地計(jì)算機(jī)部署DeepSeekR1安裝Python然后，點(diǎn)擊“Customizeinstallation”繼續(xù)安裝，在選擇安裝路徑時(shí)，可以自定義安裝路徑，比如設(shè)置為“C:\python312”，并在“AdvancedOptions”下方選中“InstallPython3.12forallusers”（如圖所示）5.4.2在本地計(jì)算機(jī)部署DeepSeekR1安裝Python安裝完成以后，需要檢測(cè)是否安裝成功?？梢源蜷_Windows操作系統(tǒng)的cmd命令界面，然后執(zhí)行如下命令打開Python解釋器：cdC:\python312python如果出現(xiàn)如圖所示信息，則說明Python已經(jīng)安裝成功5.4.2在本地計(jì)算機(jī)部署DeepSeekR1安裝MicrosoftVisualC++BuildTools

對(duì)于不同的計(jì)算機(jī)環(huán)境，本步驟可能不是必須的，讀者可以先跳到第6步繼續(xù)操作，如果在下面的第6步遇到報(bào)錯(cuò)信息說“缺少M(fèi)icrosoftVisualC++BuildTools”，可以再回到本步驟安裝MicrosoftVisualC++BuildTools，然后再執(zhí)行第6步的安裝?？梢缘饺缦戮W(wǎng)址下載MicrosoftVisualC++BuildTools安裝包vs_BuildTools.exe：/zh-hans/visual-cpp-build-tools/5.4.2在本地計(jì)算機(jī)部署DeepSeekR1安裝MicrosoftVisualC++BuildTools下載完成以后，雙擊安裝包文件vs_BuildTools.exe進(jìn)行安裝，在彈出的安裝界面中（如圖所示），在界面左上角的“桌面應(yīng)用和移動(dòng)應(yīng)用”下方，選中“使用C++的桌面開發(fā)”，然后，點(diǎn)擊界面右下角的“安裝”按鈕，完成安裝5.4.2在本地計(jì)算機(jī)部署DeepSeekR1使用OpenWebUI增強(qiáng)交互體驗(yàn)只要是支持Ollama的WebUI都可以，如Dify、AnythingLLM等。這里使用比較簡(jiǎn)單而且也是與Ollama結(jié)合比較緊密的OpenWebUI。可以在cmd命令行窗口中執(zhí)行如下命令安裝OpenWebUI（這里使用國(guó)內(nèi)清華大學(xué)的安裝源鏡像，這樣可以加快安裝速度）：pipinstallopen-webui-i/simple注意，如果在下載和安裝過程中，出現(xiàn)長(zhǎng)時(shí)間停滯不動(dòng)，可以敲擊幾次回車鍵?？梢詧?zhí)行如下命令啟動(dòng)OpenWebUI服務(wù)：open-webuiserve5.4.2在本地計(jì)算機(jī)部署DeepSeekR1使用OpenWebUI增強(qiáng)交互體驗(yàn)啟動(dòng)后，在瀏覽器中訪問http://localhost:8080/即可進(jìn)入OpenWebUI界面。如果網(wǎng)頁(yè)顯示“拒絕連接”，無(wú)法訪問OpenWebUI界面，一般是由于你的計(jì)算機(jī)開啟了Windows防火墻，可以點(diǎn)擊“開始”菜單按鈕，在彈出的界面中，在頂部的搜索框中輸入“安全中心”，打開“Windows安全中心”（如圖所示），點(diǎn)擊左側(cè)的“防火墻和網(wǎng)絡(luò)保護(hù)”，在右側(cè)的“域網(wǎng)絡(luò)”中，關(guān)閉防火墻5.4.2在本地計(jì)算機(jī)部署DeepSeekR1使用OpenWebUI增強(qiáng)交互體驗(yàn)OpenWebUI支持中文界面，可以在設(shè)置中調(diào)整語(yǔ)言，默認(rèn)是你的Windows系統(tǒng)當(dāng)前正在使用的語(yǔ)言。首先，需要注冊(cè)一個(gè)管理員賬號(hào)（如圖所示），然后，就可以開始使用了5.4.2在本地計(jì)算機(jī)部署DeepSeekR1使用OpenWebUI增強(qiáng)交互體驗(yàn)在OpenWebUI界面中，選擇已下載的DeepSeekR1模型，即可開始對(duì)話測(cè)試。如圖左所示，可以在對(duì)話框中輸入“請(qǐng)介紹如何學(xué)習(xí)人工智能”然后回車，頁(yè)面就會(huì)給出DeepSeekR1的回答結(jié)果（如圖右所示）5.4.2在本地計(jì)算機(jī)部署DeepSeekR1每次使用大模型的步驟當(dāng)我們本次使用完大模型時(shí)，只需要關(guān)閉各個(gè)cmd命令行窗口，大模型就停止運(yùn)行了。下次要再次使用時(shí)，還是按照一樣的步驟進(jìn)行操作：（1）啟動(dòng)大模型。新建一個(gè)cmd命令行窗口，在cmd命令行窗口中執(zhí)行如下命令啟動(dòng)DeepSeekR1大模型：ollamarundeepseek-r1:1.5b（2）啟動(dòng)OpenWebUI。再新建一個(gè)cmd命令行窗口，在cmd命令行窗口中執(zhí)行如下命令啟動(dòng)OpenWebUI服務(wù)：open-webuiserve（3）在瀏覽器中訪問大模型。在瀏覽器中訪問http://localhost:8080/即可進(jìn)入OpenWebUI界面，開始使用大模型5.4.2在本地計(jì)算機(jī)部署DeepSeekR1取消Ollama的開機(jī)自動(dòng)啟動(dòng)在Windows系統(tǒng)中，右鍵單擊開始菜單按鈕，在彈出的菜單中選擇“運(yùn)行”，再在彈出的對(duì)話框中輸入“msconfig”并回車，進(jìn)入如圖所示系統(tǒng)設(shè)置界面5.4.2在本地計(jì)算機(jī)部署DeepSeekR1取消Ollama的開機(jī)自動(dòng)啟動(dòng)點(diǎn)擊“啟動(dòng)”選項(xiàng)卡，在這個(gè)選項(xiàng)卡中點(diǎn)擊“打開任務(wù)管理器”，進(jìn)入如圖所示的任務(wù)管理器界面，在界面中，找到“ollama.exe”，把鼠標(biāo)指針放到“已啟動(dòng)”上面，單擊鼠標(biāo)右鍵，在彈出的菜單中點(diǎn)擊“禁用”，然后關(guān)閉任務(wù)管理器界面。經(jīng)過這樣設(shè)置以后，Ollama以后就不會(huì)開機(jī)自動(dòng)啟動(dòng)了，下次在使用DeepSeek時(shí)，仍然采用之前介紹的方法，在cmd命令行窗口中執(zhí)行如下命令啟動(dòng)DeepSeekR1大模型：ollamarundeepseek-r1:1.5b5.5模型微調(diào)和本地知識(shí)庫(kù)5.5模型微調(diào)和本地知識(shí)庫(kù)使用海量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練得到的基礎(chǔ)大模型，具備廣泛的語(yǔ)言理解和生成能力，但在特定任務(wù)上的表現(xiàn)往往不夠精準(zhǔn)。可以采用兩種方案來提升大模型在特定任務(wù)上的性能，包括模型微調(diào)和本地知識(shí)庫(kù)模型微調(diào)本地知識(shí)庫(kù)選擇模型微調(diào)還是本地知識(shí)庫(kù)5.5.1模型微調(diào)預(yù)訓(xùn)練模型通常是在大規(guī)模通用數(shù)據(jù)集上進(jìn)行訓(xùn)練得到的，學(xué)習(xí)到了豐富的通用特征和模式。模型微調(diào)則是將預(yù)訓(xùn)練模型應(yīng)用到特定的任務(wù)或領(lǐng)域中，通過在較小規(guī)模的特定數(shù)據(jù)集上進(jìn)行進(jìn)一步訓(xùn)練，對(duì)模型的參數(shù)進(jìn)行微調(diào)，使其能夠更好地適應(yīng)特定任務(wù)的需求。模型微調(diào)的技術(shù)特點(diǎn)主要包括：領(lǐng)域針對(duì)性強(qiáng)模型適應(yīng)性優(yōu)化模型微調(diào)的技術(shù)要點(diǎn)包括：高質(zhì)量的標(biāo)注數(shù)據(jù)合理的微調(diào)策略5.5.2本地知識(shí)庫(kù)采用本地知識(shí)庫(kù)可以提升大模型針對(duì)特定任務(wù)的性能，一般采用RAG技術(shù)。RAG（Retrieval-AugmentedGeneration），即檢索增強(qiáng)生成，是一種結(jié)合檢索技術(shù)和生成模型的技術(shù)框架，旨在提升模型生成內(nèi)容的準(zhǔn)確性和相關(guān)性。其核心思想是：在生成答案前，先從外部知識(shí)庫(kù)中檢索相關(guān)信息，再將檢索結(jié)果與用戶輸入結(jié)合，指導(dǎo)生成模型輸出更可靠的回答。簡(jiǎn)單地說，就是利用已有的文檔、內(nèi)部知識(shí)生成向量知識(shí)庫(kù)，在提問的時(shí)候結(jié)合庫(kù)的內(nèi)容一起給大模型，讓其回答的更準(zhǔn)確，它結(jié)合了信息檢索和大模型技術(shù)。RAG包含三個(gè)主要過程：檢索、增強(qiáng)和生成（如圖所示）：5.5.3選擇模型微調(diào)還是本地知識(shí)庫(kù)模型微調(diào)的成本較高，而本地知識(shí)庫(kù)的成本相對(duì)較低。選擇模型微調(diào)還是本地知識(shí)庫(kù)，取決于多個(gè)因素，以下從數(shù)據(jù)特性、應(yīng)用場(chǎng)景、性能需求等方面進(jìn)行分析：①數(shù)據(jù)量②數(shù)據(jù)更新頻率數(shù)據(jù)特性①響應(yīng)時(shí)間②準(zhǔn)確性要求性能需求①計(jì)算資源②

存儲(chǔ)資源資源限制①?gòu)?fù)雜任務(wù)與簡(jiǎn)單任務(wù)②個(gè)性化需求應(yīng)用場(chǎng)景謝謝觀看！林子雨副教授廈門大學(xué)附錄A：主講教師林子雨簡(jiǎn)介單位：廈門大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系E-mail:ziyulin@個(gè)人網(wǎng)頁(yè)：/post/linziyu數(shù)據(jù)庫(kù)實(shí)驗(yàn)室網(wǎng)站：主講教師：林子雨林子雨，男，1978年出生，博士（畢業(yè)于北京大學(xué)），全國(guó)高校知名大數(shù)據(jù)教師，入選“2021年高校計(jì)算機(jī)專業(yè)優(yōu)秀教師獎(jiǎng)勵(lì)計(jì)劃”。現(xiàn)為廈門大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系副教授，廈門大學(xué)信息學(xué)院實(shí)驗(yàn)教學(xué)中心主任，曾任廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院院長(zhǎng)助理、晉江市發(fā)展和改革局副局長(zhǎng)。中國(guó)計(jì)算機(jī)學(xué)會(huì)數(shù)據(jù)庫(kù)專業(yè)委員會(huì)執(zhí)行委員，中國(guó)計(jì)算機(jī)學(xué)會(huì)信息系統(tǒng)專業(yè)委員會(huì)執(zhí)行委員。國(guó)內(nèi)高校首個(gè)“數(shù)字教師”提出者和建設(shè)者，廈門大學(xué)數(shù)據(jù)庫(kù)實(shí)驗(yàn)室負(fù)責(zé)人，廈門大學(xué)云計(jì)算與大數(shù)據(jù)研究中心主要建設(shè)者和骨干成員，2013年度、2017年度、2020年度和2023年度廈門大學(xué)教學(xué)類獎(jiǎng)教金獲得者，榮獲2024年福建省高等教育教學(xué)成果獎(jiǎng)特等獎(jiǎng)（個(gè)人排名第七）、2022年福建省高等教育教學(xué)成果獎(jiǎng)特等獎(jiǎng)（個(gè)人排名第一）、2018年福建省高等教育教學(xué)成果獎(jiǎng)二等獎(jiǎng)（個(gè)人排名第一）、2018年國(guó)家精品在線開放課程、2021年國(guó)家級(jí)線上一流本科課程、2020年國(guó)家級(jí)線上一流本科課程。主要研究方向?yàn)閿?shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)，并以第一作者身份在《軟件學(xué)報(bào)》《計(jì)算機(jī)學(xué)報(bào)》和《計(jì)算機(jī)研究與發(fā)展》等國(guó)家重點(diǎn)期刊以及國(guó)際學(xué)術(shù)會(huì)議上發(fā)表多篇學(xué)術(shù)論文。作為項(xiàng)目負(fù)責(zé)人主持的科研項(xiàng)目包括1項(xiàng)國(guó)家自然科學(xué)青年基金項(xiàng)目(No.61303004)、1項(xiàng)福建省自然科學(xué)青年基金項(xiàng)目(No.2013J05099)和1項(xiàng)中央高?；究蒲袠I(yè)務(wù)費(fèi)項(xiàng)目(No.2011121049)，主持的教改課題包括1項(xiàng)2016年福建省教改課題、1項(xiàng)2016年教育部產(chǎn)學(xué)協(xié)作育人項(xiàng)目、1項(xiàng)2024年教育部產(chǎn)學(xué)協(xié)作育人項(xiàng)目。編著出版了《大數(shù)據(jù)技術(shù)原理與應(yīng)用》等18本大數(shù)據(jù)與人工智能系列教材，被國(guó)內(nèi)1000多所高校采用；建設(shè)了國(guó)內(nèi)高校首個(gè)大數(shù)據(jù)課程公共服務(wù)平臺(tái)，為教師教學(xué)和學(xué)生學(xué)習(xí)大數(shù)據(jù)課程提供全方位、一站式服務(wù)，年訪問量超過400萬(wàn)次，累計(jì)訪問量超過2800萬(wàn)次。大數(shù)據(jù)系列MOOC課程入選“2023年教育部國(guó)家智慧教育公共服務(wù)平臺(tái)應(yīng)用典型案例”。附錄B：大數(shù)據(jù)學(xué)習(xí)路線圖大數(shù)據(jù)學(xué)習(xí)路線圖訪問地址:/post/10164/附錄C：林子雨大數(shù)據(jù)系列教材了解全部教材信息:/post/bigdatabook/附錄D：《人工智能通識(shí)教程》林子雨

主編《人工智能通識(shí)教程》人民郵電出版社ISBN:978-7-04-064880-52025年6月第1版，定價(jià)：39.9元

教材官網(wǎng)：/post/ai/本書詳細(xì)闡述了培養(yǎng)具有人工智能（AI）素養(yǎng)的綜合型人才所需要的相關(guān)知識(shí)儲(chǔ)備。作為通識(shí)類課程教材，本書在確定知識(shí)布局時(shí)，緊緊圍繞通識(shí)教育核心理念，系統(tǒng)介紹人工智能相關(guān)知識(shí)，努力培養(yǎng)學(xué)生的AI思維和AI能力。全書共9章，內(nèi)容包括信息與計(jì)算機(jī)基礎(chǔ)、人工智能概述、人工智能與其他新興技術(shù)的關(guān)系、大模型：人工智能的前沿、智能體、具身智能、AIGC應(yīng)用與實(shí)踐、AI智能辦公、人工智能倫理等。本書以“零代碼”學(xué)習(xí)人工智能為原則，使用AIGC工具解決學(xué)習(xí)、工作、生活中的各種問題。書中包含了大量生動(dòng)、有趣、實(shí)用的實(shí)戰(zhàn)案例，可以讓讀者切身感受人工智能的強(qiáng)大功能，培養(yǎng)讀者使用AI工具解決實(shí)際問題的能力。廈門大學(xué)數(shù)據(jù)庫(kù)實(shí)驗(yàn)室和金山WPS校企合作教材附錄E：《數(shù)字素養(yǎng)通識(shí)教程》林子雨編著《數(shù)字素養(yǎng)通識(shí)教程——大數(shù)據(jù)與人工智能時(shí)代的計(jì)算機(jī)通識(shí)教育》人民郵電出版社ISBN:978-7-115-65946-02025年1月第1版，定價(jià)：59.8元

教材官網(wǎng)：/post/digital-literacy/15年計(jì)算機(jī)教學(xué)生涯感悟升華，15本計(jì)算機(jī)暢銷教材知識(shí)凝練數(shù)字時(shí)代的大學(xué)計(jì)算機(jī)公共課教材，重構(gòu)大學(xué)計(jì)算機(jī)公共課知識(shí)體系深刻變革傳統(tǒng)大學(xué)計(jì)算機(jī)通識(shí)教育，培養(yǎng)學(xué)生計(jì)算思維、數(shù)據(jù)思維和AI思維附錄F：《大數(shù)據(jù)導(dǎo)論（通識(shí)課版，第2版）》教材高等教育出版社

2024年7月第2版ISBN：978-7-04-062466-3定價(jià)：39.50元

教材官方網(wǎng)站:/post/bigdataintroduction2/0503020104引導(dǎo)學(xué)生步入大數(shù)據(jù)時(shí)代，積極投身大數(shù)據(jù)的變革浪潮之中了解大數(shù)據(jù)概念，培養(yǎng)大數(shù)據(jù)思維，養(yǎng)成數(shù)據(jù)安全意識(shí)認(rèn)識(shí)大數(shù)據(jù)倫理，努力使自己的行為符合大數(shù)據(jù)倫理規(guī)范要求熟悉大數(shù)據(jù)應(yīng)用，探尋大數(shù)據(jù)與自己專業(yè)的應(yīng)用結(jié)合點(diǎn)激發(fā)學(xué)生基于大數(shù)據(jù)的創(chuàng)新創(chuàng)業(yè)熱情開設(shè)全校公共選修課的優(yōu)質(zhì)教材，本課程旨在實(shí)現(xiàn)以下幾個(gè)培養(yǎng)目標(biāo)：附錄G：《大數(shù)據(jù)與人工智能導(dǎo)論（通識(shí)課版）》《大數(shù)據(jù)與人工智能導(dǎo)論（通識(shí)課版）》版次：2025年1月第1版林子雨

編著，人民郵電出版社

ISBN:978-7-115-65696-4定價(jià)：59.8元

教材官網(wǎng)：/post/bigdata-ai-introduction/本書詳細(xì)闡述了培養(yǎng)具有數(shù)字素養(yǎng)的綜合型人才所需要的相關(guān)知識(shí)儲(chǔ)備。作為通識(shí)類課程教材，本書在確定知識(shí)布局時(shí)，緊緊圍繞通識(shí)教育核心理念，系統(tǒng)介紹大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)、人工智能、區(qū)塊鏈、元宇宙等技術(shù)的相關(guān)知識(shí)，努力培養(yǎng)學(xué)生的數(shù)字素養(yǎng)。全書共9章，內(nèi)容包括大數(shù)據(jù)概述、大數(shù)據(jù)技術(shù)、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)基礎(chǔ)知識(shí)、人工智能、大模型：人工智能的前沿、AIGC應(yīng)用與實(shí)踐、新興數(shù)字技術(shù)、新興數(shù)字技術(shù)的倫理問題。為了避免陷入空洞的理論介紹，本書在很多章節(jié)都融入了豐富的案例，這些案例就發(fā)生在我們生活的數(shù)字時(shí)代，很具有代表性和說服力，能夠讓學(xué)生直觀感受相應(yīng)理論的具體內(nèi)涵。附錄H：《大數(shù)據(jù)導(dǎo)論（第2版）》教材林子雨編著《大數(shù)據(jù)導(dǎo)論（第2版）》人民郵電出版社

ISBN：978-7-115-64185-4定價(jià)：59.80元2024年7月教材官方網(wǎng)站:/post/bigdata-introduction2/開設(shè)大數(shù)據(jù)專業(yè)導(dǎo)論課的優(yōu)質(zhì)教材，本書詳細(xì)闡述了培養(yǎng)復(fù)合型大數(shù)據(jù)專業(yè)人才所需要的大數(shù)據(jù)相關(guān)知識(shí)。全書共10章，內(nèi)容包括：大數(shù)據(jù)概述大數(shù)據(jù)與其他新興技術(shù)的關(guān)系大數(shù)據(jù)基礎(chǔ)知識(shí)大數(shù)據(jù)應(yīng)用大數(shù)據(jù)硬件環(huán)境數(shù)據(jù)采集與預(yù)處理數(shù)據(jù)存儲(chǔ)與管理數(shù)據(jù)處理與分析數(shù)據(jù)可視化大數(shù)據(jù)分析綜合案例在大數(shù)據(jù)基礎(chǔ)知識(shí)部分，本書詳細(xì)介紹了與培養(yǎng)學(xué)生的數(shù)據(jù)素養(yǎng)相關(guān)的知識(shí)，包括大數(shù)據(jù)安全、大數(shù)據(jù)思維、大數(shù)據(jù)倫理、數(shù)據(jù)共享、數(shù)據(jù)開放和大數(shù)據(jù)交易。附錄I：《大數(shù)據(jù)技術(shù)原理與應(yīng)用（第4版）》教材《大數(shù)據(jù)技術(shù)原理與應(yīng)用——概念、存儲(chǔ)、處理、分析與應(yīng)用（第4版）》林子雨編著，人民郵電出版社

ISBN:978-7-115-64181-6定價(jià)：65元2024年8月教材官方網(wǎng)站:/post/bigdata4國(guó)內(nèi)高校第一本系統(tǒng)介紹大數(shù)據(jù)知識(shí)的專業(yè)教材，本書系統(tǒng)介紹大數(shù)據(jù)的相關(guān)知識(shí)，分為大數(shù)據(jù)基礎(chǔ)篇、大數(shù)據(jù)存儲(chǔ)與管理篇、大數(shù)據(jù)處理與分析篇、大數(shù)據(jù)應(yīng)用篇。全書共14章，內(nèi)容包含：本書在Hadoop、HDFS、HBase、MapReduce、Hive、Spark和Flink等相關(guān)章安排了入門級(jí)的實(shí)驗(yàn)，以便讀者能更好地學(xué)習(xí)和掌握大數(shù)據(jù)的關(guān)鍵技術(shù)。大數(shù)據(jù)概述大數(shù)據(jù)處理架構(gòu)Hadoop分布式文件系統(tǒng)HDFS分布式數(shù)據(jù)庫(kù)HBaseNoSQL數(shù)據(jù)庫(kù)云數(shù)據(jù)庫(kù)MapReduceHadoop再探討數(shù)據(jù)倉(cāng)庫(kù)HiveSpark流計(jì)算Flink圖計(jì)算大數(shù)據(jù)應(yīng)用附錄J：《大數(shù)據(jù)基礎(chǔ)編程、實(shí)驗(yàn)和案例教程（第3版）》與《大數(shù)據(jù)技術(shù)原理與應(yīng)用（第4版）》教材配套的唯一指定實(shí)驗(yàn)指導(dǎo)書林子雨編著，清華大學(xué)出版社

ISBN:978-7-302-66922-7

定價(jià)：69元

2024年8月第3版《大數(shù)據(jù)基礎(chǔ)編程、實(shí)驗(yàn)和案例教程（第3版）》深入淺出，去粗取精，豐富的代碼實(shí)例幫助快速掌握大數(shù)據(jù)基礎(chǔ)編程方法步步引導(dǎo)，循序漸進(jìn)，詳盡的安裝指南為順利搭建大數(shù)據(jù)實(shí)驗(yàn)環(huán)境鋪平道路0102精心設(shè)計(jì)，巧妙融合，八套大數(shù)據(jù)實(shí)驗(yàn)題目促進(jìn)理論與編程知識(shí)的消化和吸收03結(jié)合理論，聯(lián)系實(shí)際，大數(shù)據(jù)課程綜合實(shí)驗(yàn)案例精彩呈現(xiàn)大數(shù)據(jù)分析全流程04附錄K：《數(shù)據(jù)采集與預(yù)處理（第2版）》詳細(xì)闡述了大數(shù)據(jù)領(lǐng)域數(shù)據(jù)采集與預(yù)處理的相關(guān)理論和技術(shù)林子雨編著，人民郵電出版社2025年1月

978-7-115-65728-2

定價(jià)：69.80元教材官網(wǎng)：/post/data-collection2/全書共8章，內(nèi)容包括：概述大數(shù)據(jù)實(shí)驗(yàn)環(huán)境搭建網(wǎng)絡(luò)數(shù)據(jù)采集分布式消息系統(tǒng)Kafka日志采集系統(tǒng)Flume數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)集成ETL工具Kettle使用pandas進(jìn)行數(shù)據(jù)清洗本書在網(wǎng)絡(luò)數(shù)據(jù)采集、Kafka、Flume、Kettle、pandas等重要章節(jié)安排了豐富的實(shí)踐操作，以便讀者更好地學(xué)習(xí)和掌握數(shù)據(jù)采集與預(yù)處理的關(guān)鍵技術(shù)。附錄L：《Python程序設(shè)計(jì)基礎(chǔ)教程（微課版）》教材：林子雨，趙江聲，陶繼平.《Python程序設(shè)計(jì)基礎(chǔ)教程（微課版）》人民郵電出版社,2022年2月.教材官網(wǎng)（獲取講義PPT、代碼等）：

/post/python/

實(shí)驗(yàn)手冊(cè)：林子雨，鄭海山.《Python程序設(shè)計(jì)實(shí)驗(yàn)指導(dǎo)與習(xí)題解答》.人民郵電出版社，2022年4月.實(shí)驗(yàn)手冊(cè)官網(wǎng)（獲取代碼等）：/post/python-experiment/附錄M：《Python程序設(shè)計(jì)基礎(chǔ)（通識(shí)課版）》教材：林子雨.《Python程序設(shè)計(jì)基礎(chǔ)（通識(shí)課版）》人民郵電出版社,2025年2月.教材官網(wǎng)（獲取講義PPT、代碼等）：

/post/python-general/

教材ISBN:978-7-115-65678-0定價(jià)：59.8元本書詳細(xì)介紹了獲得Python基礎(chǔ)編程能力所需要掌握的各方面技術(shù)。全書共11章，內(nèi)容包括Python語(yǔ)言概述、基礎(chǔ)語(yǔ)法知識(shí)、程序控制結(jié)構(gòu)、序列、函數(shù)、模塊、異常處理、文件和數(shù)據(jù)庫(kù)操作、常用的標(biāo)準(zhǔn)庫(kù)和第三方庫(kù)、基于Matplotlib的數(shù)據(jù)可視化、網(wǎng)絡(luò)爬蟲等。本書每個(gè)章節(jié)都安排了入門級(jí)的編程實(shí)踐操作，以便讀者更好地學(xué)習(xí)和掌握Python編程方法。本書官網(wǎng)免費(fèi)提供了全套的在線教學(xué)資源，包括講義PPT、源代碼、軟件、數(shù)據(jù)集等。附錄N：《Python數(shù)據(jù)分析、挖掘與可視化》教材：林子雨

編著《Python數(shù)據(jù)分析、挖掘與可視化》人民郵電出版社,2025年5月.教材官網(wǎng)（獲取講義PPT、代碼等）：/post/python-analysis/教材ISBN:978-7-115-66088-6定價(jià)：59.8元數(shù)據(jù)分析能夠幫助人們深入洞察數(shù)據(jù)的內(nèi)在規(guī)律和趨勢(shì)，提取有價(jià)值的信息，為決策提供科學(xué)依據(jù)。在當(dāng)今信息爆炸的時(shí)代，數(shù)據(jù)分析已成為各行各業(yè)不可或缺的技能。本書通過豐富的案例幫助讀者快速掌握Python數(shù)據(jù)分析的核心技能，提高數(shù)據(jù)處理和分析的能力，從而更好地應(yīng)對(duì)學(xué)習(xí)和工作中的挑戰(zhàn)。全書共10章，內(nèi)容包括Python語(yǔ)言概述、基礎(chǔ)語(yǔ)法知識(shí)、程序控制結(jié)構(gòu)、序列、函數(shù)、文件和數(shù)據(jù)庫(kù)操作、數(shù)據(jù)分析基礎(chǔ)工具NumPy、基于Matplotlib的數(shù)據(jù)可視化、基于pandas的數(shù)據(jù)預(yù)處理和分析、基于sklearn的機(jī)器學(xué)習(xí)。附錄O：《Spark編程基礎(chǔ)（Scala版，第2版）》《Spark編程基礎(chǔ)（Scala版，第2版）》林子雨，賴永炫，陶繼平

編著，人民郵電出版社

ISBN:978-7-115-59501-0

教材官網(wǎng)：/post/spark2/本書以Scala作為開發(fā)Spark應(yīng)用程序的編程語(yǔ)言，系統(tǒng)介紹了Spark編程的基礎(chǔ)知識(shí)。全書共9章，內(nèi)容包括：大數(shù)據(jù)技術(shù)概述Scala語(yǔ)言基礎(chǔ)Spark的設(shè)計(jì)與運(yùn)行原理Spark環(huán)境搭建和使用方法RDD編程SparkSQLSparkStreamingSparkMLlib本書每個(gè)章節(jié)都安排了入門級(jí)的編程實(shí)踐操作，以便讀者更好地學(xué)習(xí)和掌握Spark編程方法。本書官網(wǎng)免費(fèi)提供了全套的在線教學(xué)資源，包括講義PPT、習(xí)題、源代碼、軟件、數(shù)據(jù)集、授課視頻、上機(jī)實(shí)驗(yàn)指南等。披荊斬棘在大數(shù)據(jù)叢林中開辟學(xué)習(xí)捷徑填溝削坎為快速學(xué)習(xí)Spark技術(shù)鋪平道路深入淺出有效降低Spark技術(shù)學(xué)習(xí)門檻資源全面構(gòu)建全方位一站式在線服務(wù)體系附錄P：《Spark編程基礎(chǔ)（Python版，第2版）》《Spark編程基礎(chǔ)》（Python版，第2版）林子雨，鄭海山，賴永炫

編著，人民郵電出版社

ISBN:978-7-115-64403-9

出版發(fā)行，教材官網(wǎng)：/post/spark-python2/本書以Python作為開發(fā)Spark應(yīng)用程序的編程語(yǔ)言，系統(tǒng)介紹了Spark編程的基礎(chǔ)知識(shí)。全書共9章，內(nèi)容包括：大數(shù)據(jù)技術(shù)概述Spark的設(shè)計(jì)與運(yùn)行原理大數(shù)據(jù)實(shí)驗(yàn)環(huán)境搭建Spark環(huán)境搭建和使用方法RDD編程SparkSQLSparkStreamingSparkMLlib本書在非理論的章節(jié)都安排了入門級(jí)的編程實(shí)踐操作，以便讀者更好地學(xué)習(xí)和掌握Spark編程方法。本書官網(wǎng)免費(fèi)提供了全套的在線教學(xué)資源，包括講義PPT、習(xí)題、源代碼、軟件、數(shù)據(jù)集、授課視頻、上機(jī)實(shí)驗(yàn)指南等。披荊斬棘在大數(shù)據(jù)叢林中開辟學(xué)習(xí)捷徑填溝削坎為快速學(xué)習(xí)Spark技術(shù)鋪平道路深入淺出有效降低Spark技術(shù)學(xué)習(xí)門檻資源全面構(gòu)建全方位一站式在線服務(wù)體系SparkMLlib附錄Q：《數(shù)據(jù)庫(kù)系統(tǒng)原理（微課版）》《數(shù)據(jù)庫(kù)系統(tǒng)原理（微課