DeepSeek本地部署與應(yīng)用構(gòu)建目錄1、DeepSeek簡單介紹與使用2、DeepSeek本地部署3、本地知識庫搭建4、實際應(yīng)用場景DeepSeek簡單介紹與使用本地化部署隱私保護(hù)核心亮點在支持完全本地化部署，有效保護(hù)用戶數(shù)據(jù)隱私，避免敏感信息泄露，同時提升推理速度與安全性。推理能力強(qiáng)DeepSeek

R1推理模型具備強(qiáng)大的推理能力，能夠準(zhǔn)確理解并回應(yīng)復(fù)雜的對話場景，支持多輪對話，確保用戶體驗的連貫性和高效性。多種量化蒸餾模型提供多種量化蒸餾模型選擇，包括8B、32B、70B等，以

滿足不同應(yīng)用場景對精度與性能的多樣化需求。模型簡介開源生態(tài)開源社區(qū)支持，并兼容多種開源框架，方便我們二次開發(fā)和微調(diào)。同時也支持跨平臺適配。應(yīng)用場景自動化工作流集成DeepSeek

R1于自動化工作流，顯著提升流程智能化水平，自動處理數(shù)據(jù)，實現(xiàn)高效、準(zhǔn)確的決策支持?？蒲袛?shù)據(jù)分析DeepSeek

R1在科研領(lǐng)域展現(xiàn)出了巨大潛力，通過高效處理和分析復(fù)雜數(shù)據(jù)，為科研人員提供深入見解，加速科研進(jìn)展。外掛大腦日常答疑解惑，信息收集總結(jié)類，料匯總，策劃分析寫周報，寫作直播的話術(shù)官網(wǎng)/APP硅基流動秘塔

cursorGrok本地部署/APIDeepSeek

使用途徑DeepSeek本地部署數(shù)據(jù)隱私保護(hù)DeepSeek

R1推理模型本地部署可有效避免敏感數(shù)據(jù)在推理過程中上傳至云端，確保數(shù)據(jù)隱私安全。自定義模型數(shù)據(jù)弱審查根據(jù)特定需求，用戶可靈活選擇不同量化精度的模型進(jìn)行本地部署，實現(xiàn)性能與資源利用的最佳平衡?？梢匀趸瘜徍藯l件，更加全面的利用大模型能力離線使用即使在網(wǎng)絡(luò)斷開的情況下，用戶仍可依賴本地部署的DeepSeek

R1推理模型進(jìn)行智能分析，保障工作連續(xù)性。性能優(yōu)化本地部署DeepSeek

R1推理模型能夠充分挖掘并利用本地硬件資源，如

CPU、GPU等，實現(xiàn)推理性能的優(yōu)化提升。本地部署的必要性DeepSeek支持Windows及Linux、mac操作系統(tǒng)，確保了其在不同平臺上的兼容性，為用戶提供靈活的選擇。操作系統(tǒng)軟件要求部署DeepSeek需下載其本地部署包，該包已包含所有必要的依賴項和配置文件，確保了安裝過程的簡便性。安裝包為確保DeepSeek在斷網(wǎng)環(huán)境下能夠正常運(yùn)行，需進(jìn)行防火墻設(shè)置，禁止不必要的網(wǎng)絡(luò)通信，保障數(shù)據(jù)安全。防火墻設(shè)置模型選擇與硬件要求量化模型選擇DeepSeek支持8B、32B、70B等多種量化模型，官方滿配版本是671B。用戶可根據(jù)實際需求及硬件配置選擇合適的模型。量化模型作用量化模型的選擇直接影響模型的推理速度與精度，用戶需根據(jù)具體任務(wù)權(quán)衡利弊，做出最佳選擇。CPU->1.5B

Q8或者8B

Q4GPU

4G->8B

Q4

推理GPU

8G-16G->32B

Q4推理顯存越大，速度越快，達(dá)到官方宣傳的官方版本的90%能力，效果也不錯。GPU

24G->32G

Q8或者70B

Q2GPU

40G->70B

Q4

這個效果就非常好了DeepSeek的安裝直接用ollama就能安裝，

ollama官方地址：ollama+chatboxaiollama+anythinglmollama+page

assistOllama方式安裝Ollama方式安裝Ollama方式安裝安裝軟件Ollama方式安裝Chatbox對話框頁面Chatbox官網(wǎng)：https://chatboxai.app/enChatbox對話框頁面Chatbox對話框頁面Chatbox對話框頁面環(huán)境變量Chatbox對話框頁面環(huán)境變量Chatbox對話框頁面GPT4All方式安裝網(wǎng)址：https://gpt4all.io第一步：安裝gpt4all選擇適合的系統(tǒng)版本：Windows/macOS/LinuxGPT4All方式安裝第二步：下載DeepSeek模型GPT4All方式安裝第三步：開始對話DeepSeek

R1

671B

linux完整版本地部署部署此類大模型的主要瓶頸是內(nèi)存+顯存容量，建議配置如下：DeepSeek-R1-UD-IQ1_M：內(nèi)存+顯存≥200

GBDeepSeek-R1-Q4_K_M：內(nèi)存+顯存≥500

GB使用ollama

部署此模型。ollama

支持CPU

與GPU

混合推理（可將模型的部分層加載至顯存進(jìn)行加速），因此可以將內(nèi)存與顯存之和大致視為系統(tǒng)的“總內(nèi)存空間”。除了模型參數(shù)占用的內(nèi)存+顯存空間（158GB

和404GB）以外，實際運(yùn)行時還需額外預(yù)留一些內(nèi)存（顯存）空間用于上下文緩存。預(yù)留的空間越大，支持的上下文窗口也越大。此版本主要參考的是李錫涵（Xihan

Li）。倫敦大學(xué)學(xué)院（UCL）計算機(jī)系博士研究生的相關(guān)論文介紹和截圖。DeepSeek

R1

671B完整版本地部署下載模型文件從HuggingFace官網(wǎng)地址：https://huggingface.co/unsloth/DeepSeek-R1-GGUF安裝ollama，這個安裝剛才講了，這里是linux的模式。執(zhí)行以下命令：curl

-fsSL

/install.sh

|sh創(chuàng)建Modelfile

文件，該文件用于指導(dǎo)ollama

建立模型文件DeepSeekQ1_Modelfile（對應(yīng)于DeepSeek-R1-UD-IQ1_M）的內(nèi)容如下：FROM

/home/snowkylin/DeepSeek-R1-UD-IQ1_M.ggufPARAMETER

num_gpu

28PARAMETER

num_ctx

2048PARAMETER

temperature

0.6TEMPLATE

"<｜User｜>{{

.Prompt

}}<｜Assistant｜>"DeepSeek

R1

671B完整版本地部署文件DeepSeekQ4_Modelfile（對應(yīng)于DeepSeek-R1-Q4_K_M）的內(nèi)容如下：FROM

/home/snowkylin/DeepSeek-R1-Q4_K_M.ggufPARAMETER

num_gpu

8PARAMETER

num_ctx

2048PARAMETER

temperature

0.6TEMPLATE

"<｜User｜>{{

.Prompt

}}<｜Assistant｜>"創(chuàng)建ollama

模型在第3步建立的模型描述文件所處目錄下，執(zhí)行以下命令：ollama

create

DeepSeek-R1-UD-IQ1_M

-fDeepSeekQ1_Modelfile運(yùn)行模型，執(zhí)行以下命令：ollamarun

DeepSeek-R1-UD-IQ1_M

--verbose擴(kuò)展系統(tǒng)交換空間教程：https:///community/tutorials/how-to-add-swap-space-on-ubuntu-20-04journalctl

-u

ollama

--no-pagerDeepSeek

R1

671B完整版本地部署6.

（可選）安裝Web

界面使用Open

WebUI：pip

install

open-webuiopen-webui

serveDeepSeek

R1

671B完整版本地部署實測觀察本地斷網(wǎng)運(yùn)行設(shè)置虛擬機(jī)斷網(wǎng)運(yùn)行為確保DeepSeek

R1在斷網(wǎng)環(huán)境下運(yùn)行,我們可以再虛擬機(jī)上運(yùn)行整個程序，然后給虛擬機(jī)斷網(wǎng)。設(shè)置防火墻規(guī)則為確保DeepSeek在斷網(wǎng)環(huán)境下運(yùn)行，需設(shè)置防火墻規(guī)則以阻止任何出網(wǎng)流量，從而增強(qiáng)本地部署的安全性。本地斷網(wǎng)運(yùn)行設(shè)置我們在出站規(guī)則程序這里添加出站規(guī)則本地斷網(wǎng)運(yùn)行設(shè)置本地知識庫系統(tǒng)的搭建基于AnythingLLM的本地知識庫與API搭建用戶提問AnythingLLMOllamaDeepSeek

r1LLamaQwen向量庫知識庫第一步：下載nomic-embed-textollama官網(wǎng)->models->nomic-embed-text基于AnythingLLM的本地知識庫與API搭建下載nomic-embed-textollama

pull

nomic-embed-text基于AnythingLLM的本地知識庫與API搭建下載AnythingLLM

Desktop官網(wǎng)地址：/基于AnythingLLM的本地知識庫與API搭建安裝完成后基于AnythingLLM的本地知識庫與API搭建創(chuàng)建工作區(qū)，進(jìn)行設(shè)置基于AnythingLLM的本地知識庫與API搭建軟件設(shè)置基于AnythingLLM的本地知識庫與API搭建上傳文檔基于AnythingLLM的本地知識庫與API搭建當(dāng)然你可以配置遠(yuǎn)程文檔，confluence、github都可以。基于AnythingLLM的本地知識庫與API搭建測試一下基于AnythingLLM的本地知識庫與API搭建api功能基于AnythingLLM的本地知識庫與API搭建DeepSeek本地部署完成后能做什么維度個人用戶企業(yè)用戶核心目標(biāo)提升個體工作效率/創(chuàng)造力降本增效、驅(qū)動業(yè)務(wù)流程變革與數(shù)據(jù)資產(chǎn)增值應(yīng)用場景寫作、學(xué)習(xí)、娛樂、創(chuàng)意、數(shù)據(jù)管理客服、營銷、管理、合規(guī)、數(shù)據(jù)分析模型關(guān)注點輕量化/可移植性高精度/穩(wěn)定性/可解釋性隱私與安全保護(hù)個人隱私確保企業(yè)數(shù)據(jù)安全，符合行業(yè)法規(guī)定制化程度較低，通常直接使用預(yù)訓(xùn)練模型較高，可能需要微調(diào)模型以適應(yīng)特定業(yè)務(wù)需求個人典型應(yīng)用場景（個人助手、生產(chǎn)工具）個人生產(chǎn)力工具本地資料管理：將個人文檔、筆記或書籍與模型結(jié)合，快速檢索和總結(jié)信息私人助理：構(gòu)建一個專屬的AI助手，處理日程安排、提醒事項、私人知識庫問答等本地任務(wù)自動化：通過自然語言指令完成重復(fù)性任務(wù)（如文件整理、數(shù)據(jù)分析）技術(shù)實驗?zāi)Ｐ臀⒄{(diào)：根據(jù)個人需求對模型進(jìn)行微調(diào)，例如針對特定任務(wù)（如寫作、翻譯）優(yōu)化模型表現(xiàn)DIY項目：將模型嵌入到樹莓派等小型設(shè)備中，打造智能家居助手或語音交互系統(tǒng)隱私保護(hù)與數(shù)據(jù)安全敏感信息處理：在本地環(huán)境中處理個人財務(wù)記錄、健康數(shù)據(jù)或私密文檔離線操作：在網(wǎng)絡(luò)受限或無網(wǎng)絡(luò)環(huán)境下運(yùn)行模型，個性化知識庫：將個人筆記、日記或其他私人文檔與模型結(jié)合，構(gòu)建專屬的知識管理系統(tǒng)企業(yè)典型應(yīng)用場景（隱私保護(hù)、定制化能力、離線操作和高效協(xié)作）數(shù)據(jù)隱私與安全敏感數(shù)據(jù)處理：在本地環(huán)境中處理客戶信息、財務(wù)記錄或商業(yè)機(jī)密，確保數(shù)據(jù)不離開企業(yè)內(nèi)部網(wǎng)絡(luò)離線操作：在網(wǎng)絡(luò)受限或無網(wǎng)絡(luò)環(huán)境下運(yùn)行模型，例如在偏遠(yuǎn)地區(qū)或工廠中進(jìn)行實時分析數(shù)據(jù)隔離：將模型部署在完全隔離的環(huán)境中，避免數(shù)據(jù)泄露風(fēng)險知識管理企業(yè)知識庫問答：將模型與企業(yè)內(nèi)部文檔結(jié)合，構(gòu)建專屬的知識管理系統(tǒng)，快速檢索和總結(jié)信息文檔自動化：自動生成會議記錄、報告或合同摘要，減少人工工作量員工培訓(xùn)：針對競品為新員工生成個性化的培訓(xùn)材料，并提供實時答疑服務(wù)。高效協(xié)作、監(jiān)測與分析業(yè)務(wù)流程自動化：合同條款智能審核、客服工單自動分類、報表數(shù)據(jù)自動生成安全風(fēng)控：內(nèi)部通訊敏感詞監(jiān)控、代碼倉庫漏洞檢測、財務(wù)異常模式識別決策支持系統(tǒng)：市場趨勢預(yù)測、供應(yīng)鏈風(fēng)險預(yù)警、客戶流失分析、競品情報自動分析實際應(yīng)用場景元媧生態(tài)產(chǎn)品介紹虛擬人定制化平臺滿足個性化的虛擬人定制1.3D超寫實虛擬人、3D美型虛擬人、3D卡通虛擬人、2D真身復(fù)刻虛擬人多樣化的虛擬人滿足用戶個性化的虛擬人定制需求；2.多樣化的虛擬人應(yīng)用場景，滿足不同客戶的場景應(yīng)用需求。元媧生態(tài)產(chǎn)品介紹元媧智能問答平臺虛擬人智能問答無所不能虛擬人可接入專業(yè)的問答知識庫；專業(yè)的技能知識庫（比如查詢天氣、車票等）；虛擬人全新的AIGC的能力應(yīng)用（繪畫、唱歌、跳舞等）；虛擬人可以接入不同的大語言模型，滿足個性化的需求。元媧生態(tài)產(chǎn)品介紹元媧平臺是國內(nèi)首批致力于虛擬人領(lǐng)域的AI科技先鋒，我們的虛擬人生產(chǎn)力服務(wù)平臺，全面自主可控，一站式滿足虛擬人的創(chuàng)建與驅(qū)動需求，無縫適配國產(chǎn)操作系統(tǒng)，堅固安全防線，精準(zhǔn)迎合國內(nèi)市場需求。首批支持國產(chǎn)化數(shù)字人平臺產(chǎn)品介紹元鏡-多模態(tài)創(chuàng)意呈現(xiàn)，分鏡創(chuàng)作新引擎一款基于人機(jī)快生引擎的AI視頻創(chuàng)作