細(xì)流程1、版本選擇用聯(lián)網(wǎng)。適合：有數(shù)據(jù)隱私方面擔(dān)憂的或者保密單位根本就不能上網(wǎng)的。720GB，對(duì)于絕大部分人而言，本地資源有限，很難達(dá)到這個(gè)配公司能用。為進(jìn)一步平權(quán)，于是他們就蒸餾出了6個(gè)小模型，如果你要在個(gè)人電腦上部署，一般選擇其他架構(gòu)的蒸餾模B2、部署過(guò)程服務(wù)器端，在本地作為服務(wù)端，可以是別的平臺(tái)) 如下： 安裝完后，驗(yàn)證是否安裝成功：ollamaollama-v能顯示ollama版本說(shuō)明安裝成功。 ollama支持CPU與GPU混合推理。將內(nèi)存與顯存之和大致視為系統(tǒng)的“總內(nèi)存空間”。除了模除了模型參數(shù)占用的內(nèi)存+顯存空間(比如671B的404GB)以外，實(shí)際運(yùn)行時(shí)還需額外預(yù)留一些內(nèi)存(顯存)空間用于上下文緩存。預(yù)留的空間越大，支持的上下文窗口也越大。所以根據(jù)你個(gè)人電腦的配置，評(píng)估你選擇部署哪一個(gè)版本。如這里我們以7B為例，大多數(shù)的電腦都能夠運(yùn)行起來(lái)。在命令行中，輸入如下命令： ollamaollamarundeepseek-r1:7b首次運(yùn)行會(huì)下載對(duì)應(yīng)模型文件：下載支持?jǐn)帱c(diǎn)續(xù)傳，如果下載中速度變慢，可以鼠標(biāo)點(diǎn)擊下載支持?jǐn)帱c(diǎn)續(xù)傳，如果下載中速度變慢，可以鼠標(biāo)點(diǎn)擊命新鏈接，按照之前進(jìn)度接著下載。如果不想下載，也可以直接使用我們提供的下載好的模型如果不想下載，也可以直接使用我們提供的下載好的模型文件，按照后續(xù)小節(jié)“修改models文件夾路徑”的步驟配置好環(huán)境變量和對(duì)應(yīng)models文件夾的路徑即可。下載完成后，自動(dòng)進(jìn)入模型，直接在命令行輸入問(wèn)題，即可得到//?//bye ollamalist后續(xù)要運(yùn)行模型，仍然使用之前的命令：3、使用客戶端工具本地部署好模型之后，在命令行操作還是不太方便，我們本地部署好模型之后，在命令行操作還是不太方便，我們繼續(xù)使用一些客戶端工具來(lái)使用。如果這里列表沒(méi)有r1模型，則是之前沒(méi)有安裝好。選擇模型4、修改models文件夾路徑(可選)模型默認(rèn)會(huì)下載到：C:\Users\你的用戶名\.ollama目錄下的models文件夾如果想修改模型的存放位置，做如下配置：E:\ollama下右鍵“我的電腦”，選擇“屬性”，按如下方式配置：注意：修改完之后，需要重啟Ollama客戶端，右鍵圖標(biāo)，選擇退出，重新運(yùn)行Ollama驗(yàn)證是否生效：重新運(yùn)行Ollama之后，重新打開(kāi)命令行，輸入命令ollamalist查看：如果list顯示為空，則表示操作有問(wèn)題，確認(rèn)以上步驟。5、其它方式：服務(wù)器部署RB服務(wù)器可以是物理機(jī)，也可以是云服務(wù)器。使用Ollama提供的經(jīng)過(guò)量化壓縮的671B模型的大小是404GB，建MacStudio：配備大容量高帶寬的統(tǒng)一內(nèi)存(比如X上的量化的版本)部署流程與個(gè)人電腦部署7B的流程沒(méi)有