DeepSeek本地部署保姆級(jí)教程
本地部署適合以下情況:
- 電腦配置較高,有獨(dú)立顯卡。
- 有私密的數(shù)據(jù)需要處理,擔(dān)心泄密。
- 需要和本地工作流結(jié)合,處理高頻任務(wù)或復(fù)雜任務(wù)。
- 日常使用量大,調(diào)用API需要收費(fèi),本地部署能省錢。
- 想要在開源模型基礎(chǔ)上,做個(gè)性化的定制版本。
第一步:安裝olama本地部署
安裝ollama(理解為:一個(gè)裝AI的盒子)
1.首先在瀏覽器搜索ollama,會(huì)出現(xiàn)ollama官網(wǎng),點(diǎn)擊進(jìn)入。2.進(jìn)入官網(wǎng)后,點(diǎn)擊中間的Download。
3.根據(jù)自己的電腦類型,選擇不同版本。
4.下載后,點(diǎn)擊安裝。如果桌面出現(xiàn)了olama圖標(biāo),說明軟件安裝成功。圖標(biāo)就是下圖的羊駝。
特別說明:最好安裝在C盤,安裝在其它盤,需要重新配置環(huán)境變量。
第二步,選擇要安裝的模型5,點(diǎn)擊紅框中的"Models"按鈕

7.點(diǎn)擊選擇deepseek-r1
8.選擇不同參數(shù)的模型這里的數(shù)字越大,參數(shù)越多,性能越強(qiáng),1.5b代表模型具備15億參數(shù)。我的電腦16G顯存運(yùn)行14b參數(shù)模型時(shí),需要大約11.5G顯存。如果是1.5b版本,2G以下的顯存就可以運(yùn)行,甚至不需要獨(dú)立顯卡核顯就可以。如果是32b參數(shù)的,就需要32G顯存!曰己的電腦性能選擇。
參考值如下:
下面選擇1.5b參數(shù)做示范。
9.復(fù)制命令選擇1.5b多日主中的命令"ollama run deepseek-r1:1.5b”.
第三步,安裝模型10.打開命令行同時(shí)按下鍵盤上的Win和R鍵,彈出如下窗口。

11.輸入下載命令在打開的命令行里,輸入上面復(fù)制的命令"ollama run deepseek-r1:1.5b"。
點(diǎn)擊鍵盤上的“Enter“鍵,模型會(huì)自動(dòng)下載。
12.與模型對(duì)話下載成功后,就可以與模型對(duì)話啦。
此時(shí)大模型安裝在你的電腦上,就算斷網(wǎng)也可以繼續(xù)用,也不用擔(dān)心數(shù)據(jù)泄露。第四步,后續(xù)運(yùn)行模型這里還有一個(gè)問題,當(dāng)你關(guān)閉電腦后,下次再打開ollama。會(huì)發(fā)現(xiàn)點(diǎn)擊olama的圖標(biāo),電腦沒反應(yīng)。因?yàn)槟泓c(diǎn)擊圖標(biāo),只是啟動(dòng)了olama,想要和大模型聊天,還是需要打開命令行。13.繼續(xù)通過命令行和大模型聊天同時(shí)按下鍵盤上的Win和R鍵,在彈出的窗口里輸入cmd,點(diǎn)擊確定打開命令行。在命令行界面,輸入剛剛的命令"ollama run deepseek-r1:1.5b”。因?yàn)槟阒耙呀?jīng)下載過,這次無需下載,可以直接和模型聊天。
數(shù)據(jù)投喂訓(xùn)練 AI
-
下載 nomic-embed-text:在終端輸入
ollama pull nomic-embed-text
回車下載 nomic-embed-text 嵌入式模型。 -
安裝 AnythingLLM:進(jìn)入官網(wǎng),選擇對(duì)應(yīng)系統(tǒng)版本的安裝包進(jìn)行下載。選擇 “所有用戶” 點(diǎn)擊下一步,可修改安裝位置,點(diǎn)擊完成。軟件打開后,點(diǎn)擊 “Get started”,點(diǎn)擊箭頭進(jìn)行下一步,輸入工作區(qū)名稱,點(diǎn)擊下一步箭頭。點(diǎn)擊 “設(shè)置”,可設(shè)置模型、界面顯示語言等,若軟件顯示英文,可在 Customization 外觀定制里面選擇中文。
-
AnythingLLM 設(shè)置
-
LLM 首選項(xiàng)界面:提供商選擇 Ollama,Ollama Model 選擇前面下載的 DeepSeek - R1 系列模型 1.5b-671b,點(diǎn)擊 Save changes。
-
Embedder 首選項(xiàng)界面:嵌入引擎提供商選擇 Ollama,Ollama Embedding Mode 選擇 “nomic-embed-text”,點(diǎn)擊保存更改。
-
工作區(qū)設(shè)置:點(diǎn)擊 “工作區(qū)設(shè)置”,點(diǎn)擊聊天設(shè)置,工作區(qū) LLM 提供者選擇 “Ollama”,工作區(qū)聊天模型選擇 “deepseek-r1” 模型,點(diǎn)擊 “Update workspace agent”。代理配置界面,工作區(qū)代理 LLM 提供商選擇 “Ollama”,工作區(qū)代理模型選擇 “deepseek-r1”,點(diǎn)擊 “Update workspace agent”。
-
-
數(shù)據(jù)投喂:在工作區(qū)界面,點(diǎn)擊 “上傳”,點(diǎn)擊 upload 選擇需要上傳的文件,勾選上傳的文件,點(diǎn)擊 “Move to Workspace”,點(diǎn)擊 “Save and Embed”。