DeepSeek-R1 本地部署

javacomhk

DeepSeek-R1係一個開源嘅大型語言模型，提供多個不同參數規模嘅版本，包括1.5B、7B、14B、32B等。你可以根據自己嘅硬件配置，選擇適合嘅模型版本進行下載同部署。

本地部署步驟：

1. 安裝Ollama： Ollama係一個開源嘅大型語言模型服務工具，支持DeepSeek-R1嘅本地運行。你可以從Ollama嘅官方網站下載對應你操作系統嘅安裝包，然後按照指引進行安裝。


2. 下載DeepSeek-R1模型： 安裝完成Ollama後，打開命令行介面，輸入以下命令下載DeepSeek-R1嘅7B模型：

1. ollama run deepseek-r1:7b

複製代碼

如果你嘅硬件配置較低，可以選擇下載1.5B嘅模型：

1. ollama run deepseek-r1:1.5b

複製代碼

下載過程可能需要一段時間，取決於你嘅網絡速度。


3. 運行模型： 模型下載完成後，你可以使用Ollama提供嘅介面與DeepSeek-R1進行互動。為咗更方便嘅使用體驗，你亦可以搭建一個Web介面，例如使用Open Web UI，提供更直觀嘅操作。



注意事項：

硬件要求： 運行大型語言模型需要較高嘅硬件配置，特別係顯示卡（GPU）嘅性能。請確保你嘅系統符合相應嘅要求，以獲得流暢嘅使用體驗。

模型大小： 不同參數規模嘅模型對硬件資源嘅需求亦有所不同。建議根據自己嘅硬件配置選擇適合嘅模型版本。


如果你需要更詳細嘅指引，可以參考以下資源：

DeepSeek-R1本地部署教程： https://www.cnblogs.com/longronglang/p/18693287

DeepSeek-R1本地部署教學影片： https://youtu.be/tc84i2MM1b4?si=Ou7QU3ITGoGC4wAy

如果要運行 32B 模型（FP16 格式半精度）需要約 50-70GB RAM；有 64GB 的 Mac Pro / M4 Max 足以支撐此模型。

如果要運行 14B模型 有 48 GB RAM 及 32GPU 的 M4 Pro Mac Mini 或以上就可以。

如果要運行 7B模型 有 24/32 GB 的 M4 Pro Mac Mini 或以上就可以。
如果只要運行 1.5B 模型： 基本版 M4 MacMini 16GB 內存足以支持，運行流暢。

如果用作輔助 Coding 可用 VS Code 及 Continue 插件

verynothing

試玩7B,
估唔到2070都 run 到

davx

回覆 2# verynothing

即係手機都得，sd8g1已經超過rtx2050，如果有8g2，再加埋root，用開源GPU driver，應該可以順跑

javacomhk

運行這類模型不是只靠GPU 還需要RAM 去運作推理模型保持精確度，手機 RAM 這麼少還要和app 共用，相信未能運行 7B 模型。

hkocx

iPhone 14 Pro 行1.5B 好流暢,行7B 就真係好慢同成日答唔到

artai

MacBook Pro M3 18GB, 向DeekpSeek 問"你是誰":
DeepSeek-R1 14B 可以運行, 等候時間不會超過1至2秒, 不會慢到不能接受
DeepSeek-R1 32B 不能運行, 等了很久也答不出來

進一步對DeepSeek-R1 14B 進行測試, 請DeepSeek 以C#語言, 編寫一個Hello "USER_NAME"的程式:
5至6秒內出現思考的過程, 由思考到出到完整結果, 大約1分鐘, 在整個過程中, 沒有停頓, 而是看到DeepSeek 的思考及不停的嘔結果, 效率上不算非常高, 但已經不錯!

雖然網上其他人說14B 要更高配置, 在初試的情況下, 個人認為這個配置還算OKAY

javacomhk

你要試過叫佢分析你的 code ，debug 吓，推理吓優化code 等，先知用唔用到架！

artai

你要試過叫佢分析你的 code ，debug 吓，推理吓優化code 等，先知用唔用到架！ ...
javacomhk 發表於 2025-2-4 11:02

https://github.com/RAKwireless-HK/GatewayMQTT/tree/main/codes

測試1) 代碼內容分析
由思考到完成分析, 4分鐘內
而在思考分析的內容, 真的有驚艷到
結論: 分析一個簡單的Python 都係果句, 唔快, 但可以接受

測試2) 代碼優化
由思考到完成分析, 5分鐘內
結論: 代碼還未嘗試執行, 暫時看, 代碼結構做得不錯

總結: 雖然唔係快, 但可以接受, 最少比自己做得快!
按這個程度, 加上Mac系統省電的優點, 個人會傾向使用Mac + DeepSeek 作為私人或家庭的智能主機

abcjerry

R1 係幾勁最重要係睇到佢點思考,真係見到初級AI

artai

回覆 9# abcjerry


好似係Ollama 都會咁, 你會睇到DeepSeek 官網的對答都冇睇到思考層
然後啱啱睇到YouTube 有人示範點想修改思考層的規則, 呢個做法真係好玩!