作者: javacomhk 時間: 2025-1-29 05:18 標題: DeepSeek-R1 本地部署
本帖最後由 javacomhk 於 2025-1-29 11:42 編輯
DeepSeek-R1係一個開源嘅大型語言模型，提供多個不同參數規模嘅版本，包括1.5B、7B、14B、32B等。你可以根據自己嘅硬件配置，選擇適合嘅模型版本進行下載同部署。
本地部署步驟：
1. 安裝Ollama： Ollama係一個開源嘅大型語言模型服務工具，支持DeepSeek-R1嘅本地運行。你可以從Ollama嘅官方網站下載對應你操作系統嘅安裝包，然後按照指引進行安裝。
2. 下載DeepSeek-R1模型： 安裝完成Ollama後，打開命令行介面，輸入以下命令下載DeepSeek-R1嘅7B模型：
- ollama run deepseek-r1:7b
- ollama run deepseek-r1:1.5b
3. 運行模型： 模型下載完成後，你可以使用Ollama提供嘅介面與DeepSeek-R1進行互動。為咗更方便嘅使用體驗，你亦可以搭建一個Web介面，例如使用Open Web UI，提供更直觀嘅操作。
注意事項：
硬件要求： 運行大型語言模型需要較高嘅硬件配置，特別係顯示卡（GPU）嘅性能。請確保你嘅系統符合相應嘅要求，以獲得流暢嘅使用體驗。
模型大小： 不同參數規模嘅模型對硬件資源嘅需求亦有所不同。建議根據自己嘅硬件配置選擇適合嘅模型版本。
如果你需要更詳細嘅指引，可以參考以下資源：
DeepSeek-R1本地部署教程： https://www.cnblogs.com/longronglang/p/18693287
DeepSeek-R1本地部署教學影片： https://youtu.be/tc84i2MM1b4?si=Ou7QU3ITGoGC4wAy
如果要運行 32B 模型（FP16 格式半精度）需要約 50-70GB RAM；有 64GB 的 Mac Pro / M4 Max 足以支撐此模型。
如果要運行 14B模型 有 48 GB RAM 及 32GPU 的 M4 Pro Mac Mini 或以上就可以。
如果要運行 7B模型 有 24/32 GB 的 M4 Pro Mac Mini 或以上就可以。
如果只要運行 1.5B 模型： 基本版 M4 MacMini 16GB 內存足以支持，運行流暢。
如果用作輔助 Coding 可用 VS Code 及 Continue 插件
作者: verynothing 時間: 2025-1-29 12:14
試玩7B,
估唔到2070都 run 到
作者: davx 時間: 2025-1-31 19:01
回覆 2# verynothing
即係手機都得，sd8g1已經超過rtx2050，如果有8g2，再加埋root，用開源GPU driver，應該可以順跑
作者: javacomhk 時間: 2025-2-1 03:03
本帖最後由 javacomhk 於 2025-2-1 20:20 編輯
運行這類模型不是只靠GPU 還需要RAM 去運作推理模型保持精確度，手機 RAM 這麼少還要和app 共用，相信未能運行 7B 模型。
作者: hkocx 時間: 2025-2-1 11:17
iPhone 14 Pro 行1.5B 好流暢,行7B 就真係好慢同成日答唔到
作者: artai 時間: 2025-2-4 10:58
本帖最後由 artai 於 2025-2-4 11:07 編輯
MacBook Pro M3 18GB, 向DeekpSeek 問"你是誰":
DeepSeek-R1 14B 可以運行, 等候時間不會超過1至2秒, 不會慢到不能接受
DeepSeek-R1 32B 不能運行, 等了很久也答不出來
進一步對DeepSeek-R1 14B 進行測試, 請DeepSeek 以C#語言, 編寫一個Hello "USER_NAME"的程式:
5至6秒內出現思考的過程, 由思考到出到完整結果, 大約1分鐘, 在整個過程中, 沒有停頓, 而是看到DeepSeek 的思考及不停的嘔結果, 效率上不算非常高, 但已經不錯!
雖然網上其他人說14B 要更高配置, 在初試的情況下, 個人認為這個配置還算OKAY
作者: javacomhk 時間: 2025-2-4 11:02
你要試過叫佢分析你的 code ，debug 吓，推理吓優化code 等，先知用唔用到架！
作者: artai 時間: 2025-2-4 11:41
本帖最後由 artai 於 2025-2-4 12:35 編輯
你要試過叫佢分析你的 code ，debug 吓，推理吓優化code 等，先知用唔用到架！ ...
javacomhk 發表於 2025-2-4 11:02
https://github.com/RAKwireless-HK/GatewayMQTT/tree/main/codes
測試1) 代碼內容分析
由思考到完成分析, 4分鐘內
而在思考分析的內容, 真的有驚艷到
結論: 分析一個簡單的Python 都係果句, 唔快, 但可以接受
測試2) 代碼優化
由思考到完成分析, 5分鐘內
結論: 代碼還未嘗試執行, 暫時看, 代碼結構做得不錯
總結: 雖然唔係快, 但可以接受, 最少比自己做得快!
按這個程度, 加上Mac系統省電的優點, 個人會傾向使用Mac + DeepSeek 作為私人或家庭的智能主機
作者: abcjerry 時間: 2025-2-4 13:38
R1 係幾勁最重要係睇到佢點思考,真係見到初級AI
作者: artai 時間: 2025-2-4 14:18
回覆 9# abcjerry
好似係Ollama 都會咁, 你會睇到DeepSeek 官網的對答都冇睇到思考層
然後啱啱睇到YouTube 有人示範點想修改思考層的規則, 呢個做法真係好玩!
作者: dc5spoon 時間: 2025-2-6 02:25
gtx980 16Gb 行唔到, ollama run deepseek-r1:7b 轉32GB會唔會行到?
作者: hkmop 時間: 2025-2-6 08:00
LM studio/GPT4ALL用到嗎?
作者: tomming 時間: 2025-2-12 00:56
我有部 AMD R5-7640U 16GB RAM 行到 deepseek-r1:8b
好快人人都可以有自己既 GenAI chatbot
作者: umvue 時間: 2025-3-20 19:40
話時話只有Deekseek R1 671B先係真正的Deepseek模型，其他都只是其他公司的模型的微調
作者: ckyuen2 時間: 2025-3-21 17:45
應該最遲5月出R2
到時671B都過時了
作者: chingkit 時間: 2025-3-21 23:52
我有部 AMD R5-7640U 16GB RAM 行到 deepseek-r1:8b
好快人人都可以有自己既 GenAI chatbot ...
tomming 發表於 12-2-2025 00:56
請問每秒有幾多 tokens? 思考過程耐嗎？
作者: tomming 時間: 2025-3-22 11:43
請問每秒有幾多 tokens? 思考過程耐嗎？
chingkit 發表於 2025-3-21 23:52
得 8 tokens / second
都幾慢...
作者: chingkit 時間: 2025-3-22 17:48
得 8 tokens / second
都幾慢...
tomming 發表於 22-3-2025 11:43
唔知嗰啲所謂AMD AI CPU會唔會快啲
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: tomming 時間: 2025-3-23 00:12
本帖最後由 tomming 於 2025-3-23 00:13 編輯
唔知嗰啲所謂AMD AI CPU會唔會快啲
via HKEPC IR 5.1.14 - Android(5.1.2F)
chingkit 發表於 2025-3-22 17:48
呢度有師兄介紹睇一位 YouTuber 真實測試:
呢段用 GPD Win Mini 2025 (Soec 同 GPD Pocket 4 頂配樣) 裝咗 7b, 14b, 30b 同 70b 試, 應該啱你睇...
...
iPAQ 發表於 2025-2-15 00:06
[youtube]1kZlO6DubwU[/youtube]
作者: chingkit 時間: 2025-3-23 12:57
謝謝資訊。
看來叫做行得到，起碼多 system RAM，都可以行大模型。
或者這是一個可取的做法，例如我唔打機，要買張數千元的顯示卡只係玩 AI，VRAM又唔可以買完張卡後加，好似唔太值得。我買粒貴些的 CPU，再多些 system RAM，我可以做的用途會多好多。
作者: tomming 時間: 2025-3-25 14:17
謝謝資訊。
看來叫做行得到，起碼多 system RAM，都可以行大模型。
或者這是一個可取的做法，例如我唔打機 ...
chingkit 發表於 2025-3-23 12:57
呢個係我喜歡 AMD 既原因
Intel 而家只有 N100 果啲有吸引力
作者: hker2021 時間: 2025-3-25 14:59
如果係用chrome 或chrouium engine嘅web browser, 可以裝呢個chrome extension 做ollama web ui
https://chromewebstore.google.co ... bkinehhfdhndo?hl=en
作者: chingkit 時間: 2025-3-25 18:14
呢個係我喜歡 AMD 既原因
Intel 而家只有 N100 果啲有吸引力
tomming 發表於 25-3-2025 14:17
一直只留意煙條CPU，但覺得其產品無乜明顯進步，還推出那個大細核，簡直不倫不類。期望AMD能在AI方面有突破發展，唔使只有人講用Mac Studio行AI。
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: chingkit 時間: 2025-3-25 20:37
出了DeepSeek V3 新模型，等蒸餾版出場
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: fred2088 時間: 2025-4-8 09:20
回覆 23# chingkit
Mac Studio M3 Ultra 512GB RAM Local 行 Deepseek 最大 Model 成十皮嘢
作者: s84292 時間: 2025-6-10 09:20
本帖最後由 s84292 於 2025-6-10 01:25 編輯
回覆 chingkit
Mac Studio M3 Ultra 512GB RAM Local 行 Deepseek 最大 Model 成十皮嘢 ...
fred2088 發表於 2025-4-8 01:20
10皮野咪平
8皮野一張RTX6000 PRO 96GB，至少買4張，再配個pci-e 16x 5.0 4全速的平台
冇30皮你行唔到
當然快2-3倍同多人吞吐量就一定冇得比
但電費多5-8倍都係一個問題
我乖乖地買CLOUD API算數
作者: javacomhk 時間: 2025-6-10 09:59
Cloud API 就唔用 deepseek 啦，貪佢夠慢咩，大把好過佢快過佢，貴的咁解。
作者: Jackywongkk 時間: 2025-6-10 23:58
回覆 15# ckyuen2
暫時未見影，希望7月會見到
作者: ckyuen2 時間: 2025-6-11 07:12
回覆 28# Jackywongkk
上個月吹6月有
但thinking都算
我想佢搞掂個認圖/OCR先
