gtx980 16Gb 行唔到, ollama run deepseek-r1:7b 轉32GB會唔會行到?

TOP

LM studio/GPT4ALL用到嗎?

TOP

我有部 AMD R5-7640U 16GB RAM 行到 deepseek-r1:8b
好快人人都可以有自己既 GenAI chatbot

TOP

話時話只有Deekseek R1 671B先係真正的Deepseek模型,其他都只是其他公司的模型的微調

TOP

應該最遲5月出R2
到時671B都過時了

TOP

我有部 AMD R5-7640U 16GB RAM 行到 deepseek-r1:8b
好快人人都可以有自己既 GenAI chatbot  ...
tomming 發表於 12-2-2025 00:56


請問每秒有幾多 tokens? 思考過程耐嗎?

TOP

請問每秒有幾多 tokens? 思考過程耐嗎?
chingkit 發表於 2025-3-21 23:52


得 8 tokens / second
都幾慢...  

TOP

得 8 tokens / second
都幾慢...
tomming 發表於 22-3-2025 11:43

唔知嗰啲所謂AMD AI CPU會唔會快啲

via HKEPC IR 5.1.14 - Android(5.1.2F)

TOP

本帖最後由 tomming 於 2025-3-23 00:13 編輯
唔知嗰啲所謂AMD AI CPU會唔會快啲

via HKEPC IR 5.1.14 - Android(5.1.2F)
chingkit 發表於 2025-3-22 17:48


呢度有師兄介紹睇一位 YouTuber 真實測試:

呢段用 GPD Win Mini 2025 (Soec 同 GPD Pocket 4 頂配樣) 裝咗 7b, 14b, 30b 同 70b 試, 應該啱你睇...
...
iPAQ 發表於 2025-2-15 00:06


TOP

謝謝資訊。
看來叫做行得到,起碼多 system RAM,都可以行大模型。
或者這是一個可取的做法,例如我唔打機,要買張數千元的顯示卡只係玩 AI,VRAM又唔可以買完張卡後加,好似唔太值得。我買粒貴些的 CPU,再多些 system RAM,我可以做的用途會多好多。

TOP