Board logo

標題: Local LLM需求 [打印本頁]

作者: 路人一二三    時間: 2026-5-13 21:25     標題: Local LLM需求

大家覺得如果蘋果機玩Local LLM
64GB RAM其實需唔需要
另外一個唔關蘋果事而係問下睇法
其實70B模型對大部分黎講需唔需要?
作者: javacomhk    時間: 2026-5-14 14:02

業餘玩吓好啦!傻仔先會買64G RAM 嘅Mac 玩 Local LLM
作者: 路人一二三    時間: 2026-5-14 16:59

認真想問點解
作者: kofz    時間: 2026-5-14 21:36

本帖最後由 kofz 於 2026-5-14 21:37 編輯
認真想問點解
路人一二三 發表於 2026-5-14 16:59

慢。。。

https://www.nuface.tw/is-apple-m-series-suitable-for-running-local-llms/

via HKEPC IRF 5.1.14 - Android(5.1.2)
作者: 路人一二三    時間: 2026-5-14 22:31

「最後結論

Apple M 系列非常適合本地 LLM「推論與應用」,
但不適合把它當成 AI 訓練或伺服器主力。
如果你目標是:

個人 AI
本地知識庫
低功耗 AI 工具
👉 Apple M 系列會讓你用得很舒服。」

大概有點概念,謝謝
作者: javacomhk    時間: 2026-5-15 14:08

如果你有錢又想做傻仔,不妨去買來試試用。
作者: mop    時間: 2026-5-16 17:38

咁百貨應百客,幾百萬買架波子嗰啲都唔一定係傻仔既
最緊要知多啲實際效能係點再選擇,同埋有本地 LLM唔代表唔可以同時都訂Pro / Max計劃,只係預左本地 LLM效能/能力唔高係真既
作者: javacomhk    時間: 2026-5-16 19:39

64G RAM 嘅 Mac 點同波子比啊,4條鈐都唔唔到啦!買波子係傻仔我絕對唔認同手!呢個唔係錢嘅問題係買咗用唔到預期效果問題。
作者: mop    時間: 2026-5-17 13:12

咁只係講64GB Ram 做出黎既效果做唔到預期效果?
如果用途真係用黎做一啲簡單少少要求/有個人資料唔想外轉或者想整某啲圖片咁
又真係真心想請教下有點樣既本地LLM先做到預期既效果
我都覺得Mac 好貴,但係如果買顯示卡 + 電費 更加貴,係唔係有好介紹可以做到
(用緊MiniMax做呢啲野,效果都係麻麻地但係起碼比較平)
作者: kenken33    時間: 2026-5-19 01:37

慢。。。



via HKEPC IRF 5.1.14 - Android(5.1.2)
kofz 發表於 14-5-2026 21:36


AI 垃圾文
作者: kenken33    時間: 2026-5-19 01:44

本帖最後由 kenken33 於 2026-5-19 02:02 編輯
大家覺得如果蘋果機玩Local LLM
64GB RAM其實需唔需要
另外一個唔關蘋果事而係問下睇法
其實70B模型對大部 ...
路人一二三 發表於 13-5-2026 21:25



玩Local LLM睇BW,70B模型依家好少,主流都係就住5090 去做既32GB VRAM去做既量化27B 30B 35B ,不過其實得一張5090上下文長少少都好易爆,最起碼穩陣要48GB,64GB 可以做到一個比較大既上下文,一係再上多人玩既滿血版LLM就要96GB以上既規模。

用M5 同M5 PRO 果類BW太細跑大B數就唔駛考慮,一係就mac mini 最平果部跑啲雞模型當ai agent用或者比錢課金用Cloud 模型咁就唔駛本地運算,一係就玩MAX級別以上晶片配大統一內存,滿血M5 Max性能同BW 614 GB/s約等如RTX5070 672 GB/s 既多VRAM版左右。

來緊既滿血M5 Ultra 估計BW應是在5080到5090之間,咁就好抵玩,Mac studio 512GB 整機當8萬(如果APPLE仲肯出 ) 256GB 整機當4萬,買一部512GB Mac studio 既錢都買唔到一張96GB既rtx 6000 pro。你正常玩NV要搞到部機有500+ GB VRAM冇幾十萬都落唔到樓,8皮相比起係十分平。
作者: javacomhk    時間: 2026-5-19 08:21

本帖最後由 javacomhk 於 2026-5-19 02:09 編輯

要乜嘢Mac 機,幾多 RAM ,大把 YouTube 測試啦!使乜估估吓。
唔想做傻仔之前都要搵吓資料嘅,唔係求其開口就問。
作者: samsonpapa2000    時間: 2026-5-21 14:44

其實睇下你行LLM做乜,我行LLM只係幫手fine tune一下公司email或者文件,有時試下gen圖,玩下無乜所謂。你唔好遇佢乜都答到你,但普通文書野3-8GB size model係部M3 Pro+18GB ram MacBook pro,唔算慢。

我用Ollama行Gemma4:e4b/Llama3.1:8B/Qwen3.5:9.7B,速度係接受到。
作者: madebyp90    時間: 2026-5-23 01:40

問,就買512GB M3 ultra or 128GB/M5 max
利伸m4 mac 64Gb ram,LLM is a joke





歡迎光臨 電腦領域 HKEPC Hardware (https://h2.hkepc.com/forum/) Powered by Discuz! 7.2