標題: M4 Mac Mini算唔算SoC？玩Local LLM係唔係佢粒M4最實際？ [打印本頁]

---

作者: ntony    時間: 2025-6-28 19:07     標題: M4 Mac Mini算唔算SoC？玩Local LLM係唔係佢粒M4最實際？

本帖最後由 ntony 於 2025-6-28 19:12 編輯

M4 Mac Mini成部機乜都齊，個價錢同自己加呢樣嗰樣去增加個token/second。係唔係直接一部M4 Mac Mini順手又萬用，又好似慳少少電。

我自己就主要係想做inferencing，用Ollama或者llama.cpp有OpenAI嘅API layer去自己試驗下寫AI application。

我諗呢個group有玩local LLM嘅高手應該有考慮過呢個方案。會唔會有咩分析同心得分享下？

---

作者: john_linux    時間: 2025-6-28 22:42




錯區
Mac mini係唔係SoC都好，都同單板電腦無關
建議改去系統組件或者蘋果國度

---

作者: john_linux    時間: 2025-6-28 22:53

本帖最後由 john_linux 於 2025-6-28 22:59 編輯



Any肥
作為Mac mini M4 Pro（CPU 10P4E/GPU 20-core/64GB RAM）用家，佢粒GPU行AI都係慢（用Ollama行command-r:35b只有12 token/s）
所以要b數大定係速度快就睇你預算

要行b數大嘅model就買Mac
要行得快就買Nvidia

---

作者: ntony    時間: 2025-6-29 00:28

本帖最後由 ntony 於 2025-6-29 00:32 編輯

多謝分享！

我考慮過有玩SoC嘅高手會有其他SoC local行AI model嘅經驗。雖然我明白SoC非常唔合適，起碼無得加memory。但砌一部機去行local AI model或者open source LLM model，真係無乜好討論。
如果唔使計成本，唔使理耗電，我都識自己去買兩塊nVidia咭用LXC或Docker image去開埋CUDA玩。

蘋果國度班group友真係有咁多人會用Apple機為咗行local AI model？



行35b有12 t/s都算係咁。

---

作者: john_linux    時間: 2025-6-29 01:26

本帖最後由 john_linux 於 2025-6-29 01:31 編輯



12 token/s 就滿足真係好幸福

畀多少少實測數據
Llama3.3:70b=5 token/s
Llama4=唔好諗
R1-1776:70b=5 token/s
Gemma3:12b=26 token/s

自己試吓先
https://tokens-per-second-visualizer.tiiny.site/

---

作者: kenken33    時間: 2025-6-29 01:52

本帖最後由 kenken33 於 2025-6-29 01:56 編輯

行模型最緊要係記憶體頻寬，MAC MINI 唔係比你玩AI，係文書上網機
mac studio啦，入門萬6 410GB/s 記憶體頻寬 36GB RAM， 再上一級3皮2 就M3 Ultra 819GB/s 96GB一般都夠晒玩, 已經係接近5070TI 既記憶體頻寬，96GB都唔夠就打爆512GB 佢，已經係行到原生AI大模型最平嘅機。

---

作者: ntony    時間: 2025-6-30 03:27



我睇Digital Spaceport砌咁多機，就算用Xeon或者直接插3090 24GB VRAM都只係快少少。
不過我覺得要有用，條baseline起碼要用Llama3.3:70b或者Gwen3 335b，DeepSeek R1 671b已經係好好用嘅model。有10 t/s速度，咁一般回覆都係幾分鐘左右。

---

作者: normalyan    時間: 2025-6-30 10:02

text prompt冇乜所謂啦, 又唔係趕時間

你話如果image gen就一定唔得啦！要等兩三日一幅相

---

作者: ntony    時間: 2025-6-30 17:28




無錯
唔係image或video generation，又唔係image或voice to text，真係無急得咁緊要嘅。咁急就只能使錢。

正如做一般software development都唔會用部十萬銀嘅機去做unit test同build from source。

---

作者: ntony    時間: 2025-6-30 17:35




雖然仁兄您講緊嘅可能係事實。
Apple自己唔係咁講。我知HKEPC要用十萬蚊嘅文書機去send email嘅。而家變得好合理丫，要local LLM inferencing幫手寫email，咁緊係要插張5090落去幫手下，雖然直接用AI card會更加快。

---

作者: madebyp90    時間: 2025-6-30 17:39


用緊 m4 max 64/1T
$22xxx

同價而家可以5080
只係64G ram vs 16GB

如果玩大陸魔改display
可以48G ram

via HKEPC IR 5.1.14 - iOS(5.1.1F)

---

作者: kenken33    時間: 2025-6-30 20:14

本帖最後由 kenken33 於 2025-6-30 20:15 編輯


聽APPLE講，APPLE夠話佢個Apple Intelligence好巴閉同IPAD可以取代電腦，結果係點大家有眼睇

幫手寫email就用ChatGPT、Google Gemini 啦，PCCW 客都免費有Perplexity Pro用，怕資料外洩一定要offline行但又唔肯洗錢咁幫唔到你

---

作者: ntony    時間: 2025-6-30 22:25

本帖最後由 ntony 於 2025-6-30 22:29 編輯

回覆 12# kenken33


Apple Intelligence係屎。
iPad可以取代電腦某程度上可以同意，視乎點樣定義電腦。

小弟人不在香港、英國、美國，我有用ChatGPT、Grok 3、Claude、Gemini、HuggingChat，等等。
我無話因為怕資料外洩而想要行Local LLM。
我唔係唔肯使錢丫，就算只係買塊RPi5加個AI module都係要錢，莫講話M4 Mac Mini。至於如果話肯唔肯使大筆錢，咁都要睇目標、原因、需要。有錢唔等於要九唔搭八咁去使，呢種行為反而只係窮鬼先會做。

Apple起M3同M4上面加入AI processor係因為edge AI。行低耗電都可以又快又足夠應付小助手級嘅細model或特定train出來嘅model。呢樣嘢而家好多公司同地方都做緊唔同嘅試驗同摸索。

我而家唔係要買隻私人飛機用來渡假。Bill Gate都無私人飛機，亦唔買Business Class。HKEPC呢度邊個有錢得過佢？

---

作者: kenken33    時間: 2025-6-30 23:09



咁你繼續對住M4打飛機啦，我公司都係探索緊不過係入咗部打爆512GB RAM既mac studio去探索囉

M4對我嚟講就係一部慳電文書機，我另外有5090 +5070TI PC 去行本地AI應用


比爾·蓋茨（Bill Gates）擁有的私人飛機主要是龐巴迪BD-700 Global Express（全球快車），這是一款頂級超遠程公務機，以其舒適性、速度和遠航程著稱。
主要資訊如下：
        •        機型：龐巴迪BD-700 Global Express（又稱「全球快車」）
        •        乘客容量：可容納約19名乘客
        •        航程：超長續航能力，幾乎可飛到全球任何地方
        •        價值：約4500萬美元（依不同配置和年份有差異）
        •        特點：機艙寬敞、設施豪華、飛行速度快、可在小型機場起降，被稱為「空中辦公室」
        •        用途：主要用於商務旅行和家庭出行
此外，也有資料提到比爾·蓋茨可能擁有其他型號的私人飛機，例如Gulfstream G650，但根據主流媒體和航空資訊，龐巴迪BD-700 Global Express是其最具代表性的私人飛機。
一些報導曾提及蓋茨還擁有一架波音737，但這類消息較少且未獲官方確認。目前最可靠且廣泛報導的機型仍是龐巴迪BD-700 Global Express。

擁私人飛機談氣候變化被批虛偽　比爾蓋茨這樣回應

原文網址: 擁私人飛機談氣候變化被批虛偽　比爾蓋茨這樣回應 | 香港01 https://www.hk01.com/article/864 ... utm_medium=referral

---

作者: chue    時間: 2025-7-1 03:43

算,同埋原生MAC 個 SAMBA 超掂,唔需要玩另裝,佢粒 U 都未必支援