本帖最後由 kenken33 於 2026-5-19 02:02 編輯
大家覺得如果蘋果機玩Local LLM
64GB RAM其實需唔需要
另外一個唔關蘋果事而係問下睇法
其實70B模型對大部 ...
路人一二三 發表於 13-5-2026 21:25 
玩Local LLM睇BW,70B模型依家好少,主流都係就住5090 去做既32GB VRAM去做既量化27B 30B 35B ,不過其實得一張5090上下文長少少都好易爆,最起碼穩陣要48GB,64GB 可以做到一個比較大既上下文,一係再上多人玩既滿血版LLM就要96GB以上既規模。
用M5 同M5 PRO 果類BW太細跑大B數就唔駛考慮,一係就mac mini 最平果部跑啲雞模型當ai agent用或者比錢課金用Cloud 模型咁就唔駛本地運算,一係就玩MAX級別以上晶片配大統一內存,滿血M5 Max性能同BW 614 GB/s約等如RTX5070 672 GB/s 既多VRAM版左右。
來緊既滿血M5 Ultra 估計BW應是在5080到5090之間,咁就好抵玩,Mac studio 512GB 整機當8萬(如果APPLE仲肯出 ) 256GB 整機當4萬,買一部512GB Mac studio 既錢都買唔到一張96GB既rtx 6000 pro。你正常玩NV要搞到部機有500+ GB VRAM冇幾十萬都落唔到樓,8皮相比起係十分平。 |