V2EX 最新主题· daniel2493468168·· 4 小时前AI 评分52
Mac 本地跑 Qwen2.5-3B 实测 54 tok/s，一年省下的 API 费约等于一台 Mac mini
[问与答] [分享] Mac 本地跑大模型实测： 54 tok/s，一年省下 API 费 ≈ 一台 Mac mini
AI 导读
作者为优化公司推理成本，在 M1 Pro 32GB 上用 llama.cpp 跑 Qwen2.5-3B Q4_K_M（2GB），生成速度 54 tok/s，内存占用 3.2GB，后台运行无感。
来源：V2EX 最新主题 · v2ex.com