跳到正文
原文
Hacker News Show HN· davidetroiani·· 2 小时前AI 评分58

MoEShift 开源:在 Mac 上以更低内存跑 MoE 推理

Show HN: Run faster MoE inference on Mac with less RAM

AI 导读

MoEShift 是一个面向 Apple Silicon 的本地 MoE 推理运行时,可在 10 GB 内存起步的 Mac 上运行 125B 参数的 Qwen 3.8 Flash Next,峰值进程内存低于 10 GB。

来源:Hacker News Show HN · github.com