跳到正文
原文
GitHub Trending · 每日·· 2 小时前精选AI 评分78

colibri 开源引擎发布:用纯 C 在 8GB 内存机器上运行 744B MoE 模型

JustVugg/colibri

AI 导读

colibri 是一个纯 C 编写的开源推理引擎,把 MoE 模型的稠密部分放在内存、路由专家放在磁盘按需读取,无需 GPU 即可运行 GLM-5.2 等大模型。

推荐理由

原文给出各模型在不同内存与显卡配置下的实测 tok/s,读者可据此判断自己的机器能跑多大的 MoE 模型。

来源:GitHub Trending · 每日 · github.com