GitHub Trending · 每日·· 2 小时前精选AI 评分78
colibri 开源引擎发布:用纯 C 在 8GB 内存机器上运行 744B MoE 模型
JustVugg/colibri
AI 导读
colibri 是一个纯 C 编写的开源推理引擎,把 MoE 模型的稠密部分放在内存、路由专家放在磁盘按需读取,无需 GPU 即可运行 GLM-5.2 等大模型。
推荐理由
原文给出各模型在不同内存与显卡配置下的实测 tok/s,读者可据此判断自己的机器能跑多大的 MoE 模型。
来源:GitHub Trending · 每日 · github.com