Hacker News 首页·· 6 天前AI 评分71
Janas-LLM:把专家权重从 SSD 流式读取,在 32 GB 笔记本上运行 80B 模型
Janas: Run LLMs larger than RAM by streaming experts from SSD
AI 导读
Janas-LLM 是一个用 C 编写、除 C 库外无依赖的实验性推理引擎,把 MoE 权重留在磁盘上,按 token 需要的专家从 NVMe SSD 流式读取,让 48.4 GB 的 Qwen3-Next-80B-A3B 在 32 GB 内存笔记本上运行。
来源:Hacker News 首页 · github.com