Hacker News Show HN· HelldezNoBan·· 4 小时前AI 评分60
BigMoeOnEdge 开源：在 llama.cpp 上做流式加载，让手机和笔记本跑起大 MoE 模型
Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop
AI 导读
BigMoeOnEdge 是一个基于 llama.cpp 公共 API 的自适应流式优化器，把 MoE 模型中当前 token 用不到的专家从存储按需读入，让数倍于内存大小的模型也能运行，输出与全部载入内存时一致。
来源：Hacker News Show HN · github.com