V2EX 最新主题· mumu157·· 3 小时前AI 评分49
作者开源 1600 行大模型推理引擎 LiteMoE,固定批次测试吞吐达 vLLM 的 105%~109%
[开源软件] 开源了一个 1600 行的大模型推理引擎,能跑真实模型,测试场景吞吐超过 vLLM
AI 导读
作者开源了 LiteMoE,一个约 1600 行 Python 的大模型推理引擎,能跑真实的 Granite 模型,一个下午可读完主线。在固定批次的测试场景下,其吞吐是 vLLM 的 105%~109%,脚本可复现;算子沿用 vLLM,提升来自算子外的执行层。
来源:V2EX 最新主题 · v2ex.com