跳到正文
原文
V2EX 最新主题· mumu157·· 3 小时前AI 评分49

作者开源 1600 行大模型推理引擎 LiteMoE,固定批次测试吞吐达 vLLM 的 105%~109%

[开源软件] 开源了一个 1600 行的大模型推理引擎,能跑真实模型,测试场景吞吐超过 vLLM

AI 导读

作者开源了 LiteMoE,一个约 1600 行 Python 的大模型推理引擎,能跑真实的 Granite 模型,一个下午可读完主线。在固定批次的测试场景下,其吞吐是 vLLM 的 105%~109%,脚本可复现;算子沿用 vLLM,提升来自算子外的执行层。

来源:V2EX 最新主题 · v2ex.com