跳到正文
原文
V2EX 最新主题· hjdhduyeh·· 3 小时前AI 评分45

Flide 开源:面向本地部署决策模型的推理引擎,Jev 模型最高加速 9.5 倍

[分享创造] 让你的 Jev 模型最高加速 9 倍,决策推理引擎 Flide 开源

AI 导读

Flide 开源了一款面向本地部署决策模型的推理引擎,在决策任务上相比 vLLM 和 SGLang 等 LLM 框架最高加速 9.5 倍。目前已支持三十多款 Jev 模型,更多模型仍在陆续接入,代码已开源并可通过 `pip install flide` 安装。

来源:V2EX 最新主题 · v2ex.com