OpenRouter Blog·· 27 天前精选AI 评分67
OpenRouter 实测:Jev 分类准确率落后 Claude Opus 5 3.3 个点,速度快 13 倍、成本仅 1/22
Is Jev as Accurate as Frontier Models at Classification?
AI 导读
OpenRouter 在 Banking77 的 3,080 条客服语句上对比了 TypeSafe 的 Jev 1.13 与 Claude Opus 5:Jev 准确率 81.0%、Opus 84.4%,差距 3.3 个百分点,但 Jev 中位延迟 175 ms 对 2,266 ms,每千次请求成本 $0.11 对 $2.42。
推荐理由
OpenRouter 用同一数据集实测 Jev 与 Claude Opus 5 的分类准确率、延迟和成本,并给出按置信度分流的阈值表。
来源:OpenRouter Blog · openrouter.ai