跳到正文
原文
Hacker News 首页·· 17 天前AI 评分36

Kapa 发布 Company Knowledge Bench:用 1,000 个真实生产用例评测 Agent 检索

Benchmarking retrieval for agents on messy real-world company knowledge

AI 导读

Kapa 推出 Company Knowledge Bench,用 1,000 个从真实生产数据标注的 eval case 评测 Agent 在公司知识上的检索效果。测试显示,仅靠 grep 的前沿模型得分 0.61,与调优过的现代检索管线持平但耗时 5 倍;Kapa Deep 约 5 秒达到 0.65。该基准强调完整性、最小性和来源偏好,并指出公开基准因领域过窄或文档合成而不适用于此类场景。

来源:Hacker News 首页 · kapa.ai