我为 AI「决策模型」建了一个独立基准测试，所有测试用例和答案全部公开

一位开发者自建网站，用同一批 100 条客服工单（判断该由哪个团队处理）对比 Jev、Cloudflare 的 Clef 和 OpenAI 新 Decisions API 等「决策模型」，公开准确率、速度和预估成本及误差范围。目前发现专用模型比通用 LLM 快 5 到 12 倍，但通用 LLM 答对的工单更多。全部数据集和每个模型的答案以 CC BY 4.0 开放下载，免费且无任何付费项。