如何用生产流量构建 Golden Eval 数据集

OpenRouter 发布指南，介绍如何从生产流量构建 golden eval 数据集：用真实用户输入搭配人工审核的预期输出，在 Git 中版本化并在每次部署前运行。数据集规模按任务定，探索单个问题约 10 条，完整回归集 100 到 1,000 条，失败模式覆盖比数量更重要。该指南还介绍如何通过一个 API 将同一数据集跑在多个候选模型上，用自家流量证据而非排行榜选模型。