Product Talk· Teresa Torres·· 2026-09-16AI 评分20
Vistaly 用 4 个新 eval 和 16 个实验变体修复 1 个客户投诉
4 New Evals and 16 Experiment Variants to Fix 1 Customer Complaint
AI 导读
为修复一位 Vistaly 测试用户对 AI 生成机会解决方案树"层级缺失"的投诉,团队用 3 周时间做了 4 个新 eval 和 16 个实验变体。作者先尝试 tree-shape 代码断言 eval 统计父节点子节点分布,再用 LLM-as-a-Judge eval 判断是否存在漏掉的分组,并对其进行校准。
来源:Product Talk · producttalk.org