dev.to · Side Project· Riley Zhang·· 22 小时前AI 评分34
周末构建日志:周一前可运行的模型切换冒烟测试
Weekend Build Log: A Model-Swap Smoke Test You Can Run Before Monday
AI 导读
一个周末就能搭好的模型切换冒烟测试:用 12 条 cases.jsonl 固定用例、一个仅依赖 Python 标准库的 CLI 脚本,按字符串规则判定通过与否,输出通过率和退出码。分别对两个模型各跑一次并 diff scorecard.json,即可看出哪些行为对模型敏感,再把脚本接入 CI,非零退出码就阻断部署。作者跳过了 Web 面板、模型当裁判以及延迟与成本采集。
来源:dev.to · Side Project · dev.to