Hacker News Ask HN· ramstar3000·· 8 天前AI 评分18
Acyclic Labs 征集基准测试经验:如何做可信的 swarm 评测
Ask HN: Built a benchmark? Would love to learn
AI 导读
Acyclic Labs(F26)的 Ram 正在为 swarm 架构搭建通用基准测试,先回答"何时 swarm 优于单 agent、何时不优于",并公开征集做过基准测试者的经验。他重点问三件事:卖产品的公司如何让基准测试可信、合成数据是否说服过任何人、以及用 LLM 当裁判时如何证明评分有效并跟上新模型。
来源:Hacker News Ask HN · news.ycombinator.com