Hacker News Show HN· lasu·· 5 天前AI 评分40
Parsimony:一个衡量 AI 模型多写多少代码的开源基准
Show HN: Parsimony – an open-source benchmark for how much code AI models add
AI 导读
Parsimony 是一个开源基准,用于衡量 AI 模型在解决编程任务时额外增加了多少代码。它基于 SWE-bench Verified 已发布的补丁,统计语句、调用、比较、命名和字面量等编码单元,只算净增量(新增减删除),不数行数,因此堆代码不得分。模型按已解决任务的平均净增单元从低到高排名,目前仅测量 Python,测试、文档和生成文件不计入。
来源:Hacker News Show HN · parsimony.lasu.dev