跳到正文
原文
Hacker News Show HN· lasu·· 5 天前AI 评分40

Parsimony:一个衡量 AI 模型多写多少代码的开源基准

Show HN: Parsimony – an open-source benchmark for how much code AI models add

AI 导读

Parsimony 是一个开源基准,用于衡量 AI 模型在解决编程任务时额外增加了多少代码。它基于 SWE-bench Verified 已发布的补丁,统计语句、调用、比较、命名和字面量等编码单元,只算净增量(新增减删除),不数行数,因此堆代码不得分。模型按已解决任务的平均净增单元从低到高排名,目前仅测量 Python,测试、文档和生成文件不计入。

来源:Hacker News Show HN · parsimony.lasu.dev