Hacker News Show HN· deeplstm·· 14 天前AI 评分38
DoubtBench：用人类标注分歧测试 Jev 等模型是否知道自己不确定
Show HN: DoubtBench – test whether Jev knows when humans disagree
AI 导读
DoubtBench 是首个以人类不确定性为基准的 System One 评测，基于 NVIDIA HelpSteer2 的多人标注数据构建约 7,500 道题，同时考察答题正确率与模型概率是否匹配人类分歧。
来源：Hacker News Show HN · github.com