几个报告的分数与发布的测试分割大小不一致

作者: KhanCold创建于 2026年7月19日更新于 2026年7月26日

嗨,谢谢你释放了斯基奥普特。我发现纸张结果和目前发布的数据集拆分之间可能存在不匹配.

所发行的代码计算出硬分数作为每例分数的平均值. 对LiveMath来说,评估者是二进制精确匹配的,发布的清单包含124个测试项目:

数据/文学数学家bench id split/split manifest.json”
" 技能选择/envs/活数学家/评价员 " 。
" 技能/功用/分数 "

然而,表1中的一些LiveMath结果无法从四舍五入后到小数点后124个二进制实例得到:

=== ========================================================================================================================================================================================================================== |:|也. | 22.4 | 28.125 | | 27.2 | 34/125 | | 52.0 | 65/125 | | 31.2 |39/125 | · 29.6 · 37/125 · ·

这些数值都完全落在了125个项的网格上,这表明一些实验可能使用了125个项的测试分解而不是释放出124个项的分解.

我给DocVQA找到了类似的问题它的放出测试分数包含374个项目,但所报告的分数"87.6"在一次二进制运行中无法实现:

327/374=87.4%;
328/374=87.7%;

在发布的硬分数执行下,OfficeQA和电子表格Bench也有一些不兼容分母的单元格.

请澄清:

文件是否使用了早先版本的数据集拆分?
报告的数值是否是多个周期的平均值?
在汇总之前是否删除任何失败或无效的例子?
能否公布准确的分纸和汇总协议?

按实例公布结果或准确结果表将使报告的表格更容易复制。