grade-school-math

状态：存档（代码提供原样，不予更新）

GSM8K 包含 8.5K 个由人类问题编写者创建的高质量小学数学问题。我们将这些问题分为 7.5K 个训练问题和 1K 个测试问题。这些问题需要 2 到 8 个步骤来解决，解决方案主要是使用基本算术运算 (+ - / *) 执行一系列基本计算来达到最终答案。一个聪明的中学生应该能够解决每个问题。

这些文件的每一行对应一个小学数学问题,保存为一个 json 字典(包含 "question" 和 "answer" 关键字)。答案的格式是使用计算注释,最终的数值解是解决方案的最后一行,前面加上 ####。

我们的模型经常无法准确执行计算。虽然较大的模型比较小的模型会犯的算术错误更少，但这仍然是常见的错误来源。为了缓解此问题，我们训练模型使用计算器，通过在训练集中添加计算标注。在训练时，我们只需对这些语言数据进行原样微调。在测试时，计算器会在模型选择使用这些标注时覆盖采样。计算器采样的示例实现可在 calculator.py 中找到。