预训练差异

我一直在尝试按照 README.md 中列出的"重现 GPT-2"的步骤进行操作。不幸的是，当我运行模型时，我的训练总是出现偏离。我尝试调整学习率和梯度累积，但这两种策略似乎都不起作用，尽管我确实需要修复学习率中的一个错误，在调整这些参数后。我可以再次尝试更改这些变量，但最近的运行结果让我怀疑这两个参数都不是问题：