重复训练非常困难

有人在 ImageNet 上从头开始训练过 EfficientNet-B0 并成功重现了结果吗? 我使用了这个仓库中的模型,并尽可能仔细地遵循超参数。我甚至在 pytorch 中实现了一个修改后的 RMSprop,它与 Tensorflow 的对应版本相匹配(对 epsilon 的处理方式存在差异)。我使用了标准的预处理。我的设置是 8 个 GPU,每个 GPU 计算 32 张图像的一个批次。学习率已正确缩放(0.016)。到目前为止,我所做的最佳努力似乎远低于报告的数字(在 top1 acc 中低于 3 个百分点)。我能想到的唯一区别是官方 Tensorflow 仓库中包含的指数模型平均法。但我极其怀疑 EMA 会带来如此巨大的差异。