关于自适应学习率的变异及其后续研究
Adam 的学习率渐进调整是在某些情况下进行稳定训练的必备技巧（或 eps 调整）。但其底层机制大体上是未知的。在我们的研究中，我们提出了一种基本原因是 自适应学习率的大差异，并提供了理论和实证支持证据。
如图 1 所示,我们假设梯度遵循正态分布(均值: \mu,方差: 1)。在图 1 中,我们模拟了自适应学习率的方差(蓝色曲线)。我们观察到,在训练的早期阶段,自适应学习率的方差很大。
在使用 Transformer 进行 NMT 时,通常需要进行预热阶段,以避免收敛问题(例如,在图 2 中,Adam-vanilla 在 500 PPL 附近收敛,而 Adam-warmup 在 10 PPL 以下成功收敛)。在进一步的探索中,我们注意到,如果我们使用额外的 2000 个样本来估计自适应学习率,则可以避免收敛问题(Adam-2k);或者,如果我们增加 eps 值,则也可以缓解收敛问题(Adam-eps)。因此,我们推测,早期阶段的大变异导致了收敛问题,并进一步提出了通过分析降低大变异的 Rectified Adam。更多细节请参阅我们的 论文。
暂无开放 Issues，或尚未同步最近议题。