深度外推假说的实证测试:使用固定循环训练时呈 U 形,使用随机循环训练时呈平坦高原

三种不同的形状：- `looped_8` (蓝色): 一个锐利的 V 最小值 **正好在训练循环数量上**。向左或向右移动一个步骤 (7 或 9 会在点之间插值, 6 和 12 已经将 PPL 翻了三倍) 会导致严重的性能下降。PPL(1)=281, PPL(8)=58, PPL(16)=171。- `looped_random` (绿色): 在最小训练深度下灾难性地下降 (PPL(1)=1217, PPL(2)=401); 在 `n_loops=4` 处有一个肘部 (最小训练值); 然后是一个 **完全平坦的平台** 在 [4, 16] 中的任何循环数量。在 4/6/8/12/16 时的 PPL 都相同，小于 0.1%：- `baseline_1` (橙色): `n_loops=1` 处的一个单点, PPL 为 70.0。