每个 epoch 都可以使用训练集的样本进行训练

对于 MLS 这样的大型数据集，每个 epoch 都要对每个训练集进行一次迭代是没有意义的。这涉及到数据平衡性和计算资源的稀缺性问题。一个合理的方法是每个 epoch 从每个训练集中采样固定数量的样本/批次，类似于 GPT-3 论文 中描述的设置。一个训练运行可以在每个 epoch 上采样 10% 的巨大数据集，以及 200% 的较小数据集。