保存并恢复 DataLoader 的状态

使用带有 PyTorch 数据记录器的“ datasets ” 可以恢复数据记录器状态的训练( 例如恢复坠毁的训练) 。

我在想什么(但是如果你有其他想法或评论的话):

对于地图风格的数据集,这需要有一个PyTorch采样器状态,每个节点和工人可以保存并重新装入.

对于可移动数据集,这需要保存数据集转发器的状态,其中包括:

• 当前硬度和行位置
• 时代编号
• 伦州
• 洗牌缓冲器

现在,您可以使用“ IterableDataset.skip” 恢复可移动数据集的数据加载,但这需要很多时间,因为它重新输入过去的所有数据,直到数据达到恢复点。

cc @ stas00 @ sgugger