`use_stateful_dataloader` + `num_workers>0` 在 `prepare()` 之前提取第 0 个 epoch 的排列,这会破坏 DDP 数据分区
作者: GoldenStain创建于 2026年9月2日更新于 2026年9月7日
Run with 2 processes on CPU (no GPU needed):
内容来源: huggingface/accelerate
Run with 2 processes on CPU (no GPU needed):
内容来源: huggingface/accelerate