#5410·DeepSpeed

[BUG] 管道并行模式下渐变累积步骤初始化出现问题

作者: fwyc0573创建于 2024年4月15日更新于 2026年9月17日
标签bugtraining

描述错误 我在 DeepSpeedConfig 模块中检查了 self.gradient_accumulation_steps 的初始化过程,当只设置了 train_batch 和 micro_batch 时(DeepSpeed 版本:0.13.1):

python
grad_acc = train_batch // micro_batch
grad_acc //= self.world_size
self.gradient_accumulation_steps = grad_acc

然而,在 PP+DP(流水线并行 + 数据并行)模式下,并非每个 rank 都分配了训练用的 batch。因此,上述公式是否应该将 self.world_size 替换为 dp_degree?相应地,对 train_batch 的检查应该为:

内容来源: deepspeedai/DeepSpeed