[BUG] 管道并行模式下渐变累积步骤初始化出现问题
作者: fwyc0573创建于 2024年4月15日更新于 2026年9月17日
标签bugtraining
描述错误 我在 DeepSpeedConfig 模块中检查了 self.gradient_accumulation_steps 的初始化过程,当只设置了 train_batch 和 micro_batch 时(DeepSpeed 版本:0.13.1):
grad_acc = train_batch // micro_batch
grad_acc //= self.world_size
self.gradient_accumulation_steps = grad_acc然而,在 PP+DP(流水线并行 + 数据并行)模式下,并非每个 rank 都分配了训练用的 batch。因此,上述公式是否应该将 self.world_size 替换为 dp_degree?相应地,对 train_batch 的检查应该为:
内容来源: deepspeedai/DeepSpeed