[BUG] 易出错: TestZero2CPUOffloadGradAccumNorm::test 间歇失败(在第一次反向计算后,accumulated_grads_in_cpu 应为非零)
作者: delock创建于 2026年9月30日更新于 2026年9月30日
标签bugci-failure
tests/unit/v1/zero/test_zero_cpu_offload_grad_accum.py:22-26, 77-89
def _cpu_grad_norm(engine): total_norm_sq = 0.0 for grad in engine.optimizer.accumulated_grads_in_cpu.values(): …
内容来源: deepspeedai/DeepSpeed