在序列并行情况下,ZeRO 减少路径之间的梯度尺度不同
作者: alanhuangyoo创建于 2026年9月28日更新于 2026年9月28日
`sequence_parallel_size > 1` 时,ZeRO 会以两种不同的分母对梯度进行平均,具体取决于路径:
内容来源: deepspeedai/DeepSpeed
`sequence_parallel_size > 1` 时,ZeRO 会以两种不同的分母对梯度进行平均,具体取决于路径:
内容来源: deepspeedai/DeepSpeed