DeepSpeed - 2026 年第四季度路线图
[BUG] 易出错: TestZero2CPUOffloadGradAccumNorm::test 间歇失败(在第一次反向计算后,accumulated_grads_in_cpu 应为非零)
[请求] DeepCompile ZeRO-1: 使用 reduce-to-owner 而不是 AllReduce
[请求] 在 `config.json` 中添加用于 pp 的管道部分
DeepSpeed - Q3 发布计划
在序列并行情况下,ZeRO 减少路径之间的梯度尺度不同
默认的 gradient_clipping 会将每个 Muon 更新除以其自身范数,从而将步长缩小到模型大小的因子
[RFC] 支持硬化 LM 头并采用 Online Softmax
[路线图] DeepSpeed 路线图 2026 年第二季度
[BUG] 在 ZeRO 阶段 0 中, get_global_grad_norm() 返回 None (fp32)