#8700·DeepSpeed

[请求] DeepCompile ZeRO-1: 使用 reduce-to-owner 而不是 AllReduce

作者: fearblackcat创建于 2026年9月29日更新于 2026年9月29日
标签enhancement

您的功能请求是否与一个问题有关?请描述。

在 DeepCompile with ZeRO 阶段 1 中,每个参数的完整梯度都是 AllReduced,尽管只有一个秩保留结果。

内容来源: deepspeedai/DeepSpeed