[请求] DeepCompile ZeRO-1: 使用 reduce-to-owner 而不是 AllReduce
作者: fearblackcat创建于 2026年9月29日更新于 2026年9月29日
标签enhancement
您的功能请求是否与一个问题有关?请描述。
在 DeepCompile with ZeRO 阶段 1 中,每个参数的完整梯度都是 AllReduced,尽管只有一个秩保留结果。
内容来源: deepspeedai/DeepSpeed
您的功能请求是否与一个问题有关?请描述。
在 DeepCompile with ZeRO 阶段 1 中,每个参数的完整梯度都是 AllReduced,尽管只有一个秩保留结果。
内容来源: deepspeedai/DeepSpeed