#917·ART

在 TrainerRank 中支持专家和数据并行

作者: bradhilton创建于 2026年9月16日更新于 2026年9月16日

目前,TrainerRank 拒绝结合了专家并行(`EP > 1`)和数据并行(`DP > 1`)。内部支持这种组合,以便 MoE 实验可以在 DP 工作节点上分发不同的批次,而无需管理专家路由通信。