在 TrainerRank 中支持专家和数据并行
作者: bradhilton创建于 2026年9月16日更新于 2026年9月16日
目前,TrainerRank 拒绝结合了专家并行(`EP > 1`)和数据并行(`DP > 1`)。内部支持这种组合,以便 MoE 实验可以在 DP 工作节点上分发不同的批次,而无需管理专家路由通信。
内容来源: OpenPipe/ART
目前,TrainerRank 拒绝结合了专家并行(`EP > 1`)和数据并行(`DP > 1`)。内部支持这种组合,以便 MoE 实验可以在 DP 工作节点上分发不同的批次,而无需管理专家路由通信。
内容来源: OpenPipe/ART