在 TrainerRank 中支持管道并行,而不向调用者暴露阶段调度
作者: bradhilton创建于 2026年9月16日更新于 2026年9月16日
目前,TrainerRank 拒绝管道并行(`PP > 1`)和多个本地模型块。在内部支持管道并行执行,以便实验代码可以继续使用相同的前向、完整输出、自定义损失、反向和优化器 API,而无需管理管道阶段。
内容来源: OpenPipe/ART
目前,TrainerRank 拒绝管道并行(`PP > 1`)和多个本地模型块。在内部支持管道并行执行,以便实验代码可以继续使用相同的前向、完整输出、自定义损失、反向和优化器 API,而无需管理管道阶段。
内容来源: OpenPipe/ART