ART · Issues· 143 开放

调查匹配的同源 Qwen TrainerRank 角色之间的输出和梯度变化

TrainerRank 可重用缓存的使用可能会导致后向库分配时物理 CUDA 内存不足

TrainerRank MoE 内存接收: 后向重新计算 OOM 和配置校准失败

在 TrainerRank 中支持专家和数据并行

在 TrainerRank 中支持管道并行,而不向调用者暴露阶段调度

在独立请求共同封装时调查大型隐藏状态差异 (Qwen3.6, no-grad)

保留的采样后缀可以在不同的因果前缀下携带 logprobs

通过执行布局确定是否需要或可避免大型动力学 RL 批量拒绝

特点:支持 GRPO 博士

Qwen3.5-35B-A3B 在 EP1 上在 Transformer 引擎的分组 GEMM 中出现了 CP>1 的段错误,发生在真实数据路由中(可能是空的本地专家)

在 LoRA 适配器重新加载期间,专用本地后端 vLLM 服务器可能无法访问

回归:分支 GRPO 运行可能在较新的 ART 环境中生成格式不正确的检查点输出

在使用 LocalBackend 时,LoRA 适配器无法正常同步 - 部署中使用了过时的适配器

LocalBackend fork_checkpoint 未更新 vLLM 的初始 LoRA

将 from_entity 参数添加到 _experimental_fork_checkpoint