Qwen3.5-35B-A3B 在 EP1 上在 Transformer 引擎的分组 GEMM 中出现了 CP>1 的段错误,发生在真实数据路由中(可能是空的本地专家)
作者: bradhilton创建于 2026年9月4日更新于 2026年9月4日
发现由扩展的成本模型校准活动在 Qwen3.5-35B-A3B (bf16, 启用的 LoRA 插槽, `dev/trainer_rank_landing_acceptance.py --phase cost-calibrate`) 上发现, 4 个 H200。 **症状。** 当强制专家并行为 1 (所有 256 个专家在每个秩上复制) 且上下文并行 > 1 时, 在真实的 Ellavox 历史中, 第一次向前传播在 Transformer 引擎的分组 GEMM 中在某些秩上发生段错误:
内容来源: OpenPipe/ART