[推理] 为推理优化的 MoE 拒绝使用专家张量并行化,且没有回归覆盖

作者: 0z5a创建于 2026年9月18日更新于 2026年9月18日
标签community-request

**1. 回归覆盖,不依赖于 ETP 实现**(现已可用,请参阅链接的 PR):零本地令牌的排名在不规则路径上,从每个源排名标签中断的紧凑行顺序约束,在一个活动分发器上进行等/不规则/零本地转换,以及对 ETP 上限的固定能力测试。这是分发器目前缺少的内容,与 ETP 无关。

内容来源: NVIDIA/Megatron-LM