功能请求: ScatterMoE (基于 Triton 的稀疏 MoE,具有融合的散列/聚集 GEMM)

摘要

请求在 Megatron Core 的 MoE 实现中探索 ScatterMoE 技术。ScatterMoE 通过 Triton 内核将分组的 GEMM 与分散的读/写操作融合在一起,从而消除了在 HBM 中实现填充张量的必要性。