Kimi-K3 训练支持

作者: yuzhongw-nvidia创建于 2026年8月26日更新于 2026年9月18日
标签enhancement

> 此问题跟踪了 Megatron Core 中的 Kimi-K3 训练支持。Kimi-K3 结合了混合 Kimi Delta Attention (KDA) / 门控多头潜在注意力 (MLA) 后端、注意力残差 (AttnRes)、稳定潜在 MoE、全局批量量化平衡 (QB)、MoonViT-V2、每头 Muon 和原生 MXFP4 量化感知训练。

内容来源: NVIDIA/Megatron-LM