#858·minimind

[错误] num_experts_per_tok=1 时,MoE 路由器无法接收梯度(经过 topk 权重归一化后变成常数)

作者: uphome创建于 2026年9月17日更新于 2026年9月17日

Verification of the fix: A/B comparison (same data, same number of steps, only change `norm_topk_prob`)

内容来源: jingyaogong/minimind