LLaMA 4 MoE 路由: 是否探索了基于配置文件的专家选择,作为学习型路由器的替代方案?

LLaMA 4 Maverick 使用 128 位具有顶级路由的专家 — — 这是一个巨大的 MoE 部署。学习的路由器 W_r 在该规模下必须非常庞大。一个架构问题：学习的路由器与专家共同训练，因此专家池在训练后就锁定了。如果一年后有人构建了一个更好的编码专家，是否可以在不重新训练整个路由器的情况下将其交换到 Maverick 中？