[脱题] 问题给 Damai Dai / Chengqi Deng: 是否已经探索了基于配置的 MoE 路由?

我注意到这个仓库最近有 Damai Dai 和 Chengqi Deng 的活动 - 他们是 DeepSeekMoE 专家路由架构背后的研究人员。关于 MoE 路由的一个问题：团队是否考虑用基于配置的路由来替换学习的路由器 W_r·x？每个专家都携带一个校准的基准向量。路由器使用余弦相似度，而不是学习的权重。路由器参数为零（余弦相似度是纯数学）。在训练后，专家可以进行交换（只需更新一个数组，无需重新训练）。