功能请求: 对于 MLA 版本,通过尺度不变性 + 权重折叠消除预注意力 RMSNorm

由于 RMS 的尺度不变性，在线性投影之后的 RMSNorm 层，再之后的另一个 RMSNorm 可以完全消除第一个 RMSNorm，这是一种数学上无损的简化。对于使用隐式正则化和预注意力正则化的 MLA 模型，这意味着可以删除预注意力 RMSNorm，而不会改变模型输出，参见 FlashNorm 论文。