如何理解 mamba2 和 GLA 之间的关系?
作者: alpacaduby创建于 2024年6月10日更新于 2026年8月9日
Hi, 作者, 感谢您分享您的伟大作品。 当我阅读有关 mamba 的内容时, 我发现在 mamba-mini 中, 它提到 GLA 是 mamba 的一个特殊情况, 并且当 w 的维度从 [batch, seqlen, dtstate, dim] 改为 [batch, seqlen, dtstate] 时, 它们是等价的。
内容来源: state-spaces/mamba