#380·mamba

如何理解 mamba2 和 GLA 之间的关系?

作者: alpacaduby创建于 2024年6月10日更新于 2026年8月9日

Hi, 作者, 感谢您分享您的伟大作品。 当我阅读有关 mamba 的内容时, 我发现在 mamba-mini 中, 它提到 GLAmamba 的一个特殊情况, 并且当 w 的维度从 [batch, seqlen, dtstate, dim] 改为 [batch, seqlen, dtstate] 时, 它们是等价的。

内容来源: state-spaces/mamba