为本项目提供问答/维基
作者: TomLucidor创建于 2026年5月4日更新于 2026年5月4日
循环变换器看起来很有意思,我有几个问题: - BitNet/Ternary LM 是否与此设计兼容? - 是否可以通过线性注意力/DeltaNet/SSM 来加速此设计? - 使用 LongCat/Gemma 等嵌入缩放是否会获得更好的结果? - DeepSeek-V4 中的压缩注意力是否适用? - 是否可开始关注交织思维或 RLMs? - HPO 或切换优化器如 Muon 是否会加快训练速度?
内容来源: kyegomez/OpenMythos