MobileLLM 优化低十亿参数语言模型,适用于设备端使用案例。在 ICML 2024 中发表。
在本工作中,我们综合考虑了多个设计因素,以获得具有少于十亿参数的高质量 LLM。我们整合了 (1) SwiGLU 激活函数、(2) 深度和薄型架构、(3) 嵌入共享、(4) 分组查询注意力,构建了 MobileLLM。MobileLLM-125M/350M 在零样本常识推理任务上,比之前的 125M/350M SoTA 模型提高了 2.7%/4.3%。在我们的更新版本中,我们进一步证明,我们的设计理念可以有效地扩展到更大的模型,并提供了 MobileLLM-600M/1B/1.5B 的 SoTA 结果。
如果您发现我们的代码对您的研究有用，请考虑引用：
暂无开放 Issues，或尚未同步最近议题。