#1431·gpt-neox

添加方法来通过控制线性层输出的大小(包括 logits)来提高模型的稳定性

作者: aflah02创建于 2026年9月16日更新于 2026年9月16日
标签feature request

方法来自 NVIDIA 团队在 LLM 训练稳定性提升方法 章节中提出的方法。他们尝试了以下方法(来自不同的先前研究) -

内容来源: EleutherAI/gpt-neox