#1432·gpt-neox

修复由于重复参数和默认值不匹配而导致的无效渐变裁剪问题

作者: aflah02创建于 2026年9月18日更新于 2026年9月18日
标签bug

目前,GPT-NeoX 同时暴露了 `clip_grad` 和 `gradient_clipping`,尽管只有 `gradient_clipping` 被 DeepSpeed 使用。

内容来源: EleutherAI/gpt-neox