为 LM 预训练添加 Z-Loss 支持
作者: aflah02创建于 2026年6月18日更新于 2026年6月18日
标签feature request
目前Z-Loss只得到RM培训的支持. 支持LM-Pretraining也不应该太难. 创建这一问题是为了跟踪这方面的进展.
内容来源: EleutherAI/gpt-neox
目前Z-Loss只得到RM培训的支持. 支持LM-Pretraining也不应该太难. 创建这一问题是为了跟踪这方面的进展.
内容来源: EleutherAI/gpt-neox