在微调过程中,训练损失极其噪声,并且随机为 0
作者: zpx01创建于 2024年1月26日更新于 2026年8月24日
我正在使用自己的代码数据集微调 6.7B 模型。我正在使用 DeepSpeed ZeRO Stage 3 在 NVIDIA Tesla V100 GPU 上使用 fp32 精度进行多节点训练。我的训练损失似乎随机波动，并降至零，我将在下面附上我的训练损失图：
内容来源: deepseek-ai/DeepSeek-Coder
我正在使用自己的代码数据集微调 6.7B 模型。我正在使用 DeepSpeed ZeRO Stage 3 在 NVIDIA Tesla V100 GPU 上使用 fp32 精度进行多节点训练。我的训练损失似乎随机波动，并降至零，我将在下面附上我的训练损失图：
内容来源: deepseek-ai/DeepSeek-Coder