奖励不是稳步地上升,而是剧烈地波动

我使用了 format reward 和 acc reward。使用 qwen2.5-7b-base 模型，我注意到，对于给定的系统提示，format reward 不断增加，但经过一定步数后开始减少，然后开始波动。同时，奖励也开始波动。同时发生了很多重复。