per_rollout_mean 使用训练行而不是 rollout 进行除法,因此当一个 rollout 跨越多行时,损失的规模会发生变化

`per_rollout_mean` 是默认的损失模式(`agentlightning/verl/config.yaml:39`). 在 `trainer.py:617-626` 中,优势在整个批次更新行为器之前再次进行了重新标定: