搭载 GRPO 的 Qwen2.5 1.5B 符合熵坍塌
作者: BUGLI27创建于 2026年6月12日更新于 2026年6月27日
<img width="2196" height="664" alt="图像" src="https://GitHub.com/user-attachments/assets/69e09dd0-7c84-41a1-b0e8-af109b0ba0cc" /> 我尝试了剪切更高的分辨率并禁用 KL 损失，但都没有帮助。 有人知道这可能是由于什么原因吗？
内容来源: Jiayi-Pan/TinyZero