实现 GRPO

到目前为止,GRPO(由DeepSeek开创)已被广泛使用。可能有多种实现和变体,可以作为起步参考。它也是一个相当简单的算法。实现应类似于其他基于策略的算法。应该探索有关该主题的研究论文,并考虑从一开始就支持哪种GRPO的变体。应对性能进行测试并与PPO进行比较。在完成低级别API的实现和初始测试后,还应将其纳入高级别API。这可以在一个单独的后续提交中完成。