在逻辑益智游戏中重现 R1 Zero
[2025/03/20] 我们发布了 ADORA: A Scalable Paradigm for Steering Learning Trajectories。 [2025/03/19] 如需稳定的长度控制,请参阅 https://github.com/lblankl/Short-RL
| 主要结果 |
| 型号 | 2人 | 3人 | 4人 | 5人 | 6人 | 7人 | 8人 |
|---|---|---|---|---|---|---|---|
| o3-mini-high | 0.99 | 0.98 | 0.97 | 0.95 | 0.94 | 0.89 | 0.83 |
| o1-2024-12-17 | 0.83 | 0.51 | 0.38 | 0.38 | 0.35 | 0.30 | 0.20 |
| GPT-4o | 0.68 | 0.57 | 0.49 | 0.32 | 0.23 | 0.21 | 0.11 |
| DeepSeek-Math-7b | 0.35 | 0.21 | 0.08 | 0.06 | 0.02 | 0.00 | 0.00 |
| Qwen2.5-7B-Instruct-1M | 0.49 | 0.40 | 0.25 | 0.11 | 0.02 | 0.06 | 0.01 |
| Qwen2.5-7B-Logic-RL (我们的) | 0.99 | 0.99 | 0.94 | 0.92 | 0.91 | 0.80 | 0.67 |
conda create -n logic python=3.9
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu121
pip3 install vllm==0.6.3 ray
pip3 install flash-attn --no-build-isolation
pip install -e . # For verl integration
pip install wandb IPython matplotlib您可以直接使用 /data。 对于您自己的数据生成,这里有一个演示:
python ./examples/data_preprocess/kk.py \
--local_dir {processed_data_path} \
--data_path {raw_data_path}python ./examples/data_preprocess/kk.py \
--template_type=qwen-instruct \
--local_dir {processed_data_path} \
--data_path {raw_data_path}conda activate logic
bash main_grpo.sh # 4×A100 80G| 组件 | 位置 | |---------------
暂无开放 Issues，或尚未同步最近议题。