DQN-tensorflow

通过深度强化学习实现人类水平控制

TensorFlow 实现 通过深度强化学习实现人类水平控制。

本实现包含：

1. 深度 Q 网络和 Q 学习
2. 经验回放记忆
   • 用于减少连续更新之间的相关性
3. 用于 Q 学习目标的网络在间隔内固定
   • 用于减少目标 Q 值与预测 Q 值之间的相关性

环境要求

• Python 2.7 或 Python 3.3+
• gym
• tqdm
• SciPy 或 OpenCV2
• TensorFlow 0.12.0

使用方法

首先，使用以下命令安装依赖项：

$ pip install tqdm gym[all]

要训练一个用于 Breakout 的模型：

$ Python main.py --env_name=Breakout-v0 --is_train=True
$ Python main.py --env_name=Breakout-v0 --is_train=True --display=True

要测试并使用 gym 录制屏幕：

$ Python main.py --is_train=False
$ Python main.py --is_train=False --display=True

结果

使用 GTX 980 Ti 训练 24 小时的结果。

简单结果

使用 GTX 980 Ti 训练 30 小时，模型 m2（红色）在 Breakout 上的详细结果。

使用 GTX 980 Ti 训练 30 小时，模型 m3（红色）在 Breakout 上的详细结果。

详细结果

[1] 动作重复（帧跳过）为 1、2 和 4，且无学习率衰减

[2] 动作重复（跳帧）设为1、2和4，并伴随学习率衰减

[1] 与 [2]

[3] 动作重复设为4，分别对应DQN（深蓝色）、Dueling DQN（深绿色）、DDQN（棕色）和Dueling DDQN（青绿色）

当前超参数和梯度裁剪并未按论文中的方式实现。

[4] 分布式动作重复（跳帧）设为1，无学习率衰减

[5] 分布式动作重复（跳帧）设为4，无学习率衰减

参考文献

• simple_dqn
• 通过深度强化学习实现人类水平控制的代码

许可证

MIT 许可证。