您是否需要设置 `retain_graph=True`?

你好，我认为你应该使用 retain_graph=True 这里，否则，图形将从这里被释放，而值函数的更新将不会影响行为者的更新。