强化学习之DDPG(deep deterministic policy gradient)
1)出发点是什么?
之前的几种算法是基于离散动作的,现实生活中会存在连续动作,比如方向盘的角度等等。DDPG是为了解决连续动作应用而生。
与上一个博客不同的是**函数的选择是tanh,将动作缩放到一定的区间,这样来表示连续动作。
2)什么是DDPG?
一张图很清晰啦。使用到了上一个博客中的时序差分,并且是确定性策略。
在DDPG中,输入的动作需要由策略网络产生,这样完整的网络称为演员-评论家模式。
评论家接收到的是环境的反馈,而动作接收到的是评论家的反馈。
优化需要优化两个网络:
整体结构:存在4个网络,Q网络以及其固定的Q网络,策略网络以及其固定的策略网络。
3)代码结构
目标网络(两个)参数软更新: