近端策略优化算法(PPO)

策略梯度算法法 (PG)

策略梯度迭代，通过计算策略梯度的估计，并利用随机梯度上升算法进行迭代。其常用的梯度估计形式为：
$\hat{\mathbb{E}}_t[\nabla_\theta log \pi_\theta(a_t | s_t)\hat{A}_t]$E^t​[∇θ​logπθ​(at​∣st​)A^t​]
其中$\pi_\theta$πθ​为随机策略，$\hat{A}_t$A^t​是优势函数在时间步t的估计，其损失函数为：
$L^{PG}(\theta)=\hat{\mathbb{E}}_t[log_{\pi_\theta}(a_t|s_t)\hat{A}_t]$LPG(θ)=E^t​[logπθ​​(at​∣st​)A^t​]

信赖域策略优化(TRPO)

TRPO要优化的目标函数如下：
$maximize_\theta \hat{\mathbb{E}}[\frac{\pi(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}\hat{A}_t]$maximizeθ​E^[πθold​​(at​∣st​)π(at​∣st​)​A^t​]
$subject\ to \ \hat{\mathbb{E}_t}[KL[\pi_{old}(·|s_t)||\pi_\theta(·|s_t)]] \leq U$subject to Et​^​[KL[πold​(⋅∣st​)∣∣πθ​(⋅∣st​)]]≤U

近端策略优化算法(PPO)

截断替代目标(PPO1)

令$r_t({\theta})=\frac{\pi_{\theta(a_t|s_t)}}{\pi_{old}(a_t|s_t)}$rt​(θ)=πold​(at​∣st​)πθ(at​∣st​)​​，那么$r(\theta_{old})=1$r(θold​)=1。TRPO把目标函数替换为：
$L^{CPL}(\theta) =\hat{\mathbb{E}}[\frac{\pi(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}\hat{A}_t]=\hat{\mathbb{E}}_t[r_t(\theta)\hat{A}_t]$LCPL(θ)=E^[πθold​​(at​∣st​)π(at​∣st​)​A^t​]=E^t​[rt​(θ)A^t​]

$L^{CPL}$LCPL指的是前述TRPO中的保守策略迭代，如果不加约束，最大化$L^{CPL}$LCPL会产生较大幅度的梯度更新。为了惩罚策略的变化(使得$r_t(\theta)$rt​(θ)远离1，新旧策略的KL散度不能太大)，使用了一下的目标函数：
$L^{CLIP}(\theta)=\hat{\mathbb{E}}[min(r_t(\theta)\hat{A}_t, clip(r_t{\theta}),1-\epsilon, 1+\epsilon)\hat{A}_t]$LCLIP(θ)=E^[min(rt​(θ)A^t​,clip(rt​θ),1−ϵ,1+ϵ)A^t​]
原论文中取$\epsilon=0.2$ϵ=0.2，直观示意图如下：

即：

当A>0时，如果$r_t(\theta)>1+\epsilon$rt​(θ)>1+ϵ，则$L^{CLIP}(\theta)=(1+\epsilon)\hat{A}_t$LCLIP(θ)=(1+ϵ)A^t​；如果$r_t(\theta)<1+\epsilon$rt​(θ)<1+ϵ，则$L^{CLIP}(\theta)=r_t(\theta)\hat{A}_t$LCLIP(θ)=rt​(θ)A^t​；

当A<0时，如果$r_t(\theta)>1-\epsilon$rt​(θ)>1−ϵ，则$L^{CLIP}(\theta)=r_t(\theta)\hat{A}_t$LCLIP(θ)=rt​(θ)A^t​；如果$r_t(\theta)<1-\epsilon$rt​(θ)<1−ϵ，则$L^{CLIP}(\theta)=(1-\epsilon)\hat{A}_t$LCLIP(θ)=(1−ϵ)A^t​；

自适应KL惩罚系数

在TRPO中，使用"自适应惩罚系数"$\beta$β来约束KL散度，在该算法的最简单实例中，在每一步策略更新中执行以下步骤：

• 使用多个minibatch SGD，优化KL惩罚的目标
  $L^{KLPEN}(\theta)=\hat{\mathbb{E}}_t[\frac{\pi_{\theta(a_t|s_t)}}{\pi_{\theta_{old}}}(a_t|s_t)\hat{A}_t-\beta KL[\pi_{\theta_{old}}(·|s_t), \pi(·|s_t)]]$LKLPEN(θ)=E^t​[πθold​​πθ(at​∣st​)​​(at​∣st​)A^t​−βKL[πθold​​(⋅∣st​),π(⋅∣st​)]]

• 计算$d=\hat{\mathbb{E}}[KL[\pi_{\theta_{old}}(·|s_t), \pi(·|s_t)]]$d=E^[KL[πθold​​(⋅∣st​),π(⋅∣st​)]]

如果$d<d_{targ}/1.5, \beta <-\beta/2$d<dtarg​/1.5,β<−β/2
如果$d>d_{targ}*1.5, \beta<-\beta*2$d>dtarg​∗1.5,β<−β∗2

实验中，PPO2的效果可能没有PPO1的效果好。

更复杂的版本

$L_t^{CLIP+VF+S}(\theta) = \hat{E}_t[L_t^{CLIP}(\theta)-c_1L_t^{VF}(\theta)]+c_2 S[\pi_{\theta}](s_t)]$LtCLIP+VF+S​(θ)=E^t​[LtCLIP​(θ)−c1​LtVF​(θ)]+c2​S[πθ​](st​)]
其中$c1$c1，$c2$c2是系数，$S$S表示熵奖励，$L_t^{VF}是平方误差损失(V_\theta(s_t)-V_t^{targ})^2$LtVF​是平方误差损失(Vθ​(st​)−Vttarg​)2

优势估计函数为
$\hat{A}_t = -V(s_t)+r_t+\gamma r_{t+1}+...+\gamma^{T-t+1}r_{T-1}+\gamma^{T-t}V(s^T)$A^t​=−V(st​)+rt​+γrt+1​+...+γT−t+1rT−1​+γT−tV(sT)

另外，我们可以使用广义优势函数来扩广$\hat{A}_t$A^t​，当$\lambda=1$λ=1时，它趋近于上面的等式
$\hat{A}_t=\delta+(\gamma\lambda)\delta_{t+1}+...+...+{\gamma\lambda^{T-t+1}}\delta_{T-1}$A^t​=δ+(γλ)δt+1​+...+...+γλT−t+1δT−1​
$where \ \delta_t = r_t+\gamma V(s_{t+1}-V(s_t))$where δt​=rt​+γV(st+1​−V(st​))

使用固定长度轨迹的近端策略优化(PPO)算法

如下所示：

$Algorithm \ PPO, Actor-Critic \ Style$Algorithm PPO,Actor−Critic Style
$for \ iteration=1,2,...,do$for iteration=1,2,...,do
$\qquad for \ actor=1,2,...,N, do$for actor=1,2,...,N,do
$\qquad \qquad Run \ policy \ \pi_{\theta_{old}}$Run policy πθold​​ in environment for T timesteps
$\qquad \qquad Compute \ advantage \ estimates \hat{A}_1,...,\hat{A}_{T}$Compute advantage estimatesA^1​,...,A^T​
$\qquad end for$endfor
$Optimize \ surrogate \ L \ wrt \ \theta, with \ K \ epochs \ and \ minibatch \ size \ M <= NT$Optimize surrogate L wrt θ,with K epochs and minibatch size M<=NT
$end \ for$end for