RL for Sentence Generation

本篇博文主要总结下台大教授李宏毅深度学习课程中关于seqGAN$seqGAN$ 的相关内容，并且添加了自己的一些思考。

Policy Gradient

众所周知，强化学习的目标就是Maximizing Expected Reward$MaximizingExpectedReward$，在seqGAN$seqGAN$ 中，如下图：

上图中生成器是一个seq2seq$seq2seq$ 的模型，判别器就是所谓的Humam$Humam$。那么不同的encoder_input h$encoder\mathrm{\_}inputh$ 能生成不同的x$x$，我们把h,x$h,x$ 喂给判别器，让其进行评价评估，得到其reward$reward$ 。

我们的目标就是希望最大化的这个Maximizing Expected Reward$MaximizingExpectedReward$

上面公式中的∑p(h)$\sum p(h)$ 可以理解为encoder_input$encoder\mathrm{\_}input$ 的分布，pθ(x|h)$p_{\theta }(x|h)$表示在当前encoder_input$encoder\mathrm{\_}input$ 下生成的所有x$x$ 的分布，注意因为有随机性，相同的h$h$ 不一定能生成相同的x$x$。θ$\theta$ 是seq2seq$seq2seq$ 的模型参数。我们的就是不断的最大化上面的Rθ$R_{\theta }$ 来更新θ$\theta$ 然后更新生成器。

显然，我们可以将上式子理解成期望的形式：

因为不可能穷举所有的训练数据，故只能采用sample$sample$ 近似的方式

由此产生了一个问题，我们需要更新生成器的参数θ$\theta$，如果采用sample$sample$ 的方式，则无法找到参数，参数是隐藏其中的，影响生成的x$x$。

好，此时采用policy gradient$policygradient$ 的方法：

然后我们用已经求得的R$R$ 对θ$\theta$ 的导数，利用gradient_ascend$gradient\mathrm{\_}ascend$ 来更新θ$\theta$。

显然：

• 当R(hi,xi)$R(h^i,x^i)$ 为正时，通过更新θ$\theta$，更新后的 p(xi|hi)$p(x_i|h_i)$ 会增大。
• 当R(hi,xi)$R(h^i,x^i)$ 为负时，通过更新θ$\theta$，更新后的 p(xi|hi)$p(x_i|h_i)$ 会减小。

经典的是policy gradient$policygradient$ 与MLE$MLE$ 的比较：

上面表格的总结非常精辟，强化学习的目标函数实际上就是MLE的每一项的前面加了个权重而已，这个权重就是reward$reward$；并且在MLE$MLE$ 的目标函数中，其x$x$ 为true target$truetarget$，而在RL$RL$ 中，x$x$ 为生成所生成的。（避免bias exposure$biasexposure$ 问题）

在实际实现中，也很简单，在已知上面表格中的RL$RL$ 目标函数，利用深度学习框架即可自动的求导使其最大化。 也可以理解为只是在MLE$MLE$ 的每一项前添加一个reward$reward$ 权重即可，至于reward$reward$ 如何得到，之前的博文中已讲过。