ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION

1 INTRODUCTION

基于随机梯度的优化方法在许多科学和工程领域都具有重要的实际意义。这些领域中的许多问题都可以归结为一类标量参数化目标函数的优化问题，要求对其参数进行最大化或最小化。如果函数的参数是可微的，梯度下降法是一种相对有效的优化方法，因为一阶偏导数的计算，所有参数的计算复杂度都与函数的计算复杂度相同。通常，目标函数是随机的。例如，许多目标函数由在不同数据子样本上评估的子函数之和组成；在这种情况下，通过采用梯度步骤w.r.t.单个子函数，即随机梯度下降（SGD）或上升，可以使优化更有效。SGD被证明是一种高效的优化方法，在许多机器学习的成功案例中起着核心作用，例如深度学习的最新进展。目标也可能有数据子采样以外的其他噪声源，例如dropout（Hinton等人，2012b）正则化。对于所有这些噪声目标，都需要有效的随机优化技术。本文主要研究高维参数空间随机目标的优化问题。在这些情况下，高阶优化方法是不适合的，本文的讨论将限于一阶方法。

我们提出了一种有效的随机优化方法Adam，它只需要一阶梯度，而对内存的要求很小。该方法通过对梯度的第一和第二阶矩的估计来计算不同参数的个体自适应学习率；Adam这个名字来自于自适应矩估计。我们的方法旨在结合两种最近流行的方法的优点：在稀疏梯度下工作良好的AdaGrad（Duchi等人，2011年），在线和非平稳设置下工作良好的RMSProp（Tieleman&Hinton，2012年）；这些方法和其他随机优化方法的重要联系在第5节中阐明。Adam的一些优点是，参数更新的幅度对梯度的重新缩放是不变的，其步长近似地受步长超参数的限制，它不需要固定的目标，它与稀疏的梯度一起工作，并且自然地执行一种步长退火。

在第二节中，我们描述了算法及其更新规则的性质。第三节介绍了我们的初始化偏差校正技术，第四节对在线凸规划中的Adam收敛性进行了理论分析。根据经验，我们的方法在各种模型和数据集上始终优于其他方法，如第6节所示。总之，我们证明了Adam是一个多用途的算法，可以扩展到大规模的高维机器学习问题。

2 ALGORITHM

我们提出的Adam算法的伪代码见算法1。

让$f(\theta)$f(θ)是一个带噪声的目标函数：一个可微的随机标量函数，参数为$\theta$θ。

我们感兴趣的是最小化这个函数的期望值，${\Bbb E}[f(\theta)]$E[f(θ)]，通过优化他的参数$\theta$θ。用$f(\theta_1),...,f_T(\theta)$f(θ1​),...,fT​(θ)表示随机函数在随后的时间步1，…，T的实现。随机性可能来自随机子样本(小批量)的数据点评价，也可能来自固有的函数噪声。用$g_t=\nabla_{\theta}f_t(\theta)$gt​=∇θ​ft​(θ)代表梯度，即在时间步t函数$f_t$ft​的偏导向量。

该算法更新了梯度的指数移动平均线$(m_t)$(mt​)和梯度的平方$(v_t)$(vt​)，超参数$\beta_1,\beta_2\in[0,1)$β1​,β2​∈[0,1)控制这些移动平均线的指数衰减率。移动平均值本身是梯度的第一阶矩（平均值）和原始二阶矩（无中心方差）的估计值。然而，这些移动平均值被初始化为（向量）0，导致矩估计偏向于0，特别是在初始时间步期间，特别是当衰减率很小时（即 $\beta$β 接近1）。好消息是，这种初始化偏差可以很容易地抵消，从而得到偏差更正后的估计$\hat{m_t},\hat{v_t}$mt​^​,vt​^​，更多细节见第3节。

请注意，算法1的效率可以通过改变计算顺序来提高，例如，将循环中的最后三行替换为以下几行:

$\alpha_t=\alpha_t\cdot\sqrt{1-\beta_2^t}/(1-\beta_1^t)$αt​=αt​⋅1−β2t​​/(1−β1t​)和$\theta_t\leftarrow \theta_{t-1}-\alpha_t\cdot m_t/(\sqrt{v_t}+\hat\epsilon)$θt​←θt−1​−αt​⋅mt​/(vt​​+ϵ^)

2.1 ADAM’S UPDATE RULE

Adam的更新规则的一个重要属性是它对stepsizes的谨慎选择。假设$\epsilon=0$ϵ=0，第t时刻在参数空间中所采取的有效步长为$\Delta_ t=\alpha\cdot\hat{m_t}/\sqrt{\hat{v_t}}$Δt​=α⋅mt​^​/vt​^​​ 。有效步长有两个上限：当$(1-\beta_1)>\sqrt{1-\beta_2}$(1−β1​)>1−β2​​时，$|\Delta_t|\le\alpha\cdot(1-\beta_t)/\sqrt{1-\beta_2}$∣Δt​∣≤α⋅(1−βt​)/1−β2​​，否则$|\Delta_t|\le\alpha$∣Δt​∣≤α。第一种情况只发生在最严重的稀疏情况下:除了当前时间步长之外，梯度在所有时间步长都为零。对于较少稀疏的情况，有效步长会更小。当$(1-\beta_1)=\sqrt{1-\beta_2}$(1−β1​)=1−β2​​时，$|\hat{m_t}/\sqrt{\hat{v_t}}|<1$∣mt​^​/vt​^​​∣<1 ，因此，$|\Delta_t<a|$∣Δt​<a∣。在更常见的情况下，我们会遇到这种情况$\hat{m_t}/\sqrt{\hat{v_t}}\approx\pm1$mt​^​/vt​^​​≈±1 since $|{\Bbb E}[g]/\sqrt{{\Bbb E}[g^2]}\le1|$∣E[g]/E[g2]​≤1∣ 。每个时间步长在参数空间中所采取的有效步长大约受步长设置的$\alpha$α限制，即，[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iehH9YsZ-1593961208304)(030.jpg)]。这个可以理解为在当前参数值下确定一个置信域，因此其要优于没有提供足够信息的当前梯度估计。这正可以令其相对简单地提前知道α正确的范围。

对于许多机器学习模型来说，我们知道好的最优状态是在参数空间内的集合域上有极高的概率。这并不罕见，例如我们可以在参数上有一个先验分布。因为α确定了参数空间内有效步长的量级（即上确界），我们常常可以推断出α的正确量级，而最优解也可以从θ0 开始通过一定量的迭代而达到。我们可以将称之为信噪比（signal-to-noise ratio/SNR）。如果 SNR 值较小，那么有效步长∆t 将接近于 0，目标函数也将收敛到极值。这是非常令人满意的属性，因为越小的 SNR 就意味着算法对方向是否符合真实梯度方向存在着越大的不确定性。例如，SNR 值在最优解附近趋向于 0，因此也会在参数空间有更小的有效步长：即一种自动退火（automatic annealing）的形式。有效步长∆t 对于梯度缩放来说仍然是不变量，我们如果用因子 c 重缩放（rescaling）梯度 g，即相当于用因子 c 重缩放和用因子 $c^2$c2 缩放，而在计算信噪比时缩放因子会得到抵消.

3 INITIALIZATION BIAS CORRECTION

正如在第2节中所解释的，Adam使用了初始化偏差校正术语。我们将在这里推出二阶估计的术语;一阶矩估计的推导是完全类似的。设g为随机目标f的梯度，首先我们可以求得随机目标函数 f 的梯度，然后我们希望能使用平方梯度（squared gradient）的指数移动均值和衰减率$β_2$β2​ 来估计它的二阶原始矩（有偏方差）。让$g_1,...,g_T$g1​,...,gT​为后续时间步长的梯度，，其中每个梯度都服从一个潜在的梯度分布$g_t$gt​~$p(g_t)$p(gt​)。我们把指数移动平均初始化为$v_0=0$v0​=0(一个0向量)。首先注意指数移动平均线在t时刻的更新$v_t=\beta_2\cdot v_{t-1}+(1-\beta_2)\cdot g_t^2$vt​=β2​⋅vt−1​+(1−β2​)⋅gt2​，其中$g_t^2$gt2​代表Hadamard积$g_t\bigodot g_t$gt​⨀gt​，即对应元素之间的乘积。同样我们可以将其改写为在前面所有时间步上只包含梯度和衰减率的函数，即消去 v：

我们希望知道时间步 t 上指数移动均值的期望值${\Bbb E}[v_t]$E[vt​]如何与真实的二阶矩

${\Bbb E}[g_t^2]$E[gt2​]相关联，下面我们同时对表达式（1）的左边和右边去期望，即如下所示：