声明：仅用于自学。部分内容来自于网络，如有问题，请联系删除。

英文原文的官方网站，仅供参考：https://www.deeplearningbook.org/

第四章：数值计算

4.3 基于梯度的优化方法(2)

  当 f ′ （ x ） = 0 f'（x）= 0 f′（x）=0时，导数不提供往哪个方向移动的信息。 f ′ （ x ） = 0 f'（x）= 0 f′（x）=0的点称为临界点(critical points)或驻点(stationary points)。 局部极小值(local minimum)是 f （ x ） f（x） f（x）小于所有临近点，因此不再可能通过无穷小步长减小f（x）。局部极大值(local maximum)是 f （ x ） f（x） f（x）大于所有临近点，因此不可能通过无穷小步长来增大 f （ x ） f（x） f（x）。 一些临界点既不是最大值也不是最小值。 这些称为鞍点(saddle points)。 有关每种类型的临界点的示例，请参见图4.2。

图4.2：临界点类型。 一维中三种临界点的示例。 临界点是斜率为零的点。 这样的点可以是局部极小值，它小于相邻点。 局部极大值，该极大值大于相邻点； 鞍点，同时存在更高或更低的相邻点。