最速下降法 理论证明
原作者链接：梯度下降法与最速下降（凸优化方法）
另一种证明最优步长公式的方式：
注意：表示目标搜索方向向量，在求最优步长时表示为
点处梯度的反向向量，
和
在下面的证明表示的都是学习率，
表示函数在
处的Hessian矩阵
以下为逐次迭代梯度迭代方向正交的证明：
原作者链接：最速下降法中相邻迭代方向正交
一种证明梯度方向与等高线切线方向垂直的方式：
博主懒得打了，参考：
以上为公式证明部分
对最优步长（学习率）的理解：
？是多余的，就是极小值。
原作者链接：梯度下降法与最速下降（凸优化方法）
另一种证明最优步长公式的方式：
注意：表示目标搜索方向向量，在求最优步长时表示为
点处梯度的反向向量，
和
在下面的证明表示的都是学习率，
表示函数在
处的Hessian矩阵
以下为逐次迭代梯度迭代方向正交的证明：
原作者链接：最速下降法中相邻迭代方向正交
一种证明梯度方向与等高线切线方向垂直的方式：
博主懒得打了，参考：
以上为公式证明部分
对最优步长（学习率）的理解：
？是多余的，就是极小值。