牛顿法， Jacobian矩阵 和 Hessian矩阵

牛顿法

主要有两方面的应用：

1. 求方程的根；
2. 求解最优化方法；

为什么要用牛顿法求方程的根？

问题很多，牛顿法 是什么？目前还没有讲清楚，没关系，先直观理解为 牛顿法是一种迭代求解方法（Newton童鞋定义的方法）。

扩展到最优化问题

这里的最优化 是指非线性最优化，解非线性最优化的方法有很多，比如 梯度下降法、共轭梯度法、变尺度法和步长加速法 等，这里我们只讲 牛顿法。



其中H是hessian矩阵, 定义见上.

高维情况依然可以用牛顿迭代求解, 但是问题是Hessian矩阵引入的复杂性, 使得牛顿迭代求解的难度大大增加, 但是已经有了解决这个问题的办法就是Quasi-Newton method, 不再直接计算hessian矩阵, 而是每一步的时候使用梯度向量更新hessian矩阵的近似.

牛顿法 与 Hessian矩阵的关系

拟牛顿法 只需要用到一阶导数，不需要计算Hessian矩阵 以及逆矩阵。
总体来讲，拟牛顿法 都是用来解决 牛顿法 本身的 复杂计算、难以收敛、局部最小值等问题。

Jacobian

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名.

雅可比矩阵

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.


把多维输入函数的二阶导数合并成一个矩阵时，把这个矩阵称为 Hessian矩阵。

Hessian矩阵

Hessian矩阵等价于 梯度 的Jacobian矩阵。

Jacobian矩阵 和 Hessian矩阵在优化中的应用

Jacobian矩阵

Hessian矩阵

http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/
https://zhuanlan.zhihu.com/p/67521774
https://blog.csdn.net/linolzhang/article/details/60151623