Jacobian矩阵和Hessian矩阵

1. Jacobian

在向量分析中, Jacobian矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为Jacobian行列式.

Jacobian矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, Jacobian矩阵类似于多元函数的导数.

假设FF: Rn→RmRn→Rm是一个从欧式n维空间转换到欧式m维空间的函数. 这个函数由m个实函数组成: y1(x1,…,xn), …, ym(x1,…,xn). 这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵, 这就是所谓的Jacobian矩阵：

这个矩阵的第i行是由梯度函数的转置yi(i=1,…,m)表示的.

如果pp是RnRn中的一点, FF在pp点可微分, 那么在这一点的导数由JF(p)JF(p)给出(这是求该点导数最简便的方法). 在此情况下, 由F(p)F(p)描述的线性算子即接近点pp的FF的最优线性逼近, xx逼近于pp:

F(x)≈F(p)+JF(p)⋅(x–p)

Jacobian行列式

如果m = n, 那么FF是从n维空间到n维空间的函数, 且它的Jacobian矩阵是一个方块矩阵. 于是我们可以取它的行列式, 称为Jacobian行列式.

在某个给定点的Jacobian行列式提供了 在接近该点时的表现的重要信息. 例如, 如果连续可微函数FF在pp点的雅可比行列式不是零, 那么它在该点附近具有反函数. 这称为反函数定理. 更进一步, 如果pp点的雅可比行列式是正数, 则FF在pp点的取向不变；如果是负数, 则FF的取向相反. 而从雅可比行列式的绝对值, 就可以知道函数FF在pp点的缩放因子；这就是为什么它出现在换元积分法中.

对于取向问题可以这么理解, 例如一个物体在平面上匀速运动, 如果施加一个正方向的力FF, 即取向相同, 则加速运动, 类比于速度的导数加速度为正；如果施加一个反方向的力FF, 即取向相反, 则减速运动, 类比于速度的导数加速度为负.

2. 海森Hessian矩阵

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：

f(x1,x2…,xn)f(x1,x2…,xn)

如果ff的所有二阶导数都存在, 那么ff的海森矩阵即：

H(f)ij(x)=DiDjf(x)H(f)ij(x)=DiDjf(x)

其中x=(x1,x2…,xn)x=(x1,x2…,xn), 即H(f)H(f)为:

海森矩阵在牛顿法中的应用

一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化.

1), 求解方程

并不是所有的方程都有求根公式, 或者求根公式很复杂, 导致求解困难. 利用牛顿法, 可以迭代求解.

原理是利用泰勒公式, 在x0处展开, 且展开到一阶, 即f(x)=f(x0)+(x–x0)

2), 最优化

在最优化的问题中, 线性最优化至少可以使用单纯形法(或称不动点算法)求解, 但对于非线性优化问题, 牛顿法提供了一种求解的办法. 假设任务是优化一个目标函数ff, 求函数ff的极大极小问题, 可以转化为求解函数ff的导数f′=0的问题, 这样求可以把优化问题看成方程求解问题(f′=0). 剩下的问题就和第一部分提到的牛顿法求解很相似了.