偏导,梯度,Hesse矩阵的一些概念和求函数的极值

偏导

偏导函数..简称为偏导数

可以理解为,固定一个变量,求另一个变量的导数;
三元函数的二阶偏导有9个


梯度

梯度(由偏导数组成的一个向量)
偏导,梯度,Hesse矩阵的一些概念和求函数的极值
梯度的特点:
1 方向,函数变化率最大的方向;(负梯度方向,最速下降算法)

2,模,函数的最大变化率之值;

海森(Hesse)矩阵

所有二阶偏导数组成的矩阵;

汉森矩阵正定,可以判断一个函数是凸函数

求极值:

偏导,梯度,Hesse矩阵的一些概念和求函数的极值

求条件极值: 

偏导,梯度,Hesse矩阵的一些概念和求函数的极值