导数、梯度、微分、次导数、次微分和次梯度的概念
首先感谢如下两位博主的精彩原创:
参考文献:
https://blog.****.net/bitcarmanlee/article/details/51896348
https://blog.****.net/qq_32742009/article/details/81704139
次导数、次微分和次梯度属于凸优化中的概念。在对三者进行阐述之前,先回顾下导数、微分、和梯度的概念。
导数
梯度在一元函数中的特例。
梯度
是一个向量,梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。计算时候,对每一维的方向求偏导。
微分
是一个增量
次导数
一元函数中的称呼
导数的泛化意义,如果函数f(x)在某点不可导,那么在该点函数f(x)就不存在导数,但在该点会存在次导数。
次导数,即通过该不可导点(x0,f(x0))的一条直线的斜率,该直线要在函数图像之下或者和函数图像重合,不能超过函数图像或与函数图像相交。即可以用下图来表示:
次微分
一元函数中的称呼
凸函数:在点的次导数,是实数c使得:
对于所有内的。我们可以证明,在点的次导数的集合是一个非空闭区间[a, b],其中a和b是单侧极限
它们一定存在,且满足a ≤ b。
所有次导数的集合[a,b][a,b]称为函数ff在x0x0的次微分。
例如:考虑凸函数f(x)=|x|f(x)=|x|。在原点的次微分是区间[−1, 1]。x0<0x0<0时,次微分是单元素集合{-1},而x0>0x0>0,则是单元素集合{1}。
次梯度
次导数在多元函数中的称呼
次导数和次微分的概念可以推广到多元函数。如果是一个实变量凸函数,定义在欧几里得空间内的凸集,则该空间内的向量称为函数在点的次梯度,如果对于所有内的,都有:
次微分
次微分在多元函数中的称呼
所有次梯度的集合称为次微分,记为。次微分总是非空的凸紧集。