导数、微分、偏导数、全微分、方向导数、梯度的定义与关系

学习到机器学习线性回归和逻辑回归时遇到了梯度下降算法，然后顺着扯出了一堆高数的相关概念理论：导数、偏导数、全微分、方向导数、梯度，重新回顾它们之间的一些关系，从网上和教材中摘录相关知识点。

1. 通过函数的极限定义出导数(以一元函数为例)
2. 函数f(x)在点x0可微的充分必要条件是函数f(x)在点x0处可导
3. 扩展到多元函数时，衍生出偏导数

导数

定义：设函数y=f(x)$y=f(x)$在点x0$x_0$的某个领域内有定义，如果ΔyΔx$\frac{\Delta y}{\Delta x}$在当Δx$\Delta x$->0时极限存在，则称函数y=f(x)$y=f(x)$在x0$x_0$处可导，这个极限是函数y=f(x)$y=f(x)$在x0$x_0$处的导数

根据导数的定义，从某种意义上说导数的本质是一种极限

导数与导函数的关系是局部与整体的关系，导数通常是指一点，导函数则是指一个区间上的

• 在直线运动场景中，若x表示时刻，y表示距离，函数f表示时间与距离的关系y=f(x)$y=f(x)$,那么导数的含义就是在x0$x_0$时刻的瞬时速度
• 在直角坐标系中，y=f(x)$y=f(x)$表示一个曲线，导数的含义表示的是曲线在点x0$x_0$处的切线的斜率

微分

定义：设函数y=f(x)$y=f(x)$在某个领域内有定义，x0$x_0$及x0+Δx$x_0+\Delta x$在这区间内，如果增量

可表示为

其中A是不依赖Δx$\Delta x$的常数，o(Δx)$o(\Delta x)$是指Δx$\Delta x$趋于0时的高阶无穷小，那么称函数y=f(x)$y=f(x)$在点x0$x_0$是可微的，而AΔx$A\Delta x$叫做函数在点x0$x_0$相应于自变量增量Δx$\Delta x$的微分，记作dy$\mathrm{d}y$，记作

高阶无穷小的定义：如果limαβ=0$lim\frac{\alpha }{\beta }=0$，就说β$\beta$是比α$\alpha$高阶的无穷小，记作β=o(α)$\beta =o(\alpha )$

微分与导数的关系

上式Δy=AΔx+o(Δx)$\Delta y=A\Delta x+o(\Delta x)$两边同时除以Δx$\Delta x$得到

当Δx→0$\Delta x\to 0$时,上式左边就是导数的定义，而右边的o(Δx)Δx$\frac{o(\Delta x)}{\Delta x}$因为是高阶无穷小，所以会趋向于0，得到以下等式

因此，如果函数f(x)$f(x)$在点x0$x_0$可微，则f(x)$f(x)$在点x0$x_0$也一定可导，且A=f′(x0)$A=f^{\prime }(x_0)$，反之，如果f(x)$f(x)$在点x0$x_0$可导，存在下式

根据极限与无穷小的关系转化上式，当Δx→0$\Delta x\to 0$时

其中limΔx→0a=0$\underset{\Delta x\to 0}{lim}a=0$，即limΔx→0aΔxΔx=0$\underset{\Delta x\to 0}{lim}\frac{a\Delta x}{\Delta x}=0$,aΔx=o(Δx)$a\Delta x=o(\Delta x)$，上式转化为下式(又回到了微分的定义)

因此，函数f(x)$f(x)$在点x0$x_0$可微的充分必要条件是函数f(x)$f(x)$在点x0$x_0$可导

偏导数

一元函数的变化率是导数，多元函数的自变量有多个，当某个自变量x变化而其它自变量固定时，这时候对变化的自变量x进行求导，就称为多元函数对于x的偏导数。
定义：设函数z=f(x,y)$z=f(x,y)$在点(x0,y0)$(x_0,y_0)$的某一领域内有定义，当y$y$固定于y0$y_0$，而x$x$在x0$x_0$处有增量Δx$\Delta x$，相应的函数有增量

如果

存在，则称该极限为z=f(x,y)$z=f(x,y)$在点(x0,y0)$(x_0,y_0)$处对x$x$的偏导数

偏导数的几何意义

• 偏导数fx(x0,y0)$f_x(x_0,y_0)$就是曲面被平面y=y0$y=y_0$所截得的曲线在点M0$M_0$处的切线M0Tx$M_0{T}_x$对x$x$轴的斜率
• 偏导数fy(x0,y0)$f_y(x_0,y_0)$就是曲面被平面x=x0$x=x_0$所截得的曲线在点M0$M_0$处的切线M0Ty$M_0{T}_y$对y$y$轴的斜率

很多时候要考虑多元函数沿任意方向的变化率，那么就引出了方向导数

全微分

参考上文微分的定义，与一元函数的情形一样，希望用自变量增量Δx,Δy$\Delta x,\Delta y$来线性函数来代替函数的全增量Δz$\Delta z$，从而减化计算
定义：设函数z=f(x,y)$z=f(x,y)$在点(x,y)$(x,y)$的某领域内有定义如果函数在点(x,y)$(x,y)$的全增量

可心表示为

其中A,B$A,B$不依赖于Δx,Δy$\Delta x,\Delta y$，ρ=(Δx)2+(Δy)2−−−−−−−−−−−−√$\rho =\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}$，则称函数z=f(x,y)$z=f(x,y)$在点(x,y)$(x,y)$处可微分，而AΔx+BΔy$A\Delta x+B\Delta y$称为函数在点(x,y)$(x,y)$的全微分

可微分与偏导数关系

基于上述全微分定义成立，存在某一点p′(x+Δx,y+Δy)$p^{\prime }(x+\Delta x,y+\Delta y)$对于式子Δz=AΔx+BΔy+o(ρ)$\Delta z=A\Delta x+B\Delta y+o(\rho )$也成立，当Δy=0$\Delta y=0$时

两边除以Δx$\Delta x$并且令Δx→0$\Delta x\to 0$取极限

这式子就是偏导数的定义形式啊，所以这说明了偏导数fx(x,y)$f_x(x,y)$存在且等于A$A$，同理也可证fy(x,y)=B$f_y(x,y)=B$，由此推导出以下公式

各偏导数的存在只是全微分存在的必要条件而非充分条件，即由全微分可证各偏导数存在，反之则不行

如果函数的各个偏数在点(x,y)$(x,y)$是连续的，则函数可微分

方向导数

定义导数、偏导数、方向导数都是说如果说某条件下极限存在，谨记导数的本质是极限及代表函数的变化率，偏导数反映的是函数沿坐标轴方向的变化率，有所限制，所以引入方向导数表示沿任意一方向的变化率
定义：设l$l$是xOy$xOy$平面以P0(x0,y0)$P_0(x_0,y_0)$为始点的一条射线，ei=(cosα,cosβ)$e_i=(cos\alpha ,cos\beta )$是以射线同方向的单位向量

射线l$l$的参数方程为

如果函数增量f(x0+tcosα,y0+tcosβ)−f(x0,y0)$f(x_0+tcos\alpha ,y_0+tcos\beta )-f(x_0,y_0)$与P$P$到P0$P_0$的距离|PP0|=t$|P{P}_0|=t$的比值，当点P$P$沿着l$l$趋于P0(即t→0+)$P_0(即t\to 0^{+})$时极限存在，则称此极限为函数在点P0$P_0$沿方向l$l$的方向导数

方向导数与全微分的关系

由全微分的定义得到

设点(x0+Δx,y0+Δy)$(x_0+\Delta x,y_0+\Delta y)$在以(x0,y0)$(x_0,y_0)$为起点的射线l(cosα,cosβ是l的方向余弦)$l(cos\alpha ,cos\beta 是l的方向余弦)$上，则有Δx=tcosα$\Delta x=tcos\alpha$,Δy=tcosβ$\Delta y=tcos\beta$,(Δx)2+(Δy)2−−−−−−−−−−−−√=t$\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}=t$，所以

上式左侧就是方向导数定义形式，极限存在即方向导数存在，且其值等于右式

由此得到定理，如果函数f(x,y)$f(x,y)$在点P0(x0,y0)$P_0(x_0,y_0)$可微分，那么函数在该点沿任一方向l$l$的方向导数存在

梯度

在平面上确定某一点可能存在无数个方向导数，我们怎样找到其中一个方向导数来描述函数最大变化率？
定义：在二元函数的情形， 设函数f(x,y)$f(x,y)$在平面区域D内具有一阶连续偏导数，对于每一点P0(x0,y0)∈D$P_0(x_0,y_0)\in D$，都可以给出一个向量

其中i,j$i,j$为x,y$x,y$轴的方向向量，上述微量称为函数f(x,y)$f(x,y)$在点P0(x0,y0)$P_0(x_0,y_0)$的梯度记作

由定义看到，梯度的方向是确定的，如果点P$P$的坐标确定，那么梯度也大小也确定

如果函数f(x,y)$f(x,y)$在点P0(x0,y0)$P_0(x_0,y_0)$可微分，el=(cosα,cosβ)$e_l=(cos\alpha ,cos\beta )$是方向l$l$的方向向量(方向未确定)

其中θ$\theta$为向量grad f(x0,y0)$gradf(x_0,y_0)$与向量el$e_l$的夹角，当θ=0$\theta =0$时，即方向el$e_l$与梯度grad f(x0,y0)$gradf(x_0,y_0)$的方向时，函数f(x,y)$f(x,y)$增加最快，函数在这个方向的方向导数达到最大值，这个值就是梯度grad f(x0,y0)$gradf(x_0,y_0)$的模，即

所以可以用沿梯度方向的方向导数来描述是函数最大变化率，即梯度方向是函数变化率最大的方向，在梯度定义的时候就已经赋予了它这个特性。