机器学习算法数学基础之——微积分篇（1）

最近在听台大老师林轩田老师的 機器學習基石 课程，意识到做好机器学习必须要把根本学好，也就是机器学习算法的基础 —— 数学。高等数学虽然在本科时已经学过了，但很多概念和定理由于太久不使用，很多细节已经搞不清了。所以打算在知乎记几篇笔记，分别是关于微积分、线性代数、统计与概率论三个部分的一些常用知识点。

当前这篇是关于微积分部分的，包括：罗尔定理、柯西中值定理、拉格朗日中值定理、泰勒展开、夹逼准则、洛必达法则。

微积分

核心问题

极值问题与条件最优化。

核心技能

• 导数／偏导数
• 梯度

常用定理及简介

• 罗尔定理

定理内容：如果 R 上的函数 f(x) 满足以下条件：（1）在闭区间 [a,b] 上连续，（2）在开区间 (a,b) 内可导，（3）f(a)=f(b)，则至少存在一个 ξ∈(a,b)，使得 f'(ξ)=0。

几何意义：若连续曲线y=f(x) 在区间 [a,b] 上所对应的弧段 AB，除端点外处处具有不垂直于 x 轴的切线，且在弧的两个端点 A,B 处的纵坐标相等，则在弧 AB 上至少有一点 C，使曲线在C点处的切线平行于 x 轴。

• 柯西中值定理

如果函数 f(x), g(x) 满足：（1）在闭区间 [a,b] 上连续，（2）在开区间 (a,b) 内可导，（3）对任一 x∈(a,b) 有 g'(x)≠0，则存在 ξ∈(a,b)，使得 [f(b)-f(a)]/[g(b) g(a)]=f'(ξ)/g'(ξ)。

几何意义：若令 u=f(x), v=g(x），这个形式可理解为参数方程，而 [f(a)-f(b)]/[g(a)-g(b)] 则是连接参数曲线的端点斜率，f'(ξ)/g'(ξ) 表示曲线上某点处的切线斜率，在定理的条件下，可理解为：用参数方程表示的曲线上至少有一点，它的切线平行于两端点所在的弦。

• 拉格朗日中值定理

拉格朗日中值定理是罗尔中值定理的推广，同时也是柯西中值定理的特殊情形，是泰勒公式的弱形式（一阶展开），它反映了可导函数在闭区间上的整体的平均变化率与区间内某点的局部变化率的关系。

定理内容：如果函数 f(x) 满足：（1）在 (a,b) 内可导，（2）[a,b] 上连续，则必有一个 ξ∈(a,b)，使得 f'(ξ)*(b-a)=f(b)-f(a)。

几何意义：若连续曲线 y=f(x) 在 A(a,f(a)), B(b,f(b)) 两点间的每一点处都有不垂直于x轴的切线，则曲线在 A,B 间至少存在一个点 P(c,f(c))，使得该曲线在P点的切线与割线AB平行。

物理意义：对于直线运动，在任意一个运动过程中至少存在一个位置（或一个时刻）的瞬时速度等于这个过程中的平均速度。

• 泰勒展开

泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果函数足够平滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值。泰勒公式还给出了这个多项式和实际的函数值之间的偏差。

用一张动图模拟这个过程：

• 夹逼准则

定理内容：若函数  和  在  的邻域连续，   时极限都为  ，即  ，且在该  的邻域一直满足  。

则当  时也有  ，也就是  ，

所以  .

简单地说：函数 A>B，函数 B>C，函数 A 的极限是 X，函数 C 的极限也是 X ，那么函数 B 的极限就一定是 X，这就是夹逼定理。

• 洛必达法则

定理内容：设

（1）当  时，函数  及  都趋于零；

（2）当  时  与  都存在，且  ；

（3）  存在（或为无穷大），

那么 

洛必达法则是在一定条件下，通过分子分母分别求导再求极限来确定未定式值的方法。这种方法主要是在一定条件下通过分子分母分别求导再求极限来确定未定式的值。

在运用洛必达法则之前，首先要完成两项任务：一是分子分母的极限是否都等于零（或者无穷大）；二是分子分母在限定的区域内是否分别可导。如果这两个条件都满足，接着求导并判断求导之后的极限是否存在：如果存在，直接得到答案；如果不存在，则说明此种未定式不可用洛必达法则来解决；如果不确定，即结果仍然为未定式，再在验证的基础上继续使用洛必达法则。