一、牛顿法主要有两个应用方向：

• 求方程的根
• 求函数最优化求解

二、求方程的根：

• 假设我们现在要求方程$f(x)=0$f(x)=0的根$x^*$x∗：
  • 第一步：对$f(x)$f(x)进行一阶泰勒展开：$f(x)≈f(x_0 )+f'(x_0 )(x-x_0)$f(x)≈f(x0​)+f′(x0​)(x−x0​)$g(x)=f(x_0 )+f'(x_0 )(x-x_0)$g(x)=f(x0​)+f′(x0​)(x−x0​)$g(x)$g(x)为$f(x)$f(x)的一阶泰勒展开，其实质就是$f(x)$f(x)在$x_0$x0​点的切线方程，根据泰勒公式的性质我们知道$f(x)$f(x)和$g(x)$g(x)在$x_0$x0​点附近的值可以非常接近。
  • 第二步：求出$g(x)$g(x)的根$x_1$x1​：$f(x_0 )+f' (x_0 )(x-x_0 )=0$f(x0​)+f′(x0​)(x−x0​)=0$x_1=x_0-\frac{f(x_0 )}{f'(x_0 )}$x1​=x0​−f′(x0​)f(x0​)​
  • 第三步：重复第一步和第二步直到收敛：$x_{k+1}=x_k-\frac{f(x_k )}{f'(x_k )}$xk+1​=xk​−f′(xk​)f(xk​)​$x^*= \lim_{k→+∞}⁡x_k$x∗=k→+∞lim​⁡xk​
  • 迭代过程图：
    

三、求函数最优化求解：

• 假设$f(x)$f(x)是某一任务的目标函数，我们需要求出该函数的最小值（极小值），可以转化为$f'(x)$f′(x)的根，剩下的问题就和第一部分提到的牛顿法求解很相似了。
  • 第一步：对$f(x)$f(x)进行二阶泰勒公式展开：$f(x)≈f(x_0 )+f' (x_0 )(x-x_0 )+\frac{1}{2} f'' (x_0 ) (x-x_0 )^2$f(x)≈f(x0​)+f′(x0​)(x−x0​)+21​f′′(x0​)(x−x0​)2 $g(x)=f(x_0 )+f' (x_0 )(x-x_0 )+\frac{1}{2} f'' (x_0 ) (x-x_0 )^2$g(x)=f(x0​)+f′(x0​)(x−x0​)+21​f′′(x0​)(x−x0​)2 原问题$min⁡{f(x)}$min⁡f(x) 近似转变为$min{g(x)}$ming(x)
  • 第二步：求$g(x)$g(x) 的最小值
    • 对$g(x)$g(x)求导，并令倒数为$0$0：$f' (x_0 )+f'' (x_0 )(x-x_0 )=0$f′(x0​)+f′′(x0​)(x−x0​)=0
    • 求解：$x=x_0-\frac{f' (x_0 )}{f'' (x_0 ) }$x=x0​−f′′(x0​)f′(x0​)​
  • 第三步：重复第一步和第二步直到收敛： $x_{k+1}=x_k-\frac{f'(x_0 )}{f'' (x_0 ) }$xk+1​=xk​−f′′(x0​)f′(x0​)​$x^*= \lim_{k→+∞}⁡x_k$x∗=k→+∞lim​⁡xk​

三、高维牛顿法：

• 在上面讨论的是2维情况，现在讨论高维情况的牛顿法：

1、高维函数的泰勒展开式：

• 一元函数泰勒公式：$f(x)≈f(x_0 )+f' (x_0 )(x-x_0 )+\frac{1}{2!} f''(x_0 ) (x-x_0 )^2+⋯+\frac{1}{n!} f^((n) ) (x_0 ) (x-x_0 )^n$f(x)≈f(x0​)+f′(x0​)(x−x0​)+2!1​f′′(x0​)(x−x0​)2+⋯+n!1​f((n))(x0​)(x−x0​)n
• 二元函数泰勒公式：
  
• hessian 矩阵：
  • 设$n$n多元实函数$f(x_1,x_2,…,x_n )$f(x1​,x2​,…,xn​),则其hessian 矩阵为：
    
• $n$n元函数泰勒公式：
  • $f(x_1,x_2,…,x_n )$f(x1​,x2​,…,xn​),在点$X^0=(x_1^0,x_2^0,…,x_n^0)$X0=(x10​,x20​,…,xn0​)的泰勒公式：$f(X)=f(X^0 )+∇f(X^0 )∇X^T+\frac{1}{2} ∇XA(X^0 )∇X^T+⋯+o((x-x_0 )^n )$f(X)=f(X0)+∇f(X0)∇XT+21​∇XA(X0)∇XT+⋯+o((x−x0​)n) 其中$∇f(X)$∇f(X)为$f(X)$f(X)梯度，公式如下：$∇f(X)=[\frac{∂f}{∂x_1 },\frac{∂f}{∂x_2 },…,\frac{∂f}{∂x_n }]$∇f(X)=[∂x1​∂f​,∂x2​∂f​,…,∂xn​∂f​]$∇X$∇X公式如下：$∇X=[x_1-x_1^0,x_2-x_2^0,…,x_n-x_n^0 ]$∇X=[x1​−x10​,x2​−x20​,…,xn​−xn0​]

2、求多元函数最优化求解的牛顿迭代公式：

• $x_(k+1)=x_k-\frac{∇f(X^0 )}{A(X^0) }$x(​k+1)=xk​−A(X0)∇f(X0)​由上面公式我们可以看出牛顿迭代法与梯度下降算法的关系：
  • 梯度下降算法的递推公式：$x_{k+1}=x_k-λ∇f(X^0 )$xk+1​=xk​−λ∇f(X0)
  • 则牛顿法就是步长为$\frac{1}{A(X^0 )}$A(X0)1​ 的梯度下降算法
• 优缺点：牛顿法的优点是收敛速度快，缺点是在用牛顿法进行最优化求解的时候需要求解Hessian矩阵，使得牛顿迭代求解的难度大大增加。