泰勒展开式-牛顿法优化
泰勒公式的表达式：就是下面这个看起来很复杂的公式。
首先还是先回到函数的局部线性近似这个概念。
举个栗子，例如函数，当自变量有变化时，即
，自变量y会变化
,带入到函数里面就有
当时，上式的后两项是
的高阶无穷小舍去的话上式就变成了
也就是说当自变量x足够小的时候，也就是在某点的很小的邻域内，是可以表示成
的线性函数的。线性函数计算起来，求导起来会很方便。
对于一般函数，当在某点很小领域内我们也可以写成类似上面的这种自变量和因变量之间线性关系，
变化一下形式,
在代入上式就有，
,移项有，
这个式子是不是很面熟？这个就是在点邻域内舍掉高阶无穷小项以后得到的局部线性近似公式了。为了提高近似的精确度，于是把上面的一次近似多项式修正为二次多项式（利用洛必达法则和二阶导数定义，为了理解推导忽略），在进一步，二次修正为三次。。。一直下去就得到了n阶泰勒多项式了。
泰勒展开就是用形式简单的多项式来近似在邻域内的函数，展开越多近似程度越高。
在x0的附近展开，无论展开到几阶，泰勒多项式的值和原函数的值都近似相等，但距离x0较远的地方，多项式的值和函数值就不接近了，要想让远处的值也接近，就需要展开到更多的阶，当展开阶数趋于无穷时，这个多项式在很大范围里就非常接近原函数啦。
只稍微补充一下文中提到的：从函数的线性近似来估计函数值。
上面的的图片上已经有点函数定积分的几何意义的那个图的感觉了吧。这里就比较好理解为什么泰勒展开式会是由微积分基本定理，就是牛顿莱布尼茨公式通过一系列的换元，转换，得到了泰勒展开式。
1.2 牛顿法
这里是学习了luoleicn的专栏里关于牛顿法的文章很通俗易懂。
总结如下：
牛顿法主要有两方面的应用：
1、求方程的根（函数比较复杂，没有求根公式）。
2、应用于最优化方法求解无约束问题的最优解（通常是求函数的极大极小值）