机器学习中梯度下降法和牛顿法的比较

梯度下降法用到一阶导，即目标函数变化最快的方向，牛顿法同时用到二阶导，计算梯度变化最快的方向，收敛速度更快。

梯度下降法

迭代公式为：$\theta_j :=\theta_j -\alpha \frac{\partial }{\partial \theta_j } J(\theta_j )$θj​:=θj​−α∂θj​∂​J(θj​)，其中$\alpha$α为步长，参数往函数极小值的方向前进。

牛顿法

作者: peghoty

出处: http://blog.csdn.net/itplus/article/details/21896453