【机器学习笔记1.2】线性回归之梯度下降法求解
本博客仅为作者记录笔记之用，不免有很多细节不对之处。
还望各位看官能够见谅，欢迎批评指正。
线性回归是什么
我们先考虑最简单的一种情况：输入属性的数目只有一个，即
均方误差是回归任务重最常用的性能度量，因此我们可以试图让均方误差最小化，即
基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（least square method）.
以上是参考周志华西瓜书，下面参考MIT笔记用梯度下降迭代得到w,b的算法。
梯度下降法求解线性回归模型
高级优化
除了梯度下降，还有共轭梯度法、BFGS(变尺度法)和L-BFGS(限制变尺度法)[2]，这些方法也可以用来计算代价函数J(θ)和偏导数项，使用这其中任何一个算法都不需要手动选择学习率α，而且他们往往比梯度下降收敛得更快。
参考文献
[1] 周志华. 机器学习
[2] 黄海广. MIT 机器学习教程