机器学习笔记之回归算法（一）线性回归
1. 假设函数
2. 损失函数
根据损失函数求解最优的假设函数（θ值），即求解一个凸优化问题。即对损失函数求导，令导数为0，求解θ值。
3. 梯度下降算法
从初始的θ值开始按照以下的形式不断更新，即从初始θ（随机初始化）按照梯度方向（使J下降最快的方向）变化。α称为学习率或步长。
其中偏导的部分：
对于单个样本：
上式称为最小均方算法（Least mean square，LMS算法）。
推广到多个样本：
将上式称为批梯度下降。
- 批梯度下降（batch gradient descent）
线性回归时做面临的最优化问题仅有一个全局最优解。
批梯度下降算法执行过程：
- 随机梯度下降算法（Stochastic Gradient Descent, SGD）
在该算法中计算梯度时使用仅仅一个样本计算，而批梯度下降算法则需要扫描整个训练集。所以通常随机梯度下降算法比梯度下降算法收敛速度更快。
执行过程：