Coursea-吴恩达-machine learning学习笔记（二）【week 1之Linear Regression with One Variable】

线性回归算法中特定的符号表示：
m$m$：表示训练样本的数目；
x$x$：表示输入的特征；
y$y$：表示输出变量或目标变量；
(x,y)$(x,y)$：表示一个训练样本；
(x(i),y(i))$(x^{(i)},y^{(i)})$：表示第i$i$个训练样本；
h$h$：表示假设函数，表示从x$x$到y$y$的函数映射；

单变量的线性回归模型：hθ(x)=θ0+θ1x$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$；
其中，θ0,θ1${\theta }_0,{\theta }_1$为模型参数；

线性回归算法的目标为选择θ0,θ1${\theta }_0,{\theta }_1$，使hθ(x)$h_{\theta }(x)$最接近样本对应的y$y$值，即寻找θ0θ1${\theta }_0{\theta }_1$，使

12m∑i=1m(hθ(x(i))−y(i))2$\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$表示平均误差，其中，12$\frac{1}{2}$是为了方便后续梯度下降算法的计算。

引入代价函数的概念：

代价函数也称平方误差函数或平方误差代价函数，为了评价hθ(x)$h_{\theta }(x)$的准确性，算法的目的是让J(θ0,θ1)$J({\theta }_0,{\theta }_1)$尽可能小。

平方误差代价函数是解决回归问题最常用的手段。

算法简化：
令θ0=0${\theta }_0=0$，则hθ(x)=θ1x$h_{\theta }(x)={\theta }_{1}x$，模型参数只剩下θ1${\theta }_1$，代价函数变为

算法目标变为求
带入训练集样本数据，发现J(θ1)$J({\theta }_1)$是一个下凸曲线，找到令J(θ1)$J({\theta }_1)$取值最小的θ1${\theta }_1$。

J(θ1,θ0)$J({\theta }_1,{\theta }_0)$同理，可用轮廓图表示：

梯度下降算法：可以使代价函数最小化。
算法定义：
repeat until convergence{

}
：=为赋值运算符；
α$\alpha$为一个数字，称为学习速率，控制梯度下降步幅。

θ0,θ1${\theta }_0,{\theta }_1$正确的更新方法：
temp0:=θ0−α∂∂θ0J(θ0,θ1)$temp0:={\theta }_0-\alpha \frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_0}J({\theta }_0,{\theta }_1)$
temp1:=θ1−α∂∂θ1J(θ0,θ1)$temp1:={\theta }_1-\alpha \frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_1}J({\theta }_0,{\theta }_1)$
θ0:=temp0${\theta }_0:=temp0$
θ1:=temp1${\theta }_1:=temp1$
θ0,θ1${\theta }_0,{\theta }_1$要同时更新。

通常将θ0,θ1${\theta }_0,{\theta }_1$均初始化为0。

注：∂∂x$\frac{\mathrm{\partial }}{\mathrm{\partial }x}$为偏导数符号，ddx$\frac{\mathrm{d}}{\mathrm{d}x}$为导数符号

梯度下降算法中，若α$\alpha$的值取得太小，梯度下降过于缓慢；若α$\alpha$的值取得太大，可能导致无法收敛，甚至发散。
在梯度下降法中，当我们接近局部最低点时，梯度下降法会自动采取更小幅度，因为当接近局部最低点时，∂∂θjJ(θ0,θ1)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}J({\theta }_0,{\theta }_1)$导数值自动变得越来越小。

线性回归算法的梯度下降：
∂∂θjJ(θ0,θ1)=∂∂θj12m∑i=1m(hθ(x(i))−y(i))2=∂∂θj12m∑i=1m(θ0+θ1x(i)−y(i))2$\begin{array}{ccccc}\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}J({\theta }_0,{\theta }_1)& =& \frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2& =& \frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}\frac{1}{2m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)}{)}^2\end{array}$
j=0时：∂∂θ0J(θ0,θ1)=1m∑i=1m(hθ(x(i))−y(i))=1m∑i=1m(θ0+θ1x(i)−y(i))$\begin{array}{ccccc}j=0时：\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_0}J({\theta }_0,{\theta }_1)& =& \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})& =& \frac{1}{m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)})\end{array}$
j=1时：∂∂θ1J(θ0,θ1)=1m∑i=1m(hθ(x(i))−y(i))x(i)=1m∑i=1m(θ0+θ1x(i)−y(i))x(i)$\begin{array}{ccccc}j=1时：\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_1}J({\theta }_0,{\theta }_1)& =& \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}& =& \frac{1}{m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)})x^{(i)}\end{array}$
即：
repeat until convergence{

}

批量梯度下降法(Batch Gradient Descent)：梯度下降法最常用的形式，具体做法是在更新参数时使用所有的样本来进行更新。