最小二乘法(Least Mean Squares algorithm)

最小二乘法是优化线性回归模型的基本算法之一。
线性回归模型（系数参数化）如下:
$\begin{array}{l} {h_\theta }(x) = {\theta _0} + {\theta _1}{x_1} + {\theta _2}{x_2} + \ldots {\theta _n}{x_n}\\ = {\theta ^T}X \end{array}$hθ​(x)=θ0​+θ1​x1​+θ2​x2​+…θn​xn​=θTX​
其中$X = [1,{x_1},...,{x_n}]$X=[1,x1​,...,xn​]

代价函数定义如下：

最小二乘法的基本思想：
$\mathop {\min }\limits_\theta J(\theta )$θmin​J(θ)
优化方法有：
梯度下降算法(gradient descent)
推导过程：


将第二步推导结果代入第一步：

这个公式便是LMS更新公式(update rule)，也就是著名的Widrow-Holf学习准则（learning rule)。
而梯度下降算法又分为批量梯度下降与随机梯度下降算法，具体过程自行分析：
批量梯度下降：

随机梯度下降：

正规方程(the normal equations)
该方法是统计学中的一个基础方法，基本变量以及推导过程需要具备一定的统计学基础以及代数基础，向量求导以及矩阵迹(Tr)运算求导法则我会在其他章节介绍，通过公式化计算大大提升公式的应用性：
预测变量与响应变量矩阵化：


下面的这个公式对后来的推导过程有帮助：


其中第三步到第四步由以上公式代入所得。
这样便得到了正规方程：