Machine Learning：最小二乘法数学原理及简单推导

假设给定一系列散列值（数据集）记为D={（x1,y1），（x2，y2），（x3，y3），，，（xn，yn）}，找到一个函数y=ax+b（也可记得f(x)=ax+b）使得f(x)函数尽可能拟合D。求解函数f(x)的方法很多种。最小二乘法寻找拟合函数f(x)的原理和思想关键：平方差之和最小，即使得

Q最小。即求解

最小值。

因为(x1,y1)，（x2，y2），，，（xn，yn）均是已知变量，问题转化为求解Q=f(a,b)的最小值，即求解(a,b)点，使得f(a,b)值极小。
使用偏导数解f(a,b)极小值：


最终整理化简后，a，b值的公式为：

其中，

即xi，yi的算术平均值。