机器学习学习笔记(4)----线性回归的数学解析

预备知识,向量微积分:

对向量求偏导数:

1)y是标量函数,y=cTx=xTc(T是指矩阵的转置)

2)y是向量函数,y=Ax

3)y是标量函数,y=xTAx(T是指矩阵的转置,A是n*n矩阵)

机器学习学习笔记(4)----线性回归的数学解析
求向量x的偏导数

线性回归的假设函数:

机器学习学习笔记(4)----线性回归的数学解析

线性回归的损失函数:

机器学习学习笔记(4)----线性回归的数学解析

现在可以将线性回归问题,转换成求最小值问题,即找到一个最优的w使得j(w)最小:

机器学习学习笔记(4)----线性回归的数学解析

以上求最优w的方法被称为普通最小二乘法。

参考资料:

《快乐机器学习》