机器学习学习笔记(4)----线性回归的数学解析
预备知识,向量微积分:
对向量求偏导数:
1)y是标量函数,y=cTx=xTc(T是指矩阵的转置)
2)y是向量函数,y=Ax
3)y是标量函数,y=xTAx(T是指矩阵的转置,A是n*n矩阵)
线性回归的假设函数:
线性回归的损失函数:
现在可以将线性回归问题,转换成求最小值问题,即找到一个最优的w使得j(w)最小:
以上求最优w的方法被称为普通最小二乘法。
参考资料:
《快乐机器学习》
预备知识,向量微积分:
对向量求偏导数:
1)y是标量函数,y=cTx=xTc(T是指矩阵的转置)
2)y是向量函数,y=Ax
3)y是标量函数,y=xTAx(T是指矩阵的转置,A是n*n矩阵)
线性回归的假设函数:
线性回归的损失函数:
现在可以将线性回归问题,转换成求最小值问题,即找到一个最优的w使得j(w)最小:
以上求最优w的方法被称为普通最小二乘法。
参考资料:
《快乐机器学习》