线性回归中最小二乘法矩阵表现形式及最小化时关于参数theta的解析解的推导(手写)

1.最小二乘法的矩阵表现形式

第一页纸定义了损失函数的样子, theta, X 和 y 的 shape, 以及最终的损失函数向量表现形式.
线性回归中最小二乘法矩阵表现形式及最小化时关于参数theta的解析解的推导(手写)

2.最小化时参数θ\theta矩阵式求解的推导

第二页纸抄上了几个要用到的矩阵求导公式,以及推导过程和结果.
要说明的是:推导结果与theta, X 和 y 的 shape有直接关系.该证明与西瓜书的结论类似。实质完全相同。
线性回归中最小二乘法矩阵表现形式及最小化时关于参数theta的解析解的推导(手写)