机器学习-线性模型
普通最小二乘法（ordinary least squares, OLS）是线性回归预测问题中一个很重要的概念
推导证明
(1) 公式推导
(2) 求和性质
求和性质，具体可以参考Introductory Econometrics A Modern Approach (Fourth Edition) 一书（计量经济学导论，第4版，杰弗里·M·伍德里奇 著）的附录A。
(3) 一般形式
有了上述推导证明，普通最小二乘法一般形式可以写成（字母盖小帽表示估计值，具体参考应用概率统计）：