最小二乘法 笔记

可以这么理解。。。

对于线性回归模型,这个模型的符号意义，必须要理解。符号与文字的转化必须要熟练。否则你很难理解理论的精妙之处。

当然如果你是看的机器学习的书，请梳理一遍符号，因为貌似和统计学的不太一样。例如他们会该死地写成这样：

不扯蛋了。现在开始分析：

在分析之前，我们说说符号的意思，注意符号与文字的转换要非常熟练，这就像英语，要做到同声翻译的水平。当然每个人都有不同的风格，这就有点无语，以至于不同的书，符号不一样。TMD这是英语有了方言啊。

横向是不同的变量，纵向是记录。

搞清楚这些符号含义后，下面的内容就不难理解了。

不过我怎么感觉这是在 抖机灵。。。。不应该这样推导。太不严谨了了。统计学，不是拟合那么简单。

如果我们觉得误差是符合高斯分布的话，那么概率分布是：

尝试最大化它，取 log 来计算：

也就是：

看公式的最后一行，减号左边的式子是一个常数，要取整个式子的最大值，就是求后面这部分式子的最小值。

所以现在问题转化为求如下式子最小值时θ的值：

该函数就是我们线性回归中最后需要求解的目标函数。

讲到这里又需要引入一个新的概念：损失函数（代价函数）

在机器学习中，我们希望找到一个面向整个模型的度量函数，使得这个度量函数越小越好。

本来我们求的是似然函数的最大值，现在把问题转换成了求目标函数的最小值。

损失函数：衡量的是单个观测值在当前系统下的一个损失情况。
代价函数：衡量所有样本在当前系统下的损失情况。

总结一下求解最大似然估计的步骤：

1、写出似然函数L(θ)
2、对似然函数取对数，并整理 ln L(θ)
3、求导数
4、解方程-导数为0的点(极值) ∂ ln L(θ) / ∂ θ = 0