机器学习--线性回归
0、前言
断断续续学习机器学习有一个月了,虽然学习探索的过程很有意思,但是过了两三天回过头一想,也没记住啥。学习就是这样,不断重复遗忘,不断巩固加强,直到熟能生巧。我想开始把我最近学到的机器学习相关的概念、知识、疑问和想法记录一下,时常拿出来看看,修改修改。
严格遵守费曼原则:如果不能用通俗的语言讲清楚,那就回头看书去。
1、线性回归(linear regression)
回归就是用一个函数(一条曲线)来拟合所有的数据点,并且使拟合的曲线误差最小。
线性回归模型:
矩阵形式:
直观理解就是给每个特征一个权值,比如
2、损失函数(cost function)
通常各种教程就直接给出平方损失:
m ——样本数
x ——特征/输入变量
y——目标变量/输出变量
(x,y)——训练集中的实例
一般配合图示解释的也比较有道理:样本点和预测值做差,再平方求和。
但是从数学上,我更喜欢这个解释:
首先,对于每一个样本点:
其中,误差
解释一下这句话:
(1)假定样本独立:实际上,若有一个业主卖两套房,那么这两套房的数据就不独立,因为业主会做一些比较考量。但是我们假设每一个业主只卖一套房(实际上,业主之间互相比较也会对样本独立性造成影响,但是我们依然认为服从高斯分布)
(2)假定样本同分布:认为样本来自同一个城市同一个区同一个范围,即假定它服从同一分布。
(3)均值为0:可能我们会认为均值是某一个数,但是注意我们有一个偏置项
(4)
既然
由于:
所以:
得:
因为样本是独立同分布的,所以似然函数就是:
(公式太长,有时间再编辑^_^)