线性回归的概率解释及局部加权回归
看了吴恩达《机器学习》,发现了线性回归的概率解释,以及极大似然估计和LSM算法的等价性
概率解释
回归模型假设:
Epsilon为误差项,并且服从正态分布。在给定x和Epsilon时,y也服从正态分布。
似然函数:
x和y均为已知,方差固定,即theta为某一取值时,似然函数最大。
极大似然函数求解:
可见两个等价~这个转换的思维还是蛮有趣,记录下。
局部加权回归
与线性回归的差异:目标函数略有不同,对于每一个不同的样本增加了一个权重。
权重的赋予方式:此处Tao越大,权重变化的越平缓~参考正态分布中方差的作用
如果是多元的:
PS:有空造个数据玩一下