机器学习基石-Linear Regression
大纲
Linear Regression Problem
当
1 Linear Regression Hypothesis
2 Illustration of Linear Regression
线性回归问题就是在空间中,寻找一个线或者超平面,满足点到超平面拥有最小的误差
3 The Error Measure
回归问题一般用square Error作为损失函数,所以我们的算法的目的就是如何最小化
Linear Regression Algorithm
1 Matrix Form of Ein(w)
我们可以知道
2 The Gradient ▿Ein(w)
Optimal Linear Regression Weights
我们令
Conclusion
Linear Regression Issue
如何证明在数据足够大的时候,
当N足够大时,
Linear Regression for Binary Classification
1 Linear Classification VS Linear Regression
我们知道二分类问题的 0/1 损失很难被优化,是一个NP难问题,但是线性回归的的square损失很容易被优化,因为,{-1,+1}也属于R,所以我们很自然的想到能否用square代替0/1损失进行优化,来更好的优化问题。
2 Relation of Two Error
我们可以看到,square损失是0/1损失的上界
这里我们用了一个更宽松的上界来bound住包外误差,优化这个宽松的上界是很简单的,一般来说这个算法可以取得不错的效果,所以我们可以跑一次linear Regression来得到