机器学习基础 - [第二章:多变量线性回归](4)特征选择与多项式回归

1、什么是多项式回归?

多项式回归是指利用线性回归函数来拟合复杂函数;
或者说假设函数不再是简单的一次函数;
例如:
h(θ)=θ0+θ1x+θ2x2 h(\theta)=\theta_{0}+\theta_{1}x+\theta_{2}x^{2}

2、不同的特征选择

以房屋价格预测为例,我们可以选择不同的特征,你可以选择:
(1)房屋的临街宽度、房子的临街深度;
(2)房屋的面积;
下图1所示的是房屋价格随面积的分布情况,从图中可以看出,如果仅用一次函数,很难正确拟合数据,所以我们应该使用更复杂的假设函数,比如二次的、三次的,对比线性回归,我们进行特征构造,将假设函数中的(size)(size)(size)2(size)^{2}(size)3(size)^{3}分别作为线性回归中的特征x1x_{1}x2x_{2}x3x_{3},然后再使用线性回归的方法,就可以很好的拟合数据:
机器学习基础 - [第二章:多变量线性回归](4)特征选择与多项式回归