【MachineLearning】之 多项式回归（理论）

Topic:

1. 多项式回归简介
2. 多项式拟合
3. 多项式特征矩阵

之前学习了 线性回归，那么多项式回归又是什么呢？

一、多项式回归简介

---

在线性回归中，我们通过建立自变量 x 的一次方程来拟合数据

而非线性回归中，则需要建立因变量和自变量之间的非线性关系。

从直观上讲，也就是拟合的直线变成了「曲线」。

对于非线性回归问题而言，最常见的便是「多项式回归」

多项式：x3−2xyz2+2yz+1$x^3-2xy{z}^2+2yz+1$

二、多项式拟合

---

一元高阶多项式函数：

其中，m$m$ 表示多项式的阶数，xj$x^j$表示 x$x$ 的 j$j$次幂，w$w$ 则代表该多项式的系数。

当我们使用上面的多项式去拟合散点时，需要确定两个要素，分别是：多项式系数 w$w$ 以及多项式阶数 m$m$

可以看到当 m=8 时，曲线呈现出明显的震荡，这就是过拟合（overfitting）

那什么是过拟合？过拟合不好吗？

过拟合：由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性学到了。

过拟合不好？ 因为只是把潜在样本的特征考虑进去了，并没有增强学习能力。

三、多项式特征矩阵

---

多项式回归相当于线性回归的特殊形式。

比如：一元二次多项式：y=w0+w1x+w2x2$y=w_0+w_{1}x+w_2{x}^2$

将其转换为：y=w0+w1∗x1+w2∗x2$y=w_0+w_1\ast x_1+w_2\ast x_2$ （x=x1$x=x_1$ x2=x2$x^2=x_2$）
这样就变成了多元线性回归。

这样就实现了 一元高次多项式到多元一次多项式之间的转换

之前，我们通过 y=wx+b$y=wx+b$ 线性回归模型进行拟合。
同样，y=w0+w1x+w2x2$y=w_0+w_{1}x+w_2{x}^2$，若能得到由 x=x1,x2=x2$x=x_1,x^2=x_2$构成的特征矩阵，那也就可以通过线性回归进行拟合了。