线性回归

在前面的课程中，我们介绍了线性回归，它将自变量和因变量之间的关系用线性模型来表示
从而能够根据已知的样本数据对未来的或者未知的数据进行估计，这种线性关系在二维空间中是一条直线，在三维空间中是一个平面，在高维空间中是一个超平面

线性模型只能够应用于自变量和因变量是线性或者接近线性的情况，在现实生活中，数据之间存在着大量非线性的关系，为了解决这类问题，我们就需要对线性模型进行改进。

在这个预测商品房房价的例子中，我们假设这些数据之间符合线性关系，就可以得到一元线性回归模型，那么能否假设为其他模型呢？

我们也可以假设，X和Y的对数之间是线性关系就可以得到这样的函数，这称为对数线性回归 l n y = w x + b ln_y=wx+b lny​=wx+b，也可以写成这种形式 y = e w x + b y=e^{wx+b} y=ewx+b。

可以看到， X实际上是在e的指数尺度上的变化，X和Y之间是非线性关系。如果我们把这个 l n y ln_y lny​用大写的 Y Y Y来表示，那么从X到大Y之间仍然是线性回归。
这个大Y是在小Y的外面又包裹了一层函数G，或者说在线性组合 w x + b wx+b wx+b的外面包裹了一层函数H，这个H和G互为逆函数，因此函数Y也可以表示为这种形式 y = h ( w x + b ) y=h(wx+b) y=h(wx+b)。

这样得到的模型称为广义线性模型，这个函数G称为联系函数。
在这个例子中，这个G的逆函数是指数函数，它还可以是任何一个单调可微函数，使用不同的联系函数就可以描述多种不同分布的数据。

还可以把广义线性回归推广到高维模型。

这里的W和X都是M+1维的向量，M是属性的个数，X0=1可以看到，线性模型虽然简单却可以通过广义线性回归产生丰富的变化，满足实际任务中对非线性关系的需求。