1. Polynomial Regression

 

上面这个数据点集，显然不再是线性回归，所以这时就可以选择多项式方程进行拟合，

根据这些数据点的规律，我们可能选择二次多项式（会下降）、三次多项式（上升趋势变快）或者平方根函数（上升趋势变缓慢）等等来拟合数据点。

同时，在上述的三次多项式拟合时，x1，x2和x3的取值范围差别非常大，此时前面提到的特征缩放对于使用梯度下降法来说就显得至关重要了。

后面会学习一些算法，这些算法能够自动选择要使用说明函数来拟合点集。

2. Normal Equation（适用于线性回归）

在前述中，所使用的求解线性回归问题的方法是梯度下降法，而梯度下降法需要一步一步进行迭代计算（take many steps），最终收敛到一个全局最小值（因为是线性回归问题，不会收敛到其他的最小值）。

相反，正规方程的方法提供了一种求出θ最优解的解析解法，所以几乎只需要one step，就可以得到最优值。

其实正规方程的思想就是根据下式来直接求出满足条件的θ值

在矩阵论中，解出θ其实就是求矩阵X的广义逆的过程，最后得到θ的解析式：

正规方程相对于梯度下降法的一个特点在于在求解时不用去进行特征缩放。

下面是一个梯度下降算法与正规方程法的比较：

正规方程的方法有时可能会失效，即不可逆，可能有两点原因：

• 冗余特征，即两特征向量相关，导致矩阵不可逆；
• 特征过多，在这种情况下，可以删除一些特征或者使用“正则化（regularization）”（将会在后面的章节中讲到）。