机器学习之2-多变量线性回归(Linear Regression with Multiple Variables)

1.多维特征

多个变量的模型：

特征的数量：n

训练集实例：代表第 i 个训练实例，是特征矩阵中的第 i 行，是一个向量（vector)。
代表特征矩阵中第 i 行的第 j 个特征，也就是第 i 个训练实例的第 j 个特征。

2.多变量梯度下降

多变量梯度下降和单变量梯度下降完全类似

3.梯度下降实践1-特征缩放

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯
度下降算法更快地收敛。
解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。
最简单的方法是令：

其中
miu n 是平均值， s n 是标准差。

4.梯度下降法实践2-学习率

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们
可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。
通常可以考虑尝试些学习率：
α=0.01， 0.03， 0.1，0.3， 1， 3， 10

5.特征和多项式回归

线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，比如一个二次方
模型：

通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外，我们可以令：

从而将模型转化为线性回归模型。
注：如果我们采用多项式回归模型，在运行梯度下降算法前， 特征缩放非常有必要。

6.正规方程

公式：
梯度下降与正规方程的比较：