CS229机器学习个人笔记（2）——Linear Regression with Multiple Variables

1.Multiple Features

目前，我们只讨论了单特征的回归模型，现在来增加一些特征。

增添更多特征后，我们引入一系列新的注释：
n —— 代表特征的数量。
x(i)代表第 i 个训练实例，是特征矩阵中的第 i 行，是一个向量（vector）。
比方说，上图的x(2)=⎡⎣⎢⎢⎢14163240⎤⎦⎥⎥⎥,
x(i)j代表特征矩阵中第 i 行的第 j 个特征，也就是第 i 个训练实例的第 j 个特征。如上图的x(2)3=2。
支持多变量的假设 h 表示为：hθ(x)=θ0+x1θ1+x2θ2+⋯+xnθn
这个公式中有 n+1 个参数和 n 个变量，为了使得公式能够简化一些，引入 x0=1，则公式转化为：
此时模型中的参数是一个 n+1 维的向量，任何一个训练实例也都是 n+1 维的向量，特征矩阵 X 的维度是 m*(n+1)。 因此公式可以简化为：hθ(x)=θTX 其中上标 T 代表矩阵转置。

2.Gradient Descent for Multiple Variables

J(θ0,θ1…θn)=12m∑i=1m(hθ(x(i))−y(i)))2

其中：hθ(x)=θ0+x1θ1+x2θ2+⋯+xnθn

我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。多变量线性回归的批量梯度下降算法为：

这里需要注意的是x的下标，求导之后会变为具体的1、2、3、、、n

3.Gradient Descent —— Feature Scaling

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。
以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000 平方英尺，而房间数量的值则是 0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能， 看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。

xn=xn−μnsn

其中μn是平均值，sn是标准差。

3.Features and Polynomial Regression

4.Normal Equation