Chapter2：单变量线性回归(Linear Regression with One Variable)

2.1 模型表示

• 例子背景：让我们通过一个例子来开始：这个例子是预测住房价格的，我们要使用一个数据集，数据集包含俄勒冈州波特兰市的住房价格。在这里，我要根据不同房屋尺寸所售出的价格，画出我的数据集。

比方说，如果你朋友的房子是1250平方尺大小，你要告诉他们这房子能卖多少钱。

那么，你可以做的一件事就是构建一个模型，也许是条直线，从这个数据模型上来看，也许你可以告诉你的朋友，他能以大约220000(美元)左右的价格卖掉这个房子。

​ 这是一种监督学习，因为对于每个数据，我们给出了“正确答案“。更具体来说，这是一个回归问题，因为我们是根据之前的数据预测一个准确的输出值。

• 符号解释：

  • 以之前的房屋交易问题为例，假使我们回归问题的训练集（Training Set）如下表所示：

  

  • 我们将要用来描述这个回归问题的标记如下:

    1. $m$m 代表训练集中实例的数量
    2. $x$x 代表特征/输入变量
    3. $y$y 代表目标变量/输出变量
    4. $\left( x,y \right)$(x,y) 代表训练集中的实例
    5. $({{x}^{(i)}},{{y}^{(i)}})$(x(i),y(i)) 代表第$i$i 个观察实例
    6. $h$h 代表学习算法的解决方案或函数也称为假设（hypothesis）

    

• 结论：

  • 这就是一个监督学习算法的工作方式，我们可以看到这里有我们的训练集里房屋价格 我们把它喂给我们的学习算法，学习算法的工作了，然后输出一个函数，通常表示为小写 $h$h 表示。$h$h 代表hypothesis(假设)，$h$h表示一个函数，输入是房屋尺寸大小，就像你朋友想出售的房屋，因此 $h$h 根据输入的 $x$x值来得出 $y$y 值，$y$y 值对应房子的价格。 因此，$h$h 是一个从$x$x 到 $y$y 的函数映射。
  • 训练集 —> 喂给学习算法 —> 得出一个函数
  • 一种可能的表达方式为：$h_\theta \left( x \right)=\theta_{0} + \theta_{1}x$hθ​(x)=θ0​+θ1​x，因为只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题。

2.2 代价函数 Cost Function

2.2.1 代价函数的含义

• 在2.1中我们知道了用单变量线性回归算法来预测价格，函数为：$h_\theta \left( x \right)=\theta_{0} + \theta_{1}x$hθ​(x)=θ0​+θ1​x

  我们现在要做的便是为我们的模型选择合适的参数（parameters）$\theta_{0}$θ0​ 和 $\theta_{1}$θ1​，在房价问题这个例子中便是直线的斜率和在$y$y 轴上的截距。

• 那么我们如何来度量不同 $\theta_{0}$θ0​ 和 $\theta_{1}$θ1​ 所得出的 $h$h 的拟合程度的好坏？ —— 代价函数

• 总结：
  

  • 这里的代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。

  • 我们之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，**特别是回归问题，都是一个合理的选择。**还有其他的代价函数也能很好地发挥作用，但是平方误差代价函数可能是解决回归问题最常用的手段了。

  • 在后续课程中，我们还会谈论其他的代价函数，但我们刚刚讲的选择是对于大多数线性回归问题非常合理的。

2.2.2 代价函数的直观理解

• 直观理解1：
  

• 直观理解2：
  

  • 我们绘制一个等高线图，三个坐标分别为 $\theta_{0}$θ0​ 和 $\theta_{1}$θ1​ 和 $J(\theta_{0}, \theta_{1})$J(θ0​,θ1​)， 则可以看出在三维空间中存在一个使得$J(\theta_{0}, \theta_{1})$J(θ0​,θ1​)最小的点。