吴恩达学习视频（二）

一、单变量线性回归

1.1 训练集

由训练样例组成的集合就是训练集，如下图所示，其中（x,y）是一个训练样例, （x⁽ⁱ⁾,y⁽ⁱ⁾）是第i个训练样例

1.2假设函数

使用某种学习算法对训练集的数据进行训练, 我们可以得到假设函数(Hypothesis Function), 如下图所示. 在房价的例子中，假设函数就是一个房价关于房子面积的函数。有了这个假设函数之后, 给定一个房子的面积我们就可以预测它的价格了。

为了方便h(x) = a+bx
这个模型就叫做单变量的线性回归

二.代价函数

2.1什么是代价函数

只要我们知道了假设函数, 我们就可以进行预测了. 关键是, 假设函数中有两个未知的量θ0,θ1， 当选择不同的θ0和θ1时, 我们模型的效果肯定是不一样的. 如下图所示, 列举了三种不同的θ0,θ1下的假设函数.

当选择某个$θ_0$θ0​和$θ_1$θ1​，使得对于训练样例$（x,y）$（x,y）,$h_θ(x)$hθ​(x)最接近$y$y。越是接近，代表这个假设函数越是准确，这里我们选择均方误差作为衡量标准，即想要每个样例的估计值与真实值之间差的平方的均值最小。用公式表达为：
$miniminze_{\theta0,\theta1}\frac{1}{2m}\sum_{i=0}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$miniminzeθ0,θ1​2m1​i=0∑m​(hθ​(x(i))−y(i))2
这样就得到了我们的代价函数（cost function）,也就是我们的优化目标，我们想要代价函数最小：
$miniminze_{\theta0,\theta1}J(\theta0,\theta1)$miniminzeθ0,θ1​J(θ0,θ1)

2.代价函数与假设函数

为了方便探究 $h_\theta(x)$hθ​(x)和$J(\theta_0,\theta_1)$J(θ0​,θ1​)的关系，先是令$\theta_0$θ0​等于0，得到了简化后的假设函数，有假设函数的定义可知此时的假设函数是经过原点的直线，相应的得到了简化的代价函数。

计算梯度

根据定义，梯度就是代价函数对每个θ的编号：
我们将hθ(x⁽ⁱ⁾)=θ0+θ1x⁽ⁱ⁾带入到J(θ0，θ1)中，并且分别对θ0，θ1求导得: