吴恩达机器学习笔记——代价函数的定义

对应第1周cost function视频。

本次课前半段内容非常简单,带领我们一起复习初中平面几何的知识,后半段给出了代价函数(Cost function)的一般定义。

 

  1. 从一元线性模型看代价函数的引入;

  2. 代价函数的数学定义。

 

1. 从一元线性模型看代价函数的引入

 

上一节课,卖房子的那个训练集,我们说用一个直线的方程来拟合它们。如下图,在下面假设的直线方程。

吴恩达机器学习笔记——代价函数的定义

 

\theta_{0}, \theta_{1}的变化,会改变直线的走向,让直线更好的拟合实际训练集中的那些已有的那些点点。

吴恩达机器学习笔记——代价函数的定义

已有的训练集中的点分布如下图,

吴恩达机器学习笔记——代价函数的定义

通过调整参数,可以得到这样一理想的条直线。

吴恩达机器学习笔记——代价函数的定义

 

2 代价函数的数学定义

 

那有没有一种方法让拟合直线是否理想这件事变得可以量化呢?

 

针对那一堆训练集里面x^{(i)} 对应的y^{(i)}是已知的,如果把训练集中的每个x^{(i)}入我们用于拟合的那个直线的公式 中都可以得到一个估计值 , 用这个估计值和实际值之差的平方,可以衡量我们估计值和实际值的偏差情况。

吴恩达机器学习笔记——代价函数的定义

我们如果把所有m个偏差的平方给它们求和,就会得到一个数,这个数呢,可以衡量我们的拟合曲线对所有的已知训练点的偏差情况。如果有办法把这个和降到最低呢,我们也就找到了那条最中庸,也是最适合用来做这个房子买卖这件事的预测直线。

对上面的方差函数变一下形,

 

吴恩达机器学习笔记——代价函数的定义

 

上面这个公式呢,就是我们的cost function了。至于为什么要用平方,不用绝对值?那是因为平方可以求导(容易求导意味着容易求极值),平方一求导多出一个2,所以就在前面加一个2m的分母。

 

如果对误差函数还有点懵叉叉,且听下回。

 

 


获取视频资源

吴恩达机器学习笔记——代价函数的定义