Training Loss Computation训练损失计算

在训练模型第一阶段过程当中，我们是使用有标签样本进行训练，在线性回归当中我们也可以看到，有很多点并不是直接通过了直线，让我们来看一下这张数据图表。

                                                                                              线性回归

我们可以看到，有一些点是没有通过直线的，机器学习的算法是通过检查多个样本并尝试找出最大限度地减少损失的模型。这一过程我们称之为经验风险最小化。损失是一个值，表示对单个样本而言模型预测的准确程度。如果模型预测的完全准确，那么损失就为零，否则损失就会较大。训练模型的目标是从所有的样本中找到一组平均损失较小的“权重”和“偏差”。让我们来看一下下面的图，红色表示损失，蓝色表示预测。 

 

                                                                                             图1 - 损失较大

 

                                                                                              图2 - 损失较小

 

图1中红色的的线是比较长的，所以这种损失就会比较大。因为图1中预测的线几乎没有寻找样本的规律，所以我们需要一种创建一种数学函数，以有意义的方式来汇总各个损失，这种函数我们称之为损失函数。

平方损失

线性回归模型中，我们使用的就是平方损失（又称L2损失）的损失函数。我们来看一下单个样本的平方损失代码；

= the square of the difference between the label and the prediction

= (observation - prediction(x))^2（^2是2次方的意思）

= (y - y')2

均方误差（MSE）

均方误差指的是每个样本的平均平方损失。要计算均方误差，就要求出所有样本的各个平方损失之和，然后我们再除以样本数量。公式如下：

 

均方误差公式

（x，y）指的是样本。x指的是模型进行预测中使用的特征数据集（如：使用空调数量）；y指的是样本的标签（如：室外的温度）prediction（x）指的是权重和偏差与特征x结合的函数D指的是所有有标签样本的数据集N指的是D中的样本数量