机器学习 —— 模型和代价函数

Machine Learning —— Model & Cost Function

---

模型表示 Model Representation——简介

以监督学习中的线性回归举例，其中线性回归输入监督学习中的回归模型，目标是对连续样本数值进行预测和建模

• Notation
  m –训练样本的个数
  x – 输入数据/特征
  y – 输出数据/目标数据

• 训练数据
  (x,y)$(x,y)$
  或者表示为：
  (x(i),y(i))$(x^{(i)},y^{(i)})$ i$i$表示第i$i$个训练样本

• 训练过程：
  
  Training Set -> Learning Algorithm ->h函数(hypothesis, 该假设函数的确定来源于x和y之间的映射关系)

• h的表示形式：
  假设为一个变量的线性回归的情况下
  hθ(x)=θ0+θ1x$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$

---

代价函数 Cost Function——定义

（题外话）代价函数 cost function, 损失函数 loss function和目标函数 object function 的简单说明
损失函数一般针对单个样本，计算单个样本预测值和实际值之间的差距

∣yi−f(xi)∣$$\mid y_i-f(x_i)\mid$$

代价函数一般针对整个总体，计算整个数据集损失函数的平均值

1N⋅∑i=1N∣yi−f(xi)∣$$\frac{1}{N}\cdot \sum _{i=1}^N\mid y_i-f(x_i)\mid$$

每个算法都有一个目标函数，算法的目的是为了让该函数达到最优

1N⋅∑i=1N∣yi−f(xi)∣+正则化项$$\frac{1}{N}\cdot \sum _{i=1}^N\mid y_i-f(x_i)\mid +正则化项$$

已知训练集和假设函数hθ(x)=θ0+θ1x$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$
接下来首先要确定假设函数中的θ0${\theta }_0$和θ1${\theta }_1$，θi${\theta }_i$为参数，θ$\theta$的不同导致假设函数的不同
目标：选择θ0${\theta }_0$和θ1${\theta }_1$，使得假设函数h尽可能的拟合训练数据，即hθ(x)$h_{\theta }(x)$尽可能的接近y$y$

其中m为训练样本的容量，12m$\frac{1}{2m}$求平均从而尽量减少平均误差，(hθ(x(i))−y(i))$(h_{\theta }(x^{(i)})-y^{(i)})$表示第i个样本的预测结果和真实结果之间的差，hθ(x(i))=θ0+θ1x(i)$h_{\theta }(x^{(i)})={\theta }_0+{\theta }_1{x}^{(i)}$

代价函数定义(代价函数也称为平方误差函数squared error function，或者平方误差代价函数)：

Cost Function:

---

代价函数——Cost Function I

Review

Hypothesis：

Parameters:

Cost Function:

Goal: minimizeθ0,θ1J(θ0,θ1)$minimiz{e}_{{\theta }_0,{\theta }_1}J({\theta }_0,{\theta }_1)$

Example

(用简单的假设函数了解代价函数的工作原理)

Hypothesis：

Parameters:

Cost Function:

Goal: minimizeθ1J(θ1)$minimiz{e}_{{\theta }_1}J({\theta }_1)$

真实图例：

• θ1=0${\theta }_1=0$的情况下假设函数和代价函数图
  
• θ1=0.5${\theta }_1=0.5$的情况下假设函数和代价函数图
  
• 所有参数和代价函数的对应图
  
  根据以上图例，我们得知，要取得代价函数的最小值，应该选择θ1=1${\theta }_1=1$的参数表示。

---

代价函数——Cost Function II

Example

(有两个参数情况下的假设函数以及代价函数)

Hypothesis：

Parameters:

Cost Function:

Goal: minimizeθ0,θ1J(θ0,θ1)$minimiz{e}_{{\theta }_0,{\theta }_1}J({\theta }_0,{\theta }_1)$

真实图例

• 随机参数 θ$\theta$ 对应的图例
  
• θ0=360,θ1=0${\theta }_0=360,{\theta }_1=0$对应图例
  
• 相对接近代价函数最小值对应的图例
  

Goal：找到一种算法，能够自动找到代价函数的最小值对应的参数。