Noise 和 Error

一、有Noise 时vc bound依旧成立
在之前推导vc bound 的时候，我们假设样本空间里没有Noise，自然抽样样本中也不会有Noise。当hypothesis 的d_vc有限，N足够大，E_in（h）足够小，我们就说机器有所学习。但是当样本空间中夹杂了Noise后，我们还能有这套理论的成立吗？
解决思路：原先的target函数是确定的，对于每一个样本来说，都有唯一个标签。但现在我们可假设函数值也是服从某一概率分布，大概率上接近未知的target函数，小概率会发生Noise。抽样样本是这样，样本空间也是如此。我们某一时刻在训练集上学习所得的规则可表示当前时刻整个样本空间。（保证训练集、测试集的样本及标签服从相同的分布）。
可以说，在有Noise时，机器学习的规则，可保证对时常被抽取到样本做测试其标签会是大概率出现的那个！（这也是机器学习的目标）
二、error 度量
在学习过程中做验证时，我们需要评估学习所得的规则与未知规则的差距！但是如何评估？使用和何种函数并没有给出说明，这里就来简单的探究一下这个问题！度量函数最主要的目的评估预测值和真实值的差距，因此error function 的变量肯定是关于预测函数和真实函数（有Noise时，预测所得函数概率分布和真实函数概率分布），均值，可逐样本计算。因而总error可使用各个样本的error之和的均值来表示。将单样本的error function 记为err（f，g）。

最最基本两类error function：0/1 error 和 squared error

error度量不仅用在评估g与f的相似程序，在演算法pick g时，即使得E_in近似于0，也需要用到它！为了保证学习和测试的一致性，我们需要在演算法中指出使用的error function ，并且在测试的时候，也用类似的error function 。为什么一定要在演算法和验证过程中均使用同一个error function ？不同的error function 差别很大。下面的例子表示在演算法中，不同error function对pick g的影响。

三、演算法中的error measure 的特殊性
上面的0/1 error 和squared error 用来验证g与f的相似性是足够的。但是对于演算法，针对不同的问题，我们可以再此两类基础的error function 上再作进一步修改，可是使得学习效果更接近真实应用场景的需要。比如，对于false reject 和false accept，在不同的场景下，惩罚因子是不同的，而0/1error中这两种错误的惩罚因子都是1。

演算法中的error function 通常采取两种形式：
1、可写出单样本的err表达式，但是结合演算法后并不好操作
2、演算法易于使用的特殊方法
总之，在机器学习过程中，我们将采用两种类型的error function ，一个用于验证过程，一个用在演算法中。

四、结合之前所学的pocket和新学的weighted error的演算法
下面将分析一个具体的例子：修改pocket演算法中的0/1error为weight error后，机器学习还是可靠地吗？
将weight error转化为使用0/1error：在训练集中复制惩罚因子高的样本，因此只要0/1error的pocket算法时可靠地，那么weight error pocket算法理论也是可靠地！