学习理论-VC维
学习理论
1、基本概念
2、PAC理论
3、VC维
4、极大似然，最大后验概率，贝叶斯估计
5、模型评估与评价指标
6、模型诊断调参
三、VC维
在PAC理论中，我们用假设空间的取值来描述模型的复杂度，然而很多时候假设空间的取值是无限的，比如线性模型中模型属于连续空间，我们无法用取值来衡量模型的复杂度，VC维的主要价值在于用VC维（维度）衡量模型的复杂度，同时给出了误差上界（个人见解）。
VC维：给定一个样本集 ，我们称假设空间可以打散，当且仅当对于样本集的任何一种标签（与样本的分布无关）都能被线性可分。一般来说： 等于假设类的参数个数
比如下图：一个二维的假设空间其最大能打散（线性可分）的样本集数为3，VC维为3。