Vapnik-Chervonenkis dimension

source from: https://www.autonlab.org/_media/tutorials/vcdim08.pdf

定义

VC维是用来反映函数集学习能力的大小。

Vapnik-Chervonenkis dimension

Vapnik-Chervonenkis dimension

上面的讲义直接给出了VC维的定义。为了更形象地了解VC维的含义,还需要以下定义

Shattering

Vapnik-Chervonenkis dimension

通俗点说,分散就是任意给定一个集合X=x1,x2,...,xr,设计的分类器能够正确地将其分类。

VC维就定义为分类器能够分散的最多数量的点。

例子

VC dimension = 2

Vapnik-Chervonenkis dimension

VC dimension = 1

Vapnik-Chervonenkis dimension

用处

可以用于模型选择

Vapnik-Chervonenkis dimension

上图展示了一个结论,并不是VC维越高就越好,VC维越高,模型越复杂,同时泛化误差越大。

Vapnik-Chervonenkis dimension

替代方法

在Slide里面给出了三种替代VC维进行模型选择的方法

Cross-validation

Vapnik-Chervonenkis dimension

Akaike Information Criterion

Vapnik-Chervonenkis dimension

Bayesian Information Criterion

Vapnik-Chervonenkis dimension