机器学习之交叉验证

1.交叉验证简介

交叉验证(Cross Validation) 是在机器学习建立模型和验证模型参数时常用的方法。顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集。用训练集来训练模型，测试集来评估模型的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的样本，在下次可能成为测试集中的样本，也就是所谓的交叉。

2.为什么用交叉验证？

交叉验证用在数据量不是很充足的情况(比如数据量小于一万条)，能够从有限的数据中获取尽可能多的有效信息。
交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，能够一定程度上减小过拟合。

3.交叉验证方法

3.1 留出法交叉验证

留出法 (Hold-Out Cross Validation) 是一种简单交叉验证，即针对原始数据集，通常分为训练集、测试集。训练集用于训练模型、测试集对于模型来说是未知数据，用于评估模型的泛化能力。

比如我们随机的将样本数据分为两部分(70%的训练集，30%的测试集)，然后用训练集来训练模型，测试集上验证模型及参数，最后选择损失函数评估最优的模型和参数。

from sklearn import datasets
from sklearn import model_selection

#引入sklearn库中手写数字的数据集
digits = datasets.load_digits()

#留出法
X_train, X_test, y_train, y_test = model_selection.train_test_split(digits.data, digits.target, test_size = 0.3, shuffle = True)

3.2 k折交叉验证

k折交叉验证 (k-fold Cross Validation) 过程如下所示：

不重复抽样将原始数据随机分成k份。
每次挑选其中1份作为测试集，剩余k-1份作为训练集用于训练模型。
重复第2步k次，在每个训练集上训练后得到一个模型。用这个模型在相应的测试集上测试，计算并保存模型的评估指标。
计算k组测试结果的平均值作为模型准确度的估计，并作为当前k折交叉验证下模型的性能指标。

k一般取10，数据量大的时候，k可以设置的小一些。数据量小的时候，k可以设置的大一些，这样训练集占整体数据的比例就比较大，不过同时训练的模型个数也就相应增加。

from sklearn import datasets
from sklearn import model_selection

#引入sklearn库中手写数字的数据集
digits = datasets.load_digits()

#K折交叉验证
#设置K为5
kf = model_selection.KFold(n_splits=5)
#使用5折交叉验验证划分数据集，返回一个生成器对象（即索引）
digits_gen = kf.split(digits.data)
for train_idx, test_idx in digits_gen:
        X_train = digits.data[train_idx] #训练集
        X_test = digits.data[test_idx] #测试集
        y_train = digits.target[train_idx] #训练集标签
        y_test = digits.target[test_idx] #测试及标签

3.3 留一法交叉验证

留一法交叉验证 (Leave-one-out Cross Validation) 是k折交叉验证的特例，此时的k等于样本数N。因此，对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型的好坏。此方法主要适用于数据量非常小的情况，比如N小于50的时候，推荐采用留一交叉验证。

from sklearn import datasets
from sklearn import model_selection

#引入sklearn库中手写数字的数据集
digits = datasets.load_digits()

#留一法交叉验证
loo = model_selection.LeaveOneOut()
digits_gen = loo.split(digits.data)
for train_idx, test_idx in digits_gen:
        X_train = digits.data[train_idx]
        X_test = digits.data[test_idx]
        y_train = digits.target[train_idx]
        y_test = digits.target[test_idx]

3.4 交叉验证方法选择

那这三种情况，到底应该选择哪一种方法呢？其实很简单，如果我们只是对数据做一个初步的模型建立，不是要做深入分析的话，简单交叉验证就可以。否则就用k折交叉验证。在样本量少的时候，使用留一交叉验证。

4.推广

更多内容请关注公众号谓之小一，若有疑问可在公众号后台提问，随时回答，欢迎关注，内容转载请注明出处。
机器学习之交叉验证