评估模型性能方法--数据分割
1 保持方法
把原有数据集划分成训练集以及测试集（验证集）
在训练集上训练之后在测试集上评估，
局限在于数据集太少，训练模型欠拟合以及测试集估计不准确
2 k-折交叉验证
将数据集划分为k组，k-1作为训练集，1作为测试集，k轮循环之后k的模型的测试结果的误差平均值作为评价模型的性能指标。（类似于模型融合的数据集角度）
优点：
信息充分利用
使用同样的算法，计算方便
精度为平均值，精度提升
留一法：循环N次，测试集只有一个样本
3 自助法
有放回的抽样m个样本形成训练集，没有进入训练集的是测试集，m趋向于无穷的时候，训练集样本大小是原数据集的63.2%
数据分割总结
| 数据集规模 | 策略 |
|---|---|
| 较大 | 训练集2/3 |
| 较小 | k-fold validation |
| 非常小 | 留一法 |