第1章 统计学习方法概论
1.什么是统计学习 OR 统计机器学习 OR 机器学习？
=计算机基于数据构建概率统计模型，并运用模型对数据进行预测与分析（统计学习的目的）。
统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。
2.统计学习的对象：统计学习的对象是数据。它熊数据出发，提取数据的特征；抽象出数据的模型，发现数据中的知识；又回到数据的分析与预测中去。
3.统计学习的组成：监督学习（supervised learning）、非监督学习（unsupervised learning）、半监督学习（semi-supervised learning）、强化学习（reinforcement learning）。
4.实现统计学习方法的步骤如下：
- 得到一个有限的训练数据集合；
- 确定包含所有可能的模型的假设空间，即学习模型的集合；
- 确定模型选择的准则，即学习的策略；
- 实现求解最有模型的算法，即学习的算法；
- 通过学习方法选择最有模型；
- 利用学到的最优模型对新数据进行预测和分析。
5.监督学习的任务：学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。
6.基本概念：
- 输入、输出空间：可以是有限元素的集合，也可以是整个欧式空间（什么鬼？）；它们可以是同一个空间，也可以是不同的空间，但通常输出空间远小于输入空间；
- 特征向量（feature vector）：每个具体的输入是一个实例，通常由特征向量表示。所有特征向量存在的空间称为特征空间（feature space）。特征空间与输入空间有时相同，有时不同。（什么时候不区分？）
- 训练数据（training data）
- 测试数据（test data）
- 假设空间（Hypothesis space）:函数的集合。
- 条件概率分布P（Y|X）和决策函数Y=f(X)。
- 联合概率分布函数P(X，Y)。
7.回归问题：输入变量与输出变量均为连续变量的预测问题。
8.分类问题：输出变量为有限个离散变量的预测问题。
9.标注为题：输入和输出变量均为变量序列的预测问题。
10.统计学习三要素：方法 = 模型 + 策略 + 算法。统计学习基于训练数据集，根据学习策略，从假设空间中选择最优模型，最后考虑用什么样的计算方法求解最优模型。
- 模型：就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。对于统计学来说就是我们常见的：感知机、K近邻、贝叶斯、决策树、逻辑回归、SVM等。
- 策略：按照什么样的准则学习或选择最优的模型。统计学习的目的在于从假设空间中选取最优模型。
- 损失函数：一次预测的好坏。用损失函数（Loss function）来度量预测错误的程度。损失函数时f(X)和Y的非负值函数，记为L(Y,f(X))。
- 风险函数：平均意义下模型预测的好坏。由于模型的输入、输出（X,Y）是随机变量，遵循联合分布P（X,Y），所以损失函数的期望是：Rexp（f）= Ep[L(Y,f(X))]，称为风险函数（risk function）。
- 经验风险：模型f（X）关于训练数据集的平均损失称为经验风险（empirical risk）或经验损失（empirical loss）。记为Remp（f） = 1/N∑L(y,f(x)).
- 经验风险最小化：在假设空间、损失函数和训练数据集确定的情况下，经验风险函数式就可以确定。经验风险最小化（ERM）的策略认为经验风险最小的模型是最优模型。根据这一策略，按照经验风险最小化求最幽默型就是最优模型。但是，当样本容量很小时，经验风险最小化可能导致过拟合（over-fitting）的现象。
- 结构风险最小化（structual-risk minimization，SRM）：是为了防止过拟合而提出来的策略。结构风险最小化等价于正则化（Regularization）。结构风险在经验风险上加上表示模型复杂度的正则化项。在假设空间、损失函数以及训练数据集确定的情况下，结构风险的定义是：Rsrm(f) = 1/N∑L(y,f(x))+λJ(f)。正则化的作用是选择经验风险与模型复杂度同时较小的模型。
- 这样监督学习问题就变成了经验风险或结构风险函数的最优化问题，这时经验或结构风险函数时最优化的目标函数。
- 算法：学习模型的具体计算方法。是指你选择的是策略最小化的方法，有最小二乘法、牛顿法、梯度下降等。
11.泛华能力（generalization ability）:学习方法对未知数据的预测能力。
12.交叉验证：模型选择的方法除了上边的正则化（结构风险最小化法）外，常用的还有交叉验证（cross validation）。交叉验证的基本想法是重复使用数据，把给定的数据进行切分，将切分的数据组合为训练数据集与测试数据集。在此基础上反复的进行训练、测试以及模型选择。
- 简单交叉验证：随机将给定数据分为两部分，一部分做训练数据集（如70%），一部分做测试数据集（如30%）。然后用训练集在各种条件下训练模型，从而得到不同的模型；在测试集上评价各个模型的测试误差，选出误差最小的模型。
- S折交叉验证（常用）：首先，随机将已给数据且分为S个互不相交的大小相同的子集；然后利用S-1个子集的数据训练模型，利用余下的子集测试模型；将这一过程对可能的S种选择重复进行；最后选出S次评测中平均测试误差最小的模型。