1.相关基本概念

输入空间

输入所有可能取值的集合称为输入空间

输出所有可能取值的集合称为输出空间

每个具体的输入是一个实例（instance），通常由特征向量表示。这时，所有特征向量存在的空间称为特征空间（feature space），特征空间的每一维对应于一个特征。

注意：输入空间和特征空间有时是相同空间，有时不是，不是的时候我们需要将实例从输入空间映射到特征空间（可以理解为数据的预处理），为什么要这么做？因为模型

实际上都是定义在特征空间上的！！这句话是什么意思？意思是模型的最终输入数据格式是以特征空间来表现的。

统计学习假设数据存在一定的统计规律，X和Y具有联合概率分布的假设就是监督学习关于数据的基本假设。

监督学习的目的是什么？目的在于学习一个由输入到输出的映射，这一映射由模型来表示。学习的目的就在于找到最好的这样的模型。而映射的集合就是假设空间。

在学习过程中，学习系统利用给定的训练数据集，通过学习（或训练）得到一个模型，表示为条件概率分布P(Y|X)或决策函数Y = f(X)。条件概率分布P(Y|X)或决策函数Y = f(X)描述输入与输出随机变量之间的映射关系。