统计学习方法 第一章

第一章

1.2节
模型有两种，一种是直接输出数值，另一种是输出概率。
条件概率分布是一个x对应好多y，得到的是一个y的分布
输出数值是一个x输出一个y

1.3节
统计机器学习三要素

模型
模型集合：假设空间
决策函数对应的是参数，概率分布对应的是y的分布

策略
策略就是损失函数的设计，怎么样从假设空间当中选取最合适的模型。
0/1损失函数：常用语分类问题
平方损失：回归问题
绝对值损失 ：取绝对值
二者区别：平方损失对于差值更大惩罚力度更强，差值更小的惩罚力度更小。灵敏度更高
对数似然损失：针对于条件概率模型。P是似然函数（近似函数），log是对数函数

正则项：关于f的函数，没有给具体的形式，表示的是f函数的复杂度，平衡了训练稽上的经验风险和模型复杂度。我们更倾向于找到模型复杂度低，经验风险小的模型，。λ是模型复杂度重要程度

1.4节
过拟合
M是多项式最高的指数，使用的是平方损失。最后一个是9次方
两个点可以有x^1直线连接，三个点可以由 x ^ 2 连接…9次方一定可以连接10点穿起来，但是波动大。过拟合问题。泛化能力差，对噪声敏感。

1.5节 模型选择的两个方法
经验风险+正则项
交叉验证：把训练集合再进行切分 = 训练+验证

1.6 泛化能力
表示一个魔性的误差上界