统计学习方法——第一章：基础知识
感觉leetcode编程差不多要结束了。虽然只编了可能有150道medium，但是时候切换一下思维了，过几个月应该又会回来再编个几百道。现在开始打算看看机器学习的东西，做做kaggle的比赛，还是像leetcode一样，每天都要有所收获记录记录笔记
统计学习方法
三要素：模型 策略 算法
模型
监督学习的模型可以是概率模型或者非概率模型，条件概率P(Y/X)或者决策函数Y=f(X)
这里的学习模型指的是P或者f，也就是输入X对应输出Y的对应关系
条件概率模型：
非条件概率模型（决策模型）：
其中参数θ取决于n维欧式空间，称为参数空间啥意思？
模型的假设空间【要学习的模型属于某个函数集合】 模型的选择策略 模型的学习策略
策略
通常用损失函数来记录模型的优劣性【四大损失函数】 L（Y,f(X)）
损失函数的期望E(L(Y,f(X)))通常是用经验风险或者结构风险等效替代
经验风险最小化：
当样本容量足够大时，经验风险最小化能保证有很好的学习效果
当样本容量很小，产生过拟合
结构风险最小化：
应对过拟合现象提出的，J(f)为模型的复杂度，模型f越复杂，复杂度J(f)就越大。x复杂度表示了对复杂模型的惩罚。
所以选择策略就成为选择经验或者结构风险最小的模型
正则化和模型选择
训练误差和测试误差的曲线如图：
解决方法：
1：正则化
2：交叉验证
泛化误差
通常我们用测试集来评价算法的泛化能力，但是测试集毕竟是有限的，结果可能不准确。
1）训练误差越小，则泛化误差越小；2）样本容量N越大，则训练误差与泛化误差越接近；3）假设空间中包含的函数越多，则泛化误差上界越大。
这里其实没懂