《统计学习方法》笔记(一)
模型 | 学习策略 | 风险函数 | 判别/生成 |
---|---|---|---|
感知机 | 误分类点到超平面的总距离 | 经验风险最小化 | 判别模型 |
K近邻 | 误分类的概率 | 经验风险最小化 | 判别模型 |
朴素贝叶斯法 | 后验概率最大化 | 极大似然估计:期望风险最小化;贝叶斯估计:结构风险最小化 | 生成模型 |
决策树 | 选取信息增益最大的特征分类 | 结构风险最小化 | 判别模型 |
监督学习和无监督学习
我的理解是,是否有监督(supervised),就看输入数据是否有标签(label)。输入数据有标签,则为有监督学习,没标签则为无监督学习。训练数据的一部分是有标签的,另一部分没有标签,那就是半监督学习(semi-supervised learning),通常没标签数据的数量常常极大于有标签数据数量。
例如,假如输入数据是已经分好类的样本,样本的种类就是标签,则为有监督学习,如果没有分类,计算机就需要自己按照相似度自动划分出类别,也就是聚类。
生成模型和判别模型
我是这样理解的:
生成模型,就是生成(数据的分布)的模型;
判别模型,就是判别(数据输出量)的模型;
更进一步:
从结果角度,两种模型都能给你 输出量(label 或 y etc.)。
但,生成模型的处理过程会告诉你关于数据的一些统计信息(p(x|y) 分布 etc.),更接近于统计学;
而 判别模型则是通过一系列处理得到结果,这个结果可能是概率的或不是,这个并不改变他是不是判别的。
如,决策树的if then说不是这个就是那个(而很多属性都是有分布的)【即分支】,明显是一种判别;
而朴素贝叶斯说,模型生成了一个分布给你了
k近邻法、感知机、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法是判别模型;
朴素贝叶斯、隐马尔可夫模型(重点的EM算法)是生成模型。
来自知乎:https://www.zhihu.com/question/20446337/answer/45130939
精确率和召回率
来自知乎:https://www.zhihu.com/question/19645541
向量的范数
决策树
决策树之ID3算法
原理及代码:http://blog.****.net/acdreamers/article/details/44661149
决策树之CART算法
原理及代码:http://blog.****.net/acdreamers/article/details/44664481