集成学习1
1.概念
俗话说:三个臭皮匠顶个诸葛亮。集成学习就是讲多个弱分类器,集成起来,比如对所有分类器结果求均值等方法。
上图来字“清华大学数据挖掘课程”,上面三个单个的分类器 集合起来后,得到下面的分类情况,分类结果比单个分类器要好,这是集成学习的特点。
2.集成学习分类
1)求均值
2)投票
majority voting---random forest
weighted majority voting---adaboost(即老板投的票要比普通员工投的票分量要重,给投票加上不同权重)
3)学习器的结合
general combiner-----stacking
piecewise combiner---region boost