集成学习1

1.概念

俗话说:三个臭皮匠顶个诸葛亮。集成学习就是讲多个弱分类器,集成起来,比如对所有分类器结果求均值等方法。

集成学习1

上图来字“清华大学数据挖掘课程”,上面三个单个的分类器 集合起来后,得到下面的分类情况,分类结果比单个分类器要好,这是集成学习的特点。

2.集成学习分类

1)求均值

2)投票

      majority voting---random forest

      weighted majority voting---adaboost(即老板投的票要比普通员工投的票分量要重,给投票加上不同权重)

3)学习器的结合

      general combiner-----stacking

      piecewise combiner---region boost