boosting模型初步理解

什么是boosting模型?
一组“弱学习者”的集合能否生成一个“强学习者”?是一种集成学习模型,通过多个弱学习器训练,最终得到一个强学习器。

boosting模型与bagging模型的区别
1.相比于bagging的并行式、Boosting是序列式的
2.每一轮新的学习器,都在弥补上一轮的不足
弥补的方式是:
为样本分配新的权重如果上一轮分配正确了,就降低其权重;
如果上一轮分配错误了,就提升其权重;
3.最终的强分类器,是所有弱分类器的加权求和,准确率更高的弱学习器,有更大的权重

Adaboost算法思想

  1. 提高那些被前一轮弱分类器错误分类的样本的权值,降低那些被正确分类的样本的权值;
  2. 采用加权多数表决的方法。具体的,加大分类误差率小的弱分类器的权值,使其在表决中起较大的作用;减小分类误差率大的弱分类器的权值,使其在表决中起较小的作用。

Adaboost算法流程

boosting模型初步理解
boosting模型初步理解