分类算法 -- 集成学习bagging算法（理论介绍）以及bagging和Adaboost的区别

       在前一篇中，我们介绍了集成学习中的Adaboost算法。本文中，我们将介绍集成学习中另一个很有名的算法----bagging算法。

算法步骤

bagging算法在原理上比Adaboost算法要更加简单。

Step 1： 通过自助法（有放回抽样）生成k个数据集，即在所有的样本中通过有放回的随机抽样，生成k个数据集。

Step 2： 对这k组数据集分别进行训练，从而得到k个分类器

Step 3： 将这k个分类器组合到一起，各个分类器的权重相同，从而得到最终的分类器。

算法详解

Step 1 值得关注的有

1. 自助法详解
2. 假设在原始数据集中共有n个样本，则我们选取的每一个数据集都要有n个数据。
3. 通过有放回抽样的方式抽取数据，会导致数据集中有重复的数据，这是正常的。
4. 在每一次抽取中，大概会有35%（计算过程详见上述文档：自助法详解）的数据没有被选到。这部分数据可以用来测试模型的泛化能力。 Ps：很多教程都会告诉你会有36.8%的数据没有选到，但是这是在 $n \rightarrow \infty$n→∞的时候。
5. 通过这种方式抽取的k个数据集是相互独立的

Step 2 值得关注的有：与Adaboost算法不同的是，k个分类器的训练没有先后主次之分。

Step 3 值得关注的有：与Adaboost算法不同的是，在将这k个分类器组合的过程中，我们使用的权重是完全相同的。

Adaboost与bagging算法的区别