集成学习之Bagging
集成学习之Bagging
① Bagging又叫自助聚集，是一种根据均匀概率分布从数据中重复抽样（有放回）的技术。
② 每个抽样生成的自助样本集上，训练一个基分类器；对训练过的分类器进行投票，将测试样本指派到得票最高的类中。
③ 每个自助样本集都和原数据一样大
④ 有放回抽样，一些样本可能在同一训练集中出现多次，一些可能被忽略
过程：
输入：训练集 D={(x1, y1), (x2, y2), (x3, y3), …(xm, ym)};
基学习算法#（网络模型net）;
训练轮数T.
过程：
1：for t = 1, 2, 3,…T do
2： ht = net(D,Dbs)
3：end for
输出：H(x) = arg max…
对于分类，输出使用简单投票法，若两个类收到同样票数，就随机选择一个；
对于回归，使用简单平均法，对于不同模型结果进行平均。
bagging主要用来减小variance