1116-day2

一、我的答案

1.什么是集成学习算法？

集成学习是指由多个弱分类器组合成的强分类器。主要包括随机森林，xgboost，lgb等模型
2.集成学习主要有哪几种框架, 并简述它们的工作过程？

随机森林：基分类器是决策树，通过随机选择部分数据，部分特征进行训练，并采用如多数表决的投票方式或加权方式选出最终结果

Adaboost：

xgboost：与随机森林有所不同，它通过串行建立决策树去拟合上一个分类器与真实值的残差，直至损失函数最小时停止

lgb：采用直方图加速，支持类别变量，也是拟合残差

3.Boosting算法有哪两类，它们之间的区别是什么？

Adaboost和xgboost，一个级联，一个串联，代价函数不同
4.什么是偏差和方差？

偏差：与理想结果的差距

方差：训练集结果与测试集的差距
5.为什么说Bagging可以减少弱分类器的方差，而Boosting 可以减少弱分类器的偏差？

boosting主要拟合的是预测值和真实值的差距，而bagging是对前一层基分类器分类错误的样本给与更高的权重，从而使分类结果更好

二、老师给的答案

**：Stacking是异质集成，Boosting为同质集成。