模型融合

是最后的冲刺手段，可以一定程度的提高线上分数

简单加权融合

回归题一般是将不同模型的结果进行加权，多次尝试后找到最优的权重。
分布问题就是投票，按照不同的权重尝试，找到最优结果。
推荐问题的加权融合我是真不会。

stacking/blending

stacking：当初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。

boosting/bagging

1. bagging为什么能减小方差？
   首先从方差的定义来看，是各预测值与期望预测之差平方的期望，那Bagging输出结果为不同分类器预测结果的平均值/多数表决，也就是这个最终输出结果更接近期望预测，也就意味着方差的减小。

2. bagging为什么不能减小偏差？
   随机采样(数据间具有重叠)+训练的都是同一类模型+最终结果为多数表决或者取平均值，因此，整体模型的偏差近似于各基模型偏差。

3. boosting为什么能减小偏差？
   迭代算法，每论迭代重新更新样本权重（关注错误样本），使得误差会越来越小，所以模型的bias会不断降低。
   (总之要记住： 偏差bias跟模型有关，方差variance跟数据有关)

4. Boosting（adaboost）与bagging区别？
   （1）并行计算：bagging各基分类器可并行生成；boosting各基分类器串行生成，存在依赖关系
   （2）样本选择：bagging有放回抽样，各训练集相互独立；boosting每一轮的训练样本集都依赖于上一轮的学习结果
   （3）样本权重：bagging每个样例权重相等；boosting根据错误率，不断更新样本权重
   （4）分类器权重：bagging各基分类器没有权重；boosting各基分类器根据上一轮训练误差得到该次基分类器的权重
   （5）boosting目标是降低偏差；bagging目标是降低方差
   （6）boosting对噪声较敏感；bagging对噪声不敏感

5. 为什么集成学习效果好？
   首先，基于多个弱分类器，采取一定规则（多数表决，平均取值）将各学习结果整合，使得结果强于最差的，次于最好的，一定程度上增强的泛化能力。

6. 集成有效的前提–各基分类器必须“好而不同”
   “好”，即每个弱分类器要有一定“准确性”，错误率不能高于0.5。—因若太差，最终输出是多数表决/平均值的结果也不会好
   “不同”，弱分类器间要有差异，“多样性”。—因相互独立的分类器，随着分类器的数目增多，集成的错误率呈指数下降，即，最终集成的泛化性能可通过个体学习器之间差异度的增加而进一步提

参考：https://blog.csdn.net/UniqueenCT/article/details/88929254
参考：https://tianchi.aliyun.com/course/live?spm=5176.12282064.0.0.3a8720420UUhJR&liveId=41149