模型融合概述
转载于（推荐阅读）：
https://zhuanlan.zhihu.com/p/61705517
https://blog.****.net/u011630575/article/details/81302994
融合模型是提升机器学习的有效办法，无论是学习、竞赛、工作无处不在，应是算法学习者必会的知识技能。
常见的集成学习&模型融合方法包括：
Voting/Averaging（分别对于分类和回归问题）
Stacking
Boosting
Bagging
Linear Blending
Voting/Averaging
在不改变模型的情况下，直接对各个不同的模型预测的结果，进行投票或者平均，这是一种简单却行之有效的融合方式。
比如对于分类问题，假设有三个相互独立的模型，每个正确率都是70%，采用少数服从多数的方式进行投票。那么最终的正确率将是：
即结果经过简单的投票，使得正确率提升了8%。这是一个简单的概率学问题——如果进行投票的模型越多，那么显然其结果将会更好。但是其前提条件是模型之间相互独立，结果之间没有相关性。越相近的模型进行融合，融合效果也会越差。
可见模型之间差异越大，融合所得的结果将会更好。//这种特性不会受融合方式的影响。
对于回归问题，对各种模型的预测结果进行平均，所得到的结果通过能够减少过拟合，并使得边界更加平滑，单个模型的边界可能很粗糙。这是很直观的性质，如下图。
在上述融合方法的基础上，一个进行改良的方式是对各个投票者/平均者分配不同的权重以改变其对最终结果影响的大小。对于正确率低的模型给予更低的权重，而正确率更高的模型给予更高的权重。这也是可以直观理解的——想要推翻专家模型（高正确率模型）的唯一方式，就是臭皮匠模型（低正确率模型）同时投出相同选项的反对票。具体的对于权重的赋值，可以用正确率排名的正则化等。
这种方法看似简单，但是却是各种“高级”方法的基础。