第一章 机器学习概述 1.4没有免费午餐定理

1、哪一种机器学习算法更好？

答：1995年，D.H.Wolpert等人提出，没有免费午餐定理（No Free Lunch Theorem）,任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，如果不对数据在特征空间的先验分布有一定假设，那么表现好与表现不好的情况一样多。

2、“没有免费午餐定理”的通俗解释？

答：假设一台电脑有2个存储器，预测第2个存储器的类型，如下图。

假设一台电脑有3个存储器，预测后2个存储器的类型，预测第2个存储器的类型，两种情况的概率相同，如下图。

假设一台电脑有3个存储器，预测第3个存储器的类型，预测第3个存储器的类型，两种情况的概率相同，如下图。

因此，无论计算机的存储单元有多少，无论我们知道多少个类别，结果无论对错的概率都是一半。
为什么出现这种情况？因为假设各种情况的先验概率一样。
综上所述，不对特征空间的先验分布有假设，所有算法的表现都一样。机器学习的本质是对有限的已知数据，在复杂的高维特征空间中预测未知的样本。