惩罚、补偿、正则化、约束的联系和区别
最近看几篇文章，文章上面在写反演目标函数的时候，有些是写的约束，有些是说补偿，有些又是正则化。说实话，之前是没怎么区分这几个东西的，感觉都是一样的，后来才真正的注意到这个事情。下面是来自百度百科的解释：
其实所有的惩罚、补偿还是正则化都是约束方法。如上所示，约束就是把值给限定在一定的范围内，在反演过程中，如果加在目标函数中的话，就会写成最下面的函数形式，这就是平常我们所说的加入惩罚、补偿、正则化的常规公式，只是针对所实现的目标不同，才分出了惩罚、补偿和正则化这三种形式。所谓惩罚就是让目标函数减小的行为，补偿呢就是对目标函数或者反演的参数所做出的补偿行为，正则化的提出主要是为了解的稳定性，与上述两种有明显的区别。约束呢是个名词，而后面三种是主要的行为方法。另外还有一个是预条件，根据现有知识对反演参数做出的处理，与上面三种又是很明显的区别，预条件是直接作用于反演参数上的，而上面另外三种是作用于目标函数，然后间接作用于参数中。
只是我个人理解，如果有错误或问题，请提出宝贵意见以方便修改，以免误导他人。。。
参考文献：