cs231n笔记(4)——正则化
结构风险=经验风险+正则项
经验风险=为损失函数的数学变化
其中,前面的均值函数表示的是经验风险函数,L代表的是损失函数,后面的ΦΦ是正则化项(regularizer)或者叫惩罚项(penalty term),它可以是L1,也可以是L2,或者其他的正则函数。整个式子表示的意思是找到使目标函数最小时的θθ值。
5.随机失活
一.
首先,如图一所示,红色为数据样本,当我们用一次函数去拟合数据时,可以看出,函数并不能很好的拟合数据。此时,我们称为欠拟合。
第二幅图,我们在中间加入一个二次项,也就是说对于这幅数据我们用二次函数去拟合。自然,可以拟合出一条曲线,事实也证明这个拟合效果很好。
然后如图三所示,当我们用四次函数去拟合数据时,虽然每个数据都在函数图像上,但是显而易见这并不是我们期望得到的数据趋势,为什么呢?很简单,它的分类只是适合于自己这个测试用例,对需要分类的真实样本而言,实用性可想而知的低。此时,我们称为过拟合。
二. 什么样的情况会出现过拟合:
过多的变量(特征),同时如果我们没有足够的数据集(训练集)去约束这个变量过多的模型,那么就会发生过拟合。
三. 如何防止过拟合:
1. 尽量减少选取变量的数量(图中不同次X的数量)
2. 正则化:正则化中我们将保留所有的特征变量,但是会减小特征变量的数量级,我们要加上惩罚项,从而使参数 θ3 和 θ4 足够的小。
四. 正则化
图中标红为正则项。
常用的正则函数有L1,L2两种,如下:
具体原理,在https://www.zhihu.com/question/20924039里有详细解释。我们要做的只有将损失函数正则化即调整参数惩罚正则项,防止数据过度拟合。