正则
1.为什么L2不稀疏:
理解一:
稀疏则表示在0点处于最小值,而L2的导数在-0那里基本不为0。
因为L2项在0点处导数是0, 所以如果原来的损失函数在0点处导数不为0,那么正则后的损失函数在0点处的导数就不为0。
而施加 L1 regularization 时,只要 regularization 项的系数 C 大于原先费用函数在 0 点处的导数的绝对值,x = 0 就会变成一个极小值点。
只要保证施加L1后x=0处左右两边导数异号就行。原函数用f(x)表示,则施加L1后x=0处左右两边导数分别是f'(0)-C和f'(0)+C,只要C>|f'(0)|就能保证异号啦
L1正则的作用是去除不重要的特征,L2正则是特征加权
参考:https://www.zhihu.com/question/37096933/answer/70426653
理解二:
2.L1怎么求导:使用次梯度,即在点的左右两端分别求导数,得到一个导数范围
3.从正则和bagging两个角度解释dropout:
dropout随机将神经网络的神经元置为0,降低了模型复杂度,相当于正则。在预测的时候,相当于把多个正则后的模型(犹豫dropout的随机性,因为每个正则化的模型都是用部门数据进行训练的)bagging融合起来。