【数据增强】AUGMIX: A SIMPLE DATA PROCESSING METHOD TO IMPROVE ROBUSTNESS AND UNCERTAINTY

与Cutout、Mixup、CutMix的效果对比： 

算法伪码：

算法实际执行效果可视化： 

增强

上图是本文使用的数据增强操作，来自AutoAugment。移除了其中会和ImageNet-C corruptions（测试集）重叠的操作：contrast, color, brightness, sharpness, cutout，图片噪音和模糊化操作。随机选择k个增强链，默认设置K = 3。每个增强链建立在随机选择的1-3个增强操作。

 

Mixing

增强后的图片通过mixing操作合并在一起。本文使用alp合成（elementwise convex combinations）。alpha合成我不是很了解，查阅了一些资料，摘录如下：

图片增加alp通道，表示图片的透明程度（0-255，0表示完全透明，255标是完全不透明）

1. alp通道归一化
2. 计算合成后的图像透明度: alpha = 1 - (1 - alpha_image) * (1 - alpha_ROI)
3. RGB通道：image[R,G,B] = (image[R,G,B]*alpha_image*(1 - alpha_ROI) + ROI[R,G,B]*alpha_ROI) / alpha，其中ROI是合成后处于上层的图片
4. 合并alp和RGB通道

参考：https://blog.csdn.net/u014574279/article/details/82667968

 

JS散度连续损失（Jensen-Shannon Divergence Consistency Loss）

参考：https://zhuanlan.zhihu.com/p/101432423?utm_source=wechat_session

JS散度定义如下，相较于KL散度，JS散度是对称的。

其中KL散度，又称相对熵，描述两个概率分布P和Q的差异

本文将原始样本xorig的后验分布及其增广变量之间的JS散度最小化。

由于从同一个原始样本中使用AugMix得到的不同的新样本具有相似的语义，假设对Xorg做了两次AugMix，得到Xaugmix1， Xaugmix2，这三个样本输入模型后得到的结果的分布理应是相似,所以作者在损失函数中引入了JS散度，具体为：