【论文笔记】Generating Natural Adversarial Examples

Generating Natural Adversarial Examples. Zhengli Zhao, Dheeru Dua, Sameer Singh. ICLR 2018. decision[pdf][code]

贡献

【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples

框架

【论文笔记】Generating Natural Adversarial Examples

【论文笔记】Generating Natural Adversarial Examples【论文笔记】Generating Natural Adversarial Examples

【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples

解释样本

举例说明(使用算法1)
【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples

实验

【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples
【论文笔记】Generating Natural Adversarial Examples

结论

【论文笔记】Generating Natural Adversarial Examples
要点:

  • 引入inverterinverter(逆变器)。利用WGANWGAN策略训练出生成器GG,借助生成器训练逆变器IIIIGG的反向过程:X>ZX——>Z
  • 输入空间&语义空间。不直接对输入样本进行扰动,而是借助隐层空间ZZ。样本xx通过逆变器II映射到该空间得到zz',对zz'进行随机扰动得到zz^,然后通过生成器GG得到xx^,使分类器原始标签发生变化。选择最接近zz'zz^记作zz*。则对抗样本x=G(z)x* = G(z*)
  • 随机扰动。提出两个搜索算法。算法一是由近及远进行搜索,每次按delta rr扩大搜索范围。一次迭代随机采样NN个扰动,迭代次数越靠前与原样本的相似度就越高。该算法效率低。算法二是由远及近,每次迭代都要缩紧采样上界。在每次迭代中使用二分策略调整采样下界。该算法速度4倍于算法一,效果近似。但计算代价仍然高。
  • 引入自编码器对离散的文本数据进行处理。编码成连续代码,解码成离散文本。
  • 黑盒环境下,通过无标注的数据集衡量模型的鲁棒性(准确地说是准确率)。

思考:

  • 文本:该方法+同义词选择方法+语言模型 = 高质量的对抗样本
  • 该思想用于白盒环境下,结合梯度?