《Who’s Afraid of Adversarial Queries The Impact of Image》文献阅读笔记

本文关于针对图像检索的对抗样本构造方法《Who’s Afraid of Adversarial Queries The Impact of Image》

 

1. 《Who’s Afraid of Adversarial Queries The Impact of Image》

本文介绍了一种针对神经网络内容图像检索的对抗样本构造方法。针对基于神经网络的CBIR系统，如果通过本文介绍的PIRE算法对原始图像增加扰动，能够使检索结果的成功率显著降低。同时，本文的PIRE算法构造的对抗样本，也能够影响基于sift局部特征的CBIR系统、以及基于CEDD、GIST的全局特征的CBIR系统的检索成功率。

 

    1.1 PIRE构造思想与核心算法

         1.1.1 构造思想

                          

                  PIRE是一种迭代算法，每次迭代都保证所添加的扰动v要在规定的扰动范围之内（第一轮的时候添加一个满足约束条件的随机扰动v1），并且要在这一约束条件下使每次改动后的图像尽可能最大偏离原图像（即特征值提取函数的计算结果偏差尽可能大）。

 

         1.1.2 核心算法

                           

                  T是迭代次数，本文测试了T=200与T=500两种迭代次数下的对抗样本效果。事实上如果不对迭代轮数加以限制，可能会出现构造的对抗样本在视觉上与原样本有太大差别，导致丧失了实际意义。

                  添加的扰动v之所以要十倍放大，是因为在保存构造完成的对抗样本的时候会存在图片压缩的情况，那么就必须要保证添加的扰动能够被保留下来。而作者也在之后说明，这种回避方法可能太粗糙，实际上，本文运用的是 x + p（vi），通过某个函数p来确定每轮迭代完成后的图片。（但似乎作者并没有给出选用的函数p）

    1.2 实验方法

          作者运用的神经网络模型：全卷积网络GeM

         【Fine-tuning CNN Image Retrieval with No Human Annotation】该文介绍GeM

         【CNN Features Off-the-shelf: An Astounding Baseline for Recognition】

         【Neural Codes for Image Retrieval】

         【Particular Object Retrieval with Integral Max-pooling of CNN Activations】

 

          在局部特征对照实验中，作者在对照组使用了基于BoVW模型的局部特征提取方法：

        【Aggregating Local Descriptors into a Compact Image Representation】VLAD

 

          在全局特征对照实验中，作者在对照组采用CEDD和GIST：

        【CEDD: Color and Edge Directivity Ddescriptor: A Compact Descriptor for Image Indexing and Retrieval】CEDD

        【A Holistic Representation of the Spatial Envelope】GIST

 

        图像检索主要分为全图检索（WI）和边界框检索（BB）。边界框检索针对的是图像中的主要内容而并非整个图像。本文进行的实验主要完成边界框检索（BB）。

 

        同时，作者运用了评价方法对对抗样本的各项性能进行评估，具有参考价值：：

       1）  mean average precision (MAP) MAP推荐系统：用来评价检索结果的质量。

        2） structural similarity (SSIM) 基于结构相似性的图像质量评价方法：用来评价对抗样本的图像质量，SSIM取值范围[0,1]，值越大，表示图像失真越小。

        【Image Quality Assessment: From Error Visibility to Structural Similarity】

 

    1.3 实验结果

    实验数据表明：

• PIRE构造方法所构造的对抗样本能够有效影响图像检索系统地结果，无论该系统是基于神经网络的或是基于传统局部。全局特征检索；
• 精心构造的x + p(v)相较于将v扩大十倍来说，对图像的更改更少，更不容易失真；
• PIRE算法迭代次数越高，构造的对抗样本的检索结果更容易出错。但同时，迭代次数越高越失真；
• 对对抗样本采取resize操作会减弱攻击效果：相比于upscale，downscale操作减弱得更明显。作者猜测这是因为downscale会压缩掉增加的扰动，而upscale会额外生成处于原像素与扰动之间的新像素，导致不容易减弱攻击效果；
• 对对抗样本采取crop操作也会减弱攻击效果，但减弱的程度有限；
• 如果background图片集里也有被PIRE算法改动过的图片怎么办？数据显示，PIRE构造的对抗样本依然能够达到对抗效果，虽然该效果会被减弱。作者提出，如果使添加扰动的设置更加多样化，那么对抗效果就会保持strong；
• 必须要查证PIRE算法究竟是单纯地给原图像加入了噪声，还是真正地达到了构造对抗样本的效果。作者通过对比噪声生成方法Gaussian Noise发现，PIRE算法确实属于构造对抗样本而并非单纯地加入噪声；
• PIRE针对GIST和CEDD虽然都有对抗效果，但对抗效果的程度不同。

 

    1.4 作者结论与展望

• PIRE并不需要监督，即其不需要知道数据集的任何标签，这也正是它适合用来对抗图像检索系统的原因；
• PIRE能够被设计成攻击那些已知信息很少的CIBR系统，它有能够攻击任意神经网络CIBR的能力；
• 本文实验中，CIBR系统的训练集和PIRE对抗样本构造的训练集存在语义上的相似。因此，应该进一步研究PIRE对抗效果与对抗对象CIBR之间训练集的相似性之间的影响。
• 对于CIBR系统的对抗样本的普适构造方法是一个重点，本文的PIRE算法针对的是每张特定的图像，并且这种普适构造方法应该是pseudo-supervision

       普适构造方法相关文献：

     【Universal Perturbation Attack Against Image Retrieval】

• 对于多媒体隐私研究领域来说，这种对抗样本构造方法能够用来防御恶意检索。但是，研究的重点在于，如何在构造出对抗样本的同时还能保证图像不过分失真。

 

2. 我的想法

1）本文给出的算法原理比较简易，核心思想是每轮迭代给图片造成一定范围内的最大化改变；有没有可能再加入一定的约束条件使得作出的扰动改变达到最小，比如CW attack那样；

2）本文提出的“PIRE并不需要监督，即其不需要知道数据集的任何标签，这也正是它适合用来对抗图像检索系统的原因”应该是针对图像检索样本构造的一个确定要求。

 

3. 下一步计划

阅读《 Explaining and harnessing adversarial examples》，该文章给出了对抗性样本的存在性的线性解释，并且介绍了简易算法FGSM

阅读《Fine-tuning CNN Image Retrieval with No Human Annotation》，该文章描述了GeM网络，被认为在图像检索领域有领先工艺