人脸相关论文阅读——One-Shot GAN Generated Fake Face Detection

人脸相关论文阅读——One-Shot GAN Generated Fake Face Detection

记录阅读论文中的一些不了解的知识点和idea

• 作者 Hadi Mansourifar，Weidong Shi
• 发表 CVPR 2020.03
• 机构 university of Houston, 休斯顿大学

本文主要研究GAN网络生成的假人脸的检测，因为近些年来GAN网络很火，用GAN生成的假人脸会给现有的人脸检测，人脸识别系统造成一定的威胁，所以对于假人脸的检测判别也至关重要。

文中比较有意思的内容
Appearance of some objects is natural in face images like clothes, tie and etc. However, detecting some objects are really weird in face images like finger. Table 2 and Table 3 show the object detection results on part (a) and part (b) of Figure 4. The results show that some weird objects are detected in the fake images despite the fact that they are not visible by human eyes. As mentioned earlier, some out-of-context objects are detected in the fake faces including finger which is common between part (a) and part (b) of Figure 4. Given all detected objects in the training set, we can form bag of words. We can also remove the features which are appeared in all instances.



好神奇，原来fake face image中会检测到人眼看不到的一些东西，并且是out-of-context 的（即超出正常情况下会出现的上下文信息范围）。其实这些就已经是人眼完全做不到的事情了，只能依靠计算机，因为人眼是真的看不出来！！！

本文方法的关键思想

Our idea to detect GAN generated fake faces is to use object detection methods to analyze the face rather than using face recognition techniques. Our experiments show that, object detection methods can find out-of-context objects in GAN generated fake faces which can help to discriminate the fake faces and real ones given only one training instances.
其实有了上面一个部分，这里就很好理解了。就是因为单单检测人脸是不能区分真人脸和假人脸的，而用目标检测可以从假人脸图片中检测到异常。所以本文就用目标检测方法代替人脸识别方法。

其他的fake face检测方法

• Nataraj, Lakshmanan, et al. ”Detecting GAN generated fake images using co-occurrence matrices.” arXiv preprint arXiv:1903.06836 (2019).
• Hsu, Chih-Chung, Chia-Yen Lee, and Yi-Xiu Zhuang. ”Learning to Detect Fake Face Images in the Wild.” 2018 International Symposium on Computer, Consumer and Control (IS3C). IEEE, 2018.

一些思考
本文不同于用人脸分析等常见的方法进行fake face检测，而是用场景理解的思想，用目标检测的方法在fake face image图片中发现了一些out-of-context的异常。但是是怎么发现这种现象的呢？本文主要检测的是hispersondoesnotexist.com网站(style-GAN)产生的fake image，这种异常时所有用GAN生成的图片的共性还是只适用于style-GAN生成的图片呢？
———————————————————————————————————————————
分割线，以下是一些需要继续学习的点

关键点
- Few-Shot Learning approach
针对FSL问题现有方法可以分为三类，分别是：

• Metric Learning 度量学习
• Meta Learning 即learning to learn
• Data Augmentation 数据增强（这个很常见也很常用）

- fake image detection

fake image检测的研究工作比较少，毕竟GAN是近几年的。文中列出来的fake image检测方法好像都是回归到最原始的对比两张图片的像素统计信息，在其他颜色空间的不同来进行。我有一个大胆的想法哈哈，能不能用深度学习解决这个问题（文中也提到一项工作已经用共生矩阵结合神经网络做了）。

新get知识点

• Few-Shot Learning 小样本学习
  除了Few-Shot Learning还有one-shot Learning还有zero-shot Learning（可以理解为类似迁移学习的思想）

• thispersondoesnotexist.com
  这个网站图片是styleGAN2生成的不存在于现实世界的人脸，使用的方法是这篇文章的
  Karras, Tero, Samuli Laine, and Timo Aila. ”A style-based generator architecture for generative adversarial networks.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.