[GAN_papers]CGAN+Conditional Generative Adversarial Nets

有问题感谢指出,感兴趣欢迎讨论

Conditional Generative Adversarial Nets Mehdi

0. Summary

conditional版本的GAN,将辅助信息y作为input的一部分送入网络

1. background

输出极多的label依旧是难题——应用来自其他modality的附加信息
mapping一对多——用 条件概率生成模型,一对多mapping是一个conditional predictive distribution

灵感来源

2. Research Objective

可以控制生成器mode的GAN

3. Method(s)

  • formulation
    [GAN_papers]CGAN+Conditional Generative Adversarial Nets

  • 输入
    将辅助信息y作为input的一部分送入网络,y可以是任何信息(label,data from other modalities)

  • 具体例子

    • 基于label生成MNIST:将label做one-hot编码一起作为输入
    • 多label image-tagging(给定img pre前提下的tag vetcor分布(possibly multi-modal):
      预训练cnn用最后一层fc输出作为image的representation;预训练模型提取word-to-vector;
      [GAN_papers]CGAN+Conditional Generative Adversarial Nets

4. 结果

  1. 非conditional下的拟合结果
    比朴素GAN好(可能是因为多提供了信息)
    [GAN_papers]CGAN+Conditional Generative Adversarial Nets

5. 创新点

  1. 加入一个类似于开关的控制条件

6. 实验&结果讨论方法

Conclusion

Evaluation

  1. 第二种应用里的G和判别式模型M的区别在哪?
    如果要用判别式模型做multi-tag:输入image rep,过一堆层输出vector。
  • 区别仅在于G输入包括噪声??
  • 在判别式模型M:输入加入噪声,将M的输出与输入contac送入一个新的判别式器D判断他是来自于谁的,就是conditionalGAN了吗?

存在问题:

Notes

Reference