白话对抗生成网络

白话对抗生成网络

判别模型和分类模型

常见的判别模型有线性回归,逻辑回归,支持向量机,DNN等。 常见的生成模型有隐马尔科夫模型、朴素贝叶斯模型、高斯混合模型、 LDA、 Restricted Boltzmann Machine 判别模型即从数据中学得一个决策函数,通过此决策函数来对物体进行判别,如将一张猫的图片输入已经训练好的逻辑回归模型中, 该模型事先从数据中学得的决策函数来对这张图片进行判别。生成模型即从数据概率分布中学习采样的一个过程,该采样是对原数据分布的一个均匀采样。

对抗生成网络(GAN)

1.大型鉴宝节目

铁齿铜牙纪晓岚中和珅的扮演者网传在鉴宝节目中将两亿的古董鉴别为假,遂拿起了老罗的锤子,砸了个稀巴烂。王刚老师在这里充当的角色便是鉴宝专家。在这里以一个B站UP主的故事开场。矛盾,矛盾,有矛便有盾。与鉴宝专家对应的当然是 造假大师了。造假大师要想混口饭吃必然想练就绝活,从而以假乱真,当然鉴宝专家也不是傻子,鉴宝专家要想保住自己的饭碗必然要有一双火眼金睛(ps:不能像王刚老师那样(狗头))。于是乎,鉴宝专家(以下统称专家)在和造假大师对抗的 过程中,两种角色的专业能力都会得到提高,造假大师技术炉火纯青,专家火眼金睛,当两者达到一种平衡的状态时,即造假大师生产的工艺品在专家的鉴别过程中,专家也只有五成的把握鉴别成功,即真假的概率都为百分之五十。

2.GAN

在对抗生成网络中,专家对应的便是鉴别器(discriminator),造假大师对应的便是生成器(generator)。两者不可分割,在训练的过程中互相博弈,即大师要以假乱真,专家要火眼金睛,这便在GAN的损失函数中体验的淋漓尽致。在最原始的GAN中生成器的输入是随机噪声,也就是说,大师的作品随心所欲,没人知道大师下一件作品是什么,全靠大师的心情。 但是大师的作品永远都在那些价值连城的古董之间。如果在生成器中,输出的图片只有一种类型,那便可能发生了模式崩塌(mode collapse),即原始的数据概率分布中如果存在多个峰值,则生成器在训练的过程中过分对某一个峰值进行采样,使得生成器只能生成单一模式的图片,也就是说大师永远只对一种古董造假,其他的根本不会,英雄池不够深。那么如何避免模式崩塌呢?可以参考我的这篇文章:https://mp.****.net/console/editor/html/109487302

3.cgan

在这种原始的GAN中,生成器输出的内容不可控,全靠大师随机发挥。一般的趋势是市场上什么火,大师便仿造什么,即大师充分发挥自己的主管能动性,疯狂蹭热点,赚得盆满钵满,这便有了后来的CGAN。CGAN在训练过程中将先验同时引入鉴别器和生成器,来实现输出可控的目的,这样在生成图片的过程中生成器的输入便不仅仅是随机噪声了,还有人为指定的label(先验,这样便可以输出label所对应的图片了。如图1:

                                白话对抗生成网络

4.DCGAN

之后更新

 

reference:

1.白板机器学习 https://www.bilibili.com/video/BV1aE411o7qd