李宏毅(6)——improve GAN的技巧(wGAN)

目录

 

1:判别器执行JS时存在的问题

1.1:LSGAN,把二分类问题变成线性回归问题

1.2:WGAN(推土机距离)

1.3:Spectrum Norm判别器所有区域的梯度都<1

1.4:EBGAN用真实图片预训练编解码器

1.5:LSGAN更精细地评判生成样本


1:判别器执行JS时存在的问题

1,图像被认为是低维数据在高维空间的折叠,两个图像之间的重叠很少

2,就算有重叠,也很难被采样点描绘清楚

3,不重叠计算出来的结果就是log2(可以完全分开,没有重叠)

4,无法得到明确的距离,怎么动都是log2,那么梯度=0,生成器就无法优化

5,一个简单的解决方案是,不要把判别器训练的太好

李宏毅(6)——improve GAN的技巧(wGAN)

李宏毅(6)——improve GAN的技巧(wGAN)

1.1:LSGAN,把二分类问题变成线性回归问题

李宏毅(6)——improve GAN的技巧(wGAN)

1.2:WGAN(推土机距离)

李宏毅(6)——improve GAN的技巧(wGAN)

复杂分布有多种情况,选择最小的

李宏毅(6)——improve GAN的技巧(wGAN)

李宏毅(6)——improve GAN的技巧(wGAN)

用矩阵表示,行的和为原始某个土堆的量,纵轴类似

李宏毅(6)——improve GAN的技巧(wGAN)

G50必须有进化上的优势

李宏毅(6)——improve GAN的技巧(wGAN)

WGAN实际使用时的判别器的目标就是让距离的衡量更平滑,体现了一种转换的概念

李宏毅(6)——improve GAN的技巧(wGAN)

李宏毅(6)——improve GAN的技巧(wGAN)

为了给判别器增加一个平滑约束,最初的想法是增加权重的限制(其实没用)

李宏毅(6)——improve GAN的技巧(wGAN) 

保证所有的转换梯度都小于1太过困难,所以我们用Ppenalty采样(从正负样本中的连线上采样),只保证这个采样中的点的梯度小于1

PG是根据蓝色区域的点的梯度挪动的参数

李宏毅(6)——improve GAN的技巧(wGAN)

李宏毅(6)——improve GAN的技巧(wGAN)

实验证明,梯度为1时优化较快,所以我么希望惩罚不为1的梯度

李宏毅(6)——improve GAN的技巧(wGAN)

李宏毅(6)——improve GAN的技巧(wGAN)

李宏毅(6)——improve GAN的技巧(wGAN)

1.3:Spectrum Norm判别器所有区域的梯度都<1

李宏毅(6)——improve GAN的技巧(wGAN)

1.4:EBGAN用真实图片预训练编解码器

李宏毅(6)——improve GAN的技巧(wGAN)

建设难破坏容易为了保护高分图片,所以对负样本的得分做一个限制

李宏毅(6)——improve GAN的技巧(wGAN)

1.5:LSGAN更精细地评判生成样本

李宏毅(6)——improve GAN的技巧(wGAN)