李宏毅(6)——improve GAN的技巧(wGAN)
目录
1.3:Spectrum Norm判别器所有区域的梯度都<1
1:判别器执行JS时存在的问题
1,图像被认为是低维数据在高维空间的折叠,两个图像之间的重叠很少
2,就算有重叠,也很难被采样点描绘清楚
3,不重叠计算出来的结果就是log2(可以完全分开,没有重叠)
4,无法得到明确的距离,怎么动都是log2,那么梯度=0,生成器就无法优化
5,一个简单的解决方案是,不要把判别器训练的太好
1.1:LSGAN,把二分类问题变成线性回归问题
1.2:WGAN(推土机距离)
复杂分布有多种情况,选择最小的
用矩阵表示,行的和为原始某个土堆的量,纵轴类似
G50必须有进化上的优势
WGAN实际使用时的判别器的目标就是让距离的衡量更平滑,体现了一种转换的概念
为了给判别器增加一个平滑约束,最初的想法是增加权重的限制(其实没用)
保证所有的转换梯度都小于1太过困难,所以我们用Ppenalty采样(从正负样本中的连线上采样),只保证这个采样中的点的梯度小于1
PG是根据蓝色区域的点的梯度挪动的参数
实验证明,梯度为1时优化较快,所以我么希望惩罚不为1的梯度
1.3:Spectrum Norm判别器所有区域的梯度都<1
1.4:EBGAN用真实图片预训练编解码器
建设难破坏容易为了保护高分图片,所以对负样本的得分做一个限制