百面机器学习总结笔记(第十三章 生成对抗网络)
百面机器学习总结笔记(第十三章 生成对抗网络)
- 百面机器学习总结笔记
- 第十三章 生成对抗网络
- 初识GANS的秘密
- GANs值函数![在这里插入图片描述](https://img-blog.csdnimg.cn/20200303094449754.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0F2ZXJ5MTIzMTIz,size_16,color_FFFFFF,t_70)
- GANs如何避开大量概率推断计算
- WGAN:抓住低维的幽灵
- DCGAN:当GANs遇上卷积
- ALI :包揽推断任务
- IRGAN:生成离散样本
- SeqGAN:生成文本序列
- 问题2 训练序列生成器的优化目标通常是什么?GANs框架下有何不同?
百面机器学习总结笔记
第十三章 生成对抗网络
初识GANS的秘密
场景描述
知识点
MiniMax游戏 值函数(Value Function)JS距离(Jensen-Shannon Divergence), 概率生成模型 优化饱和
问题1 简述GAN的基本思想和训练过程
GANs值函数
分析与解答
GANs如何避开大量概率推断计算
分析与解答
问题4 GANs在实际训练中会遇到什么问题?
分析与解答
WGAN:抓住低维的幽灵
场景描述
知识点
坍缩模式(Collapse Mode) Wasserstein距离 1-Lipschitz函数
问题1 GANs的陷阱:原GANs中存在的哪些问题制约模型训练效果?
问题2 **武器:WGAN针对前面问题做了哪些改进?什么是Wasserstein距离?
分析与解答
问题3 WGAN之道:怎样具体应用Wasserstein距离实现WGAN算法?
分析与解答
DCGAN:当GANs遇上卷积
场景描述
问题 在生成器和判别器中应该怎样设计深层卷积结构?
分析与解答
ALI :包揽推断任务
场景描述
知识点
概率推断 隐空间 Encoder/Decoder
问题 生成网络和推断网络的融合
IRGAN:生成离散样本
场景描述
知识点
离散样本 信息检索 负样本 策略梯度
问题 使用GAN产生负样本
分析与解答
SeqGAN:生成文本序列
场景描述
知识点
循环神经网络 LSTM/GRU 语言模型 奖励/长期奖励 策略梯度 动作值函数
问题1 如何构建生成器,生成文字组成的序列来表示句子?
分析与解答
问题2 训练序列生成器的优化目标通常是什么?GANs框架下有何不同?
分析与解答
问题3 有了生成器的优化目标,怎样求解它对生成器参数的梯度?
分析与解答