论文阅读练习（9）

《Improved Training of Wasserstein GANs》（2017）

作者：

摘要

生成对抗模型是一个很强的生成模型，但是训练不稳定。最新提出的沃恩斯坦GAN（Wasserstein GAN）提高了GAN的稳定训练，但是有时候仍会出现差的例子或发散。发现这些问题通常由于在WGAN中权重衰减的使用在判别器上加强了李普希兹约束（Lipschitz constraint），导致不理想的表现。此篇文章中提出了一个权重衰减的替代选择：惩罚判别器关于它的输入的梯度模。这个方法在标准WGAN上表现更好，并且能在不同的几乎没有超参微调的GAN结构上稳定训练，包括101-ResNet和带有连续生成器的语言模型。同时提高了CIFAR-10和LSUN bedrooms的生成质量。

 

问题：GAN训练不稳定，产生差的结果或者发散，原因是权重衰减在判别器上加强了李普希兹约束。

补充：原WGAN——利用Wasserstein距离产生 一个价值函数，其理论性质好于原始GAN.

方法：We propose an alternative to clipping weights: penalize the norm of gradient of the critic with respect to its input。

衰减权重的替代：惩罚判别器关于其输入的梯度模。WGAN-GP（梯度惩罚WGAN）。要求判别器必须位于1-Lipschitz函数空间内，作者通过权重衰减强制实现。

效果：在标准WGAN上表现更好，并且能在不同的几乎没有超参微调的GAN结构上稳定训练，包括101-ResNet和带有连续生成器的语言模型。同时提高了CIFAR-10和LSUN bedrooms的生成质量。

加入梯度惩罚的判别器loss:

《Global Context for Convolutional Pose Machines》（CVPR2019)

作者：

摘要

卷积pose机制对于铰接式pose估计是一个受欢迎的神经网络结构。此篇文章中，通过探索经验感受野发现它可以通过整合全局信息加强。提出类似U形状的全局信息模块，并且与语义分割领域的金字塔pooling、空洞金字塔空间pooling模块比较。提出的网络 在数据集Look Into Person上单人pose估计的PCKh=87.9%。此网络的小版本fps=160，且只有2.9%的错误。在MPII上做网络的泛化测试，达到同样精度但运行更快。

code：https://github.com/opencv/openvino_training_extensions/tree/develop/pytorch_toolkit/human_pose_estimation

问题：针对铰接式pose估计问题

方法：整合全局信息加强感受野。提出一个全局信息模块。

效果：提出的网络 在数据集Look Into Person上单人pose估计的PCKh=87.9%。此网络的小版本fps=160，且只有2.9%的错误。在MPII上做网络的泛化测试，达到同样精度但运行更快。