《A Generative Adversarial Model for Right Ventricle Segmentation》阅读笔记

本文主要讲了以下两点：

（1）基于FCNN网络（就是我们平时所说的FCN），集成了三个概念：卷积门控递归单元（C-GRU），生成对抗网络（GAN）和L1损失函数。

（2）ROI-GAN：通过结合全局（全分辨率）和局部感兴趣区域（ROI）功能更好地指导FCNN学习。

 

       局部路径仅有助于扫描图像的每个单片，将其分类为负片或正片。 实际上，这种方法不同于FCNN的原理（即使用下采样滤波器扫描整个像素图像），而是更接近于以前的旧分割技术，添加全局路径可以作为全局上下文的多尺度集成。

       生成对抗网络的作用是把FCNN用于ROI中而又不丢失ROI区域以外的特征信息，其中一对不同领域的对应图像可以在两个生成对抗网络（GAN）之间共享参数策略中以相同的表示形式进行映射，将这种网络称之为ROI-GAN。采用这种概念的方法是拍摄同一图像的两个版本，其中一个为全分辨率，另一个为围绕segmentation mask的精确ROI（请注意，仅在训练阶段才需要这样的图像）。

 

下面讲三个核心概念：

（1）FCNN/R-FCNN

    二者的区别在于，FCNN逐片（each slice）将图片输入网络；R-FCNN指的是RNN+FCN，将整个图片块（full SA stack）输入网络，从基础到顶点的切片序列，其中当前切片取决于先前观察到的切片。门控单元如此如下所示。

（2）L1 Loss

（3）GAN

这里有两种GAN网络，一种是生成式（generationg），另一种是区分式（descrimination）。然后有一个新的CNN网络用于区分是图像预测输出，还是ground truth mask。然后，对鉴别器CNN网络进行了训练，以区分ground truth与FCNN生成器产生的预测偏离了多少。 descriminator生成的信息向generator反向传播，generator随后使用此信息生成与相应的ground truth难以区分的mask。 此外，为了避免确定性的generator（可理解为增加鲁棒性），通过删除generator的前三个上采样层来添加高斯噪声。

• ROI-GAN

   由local GAN和global GAN两个支路组成，在前三个上采样层启用的权重共享连接。

   三种类型：

    ROI-GAN-A使用两个视角（global和ROI）图像馈送的单个discriminator，其动机是通过共享同一discriminator来最大化两个generator之间的相互作用。 在ROI-GAN-B中使用两个discriminator，每个发生器一个。 第三种选择是一种中间解决方案，其中允许两个标识符在ROI-GAN-C中设置共享权重。