Towards cross-modal organ translation and segmentation: A cycle- and shape-consistent generative adversarial network

合成医学图像具有几个重要的应用。例如，它们可用作跨模态图像配准的中介，或用作增强的训练样本以增强分类器的泛化能力。在这项工作中，我们提出了一种通用的跨模态综合方法，其目标如下：1）合成看起来逼真的2D / 3D图像，而无需配对训练数据； 2）确保一致的解剖结构，这可能会因交叉的几何变形而改变；3）通过将合成数据用于训练样本有限的模态，改进了体积分割。我们展示了可以使用端到端2D / 3D卷积神经网络（CNN）来实现这些目标，该网络由互惠生成器和分割器组成，用于图像合成和分割任务。

综述

对于特定的患者群体，某种成像方式可能比其他方式更受欢迎。 由于多种成像方式的激增，迫切需要开发一种跨方式的图像转移分析系统来辅助临床治疗。神经网络已被广泛用于医学图像分析，例如检测、分割和分类。

这样的方法通常是通用的，并且可以通过在目标成像模态上重新训练而从一个成像模态扩展到另一种成像模态。然而，需要足够数量的代表性训练图像来实现足够的鲁棒性。在实践中，通常很难收集足够的训练图像，尤其是对于尚未在临床实践中充分确立的新成像方式。合成数据经常被用作补充训练数据，希望它们可以提高训练后的神经网络的泛化能力。本文提出了一种新颖的方法来同时解决上述两个艰巨的任务，第一个是跨模态（域）转换，第二个是通过利用合成数据来改进分割模型。

为了合成医学图像，最近的进展已使用生成对抗性网络 （GANs），将其表述为图像到图像的转化任务。 这些方法需要两个域数据之间的像素到像素对应关系，以建立直接的交叉模态重建。 但是，在更常见的情况下，多模式医学图像是 3D 格式的，没有交叉模式配对数据。 从未配对数据中学习的方法是更通用的方法。 此外，医学图像/体积中的断层摄影结构（例如，形状）包含诊断信息。 在转化中保持其不变性至关重要。 但是，当使用没有成对数据的 GAN 时，由于缺乏直接重建的方法，仅依靠区分符来保证这一要求是不够的，我们将在后面解释。

通过使用合成数据来克服 CNN 训练中标记数据的不足，这是一个活跃的研究领域。在医学图像领域，人们有兴趣学习不同模式之间的无监督转换，以便从其他方式转移现有的标记数据。但是，合成数据的有效性在很大程度上取决于真实数据与合成数据之间的分布差距。缩小这种差距的一种可能解决方案是通过 GAN 匹配它们的分布。

医学图像合成有两个目标， 第一个是合成现实的跨模式图像，第二个是使用来自其他模式的合成数据标记数据以帮助分类任务。在计算机视觉中，最近的图像到图像的转换被公式化为使用编码器/解码器 CNN 的像素到像素映射。GAN 在帮助解决此类问题方面引起了广泛的兴趣。最近的研究将用于脑部 MRI 的逐像素 GAN 应用于 CT 图像转换和视网膜血管注解进行图像转换（Costa等人，2018）。但是，这些方法假定目标图像具有成对的跨域数据。从不成对的跨域数据中学习是一个有吸引力的但尚未充分研究的问题。

方法

我们的方法可以从两个视图中理解：生成器视图和分割器视图。从分割视图来看，目标非常简单。我们希望分别针对域 A 和 B 数据训练双模态分割网络 SA 和 SB（即分割器）。由生成器提供的融合图像块（下面讨论）提供增强的训练双域数据，以帮助改进分割器。在训练过程中，SA 和 SB 可以同时接收真实数据和由生成器在线生成的合成数据。

从生成器优化视图（左上），分割优化视图（右上）和判别器优化视图（下）对我们的方法进行了说明。 左面板说明了每个体系结构组件。 域 A 和域 B 用两种颜色表示。 生成器视图：两个生成器学习域 A 和 B 之间的跨域转换，这分别由循环一致性损失以及对抗性损失和形状一致性损失的组合（由分割器支持）监督。 分割视图：分割由来自特定领域生成器的真实数据和额外的综合数据进行训练。 判别器视图：判别器经过训练可以区分真实数据和合成数据。 这三个优化视图是联合培训的，并且是端到端的。

总结

用 GAN 合成数据与真实数据一起训练分割网络。