Adversarial Image Registration with Application for MR and TRUS Image Fusion

一、Motivation

1 磁共振（MR）和经直肠超声（TRUS）图像配准是MR-TRUS融合的关键组成部分。

2.由于图像外观之间的巨大差异以及图像对应关系的较大差异。

3 提出了对抗图像配准（AIR）框架。 通过同时训练两个深度神经网络，一个是生成器，另一个是判别器。

4 而且还有一个度量网络，可以帮助评估图像配准的质量。

5 但是，多模式图像配准是一项非常艰巨的任务，因为很难定义鲁棒的图像相似性度量。

6 由于超声图像的嘈杂外观以及MR和TRUS之间的成像分辨率不均匀，因此MR和TRUS的配准更加困难。

二、Contribution

我们提出了一种基于生成对抗网络（GAN）框架[9]并同时训练了CNN的多模态图像配准方法，用于变换参数估计和配准质量评估.

提出的AIR-net不仅可以通过G网络的有效前馈直接估计转换参数，而且可以评估D网络估计的配准质量。

AIR-net以端到端的方式进行训练，训练完成后，G和D都将可用。 

三、Method

该框架包含两个部分：1)registration generator 2)registration discriminator

配准生成器用于直接估计变换参数。

图像重采样器然后使用估计的变换参数Test或ground truth变换Tgt对moving image进行插值以获得新的重采样的moving image。

配准判别器（D）尝试使用转换Test或Tgt判断其输入图像对是否对齐。

生成器的网络结构描述如下图：（这是我第一个看见不画网络图的文章）

对于生成器的输出：6个参数对应于3D图像的刚性配准或者为12个参数的3D图像的仿射变换。

D网络的结构几乎与G网络相同，最后一个全连接的层只有一个具有Sigmoid**功能的输出单元，用于评估配准性能。

Adversarial Training

众所周知，原始GAN由于不稳定的损失而难以训练。Arjovsky等人的Wasserstein GAN（WGAN）的改进版本。在我们的工作中被采用。

为了使网络快速收敛以生成良好的图像配准，还使用扰动变换来计算部分损失，以便网络可以识别较差的配准。

在本文中If为MR图像，Im为 TRUS图像。

第一部分损失表示给定对齐良好的MR-TRUS图像对时判别器的误差期望。

第二部分损失表示在随机扰动的情况下，判别器的误差预期。

生成器的损失定义如下：

Test是生成器产生的配准变化。后面一部分是预测的变换和随机创建的变化之间的欧式距离。alpha是权重参数。

在W-Gan中，在每轮训练之后，都需要裁剪D网络的参数以保持稳定性。

在我们的工作中，裁剪参数设置为0.01。 一旦D网络更新了两次，即参数设置为2，就对G网络进行了训练。值得注意的是，尽管我们使用变换参数之间的欧氏距离作为AIR-Net损失函数的一部分，但是没有它，仍然可以训练AIR-net。 训练过程只需要更长的时间，并且需要仔细调整参数。

关于数据集的描述可以去看原文。

四、Experiments

在测试过程，也会对图像进行随机扰动。然后在初始配准时计算目标配准错误（TRE）和鉴别分数（D分数）

The improved image alignment is also reflected by the D-Scores. As the registration quality improves, the D-scores also increase. This suggests that both the generator and discriminator networks are working effectively。

五、Conclusions

本文提出了一种基于GAN框架的AIR-net多模态图像配准方法。 据我们所知，这是使用GAN进行多模态医学图像配准的第一项工作。 所提出的方法不仅提供了配准生成器，还同时提供了配准后的质量评估器，可用于质量检查以检测潜在的配准错误。