根据模型,策略函数,以及流行度分为7类

• Deep similarity-based methods

传统的基于像素的图像度量方法对于图像对具有相似分布的情况是work很好的. 但是图像质量本身不好,比如超声图像,就使得传统的相似度度量在单模态的图像中表现很差. 互信息被用于多模态之间的相似度.  correlation ratio-based MI, contextual conditioned MI, modality independent neighborhood descriptor (MIND) 被用于提高MI性能.

基于深度相似度度量的方法利用CNN代替上述传统的相似度测量方法. 

• • 通过训练CNN, 使用已经经过专家配对的数据作为Ground-truth,学习一个度量网络.输出一个相似分数. 

  • 但是通过配对的数据训练一个相似度度量网络, 是很难的, 因为很难获取大量的数据. 另外, 已经人工配准的质量会影响相似度度量网络精度. 数据增广,  dithering and symmetrizing技术被用于训练, 缓和训练对配准质量的要求, 但是仍然需要粗配准的图像对.

  • 为了彻底消除对配对的数据对的依赖,  stacked autoencoders (SAE), 作为无监督学习技术,可以将图像编码到低维空间计算相似度,这个可以减少计算量. SAE学到的特征表示被用于Demons 和HAMMER进行图像配准.

这类方法最大的问题与传统方法一样, 只不过度量方法变成了神经网络或特征由神经网络提取,配准过程仍需要反复迭代,这是非常耗时的. 随着有关直接变换预测的论文越来越多，这一领域的研究前景不容乐观.

• Reinforcement learning in medical image registration

  • 结合强化学习与卷积神经网络, 将配准任务分解为一系列的分类问题. 这种策略就是找到一些列的action,如旋转,平移, 从而迭代地进行图像配准.

  • 但是这些搜索空间, 比如旋转,平移,缩放, 只能用于刚性配准, 因为刚性配准可以由这些参数空间表示. 而非刚性的配准更高维,且非线性, 这样会导致搜索空间非常大. 因此就要降维, 使用低维的参数空间去建立统计形变模型( statistical deformation model, SDM). PCA就是在B样条形变向量场( B-spline deformation

  • vector field, DVF)构建SDM.  以位移主元的模态作为未知向量，进行优化。

• 这类方法的局限在于, 变换模型限于低维度空间, 这导致大多数这类方法使用刚性变换模型. 尽管可以预测SDM模型的低维参数空间, 使之适用于非刚性配准, 但是精确度和灵活性受限. 这类基于RL方法似乎也不再受欢迎.  越来越多的直接变换预测方法被提出, 因此将配准任务分解为一系列的分类问题正在逐渐消失.

• 监督学习的变换预测

这种直接预测变换的方法有几个挑战:1)输出参数空间维度很高;2) 缺乏带有ground-truth变换的数据集;3) 预测变换的正则. 关于这三的挑战,分别有以下解决方案:1) groound-truth变换生成;2)图像重采样;3)变换正则.

监督学习是指使用ground truth变换对网络进行训练，标签变换是*变形的稠密DVF和刚性变换的参数为6的参数向量

• 通过随机旋转或平移图像, CNN预测旋转或平移参数, 但是这种参数的方法表示的变换只能适用于刚性配准. artificial affine transformations也被用于合成训练集.这些方法在真实的数据上却不work.

  使用传统方法去配准,将其变换当作ground-truth用于训练神经网络,其基本思想就是随机生成的变换与真实的变换差异太大.

  使用来自少部分数据已知的变换, 生成大量各样的图像对,学习高表示能力的统计外观模型 statistical appearance models (SAM).

  • groound-truth变换生成

    • Random transformation generation

    • traditional registration-generated transformation

    • model-based transformations

  • 监督学习方法

  训练时, 损失计算采用相应的解剖结构标记，而不是稠密的体素级空间对应

  使用两种类型的损失训练.

  监督学习的方法最主要的限制还是在用于训练的变换的生成.因为变换合成的变换可能不能反映真实的生理结构, 或不能抓住真实配准场景中大量的变化情况,或者训练阶段的图像-变换对与真实的图像不同. 尝试不同的变换生成模型,域适应以及多种损失和DVF正则是上述限制的解决方案.

  • • Weak supervision

    • Dual supervision

  • 无监督学习的变换预测

无监督学习指的是在没有Ground-truth的情况下进行图像配准, 难点在于设计一个合适的损失函数.

• • • 卷积自编码将图像编码为向量, 称之为特征向量, 将其用于相似度测量. STN可以直接插入到卷积网络中, 从而与相似度测量标准一起进行无监督学习.

    • DSC loss可以与相似度损失以及变换平滑损失一起构成目标函数.

    • 配准考虑辅助分割损失, 甚至两个任务是相互补充,可以提高对方的性能.

    • 逆一致性正则项惩罚变换和逆变换的不同. 损失函数由以下损失项组成:  similarity loss, a transformation smoothness loss, an inverse consistent loss and an anti-folding loss

    • cycle consistent loss, identity loss(当浮动图像与固定图像一样, 损失为0)

    • 使用辨别器提供对抗损失,惩罚不真实的变形图像

    无监督学习克服了缺乏标注数据的困难. 由于缺乏ground-truth作为监督, 各种损失函数被提出来. 这些无监督的配准方法有些能超越无监督性能. 但是这些方法都是集中在单模态配准.

训练一个神经网络,当作损失.判别器去辨别一个变换是生成的还是ground-truth, 一张图像是真实的还是由预测的变换形变得到的,对齐是正效果还是负效果.以上是从图像或者变换的外观层面引进损失, 也有人尝试引入生物力学约束, 辨别一个变换是通过有限元分析预测的还是生成的.

多模态配准没有像单模态那样受益于深度学习, 这主要是由于各个模态之间的外观差别太大了. 因此, GAN用于将不同模态的图像映射到单模态.

GAN在医学图像配准是一个有前景的方向, 如新颖的对抗损失, 图像域翻译.

Some auxiliary loss terms include the DSC loss of the anatomical labels or TRE loss of pre-selected landmark pairs

• GAN在医学图像配准中的应用

  • 为预测的变换提供正则

  • 进行交叉域的图像映射

• 一些损失函数

  • intensity-based image appearance loss:  SSD, MSE, MAE, MI, MIND, SSIM, CC and its variants.

  • deep similarity-based image appearance loss:  calculates the correlation between the learnt feature-based image descriptors

  • transformation smoothness constraint:  usually involve the calculation of the first and second orders of spatial derivatives of predicted transformation

  • transformation physical fidelity loss :  includes inverse consistency loss, negative Jacobian determinant loss, identity loss, antifolding loss and so on

  • transformation error loss with respect to ground truth transformation:  the error between predicted and ground truth transformations

  • adversarial loss:  the trainable network-based loss