Deformable MRI-Ultrasound Registration Using 3D Convolutional Neural Network

一、Motivation

1. 不同模态的图像之间强度分布存在差异，因此现存的配准算法不具备很强的鲁棒性。
2. 无监督且端到端
3. 包含三个部分：特征提取、变形场生成器、空间变换采样。
4. 该方法同时考虑了图像强度和梯度，避免了基于强度的相似性度量的缺点。

二、Method

上图是整个算法的框架，

1. 两个全卷机网络作为特征提取器。分别输入MRI and IUS图像。然后两个特征提取器的输出concatenated输入到变形场生成器中。
2. 变形场生成器用于生成变形场
3. 空间变换利用变形场对MRI图像进行采样声场warped MRI image。
4. warped MRI image 进行二次线性插值用于得到与与图像相同大小。
5. 然后最后的损失函数就是“相似性度量“。

上图是特征提取网络的结构，类似于U-NEt那种结构。

Similarity Metric

通过同时考虑图像强度和梯度来评估配准质量，许多传统的基于强度的方法都不适合这种模式间配准任务，因为MRI和iUS图像在强度值上有很大的不同。损失函数如下图所示：

IF代表上iUS图像，而i代表每一个voxel，pi为warped MRI中i个的值，gi为该voxel的梯度。alpha beta都为超参数。这么定义的原因是：超声强度值可以描述内部流体和组织的不同性质，也可以表示组织界面或梯度。

三、Experiment

数据集：RESECT  https://archive.norstore.no/  点击select 里面搜索：RESECT

实验就放了一张图

唯一吸引人的就是损失函数。