【论文笔记】Nonrigid Image Registration Using Multi-scale 3D Convolutional Neural Networks
本文是关于论文 Nonrigid Image Registration Using Multi-scale 3D Convolutional Neural Networks 的笔记。
个人觉得本文主要有两个创新点,一个是 ground-truth 的获取方式,是通过对 moving image 变形来得到 fixed image 的;另一个是网络的结构采用了多尺度的输入,并且没有把两个不同大小的图像块拼接成一个双通道的输入(当然图像块大小不同也合并不了),而是分别对其做处理然后再合并。
在之前的方法中,如果某些数据和模型不匹配则会在配准时不会有很好的效果,这时通常会采取修改差异性度量的方式来解决。在这篇论文中不采用手工修改模型的方式,而是用机器学习的方式来自动决定。也就是不显式的定义差异性度量标准。
本文提出的模型叫做 RegNet(不得不说这名字真不咋地,毫无特点),它的输入是多尺度的图像块对,网络的输出是一句具有3个元素的向量,它表示图像块的中心像素的位移。文章声称这时第一个用端到端的 CNN 来解决 3D 非刚性图像配准的模型。
记号:fixed image 记为 ,moving image 记为 ,像素 从 fixed image 到 moving image 的位移记为 ,像素的变换记为
模型的结构如上图所示,每个图像块后面跟着3个卷积层,然后对于相同大小的来自 fixed image 和 moving image 的图像块进行拼接(第一个深绿色部分),然后分别经过2个卷积、一个最大池化和6个卷积操作,然后这两条不同的处理路径得到的结果也会进行拼接(第二个深绿色的部分),然后后面通过4个卷积操作和2个全连接操作最终得到输出——位移向量场 DVF。其中每个卷积层后面都跟着一个 ReLU **函数和 batch normalization 操作。
输入时的多尺度是指,一方面取原图的一个 的图像块作为输入,另一方面先取原图的一个 的图像块,再对其下采样为 大小的图像块作为输入。这样分别对 fixed image 和 moving image 进行以上两种采样,然后就得到了4种不同大小(尺度)的输入,所以称之为多尺度输入。
优化器使用的是 Adam 优化器,并且采用衰减的学习率,学习率初始值为0.001,衰减因子为每个 epoch1.25。损失函数采用的是平均剩余距离(the mean residual distance),其公式为 。其中 是模型预测的 DVF,而 是通过以下方式人工合成的。
通过不同的空间频率和幅度来人工合成 DVF,主要分为以下三个步骤:
- 创建一个和输入图像相同大小的向量场(它作为 moving image),并初始化为0
- 随机选取 DVF 中的 P 个带你,并随机给位移向量附取值范围为 的3个值
- 用标准差为 的高斯核对 DVF 进行平滑处理。
使用三组不同的设置 ,, 来分别生成低中高频的变形 DVF,然后对输入图像应用该 DVF 并采用三次 B 样条插值得到 fixed image。为了得到更真实的图像,最后还在图像中加入标准差为5的高斯噪声。
后面还有一段没读懂,直接把翻译结果放在这:对于单个运动图像,可以产生大量的变形,但是这种方法的缺点是运动图像在每对输入图像中是相同的,因为只有固定图像是随机生成的。因此,我们还生成运动图像的变形版本,并基于此创建新的变形图像。新的运动图像仅使用低频变形生成,以避免过度拉伸(导致外观模糊)。在这一步中,我们使用设置 和标准偏差为3的高斯噪声。
从不同模型的结果对比图来看,RegNet 的结果还是不错的,但是比 B-spline 3R 还是差一点。