Weakly-supervised convolutional neural networks for multimodal image registration
一.简介
这是一篇关于多模态图像配准的文章（前列腺MR核超声图像），作者在这里没有使用基于灰度的图像相似度测量方法，而是用原图image-pair作为网络输入训练得到DDF，然后用label-pairs去计算相似度并进行优化。方法的应用场景是术中使用。
在前言部分作者阐明了基于灰度的图像相似度测量函数的几个缺点：
-
不同的成像方式会导致相同的解剖结构不同的统计关系
-
术中成像的空间和时间变化是有个体不同而定，很难用简单的统计学或者信息论方法描述
-
手术中的时间要求限制使用更高质量的成像（需要大量图像和处理时间），也就限制了计算消耗大的灰度方法。
网络结构：
二.方法
-
2.1 a weakly-supervised image registration framework
数据集：N pairs of moving-fixed images and their labels pairs.
通过最大化下面的通用函数，该通用函数表示在N training image pairs上的excepted label similarity(标注相似度)
这个公式的符号意义如下：- A 表示浮动图像，B表示移动图像
- N ：训练图像对数（pairs of moving-fixed images）
- Mn：一对image pair 的label pair 中有多少个标注结构
- n 是image pairs的索引，m 是第n 个image pair 上的解剖结构标 注个数索引。
- y 表示浮动图像的label pair 经过DDF变形之后得到的label pair.
公式的代数意义如下：
先将一个图像对上的所有label 结构的相似度相加，然后再取平均；
再将N对图像对的平均label 相似度累加，然后再去平均；
得到最后的整体图像对相似度；
比如一个图像上标注了 水肿 和 钙化沉积 两种，先在label-level上分别对水肿 和 钙化沉积 求相似度，然后相加取平均，得到image-level similarity。对N对图像均如此操作之后，可以得到N个平均相似度，再相加取平均；在训练时，网络最小化负的通用函数，附加正则项，用于惩罚不平滑的位移：
在训练的时候作者使用了mini-batch SGD,所以这里也说一下它的原理：
Batch Gradient Decent更新一次权重需要选择所有的样本。
Stochastic Gradient Decent每次选取一个样本更新参数
K-mini-batch Gradient Decent 每次选择K个样本进行更新，是上述两者的一个trade-off.
更详细的可以看下面的帖子：
梯度下降之随机梯度下降 -minibatch下期问题：网络是如何训练出DDF的？Label相似度Loss是如何反向传播的？
-
2.1 Multiscale dice for measuring label similarity
-
2.3 Network architecture