论文笔记：A deep learning model integrating FCNNs and CRFs for brain tumor segmentation

大致框架：

基本流程：

1. 预处理：通过N4ITK以及基于图像模式的方法实现图像强度归一化。
2. 利用全卷积神经网络（FCNNs）对图像以像素单位分配不同标签。
3. 利用条件随机场所构建的递归神经网络（CRF-RNN）对FCNNs输出结果进行优化。
4. 利用多数投票策略（Majority voting strategy）对不同标签标记结果进行分割，实现病变脑组织与正常脑组织的划分。
5. 后续处理：去噪、去除异常区域、填补孔洞、修正潜在标记错误等。

预处理

1. N4ITK：矫正MRI数据偏移场
   
   
   • 第一行为处理之前数据，第二行为预处理后输出结果，可以明显看到图像可比性增强。
2. 基于图像模式的方法：1）减去图像模式，以标准化图像强度，并将标准偏差归一化为1；2）利用鲁棒强度偏差代替标准偏差，以弱化数据噪声敏感度。
   
   
   • 图像强度直方图。左图为处理前数据，右图为处理后结果。

FCNNs

输入：两组不同大小的图像块。
* 优势：同时保存了局部图像信息以及图像上下文信息。
输出：以像素为单位的图像块标记结果。
训练过程：两组不同大小的图像块进入不同网络分支，同时进行训练。每层步长设置为1，以便后续处理每一个slice。最大池化层用于获取图像信息。

CRF-RNN

输入：FCNNs的输出结果（每一个像素都被标记/初步分割的图像块）、图像信息。
输出：在表观与空间一致性两个方面都被优化的图像分割结果。

这里使用了两个方法来将图像分割问题转化为优化问题：
1. 最小化能量函数：

该方法以2D图像作为输入，通过全连接条件随机场（Fully connected CRFs）对各像素所分配得到标签的概率进行了预测。主要参数包括分配给图像的标签、分配给像素的标签、单个标签分配的代价以及多个标签联合分配的代价，输出为标签分配的概率。

2. 均值场递归：
原文为该方法目的是为了计算标签分配的概率，但是我不太明白，为什么方法1已经预测了这里还要计算，暂时先这样。

均值场以递归神经网络方式实现，主要参数为门函数（Gating functions）、递归参数以及FCNNs的输出结果。基本实现步骤如下：
1. 构建粗糙分割结果以实现初始化。
2. 传递相邻标签之间相互影响关系信息。
3. 权重过滤输出。
4. 兼容性转换，以平衡方法各系数。
5. 局部更新，包括添加Unary Potentials，归一化，获取密集标签图（Dense label map）—— 即新一轮迭代的输入。
6. 再次运行步骤1，开始新一轮递归或是输出当前结果。

FCNNs与CRF-RNN整合

基本步骤：
1. 使用图像块训练FCNNs。
2. 使用图像切片训练CRF-RNN。
* 此时保持已训练的FCNN参数固定。
3. 使用图像切片对整个网络进行微调。

---

融合细分结果通过多数投票策略实现，后续处理如上，这里不再赘述。