论文阅读笔记：LADDERNET: MULTI-PATH NETWORKS BASED ON U-NET FOR MEDICAL IMAGE SEGMENTATION
LadderNet
摘要
U-Net已经在许多医学图像分割问题上提供了最先进的性能。对U-Net提出了许多修改，如attention U-Net、residual convolutional U-Net (R2-UNet)和带有剩余块或密集连接块的U-Net。然而，所有这些修改都具有带有跳过连接的编码器和解码器结构，并且信息流的路径数量有限。在本文中，我们提出一个*网，它可以被看作是一个多u形网的链。在U-Net中，一个梯形网不仅有一对编码器分支和解码器分支，而且有多对编码器-解码器分支，并且在每一层的每一对相邻的解码器分支和解码器分支之间都有跳过连接。受到ResNet和R2-UNet成功的启发，我们使用了修改后的残差块，其中一个块中的两个卷积层共享相同的权重。由于跳跃连接和残差块的存在，梯形网有更多的信息流路径，可以看作是全卷积网络(FCN)的集合。FCNs集合的等价性提高了分割精度，而每个残差块中的共享权值减少了参数数量。语义分割是视网膜疾病检测的关键。我们在视网膜图像血管分割的两个基准数据集上测试了LadderNet，取得了优于文献方法的效果。
1.介绍
深度学习在图像分类、语义分割、目标识别、运动跟踪和图像字幕[1]等许多计算机视觉任务中取得了最先进的性能。自AlexNet[2]成功完成对ImageNet数据集[3]的分类任务以来，卷积神经网络得到了广泛的应用，其原因主要有以下几个方面:一是当前存在大量的数据集和强大的计算资源;其次，图像上的卷积操作具有平移不变性，能够实现特征提取的权值共享;三是**函数的成功，如整流线性单元(ReLU);四是随机梯度下降(SGD)、亚当优化(Adam optimizer)等高效优化算法。
深度卷积神经网络(CNN)在医学图像分析中的许多语义分割任务中都具有近似于放射科医生的性能。全卷积神经网络(FCN)[4]在Pascal VOC数据集上实现了语义分割，而U-Net[5]在电子显微镜栈神经元结构的分割上达到了最高精度。CNN的其他变体在基准语义分割任务上取得了最新的表现，比如PSPNet[6]和DeepLab[7]。在所有这些变体中，U-Net是医学图像分析中使用最广泛的结构，这主要是因为带有跳跃连接的编解码器结构允许有效的信息流，并且在没有足够大的数据集时表现良好。
V-Net的许多变体已经被提出:Alom等人提出在U-Net[8]中使用循环卷积;Ozan等人提出使用U-Net中的注意力模块来确定看哪里;Simon等人提出了Tiramisu[9]，将U-Net中的卷积层替换为稠密块。然而，所有这些变体仍然属于encoderdecoder结构，其中信息流的路径数量是有限的。提出了一种针对多路径信息流的卷积语义分割网络LadderNet。我们证明了LadderNet可以看作是一个FCNs的集合，并验证了它在视网膜图像血管分割任务中的优越性能。
2.方法
2.1LadderNet
U-Net及其在文献中的变体都具有编码器结构然而，U-Net中信息流的路径数目是有限的。我们提出了一种多分支卷积神经网络LadderNet，用于语义分割，如图1所示，它具有更多的信息流路径不同空间尺度的要素用字母A到E命名，而列用数字1到4命名我们将列1和列3命名为编码器分支，将列2和列4命名为解码器分支我们使用步幅为2的卷积从小的感受野特征到大的感受野特征（例如，a到B），使用步幅为2的转置卷积从大的感受野特征到大的感受野特征（例如，B到a）通道数量从一个级别增加到下一个级别（例如，A到B）。
2.2LadderNet和Unet之间的联系
*网可以看作是u型网的链条。第1列和第2列可以视为U-Net，第3列和第4列可以视为另一个U-Net。在两个u - net之间，在A-D层有跳跃连接。与U-Net不同，在U-Net中，编码器分支的特征与解码器分支的特征连接在一起，我们对两个分支的特征求和。我们在这里演示了一个由两个u型网组成的梯形网，但是附加了更多的u型网来形成复杂的网络结构。
LadderNet也可以看作是多个FCNs的集合。Veit等人提出ResNet的行为类似于浅层网络[10]的集合，因为剩余连接提供了多条信息流路径。类似地，LadderNet提供了多个信息流路径，我们在这里列举了几个路径作为例子:(1)A1 —A2 —A3 —A4 (2) A1 —A2 —A3 —B3 —B4 —A4 (3) A1 —B1 —B2 —B3 —B4 —A4 (4) A1 —B1 —C1 —D1 —E1 —D2 —C2 —B2 —A2 —A3 —A4。每个路径都可以看作是FCN的变体。总的路径数随着编码器和解码器对的数量和空间层的数量呈指数增长(如图1中的A到E)，因此LadderNet有潜力捕获更复杂的特征并产生更高的精度。
2.3共享权重的残差块
更多的编解码器分支将增加参数的数量和训练的难度。为了解决这个问题，我们提出了共享权残差块，如图1所示。与He[11]提出的标准残差卷积块不同，同一块中的两个卷积层具有相同的权值。与递归卷积神经网络(RCNN)[12]类似，同一块中的两个卷积层可以看作一个递归层，只是两个批处理的归一化层不同。在两个卷积层之间添加一个drop-out层，以避免过度拟合。共享权剩余块结合了跳跃连接、递归卷积和drop-out正则化的优点，其参数比标准剩余块少得多。
3.实验
3.2神经网络的训练
我们选择了一个有5个level(a - e)和一个0.25的dropout的梯LadderNet，并设置了第一个level的通道数(A级)为10级，形成1.5M参数的梯形网。我们使用交叉熵损失的语义分割，并应用Adam优化与默认参数，批量大小为1024。我们采用“降低的学习速率”策略，分别将epochs 0、20和150上的学习速率设置为0.01、0.001、0.0001，将总的学习速率设置为250。