论文阅读之R2U-Net:Recurrent Residual Convolutional Neural
Network based on U-Net (R2U-Net) for Medical Image Segmentation
R2U-Net

Abstract

深度学习近年来在图像识别、分割及物体检测等领域取得了优异的成果。UNet就是其中一种广受好评的框架。本文则提出了基于UNet架构的循环卷积神经网络-RU-Net和R2Unet，将UNet、残差网络和RCNN的优势结合到了一起。第一：使用残差模块有属于深层网络的训练；其次：在循环残差层将特征相加有助于分割特征的提取；第三，通过改进UNet的结构使得不增加参数的情况下提升了网络的分割性能。最终本文的框架在3类基准数据集上进行了测试，分别是视网膜血管分割、皮肤癌分割以及肺部病变分割，均取得了较为先进的结果。

Section I Introduction

About Medical Image Analysis
如今深度学习在图像识别、分割、检测、跟踪及物体捕获领域都大放异彩。一些经典网络的提出，如AlexNet,VGG,GoogleNet,ResidualNet,DenseNet以及胶囊网络等都取得了一定的成果一些变体也应用于医学图像分割、分类、处理等任务中用于处理CT,X光，MRI等医学图像。但由于人工标注费事费力，因此提出无需人工干预的算法就显得尤为重要。
但在医学图像分析领域主要有两点限制： 医疗数据的稀缺以及样本的不均衡性。由于种种现实因素，如通过专家进行大型医学图像数据集的标注成本高昂且费事费，因此数据扩充常用来辅助医学图像分析；除此之外还经常采用切片的方法来解决样本不均衡的问题。本文首先分析了基于切片的分割方法以及基于整图的分割方法，因为从切片方法转换到整图的分析就涉及到样本不均衡的问题。
在语义分割领域通常将背景分为一类，将前景物体分为目标类别做一个像素级别的二分类问题，通过交叉熵损失和dice系数的计算可有效解决这一二分类问题。
另一方变在医学图像处理领域经常使用全局定位和上下文调制将每一个像素根据其范围分配某一类别标签，为了正确轮廓的分割必须关注像素点及其临近的像素。在DL繁荣以前就已拥有很多预处理方法了，而且适用于各类医学图像，如CT,MRI，X光等。
about CNN
从网络结构分析，对于分类任务网咯会通过编码模块提取特征并最终将各类概率作为输出，通常编码模块由卷积操作+**函数+下采样层组成，用于降低特征维度。当输入流经网络，特征图谱的数量会逐级增多但特征维度却会逐级下降。Fig2中的绿色模块代表了编码部分，最后在经过softmax函数输出每一种类的概率值。
但对于分割网络，既需要编码模块也需要解码模块，编码模块的作用如前所述，解码模块则是通过上采样获得与输入图像维度一致的分割图谱。正因如此，分割网络的参数量一般是分类网络的两倍，那么设计出高性能但参数量少的分割网络十分有意义。
About this paper
本文对分割模型做了两部分的改进，一是使用了循环卷积神经网络，而是引入了循环残差神经网络。并在不同的医学图像分割任务中进行了测试，本文的工作总结如下：
（1）提出了两种分割模型：RU-Net和R2U-Net
（2）在3类分割任务中进行了测试，分别是视网膜血管分割、皮肤癌分割以及肺部分割
（3）其中血管分割以patch方式进行，皮肤癌及肺部分割以全图方式进行
（4）与其他模型进行比对，在参量相当的情况下取得了更高的分割结果

Section II Related Works

深层模型训练过程中存在梯度消失问题，因此Keming He等人提出的残差模型通过identity mapping的模式有效克服了梯度消失的问题；在分割领域中FCN类网络取得了优异的分割性能，而结合医学图像分割的特点也提出了基于UNet的一系列网络。UNet结构就如Fig2所示，主要包含encoding units和decoding path。（个人习惯叫contracting path&expanding path).encoding部分以conv+relu+pooling的卷积模块进行；decoding部分以upsampling+de-conv的模块进行。UNet适于医学图像分割的优势在于：（1）允许同时利用全局定位好人上下文信息（2）较少的学习样本也可以得到较好的分割结果（3）每一级流水线架构允许保留全图信息（skip connection的原因吗？？)
而且也产生了一些列UNet的变体。
如（1）对于产生的分割图谱以及特征图谱通过element_wise summation的方式进行了融合，skip-connection跃层连接在UNet和Residual network中也被证实了其有效性；
（2）2016年提出的DCAN利用了多级特征完成了精密腺体的分割
其他的一些改进还有：3D-UNet，V-Net等

Section III RU-Net & R2U-Net

RU-Net & R2U-Net将近期提出的三种模型的优势融合在了一起，Fig3显示了RU-Net的结构，其中循环卷积层（RCL）通常对应于不同时间步（time-step)的输入；而Fig4则显示了R2U-Net是在recurrent的基础上进一步加入了residual操作，因此每一级的输出可以表述为：


本文测试了4种网络结构：
原始的UNet模型，连接如Fig4(a)
Res-UNet采用残差连接的UNet，连接如图Fig4©
RU-Net采用recurrent循环卷积的UNet，连接如图Fig4(b)
R2U-Net，residual+recurrent的UNet，连接如图Fig4(d)
对于recurrent的实现如Fig5所示，采取两个时间步（timestep=0-2)循环两次，并且在RU-Net和R2U-Net中均使用concatenation级联的方式完成encoder->decoder的连接。
本文提出的框架与UNet步不同之处在于：
（1）在编解码过程中用的是recurrent residual block而不是传统的conv+relu层，这样可以有效增加网络深度；
（2）采用不同时间步的feature summation的方式得到更具有表达性的特征这样也有助于提取较低层次的特征；
（3）在进行skip connections时没有采取原始UNet中裁剪的方式而是只用了concatenation的操作，这样可以提升网络复杂度和精度。
因此和UNet相比，本文框架有以下优势：
（1）与UNet的参量相同但分割性能更好
（2）提出的residual和recurrent方法也具有一定的通用性可以移植到其他网络如SegNet，3D-UNet，V-Net等。

Section IV Experiment Set up and Results

Part A Datasets
视网膜血管分割：DRIVE,STARE.CHASE_DB1
皮肤癌分割：使用Kaggle2017 skin lesion分割竞赛数据集，包含2000个700900大小的样本，其中training:val:test=1250:150:600.训练时resize到256256进行
肺部分割：使用的LUNA17提供的534张512512大小的2D肺部CT图像，train:test=70%:30%,训练时依旧resize到256256
评价指标
Accuracy,Sensitivity,Specificity,F1-score,Dice系数，Jaccard相似度以及AUC，ROC。
Results on DRIVE
(由于最近调研的是做retina vessel segmentation，因此只看了视网膜血管的分割效果）
结果分析：
视网膜血管分析
DRIVE：Fig8可视化了使用R2U-Net的分割结果示例以及train和validation的accuracy-epoch图，均显示了比UNet具有更好的分割性能。
测试时间：在DRIVE数据集上平均6.42s/sample

Section V 结论+未来展望

本文向UNet结构中引入了Recurrent CNN和Residual CNN的思想，提出了RU-Net和R2U-Net，并在不同的分割任务上进行了测试，均显示了两种架构在不增加模型参量前提下的有效性。未来我们还将在此架构上加入特征融合策略进行探究。