H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation From CT Volumes
分类:
文章
•
2024-09-01 22:50:34
- Abstract
肝癌是导致癌症死亡的主要原因之一。为了辅助医生进行肝细胞癌的诊断和治疗规划，在临床实践中迫切需要一种准确、自动化的肝肿瘤分割方法。近年来，全卷积神经网络(FCNs)，包括二维和三维的FCNs，成为许多体积图像分割的主干。**然而，二维卷积不能充分利用三维空间信息，而三维卷积计算成本高，GPU内存消耗大。**为了解决这些问题，我们提出了一种新的混合密集连接的UNet (H-DenseUNet)，它由二维DenseUNet和三维DenseUNet组成，在肝脏和肿瘤分割的自动上下文算法的精神下，它可以有效地提取切片内的特征，而三维DenseUNet则可以分层聚合体上下文。**我们以端到端方式描述了H-DenseUNet的学习过程，通过混合的特征融合层，可以共同优化片内表示和片间特征。**我们在MICCAI 2017肝脏肿瘤分割挑战书的数据集和3DIRCADb数据集上对我们的方法进行了广泛的评估。我们的方法在肿瘤的分割结果上优于其他的技术水平，即使使用单一的模型，在肝脏分割方面也取得了非常有竞争力的表现。索引词CT，肝肿瘤分割，深度学习，混合特征。
- INTRODUCTION
肝癌是世界上最常见的癌症之一，每年导致大量的[1]、[2]死亡。CT的准确测量，包括肿瘤体积、形状、位置和进一步的肝功能体积，可以帮助医生做出准确的肝癌评估和治疗计划。传统上，肝脏和肝脏病变是由放射科医生在切片的基础上描绘的，这是费时的，容易在内部和内部的评分变化。因此，在临床实践中对肝脏和肝脏肿瘤的自动分割方法提出了很高的要求。
肝脏自动分割的对比增强CT卷是一个非常具有挑战性的任务由于低强度对比肝脏和其他邻近器官(参见图1中的第一行)。此外,放射科医生通常由注射增强CT扫描协议清楚地观察肿瘤,这可能会增加肝脏内的噪声图像区域[3]。与肝分割相比，肝肿瘤的分割被认为是一项更具挑战性的工作。首先，肝脏肿瘤的大小、形状、位置和数量各不相同，阻碍了自动分割，如图1所示。其次,一些病变没有清晰的界限,限制仅仅基于边缘的分割方法的性能(见图1的病变在第三行)。第三,许多CT扫描由各向异性维度高沿着z轴方向变化(立体像素间距范围从0.45毫米到6.0毫米),进一步为自动分割方法提出了挑战。
为了解决这些困难，人们提出了许多分割方法，包括强度阈值、区域增长和可变形模型。然而，这些方法依赖于手工制作的特性，并且具有有限的特性表示能力。近年来，全卷积神经网络(FCNs)在一系列广泛的识别问题上取得了巨大的成功。许多研究人员利用深度学习的方法在肝脏和肿瘤的分割问题上提出了这一思路，文献大致可分为两大类。(1)二维FCNs，如UNet架构[15]，多通道FCN[16]，基于VGG-16[17]的FCN。(2)三维FCNs，将二维卷积替换为三维卷积，用体积数据输入[18]，[19]
在临床诊断中，经验丰富的放射科医师通常根据z轴上许多相邻的切片来观察和分割肿瘤。然而，基于二维FCN的方法忽略了z轴上的上下文，这将导致有限的分割精度。具体来说，将从体积图像中裁剪出来的单个或三个相邻的切片输入到二维FCNs[16]、[17]中，通过简单地叠加二维分割图生成三维分割体。虽然使用了相邻的切片，但对三维空间信息的探测仍然不够，这可能会降低分割性能。为了解决这一问题，一些研究人员提出使用三平面方案或RNN来探测三维上下文[4]、[20]、[21]。例如，Prasoon等人[4]在正交平面(如xy、yz和xz平面)上应用了三个二维FCNs，并将这些概率的平均值生成体素预测结果。与二维FCNs相比，三维FCNs计算量大，GPU内存消耗大。高内存消耗限制了网络的深度和滤波器的视场，这是性能提高[22]的两个关键因素。三维卷积的高计算量也阻碍了在大规模数据集训练中的应用。此外，许多研究人员已经证明了知识转移(从一个源领域学到的知识有效地转移到另一个领域)对于提高性能[23]、[24]的有效性。遗憾的是，目前仅有的三维预训练模型不足，制约了性能的提高，也制约了三维FCNs的应用。
为了解决上述问题，我们提出了一种新的端到端系统，称为混合密集连接的UNet (H-DenseUNet)，该系统可以有效地探索切片内特征和三维上下文，并联合优化，实现肝脏和病变的精确分割。我们的H-DenseUNet有以下两项技术成就
- A. Deep and Efficient Network
首先，为了充分提取高水平的片内特征，我们基于二维卷积的预定义设计原则，设计了一个非常深入、高效的网络，称为2D DenseUNet，将紧密连接的路径[25]和UNet连接[5]的优点融合在一起。密集连通路径是由密集连通网络(DenseNet)衍生而来的，其中改进的信息流和参数效率降低了训练深度网络的难度。与DenseNet[25]不同，我们添加了UNet连接，即，在我们的体系结构中，编码部分和解码部分之间的远程跳过连接;因此，该网络可以实现低层次的空间特征保存，从而更好地进行片内上下文搜索。
- B. Hybrid Feature Exploration
其次，为了研究体特征表示，我们设计了一个端到端训练系统H-DenseUNet，该系统通过混合特征融合(HFF)层有效地提取层内和层间特征，并进行联合优化。具体来说，3D DenseUNet是通过自动上下文[26]机制与2D DenseUNet集成的，这是堆叠共性[27]的一般形式。在二维DenseUNet语义概率的指导下，可以很好地减轻三维DenseUNet的优化负担，提高了三维上下文提取的训练效率。此外，在端到端系统中，由体积特征和高水平代表性的切片内特征组成的混合特征可以自动融合，共同优化，实现更好的肝脏和肿瘤识别。综上所述，本工作取得了以下成果:
我们设计了一个DenseUNet来有效地探测肝脏和肿瘤分割的分层片内特征，在预先定义的设计原则的基础上，将紧密连接的路径和UNet连接小心地整合在一起，提高肝脏肿瘤分割的性能。
我们提出一个H-DenseUNet框架来探索肝脏和肿瘤的混合(层内和层间)特征。该混合特征学习体系结构较好地解决了二维网络忽略体积上下文和三维网络计算量大的问题，为有效利用三维上下文提供了一种新的范例。
我们的方法在病灶分割上排名第一，在2017年LiTS排行榜上肝脏分割取得了非常有竞争力的成绩，在3DIRCADb数据集上也取得了最先进的结果。
- II. RELATED WORK
A. Hand-Crafted Feature Based Methods
在过去的几十年里，人们提出了许多分割肝脏和肝脏肿瘤的算法，包括阈值化[28]、[29]、区域生长、基于可变形模型的[30]、[31]和基于机器学习的[32]-[36]方法。基于阈值的方法根据亮度值是否高于阈值对前景和背景进行分类。区域生长算法的变化在肝脏和病变的分割任务中也很受欢迎。例如，Wong等人采用基于知识约束的二维区域生长方法对[30]肿瘤进行分段。水平集方法也因其涉及曲线和曲面[37]的数值计算的优点而受到研究者的关注。例如jimenez - carbtero等人提出了一种结合自适应曲率技术的多分辨率三维水平集方法对肿瘤进行分类。基于机器学习的多种肝脏肿瘤分割方法也被提出。例如，Huang等人[32]提出使用基于随机特征子空间传感器的极限学习机(ELM)对肝脏病变进行分割。Vorontsov等人提出利用支持向量机(SVM)分类器对肿瘤进行分割，然后利用全向可变形曲面模型对结果进行细化。同样，Kuo等人[35]提出利用纹理特征向量学习SVM分类器进行肝脏肿瘤的分割。Le等人[34]采用快速行进算法生成初始区域，通过训练非迭代单隐层前馈网络(SLFN)对肿瘤进行分类。为了加快分割算法的速度，Chaieb等人采用bootstrap采样的方法对肝脏肿瘤进行高效分割
- B. Deep Learning Based Methods
卷积神经网络(CNNs)在计算机视觉领域的许多目标识别问题中取得了巨大的成功。许多研究者顺应这一趋势，提出利用各种CNNs学习特征表示在肝脏和病变分割中的应用。例如Ben-Cohen等人[17]提出在CT检查中使用FCN进行肝分割和肝转移检测。Christ等人[15]、[39]提出了一种级联的FCN结构和密集的三维条件随机场(CRFs)来自动分割肝脏和肝脏病变。同时，Sun等人[16]设计了一种多通道FCN从CT图像中分割肝脏肿瘤，通过不同通道的特征融合生成概率图。最近，在2017年ISBI LiTS挑战书中，Han[40]提出了一种2.5D的24层FCN模型来分割肝脏肿瘤，其中残块作为重复构建块，设计了跨编码部分和解码部分的UNet连接。2.5D是利用二维卷积神经网络，从体积图像中输入相邻的切片。Vorontsov等人的[41]和Chlebus等人的[42]都在ISBI挑战赛中获得了第二名。Vorontsov等人的[41]也采用了resnet样的残块和UNet连接，共21个卷积层，与Han[40]提出的方法相比，该方法较浅，参数较少。Chlebus等人[42]在两个单独的模型中设计了一个28层的UNet架构，然后用随机森林分类器过滤肿瘤分割结果的假阳性。所有的top结果都没有使用3D FCNs，而是使用了不同网络深度的2D FCNs，显示了2D FCNs对于底层体分割问题的有效性。但是这些网络都是浅层的，忽略了三维上下文，限制了高层次的特征提取能力，限制了识别性能。
- III. METHOD
图2显示了我们提出的肝脏和肿瘤分割方法的流程。我们采用了级联学习策略来减少总计算时间，这也被应用于许多识别任务[43][46]中。首先，训练一个简单的ResNet架构[40]来获得快速但粗略的肝脏分割。利用感兴趣区域(ROI)，我们提出的H-DenseUNet通过2D DenseUNet f2d和3D对应的f3d有效地探测切片内和切片间的特征，然后联合优化混合特征融合(HFF)层中的混合特征，实现肝脏和病变的精确分割。
- A. Deep 2D DenseUNet for Intra-Slice Feature Extraction
层内特征提取部分采用DenseNet-161[25]结构，由不同输出维度的重复密集连接的构建块组成。在每个紧密连接的构建块中，从任何层到所有后续层都有直接连接，如图2©所示。每一层生成k个feature map, k称为growth rate。层间紧密连接的一个优点是，它比传统网络的输出维数更少，避免了学习冗余特性。此外，密集连接的路径保证了层与层之间的最大信息流，改善了梯度流，从而减轻了在非常深的神经网络中寻找最优解的负担。然而，原始的DenseNet-161[25]是为对象分类任务而设计的，而我们的问题属于分割主题。此外，用于分割任务的深度FCN网络实际上包含多个max-pooling和upsampling操作，这可能导致底层(即底层)的信息丢失。，高分辨率)功能。基于以上两个考虑，我们开发了一个2D DenseUNet，它继承了密集连接路径和类unet连接[5]的优点。具体来说，在每个微块中采用层与层之间的紧密连接，以保证最大的信息流，而UNet远程连接连接编码部分和解码部分，以保存底层信息。设I Rn 224 224 12 1表示输入训练样本(对于224 224 12输入卷)，ground-truth标签为Y Rn 224 224 12 1，其中n表示输入训练样本的批次大小，最后一个维度表示通道。Yi, j,k = c，因为每个像素(i, j,k)都被标记为c类(背景，肝脏和肿瘤)。设函数F表示从体积数据到三个相邻切片的转换。具体来说，沿着z轴每三个相邻的切片堆叠在一起，组的数量可以转换为批处理维度。例如I2d = F(I)，其中I2d R12n 224 224 3表示2D DenseUNet的输入样本。详细的转换过程如图2(d)所示。由于进行了变换，可以对二维和三维的DenseUNet进行联合训练，具体细节将在b节中进行描述。2D DenseUNet进行肝脏和肿瘤的分割，
其中X2d为上采样层5的特征图(见表I)， y2d为输入I2d对应的像素级概率。2D DenseUNet的示意图和详细结构分别如图2©和表I所示。将二维DenseUNet的深度扩展到167层，即二维DenseUNet-167层，包括167个卷积层、池化层、密集块、过渡层和上采样层。致密块表示多个微块级联，其中各层直接连接，如图2©所示。为了改变feature remaps的大小，我们使用了transition layer，它包括一个batch归一化层和一个11个卷积层，然后是一个平均池化层。在转换层中包含一个压缩因子来压缩特征映射的数量，从而防止扩展特征映射(在我们的实验中设置为0.5)。上采样层由双线性插值实现，然后与低层特征(即， UNet连接)和一个33卷积层。在每个卷积层之前，采用批量归一化和校正线性单元(ReLU)。
- B. H-DenseUNet for Hybrid Feature Exploration
深度卷积的二维DenseUNet可以产生高层次的具有代表性的平面特征，但忽略了z维空间信息，而三维DenseUNet GPU计算量大，限制了内核的视场和网络深度。为了解决这些问题，我们提出H-DenseUNet联合融合和优化学习到的片内和片间特征，以更好地分割肝脏肿瘤。为了融合来自2D和3D网络的混合特性，应该对齐特性卷大小。因此，将二维DenseUNet的feature map和score map转换为体积形状如下:
然后3 d DenseUNet蒸馏与3 d环境的视觉功能连接上下文信息的原始卷我y2ˆd从2 d网络。具体地说，三维对应物中的检测器不仅根据原始图像探测到的特征进行训练，而且根据二维DenseUNet中大量上下文像素的概率进行训练。在支持上下文像素的指导下，也大大减轻了在三维对等体中寻找最优解的负担，显著提高了三维网络的学习效率。三维DenseUNet的学习过程可以描述为:
其中X3d为3D DenseUNet-65中“上采样层5”的特征量。Z为混合特征，分别为二维网络和三维网络的片内特征和片间特征之和。然后在HFF层联合学习和优化混合特征，
其中H为优化后的混合特征，y H为HFF层fHFFcls生成的像素级预测概率(·)。在我们的实验中，H-DenseUNet的3D对等体仅需9小时进行收敛，明显快于仅用原始数据训练3D对等体(63小时)。3D对应物的详细结构如表I所示，称为3D DenseUNet-65，它由65个卷积层组成，增长率为32。与二维DenseUNet相比，由于三维卷积的高内存消耗和GPU内存有限，每个密集块中的微块数量有所减少。网络设置的其余部分与2D对应项相同。
- B. Loss Function, Training and Inference Schemes
**在本节中，我们将详细介绍损失函数、训练和推理方案。
- 损失函数:为训练网络，我们采用加权交叉熵函数作为损失函数，描述为:**
yˆc代表体元的概率我属于丙类(背景，肝脏或病变)，wc i表示体重，yc i表示体素i的ground truth label。
2)训练方案:我们先用与Han[40]相同的方法训练ResNet，得到粗肝分割结果。
2D DenseUNet f2d中编码器部分的参数使用DenseNet的权值初始化(对象分类训练)
译码器部分采用随机初始化训练。由于在解码器部分使用随机分布初始化权重，因此我们首先在没有UNet连接的情况下预热网络。经过多次迭代之后，UNet连接被添加到模型中，以共同对模型进行微调。
有效地训练H-DenseUNet,我们首先优化f2d(·)和f2dcls(·)和交叉熵损失L (y、y2ˆd)在我们的数据集。其次,我们在f2d修正参数(·)和f2dcls(·),并专注于训练f3d (·), fHFF(·)和fHFFcls(·)和交叉熵损失L (y, yˆH),参数都是随机初始化的地方。最后,整个网络是与损失相结合:共同调整Ltotal =λL (y、y2ˆd) + L (y, yˆH)(6)λ是平衡重量和在我们的实验经验设置为0.5。
3)推论:在实验阶段，我们首先得到粗肝的分割结果。然后H-DenseUNet可以生成准确的肝和肿瘤预测概率
ROI。应用阈值法得到肝脏肿瘤的分割结果。为了避免肝脏出现空洞，我们使用最大的连接成分标记来细化肝脏结果。然后通过切除肝脏最终区域外的病灶，得到最终的病灶分割结果。
- IV. EXPERIMENTS AND RESULTS
A. Dataset and Pre-Processing
我们在miccai 2017 LiTS Challenge竞争数据集和3DIRCADb数据集上测试了我们的方法。LiTS数据集包含131个和70个增强对比的三维腹部CT扫描，分别用于训练和测试。数据集是通过不同的扫描仪和协议从六个不同的临床站点获得的，平面分辨率从0.55 mm到1.0 mm有很大的差异，切片间距从0.45 mm到6.0 mm。3DIRCADb数据集包含20个静脉期增强CT扫描，其中15个体积的肝脏肿瘤。对于图像预处理，我们将所有扫描的图像强度值截断到[- 200,250]HU范围内，去除不相关的细节。对于第一阶段的粗肝分割，我们从同样分辨率为0.69 0.69 1.0 mm3的重采样图像中训练出一个简单的网络。在实验阶段，我们也使用重采样图像进行粗肝分割。对于第二阶段的病灶分割，对原始分辨率的图像进行网络训练。这是因为在一些训练案例中，肝脏病变非常小，因此我们使用原始分辨率的图像来避免图像重采样时可能出现的伪影。在这个测试阶段，我们也使用原始分辨率的图像来精确地分割肝脏和病变。
- B. Evaluation Metrics
根据2017年LiTS挑战赛的评估结果，我们分别使用了病例积分Dice和全局积分Dice来评估肝脏和肿瘤的分割性能。骰子每箱得分是指每卷平均骰子得分，而骰子全局得分是通过将所有数据集合并为一个来评估的骰子得分。采用均方根误差(RMSE)来测量肿瘤负荷。在3DIRCADb数据集中，使用5个指标来衡量分割结果的准确性，包括体积重叠误差(VOE)、相对体积差(RVD)、平均对称表面距离(ASD)、均方根对称表面距离(RMSD)和骰子。对于前四个评价指标，值越小，分割结果越好。骰子的值指的是在LiTS数据集中每一种情况下骰子的相同测
- C. Implementation Details
在本节中，我们将详细介绍实现环境和数据增强策略。**模型采用Keras包[47]实现。初始学习率为0.01，根据公式lr = lr (1 i terations/total_i terations)0.9衰减。我们用动量随机梯度下降法。在数据扩充方面，我们对所有训练数据采用随机镜像和0.8 - 1.2之间的缩放来缓解过拟合问题。**使用两个拥有12gb内存的NVIDIA Titan Xp gpu对2D DenseUNet模型进行了大约21小时的培训，而端到端系统的微调大约需要9小时。换句话说，H-DenseUNet的总训练时间约为30小时。在测试阶段，一个受试者的总处理时间取决于切片的数量，从30秒到200秒不等。
- D. Ablation Analysis of H-DenseUNet on LiTS Dataset
在本节中，我们进行了全面的实验来分析我们提出的H-DenseUNet的有效性。图3显示了带和不带预训练模型的2D DenseUNet、带预训练模型的2D DenseNet、不带预训练模型的3D DenseUNet以及H-DenseUNet的训练损失。请注意，3D DenseUNet的成本约为60小时，几乎是2D网络的3倍。H-DenseUNet花费近30小时，其中21小时用于2D DenseUNet培训，9小时用于端到端方式微调整个架构。值得一提的是，所有的模型都运行在NVIDIA泰坦Xp gpu与全内存。
1)预训练模型的有效性:该方法的一个优点是，我们可以通过与预训练模型的转移学习来训练网络，这对于找到网络的最优解至关重要。在此，我们分析了具有和不具有预训练模型的二维DenseUNet的学习行为。两个实验都在相同的实验设置下进行。从图3中可以明显看出，采用**预训练模型后，二维DenseUNet收敛速度更快，损失值更小，说明了利用预训练模型进行转移学习的重要性。**表二的测试结果表明，预训练模型能够帮助网络始终取得更好的性能。我们提出的H-DenseUNet继承了这一优势，对实现预期的结果起到了重要作用。
- 2D和3D DenseUNet的比较:我们对比了2D DenseUNet和3D DenseUNet的固有性能，验证单纯使用3D网络可能存在缺陷。参数个数是衡量模型表示能力的关键要素之一，因此无论是2D DenseUNet- 167还是3D DenseUNet-65都设计了相同的模型复杂度(约40M参数)。在不使用预训练模型的情况下，比较了两个实验的学习行为。从图3可以看出，2D DenseUNet的性能要优于3D DenseUNet，这突出了在深度架构下，2D卷积的有效性和效率。这是因为3D内核占用了较大的GPU内存，使得网络深度和宽度受到限制，导致表现能力较弱。此外，与2D DenseUNet(约20小时)相比，3D DenseUNet需要更多的训练时间(约60小时)来收敛。除了三维网络计算量大之外，另一个不足之处是三维网络缺乏经过预训练的模型。从表二可以看出，与3D DenseUNet生成的结果相比，采用预训练模型的2D DenseUNet通过对每个病例的Dice测量和Dice全局评分，对病灶分割结果分别得到8.9和3.0 (Dice: %)的改进。
- UNet连接的有效性:在我们提出的框架中，我们分析了UNet连接的有效性。2D DenseNet和DenseUNet都使用相同的预训练模型和训练策略进行训练。**不同之处在于，DenseUNet在编码部分和解码部分之间包含长距离连接，以保持高分辨率的特征。如图3所示，很明显，DenseUNet的损耗值比DenseNet低，**这说明UNet连接实际上有助于网络收敛到更好的解决方案。表二的实验结果一致表明，在网络中嵌入UNet连接可以大幅度提高病灶分割性能。
4)混合特征融合的有效性:为了验证混合结构的有效性，我们比较了H-DenseUNet和2D DenseUNet的学习行为。观察到H-DenseUNet的损耗曲线从0.04左右开始。这是因为我们在2D DenseUNet的基础上微调了H-DenseUNet，这是一个很好的初始化。然后，由于混合特征融合学习的存在，损失值减小到接近0.02。图3显示，H-DenseUNet可以收敛到比2D DenseUNet更小的损耗值，这表明混合架构可以提高性能。与2D DenseUNet相比，我们提出的H-DenseUNet在肝脏和肿瘤分割两种测量方法上均取得了一致的分割结果，如表二所示。性能的提高表明，沿着z维的上下文信息确实有助于对病灶和肝脏的识别，特别是对于边界模糊得多且认为难以识别的病灶。图4显示了2D DenseUNet和H-DenseUNet对验证数据集的分割结果。结果表明，H-DenseUNet比2D DenseUNet具有更好的性能。**此外，我们以端到端方式对H-DenseUNet进行了训练，其中三维上下文还可以帮助提取更具代表性的平面特征。端到端系统联合优化了二维和三维网络，充分挖掘了混合特征。**图5展示了我们的H-DenseUNet在测试数据集上的肝脏和肿瘤分割结果的一些例子。我们可以观察到，大多数小目标和大目标都可以很好地分割。
- E. Comparison With Other Methods on LiTS Dataset
2017年ISBI和MICCAI LiTS的挑战提交了50多份。这两个挑战都使用了相同的培训和测试数据集来进行公平的性能比较。与ISBI挑战不同的是，在MICCAI挑战中增加了更多的评价指标，用于全面比较。排名前15位的团队，包括ISBI和MICCAI挑战的1个团队的详细结果列在表3中。我们的方法(团队名称:xjqi，入组日期:2017年11月17日)在肿瘤的分割结果上优于其他先进技术，在肝脏分割方面取得了非常有竞争力的表现。在肿瘤负荷评价方面，我们的方法取得了最低的估计误差，在所有团队中排名第一。值得一提的是，*?我们使用了测试数据集中的10个条目来对我们的方法进行烧蚀分析。由于挑战赛主办方没有提供验证集，所以在测试数据集上进行烧蚀实验，进行公平比较。?*请注意，最终结果只是这些条目中的一个，而不是多个条目的平均值。大多数顶尖团队在挑战中采用了基于深度学习的方法，证明了基于CNN的方法在医学图像分析中的有效性。例如Han [40] Vorontsov等人的[41]和Bi等人的[49]都采用了2D deep FCNs，其中resnet样残块作为构建块。此外，Chlebus等人[42]在两个单独的模型中训练了UNet体系结构，然后是一个随机森林分类器。相比之下，我们使用167层网络的方法始终优于这些方法，这突出了使用预训练模型的2D DenseUNet的有效性。我们提出的H-DenseUNet进一步提高了肝脏和肿瘤的分割精度，显示了混合特征学习过程的有效性。我们的方法在病灶分割方面在所有的技术中取得了第一名的成绩，在肝脏分割方面与DeepX[48]相比具有很强的竞争力。值得注意的是，我们的方法在每例病变评估的骰子点数上都大大超过DeepX，这被认为是非常具有挑战性和困难的。此外，我们的结果是单一模型得出的，而DeepX[48]采用多模型组合策略来提高结果，表明我们的方法在临床实践中是有效的。
- F. Comparison With Other Methods on 3DIRCADb Dataset
为了验证我们的方法的有效性和鲁棒性，我们还在公开的3DIRCADb数据集[56]上进行了实验，该数据集提供了更高的肝脏和病变的多样性和复杂性。表IV和表V显示了3DIRCADb数据集上肿瘤和肝脏分割性能的比较。我们通过交叉验证运行实验，将我们的方法与3DIRCADb数据集上最先进的[39]方法进行了比较，就像[39]中使用的方法一样。我们可以看到，我们的方法在病灶和肝脏分割准确率上都优于[39]，在DICE上分别提高了9.0%和0.4%。为了进一步验证我们的方法的有效性，我们分别用Unet[42]和ResNet architecture[40]的方法进行了实验，其中训练设置与Christ等人的[39]相同。从表IV和表V可以看出，我们的方法在3DIRCADb数据集上仍然优于Unet[42]和ResNet[40]，对DICE进行肿瘤分割的效果分别提高了14.0%和5.0%。实验对比验证了该方法与其他方法相比的优越性。为了与肝脏肿瘤的分割方法进行全面的比较，我们将3DIRCADb数据集中报道的肿瘤和肝脏分割结果分别列在表IV和表V粗体线下方。注意，除实验[40]和[42]外，其他实验结果均为原始文献报道值。值得注意的是，大多数肝脏肿瘤的分割方法[16]、[19]、[52][55]都是利用额外的数据集进行训练，并在3DIRCADb数据集上进行测试。如Li et al. [52]， Sun et al. [16]， Lu et al.[19]等人从医院采集了额外的临床数据作为训练集，Moghbel et al.[53]等人使用了额外的MIDAS数据集，Li et al.[54]等人在训练中使用了SLIVER07数据集。此外，Foruzan、Chen[50]、Wu等人利用半自动方法对肿瘤进行分割，取得了良好的效果。实际上，由于训练数据集的不同，以及是否是全自动的，这些方法无法直接进行比较。然而，在一定程度上，3DIRCADb数据集上的报告结果可以反映病变和肝脏分割任务的最新性能。在这里，我们使用LiTS数据集作为附加数据集。具体来说，我们直接在3DIRCADb数据集上测试了来自2017年LiTS数据集的训练有素的模型。如表4和表V所示，我们的方法在3DIRCADb数据集上取得了最好的肿瘤和肝脏分割结果，在很大程度上超过了目前的水平，肿瘤和肝脏分割的DICE分别提高了10.7%和7.1%。实验结果表明了该方法的有效性和良好的泛化能力。另一方面，如此好的结果也归功于LiTS数据集，它包含了大量变化较大的训练数据，以及我们的方法从该数据集中提取判别特征的能力。图6显示了3DIRCADb数据集上的一些结果示例。很明显，我们的方法可以很好地分割肝脏和肝脏病变从挑战性的原始CT扫描。
- V. DISCUSSION
肝肿瘤的自动分割在临床诊断中占有重要地位。它提供了肝脏的精确轮廓和肝脏解剖部分内的任何肿瘤，这有助于医生的诊断过程。本文提出了一种基于端到端的训练系统来探索肝脏病变自动分割的混合特征，在自动上下文机制下有效地探测三维上下文。通过层内和层间特征的混合融合学习，提高了肝脏病变的分割性能，证明了H-DenseUNet的有效性。此外，与其他三维网络[10]、[18]相比，我们的方法能够有效地探测三维上下文。这在临床实践中是至关重要的，尤其是当大量的三维图像，包含大量的图像尺寸和大量的切片，越来越多地积累在临床站点。为了在临床实践中证明我们的方法的推广能力，我们在3DIRCADb数据集上对LiTS数据集训练的模型进行了测试，得到了最新的肝脏和肿瘤分割结果，DICE上的结果分别为98.2%和93.7%。在3DIRACDb数据集上取得的良好效果也验证了我们的方法不是简单的过度训练，而是在不同的数据采集条件下对不同的数据集进行有效的推广。为了更好地了解性能的提高，我们分析了我们的方法对每个患者肝肿瘤大小的有效性。图7显示了我们验证数据集中40个CT体积数据的肿瘤大小值，其中肿瘤大小是通过对每个ground-truth图像中的肿瘤体素求和得到的
观察到该数据集具有较大的肿瘤大小变化。为了便于比较，我们将数据集按图7中的橙色线分为大肿瘤组和小肿瘤组。从表六可以看出，我们的方法在整个验证数据集中提高了1.48 (Dice:%)的分割精度。我们还可以观察到，大肿瘤组的准确率提高了2.35 (Dice:%)，而小肿瘤组的准确率略高，为1.1 (Dice:%)。通过对比，我们认为性能的提高主要归功于对大肿瘤数据分割结果的改进。这主要是因为H-DenseUNet模拟了放射科医生的诊断过程，通过观察几个相邻的切片来描绘肿瘤，特别是对于边界模糊的肿瘤。一旦模糊边界得到很好的分割**，对大肿瘤数据的分割精度可以大幅度提高。虽然混合特征仍然有助于小肿瘤的分割，但由于小肿瘤通常发生在更少的切片中，这种改进是有限的**。今后，我们将重点研究肝小肿瘤的分割。在处理小肝癌问题时，我们将考虑几个可能的方向，即、多尺度表征结构[57]和深度监管[18]。最近，感知生成对抗网络(GANs)被提出用于小目标检测和分类。例如，Li等人通过发现小尺度和大尺度对象之间的内在结构关联，生成了小对象的超分辨表示，这也可能是处理这一具有挑战性问题的一个潜在方向。未来研究的另一个关键是H-DenseUNet的潜在深度。在我们的实验中，我们使用数据并行训练对网络进行训练，这是一种有效的加速梯度下降的技术，通过并行计算一个小批处理单元的梯度。然而，模型的复杂度受到GPU内存的限制。在未来，为了挖掘H-DenseUNet的潜在深度，我们可以使用模型并行训练对网络进行训练，其中模型计算的不同部分在分布式计算基础设施上对同一批示例执行。这一策略可能是进一步提高肝脏肿瘤分割性能的另一个可能的方向。
- VI. CONCLUSION
我们提出了一种从CT体积中分割肝脏和肿瘤的端到端训练系统H-DenseUNet，这是一种新的模式，可以有效地探测高层次代表性的层内和层间特征，然后通过混合特征融合层对特征进行优化。该体系结构很好地解决了二维卷积忽略体积上下文和三维卷积计算量大的问题。在2017年LiTS和3DIRCADb数据集上的大量实验证明了我们提出的H-DenseUNet的优越性。在单模型的基础上，我们的方法在病灶分割上有较大的优势，在LiTS排行榜上肝脏分割取得了非常有竞争力的结果。
