06

2018 CVPR A Deep Learning based Joint Segmentation and Classification Framework for Glaucoma Assesment in Retinal Color Fundus Images

Method ： Segmentation + classification，分割视盘、视杯，分类青光眼
Dataset ： Train REFUGE （CFI）400 (360 Normal + 40 Glaucomatous cases)
     Zeiss Visucam images
     2124×2056 pixels
     Test 400 Canon CR-2 images (1634 × 1634 pixels)
Architecture : ROI extraction + Multi-task CNN + Post-processing
Results ：dice score 0.92（OD）, 0.84 （OC） ；AUC 0.95 （classification ）

Methods

青光眼的主要特征是视盘(OD)的结构改变，在彩色眼底图像(CFI)中呈明亮的椭圆形结构。它由一种叫做视杯(OC)的*凹陷组成，周围环绕着一个同心的视网膜神经环。青光眼的特征是视网膜神经纤维的丢失，导致晶状体体积的增大。

CFIs仅提供视网膜表面的二维视图，缺乏深度信息。因此，CFI中OC的准确分割仍然是一个有待解决的问题。

现有方法检测OD

• 分割：依赖于明确的分割和OC获得结构特点和临床参数如垂直Cup-to-disc比率(CDR)检测青光眼
• 分类：采用low-level appearance 基于图像特征直接分类CFI为正常或青光眼的类别

related work

• 基于稀疏表示（sparse representation）的重构系数（reconstruction coefficients）进行CDR估计，而不需要对OD和OC进行显式分割
• 新型的M-net结构，在log-polar domain中联合分割OD和OC，提取CDR用于青光眼检测
• DENet体系结构使用了四个独立的神经网络流的集成，这些神经网络流的预测被融合在一起，以获得最终的决策

Architecture

• ROI extraction
  首先采用基于强度阈值和霍夫变换（intensity thresholding and Hough Transform）的简单图像处理方法，提取OD周围的感兴趣区域(ROI)。将进一步的处理限制在提取的ROI上有助于减少计算和内存需求。
  只需要OD在ROI内，而不需要在中心

400 × 400

• Multi-task CNN
  将提取的ROI作为建议的卷积神经网络(CNN)结构的输入，该结构联合分割OD、OC，并提供青光眼的图像水平预测。

  
  （我认为：图中 蓝色虚线框内的蓝色箭头应该为红色箭头）

  • decoder 的最终输出被送入两个独立的3×3个卷积层+ sigmoid**函数，以获得OD和OC的输出分割掩码。
  • 网络的分类部分采用图像外观和结构特征(由OD-OC分割得到)相结合的方法

• Post-processing
  细化，提高精度
  用在OD和OC分割中，没有用在分类任务

  • 对OD和OC分割 softmap 分别进行了阈值为0.5的二值化处理
  • morphological opening operation 去除伪小区域，平滑边界
  • 连通分量分析（connected component analysis），去除二值分割掩码中除最大连通分量外的所有连通分量
  • 在OD分割中使用了额外的步骤，最小的最小二乘误差（ minimum least square error）拟合为椭圆。
    （OC边界可以是任意形状，OD边界可以近似为椭圆）

• details

  • Loss funciton
    分类：BCE
    分割：dice coefficient
  • ADAM
  • batch_size 32
  • 数据增强：平移旋转
  • 将训练数据集随机分为100张图像(90张正常+10张青光眼)的四部分，对训练数据集进行四倍交叉验证。
    学习了4个结构相同但网络权重不同的cnn
    Test 使用4个cnn得到预测结果，计算平均值为最终结果

Results

Discussion

问题：

• 训练数据集存在巨大的类不平衡，青光眼和正常图像的比例为1:9

• 训练集和测试集之间的差异很大。它们是在不同分辨率下，使用不同的眼底摄像机获得的，在两个数据集中可以观察到RGB通道中颜色强度值的分布有很大的差异。

  • 解决

    • 在数据增强过程中对训练图像的强度进行了修改，以保证所提出的系统不受颜色分布变化的影响。

    • 对训练图像的RGB通道进行变换，将彩色通道的均值和标准差从高斯分布映射到随机采样值。

    • PCA技术对图像进行随机噪声处理

• 明确地将分割区域约束为单个连通分量，OD和OC边界上的没有平滑约束

  • 解决
    • post-processing

• 训练集和验证集的图像是用不同的摄像机以不同的分辨率采集的，但是结果并没有显示出这两个数据集之间有任何显著的性能差异，表明了该方法的鲁棒性。

• cnn特征 在3个task 是共享的，更少的网络参数确保网络在对小数据集进行训练时不会 overfit 匹配。