读书笔记-多任务学习-A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification

一篇2017年的论文,A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification,基于多任务学习的皮肤病变分割与分类。

作者认为,多任务学习模型通过利用任务之间的共性和差异来同时解决不同的任务。与单独训练单个模型相比,这可以提高特定任务模型的学习效率和潜在的预测准确性。在多任务学习体系结构中,输入的皮肤图像可以与描述病灶不同特征的多个标签相关联。 然后,可以将这种多任务技术用于病变的分割和病变类别的分类。即模型允许不同组件在不同属性类别之间共享检测到的特征。

提出的多任务架构如下:

读书笔记-多任务学习-A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification

输入图像经过卷积层和池化层特征提取后,通过三个分支的分类器,作三种不同的检测。如分支一用于分割病变区域,分支二用于分辨分割区域是否属于Melanoma病等。最后模型输出切割的区域图像和对两种病的预测概率。

   读书笔记-多任务学习-A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification   读书笔记-多任务学习-A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification

实际应用中,作者采用GoogleNet作为皮肤病的分类,Unet作为图像的切割。右图显示了实验中的实际输入与输出。

实验结果表明,多任务的架构比单个任务学习准确率更高。其中Jaccard Index是一种衡量图像切割精准度的手段。结果如下:

读书笔记-多任务学习-A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification读书笔记-多任务学习-A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification