目标检测论文阅读笔记:《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》

1 概述

  • 本文基于ShuffleNetV2提出了一个轻量目标检测网络,称为ThunderNet,主要有两个创新点:①CEM(Context Enhancement Module),与FPN类似,用于融合浅层特征和深层特征;②SAM(Spatial Attention Module),用于增强目标特征
  • 轻量化体现在两方面:①将ShuffleNetV2中3x3卷积更换为5x5卷积,在增大感受野使特征包含更多空间信息的同时降低参数量;②移除conv5的同时在之前的stage中增加channel数,这在不增加参数量的情况下可使浅层特征增多。

2 网络框架

2.1 整体框架

目标检测论文阅读笔记:《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》

2.2 CEM模块

目标检测论文阅读笔记:《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》

  • 类似FPN,其意义在于融合多个尺度信息,使生成的特征包含更多的空间信息

2.3 SAM模块

目标检测论文阅读笔记:《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》

  • RPN用于分类前景背景,其中背景特征会被抑制,因此论文中提出将RPN特征作为监督信号用来抑制CEM特征中的背景部分,增强CEM特征中的前景部分。
  • 该结构的另外一个优点是反向传播过程中这里也会产生梯度,也算是RPN结构参数更新时的监督信号

3 实验

  • 算法对比

目标检测论文阅读笔记:《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》

  • 不同分辨率输入图片

目标检测论文阅读笔记:《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》

  • 不同backbone

目标检测论文阅读笔记:《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》

  • 消融实验
    目标检测论文阅读笔记:《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》
  • SAM模块效果

目标检测论文阅读笔记:《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》

4 总结

  • CEM中增大特征感受野的思路不错,也可以使用空洞卷积等,可以借鉴
  • 将RPN特征作为监督信号引入很新颖,值得学习