【论文-笔记】CornerNet-Lite: Efficient Keypoint Based Object Detection

(此博客只是为了使自己尽快理解此篇论文的思想,所以可能直接复制了别人的翻译原话,见谅)

CornerNet-LiteCornerNet的两种有效变体的组合:CornerNet-SaccadeCornerNet-Squeeze,前者使用注意机制(attention)消除了对图像的所有像素进行处理的需要,将cornernet单阶段检测器变为两阶段检测器,attention maps作用类似与faster-rcnn中的RPN但又有所不同,将ROI区域crop下来进行第二阶段的精细检测,该网络与cornernet相比达到精度提升;后者引入新的紧凑骨干架构的CornerNet-Squeeze,主干网络实为hourglass networkmobilenetsqueezenet结构的变体,在实时检测器领域达到速度和精度的双重提升。

摘要

两种变体共同解决了有效目标检测中的两个关键用例:在不牺牲精度的情况下提高效率,以及提高实时效率的准确性。CornerNet-Saccade适用于离线处理,将CornerNet的效率提高6.0倍,将COCO的效率提高1.0%CornerNet-Squeeze适用于实时检测,提高了流行的实时检测器YOLOv3的效率和准确性(CornerNet-Squeeze为34ms|34.4mAP;COCO上YOLOv339ms|33mAP)。

CVer作者Amusi认为:

  • CornerNet-Saccade是在追求高准确率(mAP)的同时,尽可能提高速度(FPS)。即准确率优先,对标CornerNet等算法。创新点:引入Saccade思想;
  • CornerNet-Squeeze是追求高实时性(FPS)的同时,尽可能提高准确率(mAP),即速度优先,其对标于YOLOv3等算法。创新点:引入SqueezeNet优化思想。
贡献

(1)、提出了CornerNet-Saccade 及 CornerNet-Squeeze,用于提高基于关键点目标检测的效率。
(2)、COCO,提高了6倍检测效率,AP从42.2%提升至43.2%
(3)、将目标检测较好的算法YOLOv3的准确率及性能由33.0%39ms提升至34.4% 30ms。

CornerNet-Saccade

人类视觉中的 Saccades(扫视运动)是指用于固定不同图像区域的一系列快速眼动。在目标检测算法中,我们广义地使用该术语来表示在推理期间选择性地裁剪(crop)和处理图像区域(顺序地或并行地,像素或特征)。

R-CNN系列论文中的saccades机制为single-type and single-object,也就是产生proposal的时候为单类型(前景类)单目标(每个proposal中仅含一个物体或没有),AutoFocus论文中的saccades机制为multi-type and mixed(产生多种类型的crop区域)

CornerNet-Saccade中的 saccadessingle type and multi-object,也就是通过attention map找到合适大小的前景区域,然后crop出来作为下一阶段的精检图片。CornerNet-Saccade检测图像中可能的目标位置周围的小区域内的目标。它使用缩小后的完整图像来预测注意力图和粗边界框;两者都提出可能的对象位置,然后,CornerNet-Saccade通过检查以高分辨率为中心的区域来检测目标。它还可以通过控制每个图像处理的较大目标位置数来提高效率。具体流程如下图figure2所示,主要分为两个阶段估计目标位置和检测目标:
【论文-笔记】CornerNet-Lite: Efficient Keypoint Based Object Detection

CornerNet-Squeeze

与专注于subset of the pixels以减少处理量的CornerNet-Saccade相比,而CornerNet-Squeeze 探索了一种减少每像素处理量的替代方法。在CornerNet中,大部分计算资源都花在了Hourglass-104上。Hourglass-104 由残差块构成,其由两个3×3卷积层和跳连接(skip connection)组成。尽管Hourglass-104实现了很强的性能,但在参数数量和推理时间方面却很耗时。为了降低Hourglass-104的复杂性,本文将来自SqueezeNetMobileNets 的想法融入到轻量级hourglass架构中。

主要操作是:受SqueezeNet启发,CornerNet-Squeeze将 residual block 替换为SqueezeNet中的 Fire module,受MobileNet启发,CornerNet-Squeeze将第二层的3x3标准卷积替换为3x3深度可分离卷积(depth-wise separable convolution)

参考博客

[1] CornerNet-Lite算法笔记
[2] 论文阅读笔记五十二
[3] 吊打YOLOv3!普林斯顿大学提出CornerNet-Lite,已开源

CVPR-2019 Github-源码链接