YOLO v2综述

本专栏将从论文的角度解读一下CV方向的一些经典神经网络模型及其贡献与意义，以期加深自己的印象，后续可以随时翻看并且学习其中好的tricks。上一期介绍了YOLO v1，这一期来介绍一下改进的YOLO v2（YOLO9000）。

论文相关信息

论文全名为《YOLO9000: Better, Faster, Stronger》（链接），题目很有趣，更好更快更强，搁这模仿奥林匹克口号呢？

值得强调的一点是，为什么模型叫 YOLO9000 呢？因为作者说其可以检测9000多种目标类别。论文使用的数据集为 PASCAL VOC 和 COCO 目标检测数据集，但是目标检测数据集由于需要标出GT框，人工成本是很高的（在我们实验室的项目中我也标过框，标一会眼睛就花了…）。因此目标检测数据集还是比较少的，但是分类数据集多啊，比如 ImageNet 分类数据集，于是作者们提出一种联合训练目标检测和分类的方法——WordTree（详解见这里）。使用这种方法，在 COCO 检测数据集和 ImageNet 分类数据集上同时训练 YOLO9000 ，在 ImageNet 检测任务上进行验证，虽然效果比较勉强，但这种方法使得 YOLO9000 能够预测未标注检测数据的目标类别的检测结果，相当于利用目标检测图像来学习精确定位目标，用分类图像来增加 “词汇量” 和鲁棒性，类似迁移的想法，很强。

网络架构

YOLO v2 的 backbone 部分网络是改进的 DarkNet-19，主要改进思路就是用 1×1 卷积层代替全连接层，让特征图每个位置共享参数，然后利用卷积核个数弥补参数组合的多样性。由于其中有19个卷积层和5个 max pooling 层，所以称其为 DarkNet-19。与 YOLO v1 中的 backbone 网络相比，参数量更少，计算速度更快，效果更好。

tricks

接下来看看YOLO v2具体做了哪些改进：

1、使用 Batch Normalization 批标准化

有关BN在我之前的博客里也介绍过了，不再赘述，它可以显著改善收敛性，而且不再需要其他形式的正则化，因此也去掉了dropout。

2、High Resolution Classifier （高分辨率分类器）

由于几乎所有的检测方法都会使用在 ImageNet 上预先训练好的分类模型，但是大多数都用小于 256×256 的图像作为输入去训练，对于目标检测任务来说这样的分辨率显得有点不够，使用这样的卷积层再去训练目标检测任务时，直接输入更高分辨率的 448×448 图像，分辨率的改变对模型性能肯定有影响。

因此 YOLO v2 在用 224×224 图像预训练好的分类模型的基础上，再用 448×448 的高分辨率图像对分类模型进行参数微调，使网络特征逐渐适应 448×448 的分辨率，然后再训练目标检测任务，通过这样的方式缓解分辨率突然切换造成的影响。

3、使用Anchor Boxes先验框并去掉全连接层改为卷积层

这一点显然是借鉴了 Faster R-CNN 的做法，也考虑使用 anchor boxes。对得到 S x S 的特征图每个位置预测 N 个 anchor boxes（这里的数量是如何确定的看下面第4点），对每个 anchor box 都预测一套框位置信息、置信度和各类别分类概率值，但是可以看到，直接用 Faster R-CNN 的方法产生 anchor 框反而使得精度下降，因此 YOLO v2 没有生搬硬套，而是做出了改变，如下面第4点和第5点所叙述。

4、使用 K-means 聚类确定先验框尺寸

正如 Faster R-CNN 中提到的，anchor先验框固定了框大小，后续只调整框的位置，带有主观性，因此在加入 YOLO v2 时，做出了一定的改进：对训练集中标注的框进行聚类分析，以寻找尽可能匹配样本的框尺寸。但是如果基于欧几里得距离使用 K-means 显然会使得较大的框产生更大的误差，因此作者基于 IOU 作为度量：

其中 centroid 是聚类时被选作中心的框，box 是其它框，d就是两者间的“距离”。聚类分析结果如下图所示：

上左图是选择不同的聚类k值情况下，计算样本中标注的 box 与最接近的 centroid 的 Avg IOU。很显然，centroid 数量 k 越多那 Avg IOU 肯定越大。对比 Faster R-CNN 那样确定的 9 个 anchor 框，使用 5 个聚类框即可达到同样的效果（下图）。上右图显示了在 VOC 和 COCO 数据集上聚类得到的 5 个框。

5、约束框的位置偏移量

Faster R-CNN 预测 bbox 相对 anchor 的偏移量并没有对偏移量进行约束，因此每个位置预测的框可以落在图片任何位置，会导致模型不稳定，导致模型训练时间变长。YOLO v2 沿用 YOLO v1 的想法，目标中心落在哪个网格块上就由哪个网格块负责预测，并且只预测相对网格块坐标的位移量（不懂可以看上一篇博客）：

其中， b_x、b_y、b_w、b_h 是预测框的中心坐标和宽高，c_x、c_y 是当前网格块的坐标，p_w、p_h 是聚类框的宽高，t_x、t_y、t_w、t_h 、t_o是网络需要学习的参数，σ是sigmoid函数。

6、passthrough层检测多尺度特征

这部分转自这里：

7、使用多尺度的图像训练

应该很好理解，由于 YOLO v2 中用卷积层代替掉了全连接层，所以对图片输入没有限制。每10个批次作者们就会随机选择一个新的图像尺寸大小继续训练，由于模型尺寸缩减了32倍，所以从32的倍数中抽取：{320，352，…，608}。

这个策略迫使网络学习如何在各种输入维度上做预测，这意味着相同的网络可以预测不同分辨率下的检测结果。网络在较小的尺寸下运行速度更快，因此YOLOv2在速度和准确性之间提供了一个简单的权衡：

8、使用高分辨率图像进行检测

由于使用了第7点叙述的多尺度图像去训练，并且对输入图像没有尺寸限制，因此如果用更高分辨率的输入图像，比如544×544，则mAP还能再一步提升。

总结

YOLO v2 中有很多值得学习的地方，首先其借鉴了很多其它目标检测方法中的 tricks ，如 Faster R-CNN 的 anchor boxes，SSD 中的多尺度方法。并且 YOLO v2 有很多巧思，使它能在保证速度的同时尽量提高检测准确率，其中很多参数的设置可以让使用者根据不同问题的实际情况在速度和精度上进行*权衡。但是它仍然没有解决 YOLO v1 中重叠目标的检测问题，下一篇看看 YOLO v3 是如何改进的。