目标检测随手记
·目前目标检测领域的深度学习方法主要分为两类:
- two stage 的目标检测算法;
- one stage 的目标检测算法。
前者是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类;后者则不用产生候选框，直接将目标边框定位的问题转化为回归问题处理。正是由于两种方法的差异，在性能上也有不同，前者在检测准确率和定位精度上占优，后者在算法速度上占优。
- Two stage
早期深度学习技术发展进程中，主要都是围绕分类问题展开研究，这是因为神经网络特有的结构输出将概率统计和分类问题结合，提供一种直观易行的思路。国内外研究人员虽然也在致力于将其他如目标检测领域和深度学习结合，但都没有取得成效，这种情况直到 R-CNN 算法出现才得以解决。
1.1 R-CNN
R-CNN 算法利用选择性搜索(Selective Search)算法评测相邻图像子块的特征相似度，通过对合并后的相似图像区域打分，选择出感兴趣区域的候选框作为样本输入到卷积神经网络结构内部，由网络学习候选框和标定框组成的正负样本特征，形成对应的特征向量，再由支持向量机设计分类器对特征向量分类，最后对候选框以及标定框完成边框回归操作达到目标检测的定位目的。虽然 R-CNN 算法相较于传统目标检测算法取得了50%的性能提升，但其也有缺陷存在:训练网络的正负样本候选区域由传统算法生成，使得算法速度受到限制;卷积神经网络需要分别对每一个生成的候选区域进行一次特征提取，实际存在大量的重复运算，制约了算法性能。
1.2 SPP-Net
针对卷积神经网络重复运算问题，2015 年微软研究院的何恺明等提出一种 SPP-Net 算法，通过在卷积层和全连接层之间加入空间金字塔池化结构(Spatial Pyramid Pooling)代替 R-CNN 算法在输入卷积神经网络前对各个候选区域进行剪裁、缩放操作使其图像子块尺寸一致的做法。利用空间金字塔池化结构有效避免了 R-CNN 算法对图像区域剪裁、缩放操作导致的图像物体剪裁不全以及形状扭曲等问题，更重要的是解决了卷积神经网络对图像重复特征提取的问题，大大提高了产生候选框的速度，且节省了计算成本。但是和 R-CNN 算法一样训练数据的图像尺寸大小不一致，导致候选框的 ROI 感受野大，不能利用 BP 高效更新权重。
1.3 Fast R-CNN
针对 SPP-Net 算法的问题，2015 年微软研究院的 Ross B. Girshick 又提出一种改进的 Fast R-CNN 算法，借鉴 SPP-Net 算法结构，设计一种 ROI pooling 的池化层结构，有效解决 R-CNN 算法必须将图像区域剪裁、缩放到相同尺寸大小的操作。提出多任务损失函数思想，将分类损失和边框回归损失结合统一训练学习，并输出对应分类和边框坐标，不再需要额外的硬盘空间来存储中间层的特征，梯度能够通过 RoI Pooling 层直接传播。但是其仍然没有摆脱选择性搜索算法生成正负样本候选框的问题。
- One stage
以 R-CNN 算法为代表的 two stage 的方法由于 RPN 结构的存在，虽然检测精度越来越高，但是其速度却遇到瓶颈，比较难于满足部分场景实时性的需求。因此出现一种基于回归方法的 one stage 的目标检测算法，不同于 two stage 的方法的分步训练共享检测结果，one stage 的方法能实现完整单次训练共享特征，且在保证一定准确率的前提下，速度得到极大提升。
YOLO v3采用多个scale融合的方式做预测。原来的YOLO v2有一个层叫：passthrough layer，假设最后提取的feature map的size是13*13，那么这个层的作用就是将前面一层的26*26的feature map和本层的13*13的feature map进行连接，有点像ResNet。当时这么操作也是为了加强YOLO算法对小目标检测的精确度。这个思想在YOLO v3中得到了进一步加强，在YOLO v3中采用类似FPN的upsample和融合做法（最后融合了3个scale，其他两个scale的大小分别是26*26和52*52），在多个scale的feature map上做检测，对于小目标的检测效果提升还是比较明显的。前面提到过在YOLO v3中每个grid cell预测3个bounding box，看起来比YOLO v2中每个grid cell预测5个bounding box要少，其实不是！因为YOLO v3采用了多个scale的特征融合，所以boundign box的数量要比之前多很多，以输入图像为416*416为例：（13*13+26*26+52*52）*3和13*13*5相比哪个更多应该很清晰了。
Perceptual Generative Adversarial Networks for Small Object Detection 通过使用感知生成式对抗网络提高小物体的检测率，生成器将小物体的低分辨率表示转换成高分辨率表示，判别器与生成器以竞争的方式来分辨特征。该模型挖掘不同尺度物体间的结构关联，来提高小物体的特征表示，使之与大物体类似。模型框架包括两个子网络，生成网络和感知分辨网络。生成网络是一个深度残差特征网络模型，作者通过引入底层精细粒度的特征将原始的较差的特征转换为高分辨率的特征。而“分辨网络”一方面分辨小物体生成的高分辨率特征与真实大物体特征，另一方面又同时能够使用感知损失来提升检测效果。
神经网络的高层特征体现了更强的语义信息，深层网络具有较高识别准确性，定位性能较差，对于识别问题较为有效；而浅层的特征由于分辨率较高，能够准确定位，识别准确性低，对于目标定位有天然的优势。将卷积神经网络的深层次特征信息和浅层次信息进行结合使用，优化小物体检测。
一幅汽车的图片，我们将其输入到一个卷积神经网络中，在这期间，经历了多个卷积层和池化层，我们可以看到在不同的卷积层会输出不同大小的feature map（这是由于pooling层的存在，它会将图片的尺寸变小），而且不同的feature map中含有不同的特征，而不同的特征可能对我们的检测有不同的作用。总的来说，浅层卷积层对边缘更加感兴趣，可以获得一些细节信息，而深层网络对由浅层特征构成的复杂特征更感兴趣，可以获得一些语义信息，对于检测任务而言，一幅图像中的目标有复杂的有简单的，对于简单的patch我们利用浅层网络的特征就可以将其检测出来，对于复杂的patch我们利用深层网络的特征就可以将其检测出来，因此，如果我们同时在不同的feature map上面进行目标检测，理论上面应该会获得更好的检测效果。
SSD算法使用了多种数据增强的方法，包括水平翻转、裁剪、放大和缩小等。论文明确指出，数据增强可以明显的提高算法的性能。主要的目的是为了使得该算法对输入的不同大小和不同形状的目标具有更好的鲁棒性。
SSD和YOLO不同的地方是，YOLO只是对最后一层特征图用来预测回归框，而SSD则是多层，不同大小的特征图都用来做预测和回归。YOLO的缺点是定位不准，对小物体检测效果差，而SSD一定长度上克服了这些难点，因为使用了不同特征图进行预测，SSD的多尺度，用的多层的特征图，是stride=2,不断缩小特征图的长和宽，越靠后的卷积特征图，他的感受野越大，越靠前感受野越小，同时越靠前检测小物体效果更好。但是SSD对小物体检测也并不好，因为前面VGG的已经把特征图下降了16倍。
SSD结构：用VGG 深度神经网络的前五层，并额外多加几层结构，最后提取其中几层进过卷积后的结果，进行网格搜索，找目标特征。对应到函数里，转化为三个大部分，原网络结构、添加网络结构、SSD处理结构。