PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection - arxiv 2016.08
PVANET: Deep but Lightweight Neural Networks forReal-time Object Detection, arxiv 16.08
论文地址：https://arxiv.org/pdf/1608.08021v1.pdf
code（github）: https://github.com/sanghoon/pva-faster-rcnn
(想不到作者居然这么快开源了，撒花）
=====
根据作者开源的model，pt文件，和代码等，
笔者跑了`example_train_384`这个实验（具体看上面的开源代码下的` models/pvanet/example_train_384`），其结果如下：
trainset： pascal voc 07 trainval-set
testset： pascal voc 07 testset
mAP：71.81%
stepsize：5w
iterations：10w
lr policy：step
另外把stepsize改为8w，itrations改为11w，其mAP为72.6%，这个比vgg16的69.6%要好。
还跑了trainset为pascal voc 0712的trainval，其中（5w/10w，分别为stepsize和iterations），mAP为73.6%，这个比vgg16的75.8%要低。
=====
更新
跑trainset为pascal voc 0712的trainval，其中（32w iterations，iter_size为3，采用plateau lr policy：2w，3w，4w，5w），mAP为77.15%，这个比vgg16的75.8%要高。
跑trainset为pascal voc 0712的trainval，其中（32w iterations，iter_size为3，采用plateau lr policy：2w，3w，4w，5w，global context branch），mAP为78.38%，这个比vgg16的75.8%要高。
=====
最新的图
=====
具体可以参考The Mean AP is 0.7190 when I test the model trained by example_train_384, is normal? #10。
=====
先看leaderboard
再看下speed
厉害的不要不要的。
=====
转正题，下面介绍下这篇论文，
老规矩，上图。
一句话：
利用目前各种设计network的方法，如batch normalization，inception，C.ReLU，residual connection，multi-scale representation等，设计一个deep，but thin的feature extractor network，然后在这个feature extractor network上把faster-rcnn的rpn和rcnn接上，得到一个完整的detection deep network，并用了SVD分解来降低fc的纬度，以及用较少的proposals（200个），在pascal voc上取得傲人的performance（mAP&speed）。当然其中也用到了一些训练技巧，如learning rate scheduling[1]。
而该论文的最重要的一个贡献就是第一个用Inception来做detection，不论是accuracy还是speed，都充分证明了其适合用于detection，而不仅仅是classification。
=====
先看framework
从tab 1大致可以看到论文中的framework（称为PAVNet），其实和VGG16很是相似的，
区别在于，PAVNet把VGG16的每个层（conv，relu等）用C.ReLU和inception代替，并引入了residual connection和multi-scale representation。
下面就一一说下其中key component。
=====
C.ReLU
=====
inception （相对来比较简单）
正是这样的inception设计，使得模型可以看到不同大小的感受野，从而可以检测到不同大小的物体，
=====
residual connection & multi-scale representation & BN
可以从tab 1中知道，residual connection主要是以prejected的方式：
1x1 conv is applied for projecting pool1_1 into conv2_1, conv2_3 into conv3_1, conv3_4 into conv4_1, and conv4_4 into conv5_1.
multi-scale representation obtained by four steps:
1 conv3_4 is down-scaled into “downscale” by 3x3 max-pool with stride 2;
2 conv5_4 is up-scaled into “upscale” by 4x4 channel-wise deconvolution whose weights are fixed as bilinear interpolation;
3 “downscale”, conv4_4 and “upscale” are combine into “concat” by channel-wise concatenation;
4 after 1x1 conv, the final output is obtained (convf).
至于BN这个就没有什么好说的了，feature extractor network的每个conv后接BN（+Scale）
=====
rpn & rcnn
这个跟faster-rcnn的相差不大，其中rpn用了25 anchors of 5 scales (3, 6, 9, 16, 25) and 5 aspect ratios (0.5, 0.667, 1.0, 1.5,2.0)
而rcnn在训练是用了12k个proposals（NMS之前，其threshold为0.4），而测试时仅用200个proposals（这个减少了1/3的测试时间）
=====
training & testing
看图不说话。
=====
嗯，最后看performance
=====
最后说下是怎么提速的
1 设计了一个thin的feature extractor network（本文的重点）
2 将少了proposals的个数（由faster-rcnn的300个变成200个）
3 对rcnn的fc进行SVD降维（降纬后还finetune了一下），令人惊讶的是没有多大的精度损失
=====
总言之，该论文成功论证了这样的thin network不仅适合做classfication，而且还可以做detection，其精度和速度都是傲娇的
想想其的online application，就觉得很吓人了
估计它的团队很快就将其布置到实际应用上了
此时此刻，笔者的心情是多么地想他们开源呀！（别鄙视笔者这么不争气）
=====
如果这篇博文对你有帮助，可否赏笔者喝杯奶茶？