Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution论文复现及对比结果
一、结论:
octave网络对Resnet这类运算量较大的网络有较好的增速效果,但是对于mobilenet这类已经对计算量进行过优化的网络,增速效果不理想甚至会造成减速
二、测试结果:
FLOPs(10^9) | MACs(Multiply-Accumulation) | ops | interence time(ms) | |||||
mobilenetv1 | 3709200000 | 185417728 | 29 | 68.274 | ||||
oct0.375-mobilenetv1 | 2776100000 | 138091264 | 210 | 164.367 | ||||
resnet50 | 26700000000 | 1336492032 | 92 | 2026.152 | ||||
oct0.125-resnet50 | 22300000000 | 1108500480 | 767 | 2448.919 | ||||
oct0.5-resnet50 | 12200000000 | 606781440 | 767 | 1569.605 | ||||
oct0.75-resnet50 | 8547000000 | 424181760 | 767 | 1127.313 |
说明:
1.输入图像尺寸为:128*128
2.测试时间为在我们的硬件arm上运行的时间
3.FLOPs为浮点运算量,是论文中主要关注点
4.未对网络各参数进行尝试,因此准确率为出现在结果中
详细分析:
mobilenet:(3709200000-2776100000)/3709200000=0.25
resnet50:(267-122)/267=0.54
当octave网络无法对FLOPs进行大比例的减少时,无法达到加速效果,甚至会造成减速,因此原论文中大多对ResNet、Denset这类未对FLOPs进行优化,并且FLOPs较大的网络进行验证
三、原文复现:
0 | 0.125 | 0.25 | 0.5 | 0.75 | |
resnet26 | 1.53 | 1.28 | 1.06 | 0.719 | 0.513 |
resnet50 | 2.67 | 2.23 | 1.83 | 1.22 | 0.855 |
resnet101 | 5.1 | 4.23 | 3.47 | 2.29 | 1.58 |
mobilenetv1 | 0.37092 | 0.34222 | 0.30985 | 0.24511 | 0.18037 |
原文截图: