论文学习-系统评估卷积神经网络各项超参数设计的影响-Systematic evaluation of CNN advances on the ImageNet
写在前面
论文状态：Published in CVIU Volume 161 Issue C, August 2017
论文地址：https://arxiv.org/abs/1606.02228
github地址：https://github.com/ducha-aiki/caffenet-benchmark
在这篇文章中，作者在ImageNet上做了大量实验，对比卷积神经网络架构中各项超参数选择的影响，包括**函数（sigmoid、ReLU、ELU、maxout等等）、Batch Normalization (BN)、池化（max、average、stochastic等）、池化窗口大小、学习率decay策略（step, square, square root, linear 等）、输入图像颜色空间与预处理、分类器设计、网络宽度、Batch size、数据集大小、数据集质量等等，具体见下图