文章：STRIVING FOR SIMPLICITY:THE ALL CONVOLUTIONAL NET，于2015年发表于ICLR，文章提出一种最简化的模型，网络只由卷积层构成。当前展示模型效果的方法DeConvolution要求分类网络必须含有pool操作，因此并不适用于本网络，因此在DeConvolution基础上进行改进提出了guided backpropagation。

最简单但是有效的网络

整个网络由卷积层构成。

• 替换pool
  有两种方法：

1. 将其前一层的卷积层中的stride+1。但是该网络会将卷积层变成池化层，损失精度。
2. 用卷积层替换pool， stride、kernel size相等。（采用这种）

• 替换全连接层
  只要该层的感受野大于或等于需要识别物体的大小，全连接层就可以使用1x1的卷积层代替。
• 使用小卷积核，k<5。

与DeConvolution的比较

这两个方法类似，只是在**函数处的反向传播公式不同，需要注意的是这两个方法在该处所求的导数并不是实际的导数。比较如下图所示。

图a表示方法整体过程。从高层特征图反向传播到源图像，重建源图像。
图b表示当**函数是Relu时，各种反向传播方法的比较。
图c用公式表示图b。从公式可以看出，backpropagation的值取决于输入，Deconvolution的值取决于上层导数，Guided backpropagation的值取决于输入和上层导数。

• Deconvolution方法前向传播时需要记住位置信息（pool所得），然后反向传播时再使用该值。Guided backpropagation通过