《Resolution Adaptive Networks for Effificient Inference》阅读笔记
《Resolution Adaptive Networks for Effificient Inference》阅读笔记
本文所做内容
作者根据简单（easy）的输入图片可以只用低分辨率的特征就能完成分类，而复杂的（easy）图像需要更详细的空间特征信息才能完成分类。如下图1所示，在Resolution Adaptive Networks（RANet）中输入图像首先通过权重轻的子网络提取低分辨率的特征，如果这些特征能够让这个样本有足够的置信度完成分类那就不要再进一步提取特征了。如果不能有足够的置信度，那么当前子网络的特征将融合到下一个提取特征分辨率更高特征的子网络中，根据置信度判断能不能完成分类，重复下去一直到某个子网完成分类或者所有的子网都遍历完不能完成分类。
本文所用方法
Adaptive Inference Setting
对于一个K分类网络，输入为X，参数为θk，softmax分类结果属于第K类的表示如下：
当softmax的输出大于给定的阈值时就会直接退出网络，输出结果。
Overall Architecture
RANet的结构如下图2所示，包含一个Initial Layer 和 H 个子网络。每个子网络在结尾的块中都有多个分类器。在H个子网络中可以设置S个不同的尺度（H可以大于S，即有多个同样的尺度）。图中的表示以尺度为s的子网络h的初始化层。为了简单起见作者在图中未画出用来保证计算有效性的过渡层（1 × 1 convolution operator +BN layer +ReLU layer）。
Network Details
Initial Layer
本层的作用是对输入图像根据给定的尺度提取特征。尺度比较大（精细）的特征是使用 Regular-Conv layer（由Batch normalization (BN) layer+ ReLU layer +convolution layer组成）提取。粗糙的特征是使用Strided-Conv layer（将Regular-Conv layer中的convolution layer的stride设置为2）提取。
Sub-networks with Different Scales
Sub-network 1
输入初为始化层生成的，如下图3中的a所示中间为L层的Dense Blocks，其中第i层的输出会融合到子网络2中。
Sub-networks on larger-scale features
子网络h(h>1)拥有初始化层生成的基础特征并且融合子网络h-1的特征。假设子网络h-1拥有
个块，那么子网络h的前
个块都将融合子网络h-1中对应的块。剩下的块是正常的Dense块。
本文提出了两种关于融合的方法，如下图3中b所示是融合之后特征的尺度不变，c所示是融合之后特征的尺度降低。
对于b中保持特征尺度融合的方法是使用Up-Conv layer（Regular-Conv layer + up-sampling bilinear interpolation）处理，得到这些结果特征最后通过dense连接融合在一起。
对于c中降低特征尺度融合的方法是在最后的块中对当前网络提取的特征使用Strided-Conv layer降低特征的尺度，对前一层子网络中的特征使用Regular-Conv layer保持低的特征尺度。在pooling操作之后也是使用dense连接将特征融合在一起
Classififiers and loss function
每个子网络的末尾都有多个分类器，损失函数使用的是交叉熵损失函数。
Resolution and Depth Adaptation
与MSDNet一样作者在实现分辨率自适应的同时还实现了深度自适应。下图是4展示了MSDNet与本文的RANet的不同。
MSDNet（如下图2所示）： 分类器位于最低分辨率尺度上，一旦中间的分类器不生成足够置信度的结果，所有接下来层的尺度的都将被执行。然而在本文的RANet中是某个尺度的子网络先执行，然后再执行下一个尺度的子网络。 这样的推理方案自然结合了分辨率和深度适应，完成了一个超越MSDNet的改进。
Experiments
t的改进。
[外链图片转存中…(img-3kQb6Zgi-1585982916458)]