Resnet及其变种
Resnet及其变种
Resnet简介
2015 年，ResNet 横空出世，获得了 CVPR 2016 最佳论文奖，在 Imagenet 比赛的三个任务以及 COCO 比赛的检测和分割任务上均获得了第一名。四年过去，这一论文的被引量已超 40000 次，在这之后也出现了很多变体。例如提出的 ResNeXt、SENet 等模型。
Resnet block
链接: resnet论文.
block:
block 说明
可以看出resnet结构即为该block所组成，而block是3个conv对应一个identity，每次skip是将低维信息与后面输出的高维信息相加，将低维度的信息直接传递到了高维度，补充了细节信息，在此，低维信息是指feature map的输入。
可以假设从最开始的输入图片开始skip，每三个conv skip一次，可以看出，最开始的图片可以一直skip到最后的预测，而一般下游任务是目标检测、语义分割或者是实例分割，而这些对于图片的位置信息十分需要，但是到了高维度的抽象下，基本上全部是高维度的语义信息，而缺少了位置信息，因此skip就显得十分重要了。
Resnet完整结构
Resnet性能
分类性能
在cifar-10数据集上所表现出来的性能
目标检测性能
这是在VOC数据集上所表现出来的性能
Dense Block
链接: Densnet论文.
Block说明
这就是Densnet的block结构，而它与Resnet的主要差别就是在低维信息和高维信息的重构方式不一样，Resnet是低维信息feature map加上高维信息的feature map，而Densnet是低维信息feature map与高维信息的feature map进行 cat，即扩展它的channel，这两种方式在不同的任务中性能并不具有绝对的优势，正如“没有免费的午餐”定律一样，并不具有某个算法，在任何任务中都是最优的
Densnet完整结构
正如之前所说一样，Densnet是由多个Dense Block构成，因此，由多个Dense Block所构成的Densnet结构具有以往没有skip结构所不具备的优点，在下游任务中表现极佳。