《FRACTALNET: ULTRA-DEEP NEURAL NETWORKS WITHOUT RESIDUALS》论文阅读

一、论文

《FRACTALNET:ULTRA-DEEP NEURAL NETWORKS WITHOUT RESIDUALS》

介绍了一种基于自相似性的神经网络宏架构设计策略。 重复应用简单的扩展规则将生成深度网络，其结构布局将精确地截断为分形。 这些网络包含不同长度的交互子路径，但不包括任何直通或残余连接； 每个内部信号都会先经过滤波器和非线性变换，然后才能被后续层看到。 在实验中，分形网络在CIFAR和ImageNet分类任务上均具有标准残差网络的出色性能，从而证明残差表示对于超深度卷积神经网络的成功并非根本。 相反，关键可能是在训练过程中从有效的浅层过渡到深层的能力。 我们注意到与学生-教师行为的相似之处，并开发了辍学路径（辍学的自然延伸），以规范分形体系结构中子路径的共同适应。 这种正则化允许提取高性能的固定深度子网。 此外，分形网络还具有随时性：浅子网提供了快速的答案，而深层子网具有更高的延迟，可以提供更准确的答案。

 

二、学习资料

分形网络结构——FractalNet: Ultra-Deep Neural Networks without Residuals论文笔记

论文笔记：分形网络（FractalNet: Ultra-Deep Neural Networks without Residuals）

基于分形结构的极深神经网络，超越 ImageNet 2015 冠军 ResNet（附论文下载）

三、网络模型

图1：分形架构。 左图：一个简单的扩展规则生成带有C个交织列的分形架构。 基本情况在输入和输出之间具有所选类型的单层（例如卷积）。 连接层计算按元素的均值。 右图：深层卷积网络会定期通过池化来降低空间分辨率。 分形版本使用作为池化层之间的构件。 堆叠B个这样的块会生成一个网络，该网络的总深度（按卷积层度量）为。 本示例的深度为40（B=5，C=4）。 （其实此网络的重点在于正则化丢弃路径）

四、代码

github:https://github.com/khanrc/pt.fractalnet