深度学习【34】DenseNet
DenseNet将跳跃连接做到了极致。DenseNet的优点：防止梯度弥散，加强特征传播，有利特征融合，减少参数量。
随意领略一下denseNet的跳跃连接：
每层都有来自前面所有层的输入，每层的输出通道都为4。
在设计denseNet的时候，一般只有在两个下采样层之间的那些网络层进行上图那样的跳跃连接，比如：
在每个Dense Block之间都有一个池化层。
DenseNet在处理来当前卷积层的前面几层作为输入的特征图不是用sum操作，因为用sum操作会不利于误差的传播，而是直接采用concatenate操作（直接拼接）。这样以来每一层的输出就不能太大，不然整个网络的参数量会急剧上升。DenseNet专门使用了Growth rate（用k表示）作为每层的输出通道数（比如k=12，每一层输出通道数为12）。
在进行一个池化层之前DenseNet又用了一个1*1的卷积层来减少通道数。假设每个Dense Block的输出通道为m，那么可以将该1*1的通道数设置为
在Dens Block中，每一层的网络层具体结构为：
BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)，其中Conv(1×1)的输出通道为4×k。
实验结果
C10和C100，分别是CIFAR-10和CIFAR-100，C10+表示用了数据扩充。
imageNet