深度学习——经典卷积神经网络

卷积神经网络的发展起点是神经认知机模型。

 

1、经典CNN——AlexNet

• 2012年ImageNet LSVRS（大规模视觉识别挑战赛）冠军
  • TOP-5错误率15.3%，远低于第二名的错误率（26.2%）；TOP-1错误率37.5%
• 主要贡献：
  • 防止过拟合：数据增强（data augmentation）,Dropout
    • 数据增强方式
      • 水平翻转、改变对比度、随机裁剪
    • Dropout
      • 用于 全连接层
      • 每次迭代以某概率将神经元输出置0，不参与前向和后向传播
      • 产生不同的网络结构，进行组合，大大减少了过拟合
      • 缺点：训练时间增加
  • GPU实现：将网络分布在两个GPU上，且GPU之间在某些层能够互相通信
  • 非线性**：ReLU代替sigmoid
  • 大数据训练：120万ImageNet图像数据集

2、经典CNN——VGGNet

• 可以看成加深版本的AlexNet
• 5个卷积组
• Conv X-Y:卷积核尺寸X，深度Y
• 11层~19层
• 卷积核大小：3x3
• 卷积核深度：大部分都采用了逐层递增的方式
• VGG-16和VGG-19

3、经典CNN——GoogleNet

GoogleNet思想主要围绕深度和宽度实现。

• 深度：22层，避免梯度消失问题，GoogleNet在网络不同深度的地方增加了两个损失函数，避免反向传播时候的梯度消失。
• 宽度：多种大小的卷积核（Inception结构）

4、经典CNN——ResNet

56层网络比20层网络有更高的训练和测试误差，并非是过拟合问题，而是梯度消失问题，导致无法对前面网络层的权重进行有效调整。

 

引入捷径连接（shortcut connections）