Coursera deeplearning.ai 深度学习笔记4-2-Deep Convolutional Models Case Studies-深度卷积模型案例及代码实现
1 深度卷积神经网络案例研究
1.1 LeNet-5
LeNet-5是1998年针对灰度图像训练的而提出的模型。假设有一张32 × 32 × 1的图片,LeNet-5可以识别图片中的手写数字,模型如下。
该模型没有使用padding和ReLU函数,不过Conv -> Pool -> Conv -> Pool -> FC -> FC -> Output这种结构当前仍然使用较多。
1.2 AlexNet
AlexNet使用了ReUL函数,模型如下。
1.3 VGG-16
VGG-16的网络结构比较简单,仅使用一种卷积层和池化层,卷积层参数为3 × 3、s = 1、same,池化层参数为2 × 2、s = 2,缺点在于参数较多。模型如下。
1.4 残差网络ResNets
首先先了解残差块(Residual Block)。对于如下模型:
正向传播通常如下计算:
而在残差网络中,增加了一条将a[l]连接到a[l + 2]的捷径(Short Cut),从而产生了一个残差块,这个操作也称作跳跃连接(Skip Connection):
那么残差网络的正向传播如下计算:
对于如下的网络,每两层增加一个捷径,从而形成了5个残差块,构成了残差网络。
对于通常的神经网络,理论上,层数越多,训练误差会越小;不过实际上,层数越多,意味着用优化算法训练越难,因此训练误差也会有所增加;而对于残差网络,即使层数很大,训练误差仍然会降低。因此,残差网络有利于训练更深的神经网络。
假如采用ReLU函数,可以得到:
对于式中第一项为0的情况下,可以得到:
因此,增加两层残差网络不会使网络的性能下降,而且可以解决反向传播的梯度消失或梯度爆炸问题。
需要注意,如果a[l]和a[l + 2]的维度不一样,需要增加一个参数Ws如下:
对于卷积神经网络,添加残差块的模型如下:
1.5 网络中的网络和1 × 1卷积
1 × 1卷积也称作网络中的网络(Network in Network),如果输入矩阵的信道较多,可以采用1 × 1卷积对其信道进行压缩,而不会改变输入矩阵的高和宽,如下:
对于如下的计算,总共需要计算(28 × 28 × 32) × (5 × 5 × 192) = 1.2亿次乘法。
而先采用1 × 1卷积,然后同样计算,只需要计算(28 × 28 × 16) × (1 × 1 × 192) + (28 × 28 × 32) × (5 × 5 × 16) = 0.12亿次乘法,可见,使用1 × 1卷积明显降低了运算成本。该层也称作瓶颈层(Bottleneck Layer)。
1.6 Inception网络
Inception网络的思想是不需要人为决定使用哪个滤波器,或者是否使用池化层,而是由网络自己选择参数,给网络添加所有可能的滤波器参数,然后把这些输出堆叠起来,让网络自己学习需要的参数。
下图的网络中包含多个Inception块。
2 残差网络Keras代码实现
采用Keras训练和测试模型的流程如下:
(1) 建立模型:model = Model(inputs = X_input, outputs = X, name = ‘HappyModel’);
(2) 编译模型:model.compile(optimizer = ‘adam’, loss = ‘binary_crossentropy’, metrics = [‘accuracy’]);
(3) 训练模型:model.fit(X_train, Y_train, batch_size = 16, epochs = 40);
(4) 评估模型:preds = model.evaluate(X_test, Y_test)。
2.1 残差网络
很深的神经网络通常可以代表非常复杂的函数,能够学习很多复杂的特征。然而,采用很深的神经网络,容易出现梯度消失的问题,而残差网络就可以解决这个问题。根据输入与输出的维度是否相同,有两种残差网络。
当输入和输出维度相同时,采用如下的残差网络Identity block。
当输入和输出维度不相同时,采用如下的残差网络Convolutional block。
2.2 构建模型ResNet50
构建如下模型:
2.3 测试
对如下数据集进行测试:
得到如下结果,可以看出,20次迭代后,训练集误差98.9%,测试集误差93.3%。
此外,采用以下代码可以输出整个模型框架。
代码下载地址:https://gitee.com/tuzhen301/Coursera-deeplearning.ai4-2