飞百度架构师手把手带你零基础实践深度学习——21日学习打卡（第二周第二日）
首先声明，不详细讲解代码部分，主要是针对课程的理解及对作业的分析。（要是有代码相关问题可以私信）
课程链接：百度架构师手把手带你零基础实践深度学习
前文：飞桨PaddlePaddle-百度架构师手把手带你零基础实践深度学习——21日学习打卡（第二周第一日）
该课程分类专栏：深度学习课程——飞桨paddlepaddle

让我们回顾一下昨天学习的知识–卷积神经网络，昨天的重点在与详细讲解了卷积神经网络的卷积与池化的概念（还有如何进行计算）。
今天孙老师接着昨天讲的，详细说明了卷积神经网络的**函数（ReLU**函数和Sigmoid**函数），批归一化处理（这里重点要知道批归一化处理的作用和思路，好处是使中间层的输出更稳定），Dropout处理（丢弃法，作用是抑制过拟合，飞桨支持两种接口：downgrade_in_infer和upscale_in_train）。
今天学习完这些概念，我们就具备了搭建卷积神经网络的基础。下一节，我们将应用这些基础模块，一起完成图像分类中的典型应用 — 医疗图像中的眼疾筛查任务的模型搭建。

作业

1.反向传播后，梯度值减到接近于0的现象称作梯度消失（内容出处）

2.常用**函数：relu, tanh, sigmoid, elu, relu6, pow, stanh, hard_sigmoid, swish, prelu, brelu, leaky_relu, soft_relu, thresholded_relu, maxout, logsigmoid, hard_shrink, softsign, softplus, tanh_shrink, softshrink, exp。（对应API文档）

3.批归一化（BatchNorm）的作用是：（内容出处）

• 使学习快速进行（能够使用较大的学习率）
• 降低模型对初始值的敏感度
• 在一定程度上抑制过拟合

4.Dropout是深度学习中一种常用的抑制过拟合的方法，其做法是在神经网络学习过程中，随机删除一部分神经元。训练时，随机选出一部分神经元，将其输出设置为0，这些神经元将不对外传递信号。（内容出处）

视频7.1作业

根据提示：先看输出一个像素点需要做多少次乘法和加法操作，然后再计算总共需要的操作次数。
我们先算出输出特征图的一个像素点需要进行 9 次乘法、8 次加法。
计算出输出特征图大小为：[64, 3, 224, 224 ]
乘法：9x64x3x224x224=86,704,128次
加法：8x64x3x224x224=77,070,156次

视频7.2作业

名称	w形状	wc参数的个数	b的形状	b参数个数	输出形状
conv1	[6,3,5,5]	450	[6]	6	[10,6,224,224]
pool1	无	无	无	无	[10,6,112,112]
conv2	[16,6,5,5]	2400	[16]	16	[10,16,112,112]
pool2	无	无	无	无	[10,16,56,56]
fc1	[64,50176]	3211264	[64]	64	[10,64]
fc2	[1,64]	64	[1]	1	[10,1]

有什么不对或者可以改进的地方欢迎评论，互相交流

对了还有个意外之喜!
虽然是最后一名，但是也激动。