CS231n 学习笔记（十六）
时间：2019/4/10
内容：CNN框架
AlexNet
first layer: CONV1
有96个卷积核，因此输出的深度是96，输出体积为[555596]
每一个卷积核都会处理一个11113的数据块，因为输入数据的深度是3（RGB三通道）。因此总参数是11113*96
second layer:POOL1
池化层没有参数。参数即为我们需要训练的参数，卷积层有我们需要训练的权重，但对于池化层，我们只是观察池化区域并取最大值，并没有参数训练
VGGNet
思想：非常深的网络，包含非常小的卷积核。使用小的卷积核可以得到较小的参数参数量，可以让我们尝试更深层的网络和更多的卷积核
当想要加深网络时，通常需要下采样得到更小的总空间占位
GoogleNet
通过零填充来使得经过不同的滤波器后总是获得2828的尺寸（使得输出尺寸和输入尺寸保持一致），然后通过卷积核级联来增加深度
在卷积运算之前降低维度（用11卷积层来减小深度）
辅助分类分支只是使用交叉熵损失函数（SoftMax函数）中一个平均池中的小网络。事实上，ImageNet trainning classification loss用在了三个地方：完整结构的末端，还有两个辅助类分支
所有层的权重都是分离的
ResNet(残差网络)（是目前最好的深度网络）
plain convolutional neural network不带残差功能的卷积神经网络
并不是网络越深越好
想法不仅仅是叠加层，而是每层都尝试学习一些所需函数的底层映射。利用这些block尝试拟合残差映射而不是直接映射
F(x)是残差
穿过太多层梯度可能消失；随即抛弃法