伯禹学习平台第一次打卡 task05

卷积神经网络

填充

填充（padding）是指在输入高和宽的两侧填充元素（通常是0元素），图2里我们在原输入高和宽的两侧分别添加了值为0的元素。

图2 在输入的高和宽两侧分别填充了0元素的二维互相关计算

如果原输入的高和宽是$n_h$nh​和$n_w$nw​，卷积核的高和宽是$k_h$kh​和$k_w$kw​，在高的两侧一共填充$p_h$ph​行，在宽的两侧一共填充$p_w$pw​列，则输出形状为：

$(n_h+p_h-k_h+1)\times(n_w+p_w-k_w+1)$(nh​+ph​−kh​+1)×(nw​+pw​−kw​+1)

我们在卷积神经网络中使用奇数高宽的核，比如$3 \times 3$3×3，$5 \times 5$5×5的卷积核，对于高度（或宽度）为大小为$2 k + 1$2k+1的核，令步幅为1，在高（或宽）两侧选择大小为$k$k的填充，便可保持输入与输出尺寸相同。

步幅

在互相关运算中，卷积核在输入数组上滑动，每次滑动的行数与列数即是步幅（stride）。此前我们使用的步幅都是1，图3展示了在高上步幅为3、在宽上步幅为2的二维互相关运算。

图3 高和宽上步幅分别为3和2的二维互相关运算

一般来说，当高上步幅为$s_h$sh​，宽上步幅为$s_w$sw​时，输出形状为：

$\lfloor(n_h+p_h-k_h+s_h)/s_h\rfloor \times \lfloor(n_w+p_w-k_w+s_w)/s_w\rfloor$⌊(nh​+ph​−kh​+sh​)/sh​⌋×⌊(nw​+pw​−kw​+sw​)/sw​⌋

如果$p_h=k_h-1$ph​=kh​−1，$p_w=k_w-1$pw​=kw​−1，那么输出形状将简化为$\lfloor(n_h+s_h-1)/s_h\rfloor \times \lfloor(n_w+s_w-1)/s_w\rfloor$⌊(nh​+sh​−1)/sh​⌋×⌊(nw​+sw​−1)/sw​⌋。更进一步，如果输入的高和宽能分别被高和宽上的步幅整除，那么输出形状将是$(n_h / s_h) \times (n_w/s_w)$(nh​/sh​)×(nw​/sw​)。

当$p_h = p_w = p$ph​=pw​=p时，我们称填充为$p$p；当$s_h = s_w = s$sh​=sw​=s时，我们称步幅为$s$s。

多输入通道

卷积层的输入可以包含多个通道，图4展示了一个含2个输入通道的二维互相关计算的例子。

图4 含2个输入通道的互相关计算

假设输入数据的通道数为$c_i$ci​，卷积核形状为$k_h\times k_w$kh​×kw​，我们为每个输入通道各分配一个形状为$k_h\times k_w$kh​×kw​的核数组，将$c_i$ci​个互相关运算的二维输出按通道相加，得到一个二维数组作为输出。我们把$c_i$ci​个核数组在通道维上连结，即得到一个形状为$c_i\times k_h\times k_w$ci​×kh​×kw​的卷积核。

leNet

LeNet 模型

LeNet分为卷积层块和全连接层块两个部分。下面我们分别介绍这两个模块。

卷积层块里的基本单位是卷积层后接平均池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的平均池化层则用来降低卷积层对位置的敏感性。

卷积层块由两个这样的基本单位重复堆叠构成。在卷积层块中，每个卷积层都使用$5 \times 5$5×5的窗口，并在输出上使用sigmoid**函数。第一个卷积层输出通道数为6，第二个卷积层输出通道数则增加到16。

全连接层块含3个全连接层。它们的输出个数分别是120、84和10，其中10为输出的类别个数。

卷积升级网络进阶

LeNet: 在大的真实数据集上的表现并不尽如⼈意。
1.神经网络计算复杂。
2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。

机器学习的特征提取:手工定义的特征提取函数
神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。

神经网络发展的限制:数据、硬件

AlexNet

首次证明了学习到的特征可以超越⼿⼯设计的特征，从而⼀举打破计算机视觉研究的前状。
特征：

1. 8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。
2. 将sigmoid**函数改成了更加简单的ReLU**函数。
3. 用Dropout来控制全连接层的模型复杂度。
4. 引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。