一文读懂深度学习中的各种卷积（阅读笔记）
1、卷积与互相关
在深度学习中，卷积中的过滤器不经过反转。严格来说，这是互相关。我们本质上是执行逐元素乘法和加法。但在深度学习中，直接将其称之为卷积更加方便。因为过滤器的权重是在训练阶段学习到的。如果上面例子中的反转函数 g 是正确的函数，那么经过训练后，学习得到的过滤器看起来就会像是反转后的函数 g。
2、3D卷积
对比的，2D卷积为全通道的，不会在通道轴上滑动。
3、转置卷积（去卷积）（反卷积）
对应的算术解释：
#普通卷积：现在，如果我们在等式的两边都乘上矩阵的转置 CT，并借助“一个矩阵与其转置矩阵的乘法得到一个单位矩阵”这一性质，那么我们就能得到公式 CT x Small = Large，如下图所示：
4、扩张卷积（Atrous 卷积）
即空洞卷积
5、可分卷积
5.1空间可分卷积（pointwise）
空间可分卷积操作的是图像的 2D 空间维度，即高和宽。从概念上看，空间可分卷积是将一个卷积分解为两个单独的运算。对于下面的示例，3×3 的 Sobel 核被分成了一个 3×1 核和一个 1×3 核。我们稍微推广一下上面的例子。假设我们现在将卷积应用于一张 N×N 的图像上，卷积核为 m×m，步幅为 1，填充为 0。传统卷积需要 (N-2) x (N-2) x m x m 次乘法，空间可分卷积需要 N x (N-2) x m + (N-2) x (N-2) x m = (2N-2) x (N-2) x m 次乘法。
5.2深度可分卷积（DepthWise卷积）
标准2D卷积一般来说，两个神经网络层之间会应用多个过滤器。假设我们这里有 128 个过滤器。在应用了这 128 个 2D 卷积之后，我们有 128 个 5×5×1 的输出映射图（map）。然后我们将这些映射图堆叠成大小为 5×5×128 的单层。通过这种操作，我们可将输入层（7×7×3）转换成输出层（5×5×128）。空间维度（即高度和宽度）会变小，而深度会增大。
深度可分卷积：
先提取区域特征，再提取通道特征