如何理解CNN中的权值共享

记录一下深度学习中CNN中的权值共享

首先,卷积网络的核心思想是将:局部感受野、权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。

通俗理解,所谓的\color{black}{权值共享}就是说,给一张输入图像,用一个filter去扫面这种图,filter里面的数就叫权重,这张图每个位置是被同样的filter扫的,所以权重是一样的,也就是共享。

  • Input是一维的情况
    如何理解CNN中的权值共享
    此时的filter是1 0 -1最右上角图,即F=3。左边stride=1,右边stride=2。整个滤波(卷积)的过程中filter从input最左端滑到最右端,值一直保持不变。
  • Input是三维的情况,size:w1 * H1 * D1
    如何理解CNN中的权值共享
    此时,每个filter需要F * F * D1个权重值,总共K个filter,需要F * F * D1 * K权重值。和一维一样,整个滑动过程中filter W0W1值保持不变,可称作权值共享

图片出自 CS231n Convolutional Neural Networks for Visual Recognition(侵删)