怎样在神经网络设计中加入先验信息 - 权值共享
怎样在神经网络设计中加入先验信息 - 权值共享
当然，怎样在神经网络设计中建立先验信息，以此建立一种特定的网络结构，是必须考虑的重要问题。遗憾的是，现在还没有一种有效的规则来实现这一目的；目前我们更多的是通过某些特别的过程来实现，并已知可以产生一些有用的结果。特别是我们使用下而两种技术的结合：1. 通过使用称为接收域 (receptive field) 的局部连接，限制网络结构。
2. 通过使用权值共享 (weight-sharing)，限制突触权值的选择。
这两种方法，特别是后一种，有很好的附带效益，它能使网络白由参数的数量显著下降。
作为特例，考虑一个如图 20 所示的部分连接前馈网络。这个网络构造具有带限制的结构。顶部 6 个源节点组成隐藏神经元 1 的接收域，网络其余隐藏神经元类推。一个神经元的接收域被定义为输入域区域，其输入刺激能够影响该神经元产生的输出信号。接收城的绘制是关于该神经元行为以及其输出的有效而快速的描述。
为满足权值共享限制，我们对网络隐藏层中的每个神经元都使用同一组突触权值。这样，在图 20 所示的例子中，每个隐藏神经元有 6 个局部连接，共有 4 个隐藏神经元，我们可以表示每个隐藏神经元的诱导局部域如下：
(29)
其中 构成所有四个隐藏神经元共享的同一权值集，
为从源节点 k = i + j - 1 挑选的信号。式 (29) 为卷积和的形式。这里描述的前馈网络使用局部连接和权值共享的方式，我们称这样的前馈网络为卷积网络 (LeCun and Bengio, 2003)。
References
(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静 译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572