为了使DN（development network）有一个pre-selected feature to detect ,引入了这个概念。

比如你有一些待检测的人脸图像as shown below:

给你的任务是识别每张图里面的人是谁，但是我们看到这些图片中除了包含人脸外还有很多的背景信息，其中这些背景信息在用DN做人脸识别的时候如果抑制掉了，效果会不会提升，因为我要做的只是识别谁是谁 ？  这是作者的motivation

作者希望神经元能够自己切断对它自己**没有影响或者影响较小的连接，比如上图的background信息。

然后作者就提出了一个仿生学的算法：根据输入和神经元存储的weight的匹配程度来决定哪些pixel应该被修剪，然后为了"讲好故事“ 写了很多仿生学的material来support他的idea.（between the pre-synaptic activitiesand the synaptic conductance (weight).），

具体算法：

假设是神经元的输入，是神经元存储的权值（你可以理解为网络学到的知识），

然后用，δi 表示的是**神经元中，输入神经元的信息和原来神经元存储的信息之间的standard deviation（标准差），用来衡量V和P的match程度。注意：条件很重要，是在**的神经元中

 

很显然，一开始没有执行更新算法（hebbian learning）的时候，神经元的权重是随机初始化的，也就是这个δ应该一开始为一个constant，等权重较好的学习到了输入的“知识”的时候（较好的拟合输入数据的分布，也就是比较稳定的时候），δ才开始起作用，当神经元的年龄（被**的次数达到一定值的时候），δ应该是一个增长型的方差，用公式表述如下式：

 

 

 这里其中w1，w2可以直接参考hebbian learning，分别称为学习率，和retention rate（保留率，为了和上一时刻建立联系）u（n）称为遗忘因子，是神经元年龄（**次数）的函数，比如，的时候，也就是神经元没有被**，理解位新生的神经元，此时学习能力是很强的，也就是遗忘因子为0，随着“细胞的老化”（**次数的增加，的增大），遗忘函数呈现线性增长，斜率为常数c，也就是**次数位与这个区间的时候。当**次数很大的时候， 趋近于一个常数c，后面一项加的近似为0（分母很大，分子相对较小），可以忽略，这是作者根据仿生学建立的细胞遗忘模型，最后用实验结果证明了该模型的有效性，老套路。

 

假如δ的值比较大，我们将削弱当前突触i的连接，反之，增强当前突触i的连接。（因为如果输入信息和神经元学到的知识比较match时，没有必要进行修剪，当前景不变，背景变化剧烈的时候，δ较大，应该进行修剪，达到去除背景的效果）

 

相对方差定义：

δ平的意思是既有x->y的连接，也要z->y的连接，也就是delta有多个，然后去平均。 

平滑突触因子定义：

 ， ，定义这个参数的动机是： 根据突触匹配的效果，来决定削弱哪些连接，如果，也就是所有的突触匹配的都比较好，那么就不用削弱连接，如果突触匹配的程度层次不齐，对于的突触，连接要加强，位于

区间内的连接要削弱，而的连接要切断，也就是乘以了修剪因子

 = 0 ，结果为零。

 

突触修剪：

  很好理解，就是公式描述的意思，乘以修剪因子来处理输入和权重。

举个例子：这是公式里面的pi

这是修剪因子：

 

两者相乘就得到了修剪后的输入，权值同理：

 

欢迎一起讨论学习，留言都会回复。