递归神经网络
递归神经网络是啥
因为神经网络的输入层单元个数是固定的，因此必须用循环或者递归的方式来处理长度可变的输入。循环神经网络实现了前者，通过将长度不定的输入分割为等长度的小块，然后再依次的输入到网络中，从而实现了神经网络对变长输入的处理。一个典型的例子是，当我们处理一句话的时候，我们可以把一句话看作是词组成的序列，然后，每次向循环神经网络输入一个词，如此循环直至整句话输入完毕，循环神经网络将产生对应的输出。如此，我们就能处理任意长度的句子了。入下图所示：
然而，有时候把句子看做是词的序列是不够的，比如下面这句话『两个外语学院的学生』：
上图显示了这句话的两个不同的语法解析树。可以看出来这句话有歧义，不同的语法解析树则对应了不同的意思。一个是『两个外语学院的/学生』，也就是学生可能有许多，但他们来自于两所外语学校；另一个是『两个/外语学院的学生』，也就是只有两个学生，他们是外语学院的。为了能够让模型区分出两个不同的意思，我们的模型必须能够按照树结构去处理信息，而不是序列，这就是递归神经网络的作用。当面对按照树/图结构处理信息更有效的任务时，递归神经网络通常都会获得不错的结果
递归神经网络可以把一个树/图结构信息编码为一个向量，也就是把信息映射到一个语义向量空间中。这个语义向量空间满足某类性质，比如语义相似的向量距离更近。也就是说，如果两句话（尽管内容不同）它的意思是相似的，那么把它们分别编码后的两个向量的距离也相近；反之，如果两句话的意思截然不同，那么编码后向量的距离则很远。如下图所示：
从上图我们可以看到，递归神经网络将所有的词、句都映射到一个2维向量空间中。句子『the country of my birth』和句子『the place where I was born』的意思是非常接近的，所以表示它们的两个向量在向量空间中的距离很近。另外两个词『Germany』和『France』因为表示的都是地点，它们的向量与上面两句话的向量的距离，就比另外两个表示时间的词『Monday』和『Tuesday』的向量的距离近得多。这样，通过向量的距离，就得到了一种语义的表示。
尽管递归神经网络具有更为强大的表示能力，但是在实际应用中并不太流行。其中一个主要原因是，递归神经网络的输入是树/图结构，而这种结构需要花费很多人工去标注。想象一下，如果我们用循环神经网络处理句子，那么我们可以直接把句子作为输入。然而，如果我们用递归神经网络处理句子，我们就必须把每个句子标注为语法解析树的形式，这无疑要花费非常大的精力。很多时候，相对于递归神经网络能够带来的性能提升，这个投入是不太划算的。
递归神经网络的前向计算
递归神经网络的输入是两个子节点（也可以是多个），输出就是将这两个子节点编码后产生的父节点，父节点的维度和每个子节点是相同的。如下图所示：
和
分别是表示两个子节点的向量，P是表示父节点的向量。子节点和父节点组成一个全连接神经网络，也就是子节点的每个神经元都和父节点的每个神经元两两相连。我们用矩阵W表示这些连接上的权重，它的维度将是d*2d，其中，d表示每个节点的维度。父节点的计算公式可以写成：
然后，我们把产生的父节点的向量和其他子节点的向量再次作为网络的输入，再次产生它们的父节点。如此递归下去，直至整棵树处理完毕。最终，我们将得到根节点的向量，我们可以认为它是对整棵树的表示，这样我们就实现了把树映射为一个向量。在下图中，我们使用递归神经网络处理一棵树，最终得到的向量，就是对整棵树的表示：
举个例子，我们使用递归神将网络将『两个外语学校的学生』映射为一个向量，如下图所示：
需要特别注意的是，递归神经网络的权重W和偏置项b在所有的节点都是共享的。
递归神经网络的训练
下面，我们介绍适用于递归神经网络的训练算法，也就是BPTS算法。
误差项的传递
首先，我们先推导将误差从父节点传递到子节点的公式，如下图：
定义为误差函数E相对于父节点p的加权输入
的导数，即：
设是父节点的加权输入，则
在上述式子里，、
、
都是向量，而W是矩阵。为了看清楚它们的关系，我们将其展开：
在上面的公式中，表示父节点p的第i个分量；
表示子节点
的第i个分量；
表示子节点
的第i个分量；
表示子节点
的第k个分量到父节点p的第i个分量的的权重。根据上面展开后的矩阵乘法形式，我们不难看出，对于子节点
来说，它会影响父节点所有的分量。因此，我们求误差函数E对
的导数时，必须用到全导数公式，也就是：
有了上式，我们就可以把它表示为矩阵形式，从而得到一个向量化表达：
首先我们把W矩阵拆分为两个矩阵和
，如下图所示：
显然，子矩阵和
分别对应子节点
和
的到父节点P权重。则
矩阵为：
现在，我们设是子节点
的加权输入，f是子节点c的**函数，则：
这样，我们得到：
如果我们将不同子节点对应的误差项
连接成一个向量
。那么，上式可以写成：
式2就是将误差项从父节点传递到其子节点的公式。注意，上式中的也是将两个子节点的加权输入
和
连在一起的向量。
有了传递一层的公式，我们就不难写出逐层传递的公式。
上图是在树型结构中反向传递误差项的全景图，反复应用式2,在已知的情况下，我们不难算出
为：
在上面的公式中，，
表示取向量
属于节点p的部分。
权重梯度的计算
根据加权输入的计算公式：
其中，表示第l层的父节点的加权输入，
表示第l层的子节点。W是权重矩阵，b是偏置项。将其展开可得：
那么，我们可以求得误差函数在第l层对权重的梯度为：
上式是针对一个权重项的公式，现在需要把它扩展为对所有的权重项的公式。我们可以把上式写成矩阵的形式（在下面的公式中，m=2n）：
式3就是第l层权重项的梯度计算公式。我们知道，由于权重W是在所有层共享的，所以和循环神经网络一样，递归神经网络的最终的权重梯度是各个层权重梯度之和。即：
接下来，我们求偏置项b的梯度计算公式。先计算误差函数对第l层偏置项的梯度：
把上式扩展为矩阵的形式：
式5是第l层偏置项的梯度，那么最终的偏置项梯度是各个层偏置项梯度之和，即：
权重更新
如果使用梯度下降优化算法，那么权重更新公式为：
其中，是学习速率常数。把式4带入到上式，即可完成权重的更新。同理，偏置项的更新公式为：
把式6带入到上式，即可完成偏置项的更新。