Recusive Network

 

简介

Recursive network 是recurrent network的一个general版本,它常常用于在网络中加入先验结构知识,它强不强取决于数据背后的结构性。

情感分析的例子

 

Recusive Network

例如这种类型的短句,not通常是直接直接“反化”兄弟子树的内容,very则是强化兄弟子树。像这种情况,可以用recursive network来解决。那么像这种语法结构哪里来呢,其实可以是另一种算法的生成结果。

Recusive Network

 

上述提到的f是什么?

f可以是一个nn,可以是lstm,也可以是更加复杂的结构,例如为了实现找到左右子树之间的interaction,有一些研究就设计了这样的结构。如下图,你可以看到,上班就是直接concatenate,没有考虑两个向量之间的相关性,而下边就通过矩阵乘法,让两个向量分别组合相乘,以此来强调两者之间的关系。

Recusive Network

 

文本相关性的例子

Recusive Network

 

其实这个和concatenate也区别不大,我感觉这个主要还是用于一些精巧的设计。