ABSTRACT

作者提出了一种称为universal transformer(简称UT)的模型，总的来说，该模型就是集合了Transformer和基于RNN结构的神经网络的优点而提出的更加通用的Transformer模型，具体来说它主要结合了这两个模型中的如下优点：

UTs combine the parallelizability and global receptive field of feed-forward sequence models like the Transformer with the recurrent inductive bias of RNNs.

1. 像Transformer这种前向传播模型中的高效的并行性和全局接收域（global receptive field）
2. RNN模型中的递归的特性。
   （本人英语不好，并且处于Machine Translation的入门阶段，所以一些名词和术语翻译的可能不准确）
   除此之外，在模型中作者还为每个单独的位置添加了一个动态停止机制，并发现通过这种机制的加入，可以极大的提高该模型在几个不同任务上的准确性。

2 MODEL DESCRIPTION

该模型的具体结构如下所示：

在模型当中，我们可以看到，该模型还是经典的encoder+decoder的结构，在encoder和decoder中，之前transformer中的FFN被替换成了更加一般的Transition Function这使得，Transformer模型可以更加的通用，并且可以引入诸如convolution network这种并行度较高的结构。在decoder中与encoder中的结构类似，也是将原来最上层的FFN替换为了Transition Function。

RNN的优势在该模型中是如何体现的呢？
对于encoder或decoder，他的具体结构是如下所示的：

可以看到UT是一种循环的结构，但该时间维度并不是跨越在句子上的每一个位置，而是体现在对中间状态的不断调整上。

该模型的具体计算过程如下：



可以看到，UT的计算过程与Transformer的计算流程大体类似，但是会多了中间状态的转移，其中的H^t就是中间层的隐藏状态。与Transformer较为不同的一点是，UT在位置编码的部分加入了新的时序编码，其具体模型如下所示：

值得注意的是对于运行时间步T，UT中引入了一个ACT机制（Adaptive Computation Time），该机制其实早已不是一个新的概念，他用于动态的确定循环网络迭代的次数，对于ACT的相关概念，之前看的一篇博客说的非常好，这里放上链接ACT。