原文地址 2015 摘要
引言
背景：神经机器翻译
RNN Encoder-DecoderCho et al 2014a 和 Sutskever et al 2014 ），我们再次基础上建立了一个能够同时进行对齐和翻译的新框架。x = ( x 1 , x 2 , . . . , x T x ) (x_1, x_2, ..., x_{T_x}) ( x 1 , x 2 , . . . , x T x ) h t =  f ( x t ,  h t − 1 ) h_t\,=\,f(x_t, \,h_{t-1}) h t = f ( x t , h t − 1 ) c  =  q ( { h 1 , . . . , h T x } ) , c\,=\,q(\{h_1, ..., h_{T_x}\}), c = q ( { h 1 , . . . , h T x } ) , h t ∈ R n h_t\in R^n h t ∈ R n  t   \,t\, t  c   \,c\, c 序列 生成的向量。 f  和  q   \,f\,和\,q\, f 和 q  c   \,c\, c { y 1 , . . . , y t ′ − 1 } \{y_1,...,y_{t'-1}\} { y 1 , . . . , y t ′ − 1 } y t ′ y_{t'} y t ′  y   \,y\, y p ( y )  =  ∏ t = 1 T p ( y t ∣ { y 1 , . . . , y t − 1 , c } ) , ( 2 ) p(y)\,=\,\prod_{t=1}^Tp(y_t|\{y_1,...,y_{t-1},c\}),\qquad\qquad(2) p ( y ) = t = 1 ∏ T p ( y t ∣ { y 1 , . . . , y t − 1 , c } ) , ( 2 ) y = ( y 1 , . . . , y T y ) y ={(y_1, ..., y_{T_y})} y = ( y 1 , . . . , y T y ) p ( y t ∣ { y 1 , . . . , y t − 1 } , c ) = g ( y t − 1 , s t , c ) , ( 3 ) p(y_t|\{y_1,...,y_{t-1}\},c)=g(y_{t-1},s_t,c),\qquad\qquad(3) p ( y t ∣ { y 1 , . . . , y t − 1 } , c ) = g ( y t − 1 , s t , c ) , ( 3 ) g g g y t y_t y t s t s_t s t Kalchbrenner and Blunsom 2013 。
本文主体。结构包括一个双向RNN编码器和一个能够对源句子进行搜索的解码器。解码器：一般描述 p ( y )  =  ∏ t = 1 T p ( y t ∣ { y 1 , . . . , y t − 1 , c } ) p(y)\,=\,\prod_{t=1}^Tp(y_t|\{y_1,...,y_{t-1},c\}) p ( y ) = ∏ t = 1 T p ( y t ∣ { y 1 , . . . , y t − 1 , c } ) p ( y i ∣ { y 1 , . . . , y i − 1 } , x ) = g ( y i − 1 , s i , c i ) , ( 4 ) p(y_i|\{y_1,...,y_{i-1}\},x)=g(y_{i-1},s_i,c_i),\qquad\qquad(4) p ( y i ∣ { y 1 , . . . , y i − 1 } , x ) = g ( y i − 1 , s i , c i ) , ( 4 ) s i s_i s i i i i s i = f ( s i − 1 , y i − 1 , c i ) . s_i = f(s_{i-1},y_{i-1},c_i). s i = f ( s i − 1 , y i − 1 , c i ) . 注意 ：与现有的Encoder-Decoder方法不同(2)，这里，每个目标单词y i y_i y i c i c_i c i c i c_i c i ( h 1 , . . . , h T x ) (h_1,...,h_{T_x}) ( h 1 , . . . , h T x ) ( h 1 , . . . , h T x ) (h_1,...,h_{T_x}) ( h 1 , . . . , h T x ) h i h_i h i ( x 1 , x 2 , . . . , x T ) (x_1,x_2,...,x_T) ( x 1 , x 2 , . . . , x T ) t t t y t y_t y t c i c_i c i h i h_i h i c i = ∑ j = 1 T x α i j h j c_i=\sum_{j=1}^{T_x}\alpha_{ij}hj c i = j = 1 ∑ T x α i j h j α i j \alpha_{ij} α i j α i j = e x p ( e i j ) ∑ k = 1 T x e x p ( e i k ) , ( 6 ) \alpha_{ij} = \frac{exp(e_{ij})}{\sum_{k=1}^{T_x}exp(e_{ik})},\qquad (6) α i j = ∑ k = 1 T x e x p ( e i k ) e x p ( e i j ) , ( 6 ) e i j = a ( s i − 1 , h j ) e_{ij}=a(s_{i-1},h_j) e i j = a ( s i − 1 , h j ) s i − 1 s_{i-1} s i − 1 j j j h j h_j h j 注意 ：对齐不被认为是一个潜在变量，Instead, the alignment model directly com-putes a soft alignment, which allows the gradient of the cost function to be backpropagated through.
α i j 可 以 看 成 是 概 率 — — 从 源 句 子 x j 翻 译 成 （ 对 准 为 ） 目 标 单 词 y i 的 概 率 。 t h e  i − t h  c o n t e x t  v e c t o r  c i i s  t h e  e x p e c t e d  a n n o t a t i o n  o v e r  a l l  t h e  a n n o t a t i o n s  w i t h  p r o b a b i l i t i e s  α i j . ( 第 i 个 上 下 文 向 量 c i 是 在 具 有 概 率 α i j 的 所 有 注 释 H 的 期 望 注 释 ， 即 对 映 射 h 用 α i j 的 加 权 和 ) 概 率 α i j （ e i j ） 反 映 了 在 决 定 下 一 状 态 s i 和 生 成 y i 时 ， h j 和 前 一 隐 藏 状 态 s i − 1 的 重 要 性 。 \color{blue}{\begin{array}l\\\alpha_{ij}可以看成是概率——从源句子x_{j}翻译成（对准为）目标单词y_i的概率。\\ the\, i-th \,context\, vector\, c_i \,is \,the\, expected \,annotation \,over\, all \,the \,annotations \,with\, probabilities\, α_{ij}.\\(第i个上下文向量c_i是在具有概率α_{ij}的所有注释H的期望注释，即对映射h用α_{ij}的加权和)\\概率α_{ij}（e_{ij}）反映了在决定下一状态s_i和生成y_i时，h_j和前一隐藏状态s_{i-1}的重要性。\end{array}} α i j 可 以 看 成 是 概 率 — — 从 源 句 子 x j 翻 译 成 （ 对 准 为 ） 目 标 单 词 y i 的 概 率 。 t h e i − t h c o n t e x t v e c t o r c i i s t h e e x p e c t e d a n n o t a t i o n o v e r a l l t h e a n n o t a t i o n s w i t h p r o b a b i l i t i e s α i j . ( 第 i 个 上 下 文 向 量 c i 是 在 具 有 概 率 α i j 的 所 有 注 释 H 的 期 望 注 释 ， 即 对 映 射 h 用 α i j 的 加 权 和 ) 概 率 α i j （ e i j ） 反 映 了 在 决 定 下 一 状 态 s i 和 生 成 y i 时 ， h j 和 前 一 隐 藏 状 态 s i − 1 的 重 要 性 。
解码器中的注意力机制使编码器能够从将所有源信息都编码成一个固定维度的向量的繁重任务中解脱出来。
解码器：双向RNN生成注释序列h ( h → 1 , . . . , h → T x ) (\overrightarrow h_1,...,\overrightarrow h_{T_x}) ( h 1 , . . . , h T x ) x 1 到 x T x x_1到x_{T_x} x 1 到 x T x ( h ← 1 , . . . , h ← T x ) (\overleftarrow h_1,...,\overleftarrow h_{T_x}) ( h 1 , . . . , h T x ) x T x 到 x 1 x_{T_x}到x_1 x T x 到 x 1 x j x_j x j h j = [ h → j T ; h ← j T ] T h_j = [\overrightarrow h_j^T;\overleftarrow h_j^T]^T h j = [ h j T ; h j T ] T
对所提出的英法翻译进行了评价。我们使用ACL WMT’14 提供的双语平行语料库，并与Cho et al （2014a） 所提方法做对比。4.1 数据集 4.2 模型 Cho et al（2014a） ）提出的
m a x o u t  n e t w o r k  ( G o o d f e l l o w  e t  a l , ( 2013 ) ) \color{red}{maxout \,network\,(Goodfellow\,et\,al,(2013))} m a x o u t n e t w o r k ( G o o d f e l l o w e t a l , ( 2 0 1 3 ) ) h o w  t o  c o n n e c t  r e c u r r e n t  n e u r a l  n e t w o r k , ( P a s c a n u  e t  a l , ( 2014 ) ) \color{red}{how\, to\, connect\, recurrent\, neural\, network,(Pascanu\,et\,al,(2014))} h o w t o c o n n e c t r e c u r r e n t n e u r a l n e t w o r k , ( P a s c a n u e t a l , ( 2 0 1 4 ) )
利用SGD和Adadelta （Zeiler, 2012） 来训练模型
随后，利用b e a m  s e a r c h \color{green}{beam \,search} b e a m s e a r c h
定性分析（qualitative）和定量（quantitative）分析 定 性 和 定 量 分 析 是 两 种 不 相 同 但 是 有 潜 在 联 系 的 分 析 方 法 。 不 同 : 定 性 就 是 用 文 字 语 言 进 行 相 关 描 述 。 它 是 主 要 凭 分 析 者 的 直 觉 、 经 验 ， 运 用 主 观 上 的 判 断 来 对 分 析 对 象 的 性 质 、 特 点 、 发 展 变 化 规 律 进 行 分 析 的 一 种 方 法 。 定 量 就 是 用 数 学 语 言 进 行 描 述 。 它 是 依 据 统 计 数 据 ， 建 立 数 学 模 型 ， 并 用 数 学 模 型 针 对 数 量 特 征 、 数 量 关 系 与 数 量 变 化 去 分 析 的 一 种 方 法 。 相 同 : 它 们 一 般 都 是 通 过 比 较 对 照 来 分 析 问 题 和 说 明 问 题 的 。 正 是 通 过 对 各 种 指 标 的 比 较 或 不 同 时 期 同 一 指 标 的 对 照 才 反 映 出 数 量 的 多 少 、 质 量 的 优 劣 、 效 率 的 高 低 、 消 耗 的 大 小 、 发 展 速 度 的 快 慢 等 等 ， 才 能 为 作 鉴 别 、 下 判 断 提 供 确 凿 有 据 的 信 息 。 优 缺 点 : 相 比 而 言 ， 定 量 分 析 方 法 更 加 科 学 ， 但 需 要 较 高 深 的 数 学 知 识 ， 而 定 性 分 析 方 法 虽 然 较 为 粗 糙 ， 但 在 数 据 资 料 不 够 充 分 或 分 析 者 数 学 基 础 较 为 薄 弱 时 比 较 适 用 。 在 分 析 过 程 中 通 常 会 运 用 定 性 与 定 量 相 结 合 的 分 析 方 法 。 \color{green}{\begin{array}l定性和定量分析是两种不相同但是有潜在联系的分析方法。\\不同:\\\qquad定性就是用文字语言进行相关描述。\\\qquad它是主要凭分析者的直觉、经验，运用主观上的判断来对分析对象的\\\qquad性质、特点、发展变化规律进行分析的一种方法。\\定量就是用数学语言进行描述。\\它是依据统计数据，建立数学模型，\\并用数学模型针对数量特征、数量关系与数量变化去分析的一种方法。\\相同:\\它们一般都是通过比较对照来分析问题和说明问题的。\\正是通过对各种指标的比较或不同时期同一指标的对照才反映出数量的多少、质量的优劣、\\效率的高低、消耗的大小、发展速度的快慢等等，才能为作鉴别、下判断提供确凿有据的信息。\\优缺点:\\相比而言，定量分析方法更加科学，但需要较高深的数学知识，\\而定性分析方法虽然较为粗糙，但在数据资料不够充分或分析者数学基础较为薄弱时比较适用。\\在分析过程中通常会运用定性与定量相结合的分析方法。\end{array}} 定 性 和 定 量 分 析 是 两 种 不 相 同 但 是 有 潜 在 联 系 的 分 析 方 法 。 不 同 : 定 性 就 是 用 文 字 语 言 进 行 相 关 描 述 。 它 是 主 要 凭 分 析 者 的 直 觉 、 经 验 ， 运 用 主 观 上 的 判 断 来 对 分 析 对 象 的 性 质 、 特 点 、 发 展 变 化 规 律 进 行 分 析 的 一 种 方 法 。 定 量 就 是 用 数 学 语 言 进 行 描 述 。 它 是 依 据 统 计 数 据 ， 建 立 数 学 模 型 ， 并 用 数 学 模 型 针 对 数 量 特 征 、 数 量 关 系 与 数 量 变 化 去 分 析 的 一 种 方 法 。 相 同 : 它 们 一 般 都 是 通 过 比 较 对 照 来 分 析 问 题 和 说 明 问 题 的 。 正 是 通 过 对 各 种 指 标 的 比 较 或 不 同 时 期 同 一 指 标 的 对 照 才 反 映 出 数 量 的 多 少 、 质 量 的 优 劣 、 效 率 的 高 低 、 消 耗 的 大 小 、 发 展 速 度 的 快 慢 等 等 ， 才 能 为 作 鉴 别 、 下 判 断 提 供 确 凿 有 据 的 信 息 。 优 缺 点 : 相 比 而 言 ， 定 量 分 析 方 法 更 加 科 学 ， 但 需 要 较 高 深 的 数 学 知 识 ， 而 定 性 分 析 方 法 虽 然 较 为 粗 糙 ， 但 在 数 据 资 料 不 够 充 分 或 分 析 者 数 学 基 础 较 为 薄 弱 时 比 较 适 用 。 在 分 析 过 程 中 通 常 会 运 用 定 性 与 定 量 相 结 合 的 分 析 方 法 。 5.1 定量结果
本文方法背后的动机之一是针对基 本 编 码 器 − 解 码 器 方 法 中 使 用 固 定 长 度 的 上 下 文 向 量 ， 固 定 长 度 的 上 下 文 向 量 会 限 制 性 能 \color{green}{基本编码器-解码器方法中使用固定长度的上下文向量，固定长度的上下文向量会限制性能} 基 本 编 码 器 − 解 码 器 方 法 中 使 用 固 定 长 度 的 上 下 文 向 量 ， 固 定 长 度 的 上 下 文 向 量 会 限 制 性 能
5.2 定性结果
6.1 Learning to align
6.2 Neural Networks for machine translation
将源句子编码为固定长度向量存在问题。α i j α_{ij} α i j j j j i i i 留 给 未 来 的 挑 战 之 一 是 如 何 更 好 地 处 理 未 知 或 罕 见 的 单 词 。 这 将 让 模 型 得 到 更 广 泛 的 应 用 。 \color{green}{\begin{array}l留给未来的挑战之一是如何更好地处理未知或罕见的单词。\\这将让模型得到更广泛的应用。\end{array}} 留 给 未 来 的 挑 战 之 一 是 如 何 更 好 地 处 理 未 知 或 罕 见 的 单 词 。 这 将 让 模 型 得 到 更 广 泛 的 应 用 。
模 型 结 构 \color{green}{模型结构} 模 型 结 构
A . 1  体 系 结 构 的 选 择 \color{green}{A.1\, 体系结构的选择} A . 1 体 系 结 构 的 选 择 A . 1.1   循 环 神 经 网 络 \color{green}{A.1.1\,\,循环神经网络} A . 1 . 1 循 环 神 经 网 络 c i c_i c i s i =  f ( s i − 1 , y i − 1 , c i )  =  ( 1 − z i ) ∘ s i − 1 + z i ∘ s ~ i , s_i \,=\,f(s_{i-1},y_{i-1},c_i)\,=\,(1-z_i)\circ s_{i-1}+z_i\circ \widetilde s_i, s i = f ( s i − 1 , y i − 1 , c i ) = ( 1 − z i ) ∘ s i − 1 + z i ∘ s i , ∘ \circ ∘ z i z_i z i s ~ i = t a n h ( W e ( y i − 1 ) + U [ r i ∘ s i − 1 ] + C c i ) , \widetilde s_i = tanh(We(y_{i-1})+U[r_i\circ s_{i-1}]+Cc_i), s i = t a n h ( W e ( y i − 1 ) + U [ r i ∘ s i − 1 ] + C c i ) , e ( y i − 1 ) ∈ R m e(y_{i-1})\in R^m e ( y i − 1 ) ∈ R m y i − 1 y_{i-1} y i − 1 r i r_i r i y i y_i y i e ( y i ) e(y_i) e ( y i ) E ∈ R m × K E\in R^{m\times K} E ∈ R m × K z i z_i z i r i r_i r i z i = σ ( W z e ( y i − 1 ) + U z s i − 1 + C z c i ) , z_i = \sigma (W_ze(y_{i-1})+U_zs_{i-1}+C_zc_i), z i = σ ( W z e ( y i − 1 ) + U z s i − 1 + C z c i ) , r i = σ ( W r e ( y i − 1 ) + U r s i − 1 + C r c i ) , r_i=\sigma (W_re(y_{i-1})+U_rs_{i-1}+C_rc_i), r i = σ ( W r e ( y i − 1 ) + U r s i − 1 + C r c i ) , σ ( ⋅ ) \sigma(\cdot) σ ( ⋅ )
A . 1.2   对 齐 模 型 \color{green}{A.1.2\,\,对齐模型} A . 1 . 2 对 齐 模 型 T x × T y T_x\times T_y T x × T y a ( s i − 1 , h j ) = v a T t a n h ( W a s i − 1 + U a h j ) , a(s_{i-1},h_j)=v_a^Ttanh(W_as_{i-1}+U_ah_j), a ( s i − 1 , h j ) = v a T t a n h ( W a s i − 1 + U a h j ) , W a ∈ R n × n , U a ∈ R n × 2 n , v a ∈ R n W_a\in R^{n\times n},U_a\in R^{n\times 2n},v_a\in R^n W a ∈ R n × n , U a ∈ R n × 2 n , v a ∈ R n U a h j U_ah_j U a h j A . 2   模 型 详 细 描 述 \color{green}{A.2\,\,模型详细描述} A . 2 模 型 详 细 描 述 A . 2.1   解 码 器 \color{green}{A.2.1\,\,解码器} A . 2 . 1 解 码 器 x = ( x 1 , . . . , x T x ) , x i ∈ R K x x = (x_1, ...,x_{T_x}),x_i\in R^{K_x} x = ( x 1 , . . . , x T x ) , x i ∈ R K x y = ( y 1 , . . . , y T y ) , y i ∈ R K y y=(y_1,...,y_{T_y}),y_i\in R^{K_y} y = ( y 1 , . . . , y T y ) , y i ∈ R K y K x K_x K x K y K_y K y T x T_x T x T y T_y T y
首 先 \color{purple}{首先} 首 先 h → i = { ( 1 − z → i ) ∘ h → i − 1 + z → i ∘ h ‾ i → ) , if i > 0 0 , if i =0 \overrightarrow h_i=\begin{cases}(1-\overrightarrow z_i)\circ \overrightarrow h_{i-1}+\overrightarrow z_i\circ \overrightarrow {\underline h_{i}}),& \text {if $i>0$} \\ 0,& \text{if $i$=0} \end{cases} h i = { ( 1 − z i ) ∘ h i − 1 + z i ∘ h i ) , 0 , if i > 0 if i =0
