• 论文：Chinese NER Using Lattice LSTM
• 作者：张岳 (Yue Zhang)、Jie Yang (GitHub)
• 录用：ACL 2018

这篇论文的相关笔记还挺多的，但是第三章的模型部分公式比较多，看着看着就糊涂了，所以自己做了下笔记，并且尝试把Lattice LSTM部分用图画出来，方便自己理解。

3. 模型部分

主要记录不同模型的输入向量，以式(0)为例：
$\frac{南}{1}\frac{京}{2}\frac{市}{3} | \frac{长}{4}\frac{江}{5}\frac{大}{6}\frac{桥}{7} \tag{0}$1南​2京​3市​∣4长​5江​6大​7桥​(0)

• 若以字对句子进行分割，则句子表达如下：
  $s= c_1, c_2, \dots, _m$s=c1​,c2​,…,m​
  其中$c_j$cj​表示句中第$j$j个字。
• 若以词对句子进行分割，则句子表达如下：
  $s= w_1, w_2, \dots, w_m$s=w1​,w2​,…,wm​
  其中$w_i$wi​表示句中第$i$i个词。
• 对于某个字，可以用$t(i,k)=j$t(i,k)=j表示第$j$j个字位于句子中第$i$i个词的第$k$k位，因此对于式(0)中的$\frac{长}{4}，t(2,1) = 4$4长​，t(2,1)=4。

下文中的公式编号对应原文中的编号，所以不是连续的。

3.1 Character-Based Model（基于字）

• Char
  基于单字的模型输入向量如式(1)：
  $\bold{x}_j^e=\bold{e}^e(c_j) \tag{1}$xje​=ee(cj​)(1)
  其中$c_j$cj​表示每个字，$\bold{e}^e$ee表示单字的embedding。
• Char + Bichar
  基于单字和两字词的模型输入向量如式(3)：
  $\bold{x}_j^c=[\bold{e}^c(c_j);\bold{e}^b(c_j,c_{j+1})] \tag{3}$xjc​=[ec(cj​);eb(cj​,cj+1​)](3)
  其中$\bold{e}^b$eb两字词的embedding，分号表示连接两部分的向量。
• Char + softword
  基于单字和分词的模型输入向量如式(4)：
  $\bold{x}_j^c=[\bold{e}^c(c_j);\bold{e}^s(seg(c_j))] \tag{4}$xjc​=[ec(cj​);es(seg(cj​))](4)
  其中$\bold{e}^s$es表示分词后的词embedding。

3.2 Word-Based Model（基于词）

• Word
  基于词的模型输入向量如式(6)：
  $\bold{x}_i^w=\bold{e}^w(w_i) \tag{6}$xiw​=ew(wi​)(6)
  其中$w_i$wi​表示每个词，$\bold{e}^w$ew表示词的embedding。

• Integrating character representations
  基于词加上词所包含的字的模型输入向量如式(7)：
  $\bold{x}_i^w=[\bold{e}^w(w_i);\bold{x}_i^c] \tag{7}$xiw​=[ew(wi​);xic​](7)
  其中$\bold{x}_i^c$xic​表示词$w_i$wi​所包含的字对应的向量。

• Word + char LSTM

• Word + char LSTM’

• Word + char CNN
  $\bold{x}_i^c= \mathop{max}\limits_{t(i,1)\leq j \leq t(i, len(i))} (\bold{W}_{CNN}^T \begin{bmatrix} \bold{e}(c_{j-\frac{ke-1}{3}})\\ \dots \\ \bold{e}(c_{j-\frac{ke-1}{3}}) \tag{9} \end{bmatrix} +\bold{b}_{CNN})$xic​=t(i,1)≤j≤t(i,len(i))max​(WCNNT​⎣⎡​e(cj−3ke−1​​)…e(cj−3ke−1​​)​⎦⎤​+bCNN​)(9)
  其中$ke=3$ke=3表示kernal size，$max$max表示max pooling。

3.3 Lattice Model （文章所提出的模型）

• 模型整体如下：
  

• 字LSTM部分（整体图中c加蓝色圈的部分）结构如下图及式(11)：
  
  $\begin{bmatrix} \bold{i}_j^c\\\bold{o}_j^c\\\bold{f}_j^c\\\bold{\widetilde{c}}_j^c \end{bmatrix} =\begin{bmatrix} \sigma\\\sigma\\\sigma\\tanh \end{bmatrix} (\bold{W}^{c^T} \begin{bmatrix} \bold{x}_j^c\\\bold{h}_{j-1}^c \end{bmatrix}+\bold{b}^c)\\ \tag{11}$⎣⎢⎢⎡​ijc​ojc​fjc​cjc​​⎦⎥⎥⎤​=⎣⎢⎢⎡​σσσtanh​⎦⎥⎥⎤​(WcT[xjc​hj−1c​​]+bc)(11)
  $\bold{c}_j^c=\bold{f}_j^c\odot\bold{c}_{j-1}^c+\bold{i}_j^c\odot\widetilde{c}_j^c\\ \bold{h}_j^c=\bold{o}_j^c\odot tanh(\bold{c}_j^c)$cjc​=fjc​⊙cj−1c​+ijc​⊙cjc​hjc​=ojc​⊙tanh(cjc​)
  其中：
  $\bold{x}_j^c=\bold{e}^c(c_j)$xjc​=ec(cj​)表示词所对应的向量，即LSTM的输入向量($input \ vector$input vector)；
  $\bold{h}_{j-1}^c$hj−1c​表示前一个字的LSTM cell的输出；
  $\bold{c}_{j-1}^c$cj−1c​表示从前一个字和该字相关的词传过来的细胞状态；
  $\bold{i}_j^c, \bold{o}_j^c,\bold{f}_j^c$ijc​,ojc​,fjc​分别表示输入门($input\ gate$input gate)、输出门($output\ gate$output gate)和遗忘门($forget\ gate$forget gate)；
  $\sigma, tanh$σ,tanh分别表示**函数sigmod和tanh；
  $\odot$⊙表示矩阵点积。

• 词LSTM部分（整体图中红色阴影部分）结构如下图及式(12)(13)：
  
  $\bold{x}_{b,e}^w=\bold{e}^w(w_{b,e}^d) \tag{12}$xb,ew​=ew(wb,ed​)(12)
  $\begin{bmatrix} \bold{i}_{b,e}^w \\ \bold{f}_{b,e}^w \\ \bold{\widetilde{c}}_{b,e}^w \end{bmatrix}= \begin{bmatrix} \sigma\\ \sigma \\ tanh \end{bmatrix} (\bold{W}^{w^T} \begin{bmatrix} \bold{x}_{b,e}^w \\ \bold{h}_b^c \end{bmatrix}+\bold{b}^w ) \tag{13}\\ \bold{c}_{b,e}^w=\bold{f}_{b,e}^w\odot\bold{c}_b^c+\bold{i}_{b,e}^w\odot\bold{\widetilde{c}}_{b,e}^w$⎣⎡​ib,ew​fb,ew​cb,ew​​⎦⎤​=⎣⎡​σσtanh​⎦⎤​(WwT[xb,ew​hbc​​]+bw)cb,ew​=fb,ew​⊙cbc​+ib,ew​⊙cb,ew​(13)
  其中：
  $w_{b,e}^d$wb,ed​表示从b开始到e结束的词的子序列，如$w_{1,2}^d$w1,2d​=南京、$w_{6,7}^d$w6,7d​=大桥；
  $\bold{h}_b^c$hbc​表示第$b$b个字的LSTM cell的输出；
  其他变量解释同上。
  可以发现词LSTM细胞中没有$\bold{o}(output\ gate)$o(output gate)，这是因为词LSTM之间没有联系，每个词LSTM的细胞状态都传给该词最后一个字的字LSTM细胞。

• 词与字的关联
  整体图中每个字细胞都有两种类型的输入，黑色线表示从前一个字传过来的细胞状态，绿色线表示从以该字结尾的所有词传过来的细胞状态，不同的输入采用加权平均的方法传入，所以$\bold{c}_j^c$cjc​不仅包含与第$j$j个字符有关的信息，还包含以第$j$j个字符结尾的词的信息，具体如式(15)(16):
  $\bold{c}_j^c= \mathop{\sum}\limits_{b\in \{ b'|w_{b',j}^d \in \Bbb{D} \}} \boldsymbol{\alpha}_{b,j}^c\odot\bold{c}_{b,j}^w+ \boldsymbol{\alpha}_j^c\odot\bold{\widetilde{c}}_j^c \tag{15}$cjc​=b∈{b′∣wb′,jd​∈D}∑​αb,jc​⊙cb,jw​+αjc​⊙cjc​(15)
  其中：
  $\boldsymbol{\alpha}_{b,j}^c= \frac {exp(\bold{i}_{b,j}^c)} {exp(\bold{i}_j^c) + \sum_{b\in \{ b'|w_{b',j}^d \in \Bbb{D} \}}exp(\bold{i}_{b',j}^c)} \tag{16}\\ \boldsymbol{\alpha}_j^c= \frac {exp(\bold{i}_{j}^c)} {exp(\bold{i}_j^c) + \sum_{b\in \{ b'|w_{b',j}^d \in \Bbb{D} \}}exp(\bold{i}_{b',j}^c)}$αb,jc​=exp(ijc​)+∑b∈{b′∣wb′,jd​∈D}​exp(ib′,jc​)exp(ib,jc​)​αjc​=exp(ijc​)+∑b∈{b′∣wb′,jd​∈D}​exp(ib′,jc​)exp(ijc​)​(16)
  举个例子，对于$\bold{c}_7^c$c7c​，包含了$\bold{x}_7^c$x7c​(桥)、$\bold{c}_{6,7}^w$c6,7w​(大桥)、$\bold{c}_{4,7}^w$c4,7w​(长江大桥)的信息，所以：
  $\bold{c}_7^c=\boldsymbol{\alpha}_{6,7}^c\odot\bold{c}_{6,7}^c+\boldsymbol{\alpha}_{4,7}^c\odot\bold{c}_{4,7}^c+\boldsymbol{\alpha}_7^c\odot\bold{\widetilde{c}}_7^c$c7c​=α6,7c​⊙c6,7c​+α4,7c​⊙c4,7c​+α7c​⊙c7c​
  其中：
  $\boldsymbol{\alpha}_{6,7}^c= \frac {exp(\bold{i}_{6,7}^c)} {exp(\bold{i}_7^c) + exp(\bold{i}_{6,7}^c) + exp(\bold{i}_{4,7}^c)}\\ \boldsymbol{\alpha}_{4,7}^c= \frac {exp(\bold{i}_{4,7}^c)} {exp(\bold{i}_7^c) + exp(\bold{i}_{6,7}^c) + exp(\bold{i}_{4,7}^c)}\\ \boldsymbol{\alpha}_7^c= \frac {exp(\bold{i}_{7}^c)} {exp(\bold{i}_7^c) + exp(\bold{i}_{6,7}^c) + exp(\bold{i}_{4,7}^c)}$α6,7c​=exp(i7c​)+exp(i6,7c​)+exp(i4,7c​)exp(i6,7c​)​α4,7c​=exp(i7c​)+exp(i6,7c​)+exp(i4,7c​)exp(i4,7c​)​α7c​=exp(i7c​)+exp(i6,7c​)+exp(i4,7c​)exp(i7c​)​

注：虽然模型看懂了，但对于怎么送变量进去思路还是有点混乱，等跟着作者github上的代码实现以后再来完善笔记。