Code-Switched Named Entity Recognition with Embedding Attention 论文阅读Code-Switched Named Entity Recog

Code-Switched Named Entity Recognition with Embedding Attention 论文阅读

1. 论文介绍
2. 论文内容和创新点

 

1. 论文介绍

发表在ACL2018的一篇paper， 主要领域为code-Switched NER，看了下论文中的介绍发现是双语种的命名实体识别

 

2. 论文内容和创新点

 

2.1论文内容

            本篇论文在全文并没有给出自己的模型图，我这边先从输入到各个模型结构最后到输出介绍一下他的模型结构，输入包括三个方面分别为word level，character level 和capitalization但是并不是在一层就联系到一起，

character level：首先通过bilstm来提取character level的embedding如下：

word level：这里双语种的word-level embedding分别包含各自语种中的word embedding（其实开始阶段分别用各自语种的预料通过 fasttext进行预训练出各自的embedding，在各自为出现过则进行初始化），可以获得word+char embedding为：

capitalization level：咋在考虑到大小写的影响在输入阶段还concat大小写的embedding，具体为（没有大写，首字母大写，全部大写），可以得到最终的输入为：

模型：模型主要用了堆叠残差bilstm，并在每一次时刻的输入为

这里考虑了前面隐层所有时刻的输出，最后还是通过CRF来进行解码

 

2.2 论文创新点

看了下论文主要利用各大paper在各个局部比较好的思路，主要包括fasttext进行初始化、embedding embedding和残差堆叠bilstm

 

 

本文讲解的pdf可以在我的github上查看：https://github.com/GrinAndBear/NLP-Paper-Share/tree/master/NER

 

 

看完麻烦大家点个赞或者github上star一下多谢啦