data-to-text generation with entity modeling阅读

文章核心内容:

模型结构图:

data-to-text generation with entity modeling阅读

一、Entity Memory:

        作者在常规的encoder-attention-decoder以及copy mechanism下,针对实体生成,在decoder过程中不断更新实体,更新的过程采用门机制,类似于LSTM;具体如下公式(9),比如有k个entity,对每个entity,在decoder time t,新U(t,k)更新是由δ(t,k)确定,δ(t,k)接近1,则U(t-1,k)对应的值就会被更新,接近0则保持前一时刻的值不变;data-to-text generation with entity modeling阅读表示根据当前decoder输入词后新增信息;

data-to-text generation with entity modeling阅读                                                    data-to-text generation with entity modeling阅读

 

二、Hierarchical Attention:

      第一层attention,是基于作者一个假设,确定实体的分布后能提高文本生成的精度,他说每个实体确定下来后,与实体相关的记录是似然的;然后基于两层attention:第一层attention如下图通过计算attention,query=dt,key=value=g(k,z),得到S(t,k);

                                            data-to-text generation with entity modeling阅读

 

    第二层attention如下图query=dt,key=u(t,k),value=s(t,k),得到qt,qt即为dynamic context vector,对qt对词表进行softmax得到得分最高的词,即为生成词;

                                                              data-to-text generation with entity modeling阅读

 

                                                                                       data-to-text generation with entity modeling阅读

论文代码链接:https:// github.com/ratishsp/data2text-entity-py