1.Adversarial Transfer Learning for Punctuation Restoration论文思路整理

模型的结构

它由任务共享层，两个任务特定分类器和一个对抗性任务鉴别器组成。任务共享层来自预训练的BERT模型，该模型具有12个相同层的堆栈。任务特定的分类器分别用于标点预测任务和POS标记任务。它们都由BLSTMCRF层组成。

（1）实体识别对标点符号处理的帮助

使用额外的POS标记任务来帮助训练标点预测任务。利用对抗训练来防止共享参数包含任务特定信息。我们仅使用标点符号预测任务在解码阶段恢复标记。结果还表明，标点符号预测模型利用POS标记任务的任务不变知识进一步提高了性能。

（2）对抗性训练

对抗性的BERT-BLSTM-CRF将学习一种可以很好地概括从一项任务到另一项任务的表示形式。它们确保共享参数的内部表示不包含任何任务区分信息。因为每个字符在进行实体预测时都可以提供非常重要的信息。
多任务学习和对抗训练相结合，可以从额外的POS标记任务中学习任务不变信息。 POS标记任务通过多任务学习用作辅助任务，以进一步提高标点预测任务的性能。对抗性损失用于防止共享空间包含任务特定信息。

2.相关的Adversarial Transfer Learning模型的查找

由于Adversarial Transfer Learning for Punctuation Restoration这篇论文才刚刚发表，还没有相关的源代码，搜索了相关的adversarial transfer learning的相关源代码及其工作，有一篇相关的中文实体识别源代码。
https://blog.****.net/amy_mm/article/details/92421687

3.to do list

理清楚相关的bertpunc和adversarial transfer learning for pos的代码结构，进行修改和整合，形成这次的最终模型。