直播预告：EMNLP 2020 顶会论文分享 | AI TIME PhD
⬆⬆⬆ 点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入！
10月30日晚7:30-9:00，AI Time特别邀请了3位讲者，齐聚分享EMNLP2020！
哔哩哔哩直播通道
扫码或点击链接
关注AITIME哔哩哔哩官方账号
观看直播
链接：https://live.bilibili.com/21813994
★ 邀请嘉宾 ★
李健铨，天津大学计算机学院2014级硕士生，神州泰岳AI研究院深度学习实验室总监。在自然语言处理方向合作发表论文6篇，申请发明专利55项，获得授权8项。负责研发的产品“泰岳语义工厂”获得第九届（2019）年吴文俊人工智能科技进步奖（企业技术创新工程项目）。
报告题目：
一种多层对多层的BERT蒸馏方法
摘要：预训练的语言模型（例如BERT）在各种自然语言处理（NLP）任务中都取得了好的效果。但是高存储和计算成本阻碍了将预训练的语言模型有效地部署在资源受限的设备上。在本文中，我们提出了一种多层对多层的BERT蒸馏方法，该方法允许学生模型的隐含层中任一层向老师模型任何隐含层学习。我们的模型可以针对各种NLP任务自适应地选择老师模型的隐含层学习。此外，我们利用EMD距离(Earth Mover's Distance)来建模老师网络隐含层到学生网络隐含层的距离，EMD可实现整体对整体的有效建模。另外，我们提出了一种cost attention机制根据不同任务自适应调整隐含层的重要程度。进一步改善模型的性能并加快收敛时间。在GLUE基准测试中进行的大量实验表明，相对于强大的竞争对手，我们的模型在准确性和模型压缩上均有竞争优势。
关健，清华大学计算机系2019级博士生，交互式人工智能（CoAI）组成员，师从黄民烈副教授。主要研究方向为自然语言生成，已在EMNLP、NeurIPS、AAAI、TACL等国际会议或期刊上发表数篇论文。
报告题目：
利用自监督学习的开放端故事生成评价方法
摘要：尽管现有的有参考指标（如BLEU）已经在机器翻译评价等任务上有较好的表现，但是对于开放端语言生成评价（如故事生成、对话生成）等具有一对多特性的任务， 这些指标仍然与人工评价有较低的相关性。因此，我们为开放端故事生成评价提出了一个可学习的无参考指标UNION，可以不需要任何参考文本即可对生成故事的质量进行评价。UNION采用自监督学习的方法，不依赖于任何人工标注和具体模型。在两个故事数据集上的实验表明，UNION在评价生成故事的质量上是一个更可靠的评价指标，与人工评价有更好的相关性，同时也比现有的SOTA评价指标更好的泛化性。
朱子宁，多伦多大学，师从Frank Rudzicz。研究方向包括自然语言处理和深度模型的可解释性。他试图设计实验来理解深度语言模型编码的信息，以及这些模型在应用时的表现。
报告题目：
一种选择语言探针的信息论观点
摘要：语言探针(linguistic probe)是一种最近流行起来的探测深度神经模型里面编码了哪些特征的“诊断性分类器”算法：分类器效果好则深度模型包含的信息好。然而，Hewitt & Liang, (2019)提出，语言探针分类器的效果好可能因为信息好，或者探针本身学会了探测任务。Pimentel et al., (2020) 反对这种二分法。
在这篇文章里，我们用信息理论证实了这两种可能性确实存在。同时，我们分析了如何减小语言探针的误差的办法。
直播结束后我们会邀请讲者在微信群中与大家答疑交流，请添加“AI TIME小助手（微信号：AITIME_HY）”,回复“phd”，将拉您进“AITIME PhD 交流群-1”！
AI TIME微信小助手
主 办：AI TIME
联合支持：清华大学计算机系、中国工程院知领直播、学堂在线、****
公益合作：智谱·AI、学术头条、biendata、大数据文摘、数据派、AI科技评论、 Ever链动、机器学习算法与自然语言处理
下期直播预告：
2020年10月31日 14:00-17:00
清华情怀·AITIME基地
1911主题餐厅
待疫情结束，AI TIME期待与您线下相聚！
AI Time欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，*的平台需要*的你，请将简历等信息发至[email protected]！
微信联系:AITIME_HY
AI Time是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。
更多资讯请扫码关注