直播预告：探究句法信息对于基于句法距离的语言模型影响 | AI TIME PhD
⬆⬆⬆ 点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入！
AI TIME PhD
《探究句法信息对于基于句法距离
的语言模型影响》
2020年10月16日 19:30-20:30
划重点
！
直播通道:
哔哩哔哩直播通道
扫码或点击链接
关注AITIME哔哩哔哩官方账号
观看直播
链接：https://live.bilibili.com/21813994
直播时间：
2020年10月16日 19:30-20:30
报告题目：
探究句法信息对于基于句法距离的语言模型影响
研究人类的语言学知识对于自然语言处理中模型的影响是一个长盛不衰的话题。具体对于语言模型（language model）任务，早在n-gram时代，将句法信息融入模型中就是学界的主流，这被称为结构化语言模型（structured language modeling）。
但随着神经网络在上个十年的复兴，现代的基于神经网络的语言模型往往用百万级参数去直接拟合生文本分布，忽略了任何结构化的句法信息。目前只有少数工作研究了结构化信息对于语言模型的影响，本文基于其中的一个流派，即基于句法距离的语言模型作为基线，研究了人类句法结构对于该类语言模型的影响，通过增加句法信息到模型中，我们成功的提升了语言模型的性能，我们接着开展了详尽的分析来研究新增的句法信息对于模型生成结构的影响。
该工作同蒙特利尔人工智能研究所（MILA）合作，已发表在ACL 2020。
嘉宾简介：
杜文宇，西湖大学科研助理，导师张岳副教授，目前主要研究方向为自然语言处理中的传统自回归语言模型，以及大规模预训练模型，和对相关模型的语言学分析，共指消解等，已在ACL，AAAI，WWW等发表多篇一作文章。
直播结束后我们会邀请讲者在微信群中与大家答疑交流，请添加“AI TIME小助手（微信号：AITIME_HY）”,回复“phd”，将拉您进“AI TIME PhD交流群-1”！
AI TIME微信小助手
主 办：AI TIME
联合支持：中国工程院知领直播、学堂在线、****
公益合作：智谱·AI、学术头条、biendata、大数据文摘、数据派、 Ever链动、机器学习算法与自然语言处理
清华情怀·AITIME基地
1911主题餐厅
待疫情结束，AI TIME期待与您线下相聚！
AI Time欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，*的平台需要*的你，请将简历等信息发至[email protected]！
微信联系:AITIME_HY
AI Time是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。
更多资讯请扫码关注