课程笔记1 : (2019)斯坦福CS224n深度学习自然语言处理课程 by Chris Manning
来源:机器之心文章
2019 年,自然语言处理公开课开始学了~
简介
你知道入门自然语言处理(NLP)的「标配」公开课 CS224n 么,它和计算机视觉方面的课程 CS231n 堪称绝配,它们都是斯坦福的公开课。
但是自 2017 年以来,NLP 有了很多重大的变化,包括 Transformer 和预训练语言模型等。以前开放的是 17 年年初的课程,很多激动人心的前沿模型都没有介绍,而最近 CS224n 终于开始更新 19 年课程的视频。
课程链接
笔记(NMT虽然很吊,但还存在的问题)
-
Out-of-vocabulary
words -
Domain mismatch
between train and test data - Maintaining
context
over longer text -
Low-resource
language pairs
来几张图: