NLP学习记录

分类: 文章 • 2024-06-30 07:56:34

1、词向量训练
先把词通过字典以One-hot方式转为向量，1万容量的字典，每个词就有1万维，只有1个值为1其余为0。
两种模型：
Skip-Gram，通过输入词，预测上下文；
CBOW(Continuous Bag-of-Words），通过上下文，预测某下词。
由于输入、输出均可以在语料中得到，故可以无监督的训练出一个隐含层网络，用于转化输入-输出，这个转化矩阵就是词向量。
NLP学习记录