您的位置: 首页  >  文章  >  【NLP】GloVe原理详解

【NLP】GloVe原理详解

分类: 文章 • 2025-04-08 22:17:52

一、什么是GloVe

  • 模型目标：进行词的向量化表示，使得向量之间尽可能多地蕴含语义和语法的信息。
  • 输入：语料库
  • 输出：词向量
  • 方法概述：首先基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型学习词向量。

二、GloVe的实现步骤

【NLP】GloVe原理详解

1、构建共现矩阵

设共现矩阵为XX，其元素为Xi,j\displaystyle X_{i,j}。
Xi,j\displaystyle X_{i,j}的意义为：在整个语料库中，单词i和单词j共同出现在一个窗口中的次数。
举个栗子：
设有语料库：i love you but you love him i am sad
这个小小的语料库只有1个句子，涉及到7个单词：i、love、you、but、him、am、sad。
如果我们采用一个窗口宽度为5（左右长度都为2）的统计窗口，那么就有以下窗口内容：

窗口标号 中心词 窗口内容
0 i i love you
1 love i love you but
2 y i love you but you
3 but ove you but you love
4 you you but you love him
5 love but you love him i
6 him you love him i am
7 i love him i am sad
8 am him i am sad
9 sad i am sad

窗口0、1长度小于5是因为中心词左侧内容少于2个，同理窗口8、9长度也小于5。
以窗口5为例说明如何构造共现矩阵：
中心词为love，语境词为but、you、him、i；则执行：
Xlove,but+=1\displaystyle X_{love,but} +=1
Xlove,you+=1\displaystyle X_{love,you} +=1
Xlove,him+=1\displaystyle X_{love,him} +=1
Xlove,i+=1\displaystyle X_{love,i} +=1
使用窗口将整个语料库遍历一遍，即可得到共现矩阵X：
【NLP】GloVe原理详解

2、使用GloVe模型训练词向量

（1）模型怎么来的

  • 矩阵单词i那一行的和：
    Xi=∑jNXi,j\displaystyle X_{i} =\sum ^{N}_{j} X_{i,j}
  • 条件概率，表示单词k出现在单词i语境中的概率：
    Pi,k=Xi,kXi\displaystyle P_{i,k} =\frac{X_{i,k}}{X_{i}}
  • 两个条件概率的比率：
    ratioi,j,k=Pi,kPj,k\displaystyle ratio_{i,j,k} =\frac{P_{i,k}}{P_{j,k}}

作者发现，ratioi,j,k这个指标是有规律的，规律统计在下表：

ratioi,j,k\displaystyle ratio_{i,j,k}的值 单词j,ij,i 相关 单词j,ij,i 不相关
单词i,ji,j 相关 趋近1 很大
单词i,ji,j 不相关 很小 趋近1

思想：假设已经得到了词向量，如果用词向量vi\displaystyle v_{i}、vj\displaystyle v_{j}、vk\displaystyle v_{k}通过某种函数计算ratioi,j,k\displaystyle ratio_{i,j,k}，能够同样得到这样的规律的话，就意味着我们词向量与共现矩阵具有很好的一致性，也就说明词向量中蕴含了共现矩阵中所蕴含的信息。
设用词向量vi\displaystyle v_{i}、vj\displaystyle v_{j}、vk\displaystyle v_{k}计算ratioi,j,k\displaystyle ratio_{i,j,k}的函数为g(vi,vj,vk)\displaystyle g( v_{i} ,v_{j} ,v_{k})(先不去管具体的函数形式），那么应该有：
Pi,kPj,k=ratioi,j,k=g(vi,vj,vk)\displaystyle\frac{P_{i,k}}{P_{j,k}}=ratio_{i,j,k} =g( v_{i} ,v_{j} ,v_{k})
即：
Pi,kPj,k=g(vi,vj,vk)\displaystyle\frac{P_{i,k}}{P_{j,k}} =g( v_{i} ,v_{j} ,v_{k})
ratioi,j,k\displaystyle ratio_{i,j,k}越趋向于1，表示单词以k为中心词时i，j越相关。则Pi,k\displaystyle P_{i,k},Pj,k\displaystyle P_{j,k}越接近。
（2）损失函数
由上面推到很容易想到用二者的差方来作为代价函数：
J=∑i,jNf(Xi,j)(viTvj+bi+bj−log(Xi,j))2\displaystyle J=\sum ^{N}_{i,j} f( X_{i,j})\left( v^{T}_{i} v_{j} +b_{i} +b_{j} -log( X_{i,j})\right)^{2}
但是仔细一看，模型中包含3个单词，这就意味着要在N∗N∗N的复杂度上进行计算，太复杂了，最好能再简单点。
作者的脑洞是这样的，仔细思考g(vi,vj,vk)\displaystyle g( v_{i} ,v_{j} ,v_{k})：

  • 要考虑单词ii和单词jj之间的关系，那g(vi,vj,vk)\displaystyle g( v_{i} ,v_{j} ,v_{k})中大概要有这么一项吧：vi−vj\displaystyle v_{i} -v_{j}；嗯，合理，在线性空间中考察两个向量的相似性，不失线性地考察，那么vi−vj\displaystyle v_{i} -v_{j}大概是个合理的选择；
  • ratioi,j,k\displaystyle ratio_{i,j,k}是个标量，那么g(vi,vj,vk)\displaystyle g( v_{i} ,v_{j} ,v_{k})最后应该是个标量，因为其输入都是向量，所以內积应该是合理的选择，于是应该有这么一项吧：(vi−vj)Tvk\displaystyle ( v_{i} -v_{j})^{T} v_{k}。
  • 然后作者又往(vi−vj)Tvk\displaystyle ( v_{i} -v_{j})^{T} v_{k}的外面套了一层指数运算exp()exp()，得到最终的g(vi,vj,vk)=exp((vi−vj)Tvk)\displaystyle g( v_{i} ,v_{j} ,v_{k})=exp\left(( v_{i} -v_{j})^{T} v_{k}\right)；
    最关键的第3步，为什么套了一层exp()？
    套上之后，我们的目标是让以下公式尽可能地成立：
    Pi,kPj,k=g(vi,vj,vk)\displaystyle\frac{P_{i,k}}{P_{j,k}} =g( v_{i} ,v_{j} ,v_{k})
    即：
    Pi,kPj,k=exp((vi−vj)Tvk)\displaystyle\frac{P_{i,k}}{P_{j,k}}=exp\left(( v_{i} -v_{j})^{T} v_{k}\right)
    即：
    Pi,kPj,k=exp(viTvk)exp(vjTvk)\displaystyle\frac{P_{i,k}}{P_{j,k}}= \frac{exp\left( v^{T}_{i} v_{k}\right)}{exp\left( v^{T}_{j} v_{k}\right)}
    然后就发现找到简化方法了：只需要让上式分子对应相等，分母对应相等，即：
    Pi,k=exp(viTvk)\displaystyle P_{i,k} =exp\left( v^{T}_{i} v_{k}\right)
    Pj,k=exp(vjTvk)\displaystyle P_{j,k} =exp\left( v^{T}_{j} v_{k}\right)
    然而分子分母形式相同，就可以把两者统一考虑了，即：
    Pi,j=exp(viTvj)\displaystyle P_{i,j} =exp\left( v^{T}_{i} v_{j}\right)
    本来我们追求：
    Pi,kPj,k=g(vi,vj,vk)\displaystyle\frac{P_{i,k}}{P_{j,k}} =g( v_{i} ,v_{j} ,v_{k})
    现在只需要追求：
    Pi,j=exp(viTvj)\displaystyle P_{i,j} =exp\left( v^{T}_{i} v_{j}\right)
    两边取个对数：
    log(Pi,j)=viTvj\displaystyle log( P_{i,j}) =v^{T}_{i} v_{j}
    那么损失函数就可以简化为：
    J=∑i,jN(viTvj−log(Pi,j))2\displaystyle J=\sum ^{N}_{i,j}\left( v^{T}_{i} v_{j} -log( P_{i,j})\right)^{2}
    现在只需要在N∗NN∗N的复杂度上进行计算，而不是N∗N∗NN∗N∗N，现在关于为什么外面套一层exp()exp()就清楚了，正是因为套了一层exp()exp()，才使得差形式变成商形式，进而等式两边分子分母对应相等，进而简化模型。
    然而，出了点问题。
    仔细看这两个式子：
    log(Pi,j)log(Pi,j) 不等于log(Pj,i)log(Pj,i)但是vTivjviTvj等于vTjvivjTvi；即等式左侧不具有对称性，但是右侧具有对称性。
    log(Pi,j)=viTvj和log(Pj,i)=vjTvi\displaystyle log( P_{i,j}) =v^{T}_{i} v_{j} 和log( P_{j,i}) =v^{T}_{j} v_{i}
    数学上出了问题。
    补救一下好了。
    先将代价函数中的条件概率展开：
    log(Pi,j)=viTvj\displaystyle log( P_{i,j}) =v^{T}_{i} v_{j}
    因为：
    Pi,k=Xi,kXi\displaystyle P_{i,k} =\frac{X_{i,k}}{X_{i}}
    所以展开为：
    log(Xi,j)−log(Xi)=viTvj\displaystyle log( X_{i,j}) -log( X_{i}) =v^{T}_{i} v_{j}
    将其变为：
    log(Xi,j)=viTvj+bi+bj\displaystyle log( X_{i,j}) =v^{T}_{i} v_{j} +b_{i} +b_{j}
    即添了一个偏差项bjb_{j}，并将log(Xi,j)log( X_{i,j})吸收到偏差项bib_{i}中。
    于是代价函数就变成了：
    J=(viTvj+bi+bj−log(Xi,j))2\displaystyle J=\left( v^{T}_{i} v_{j} +b_{i} +b_{j} -log( X_{i,j})\right)^{2}
    然后基于出现频率越高的词对儿权重应该越大的原则，在代价函数中添加权重项，于是代价函数进一步完善：
    J=∑i,jNf(Xi,j)(viTvj+bi+bj−log(Xi,j))2\displaystyle J=\sum ^{N}_{i,j} f( X_{i,j})\left( v^{T}_{i} v_{j} +b_{i} +b_{j} -log( X_{i,j})\right)^{2}
    具体权重函数应该是怎么样的呢？
    首先应该是非减的，其次当词频过高时，权重不应过分增大，作者通过实验确定权重函数为：
    【NLP】GloVe原理详解
    这个函数图像如下所示：
    【NLP】GloVe原理详解

接下来就是通过最小化损失函数，求得参数vi,vj,bi,bjv_{i},v_{j},b_{i},b_{j}。

3、训练GloVe模型

虽然很多人声称GloVe是一种无监督（unsupervised learing）的学习方式（因为它确实不需要人工标注label），但其实它还是有label的，这个label就是以上公式中的log(Xi,j)\displaystyle log( X_{i,j})，而公式中的向量 vi,vjv_{i},v_{j}就是要不断更新/学习的参数，所以本质上它的训练方式跟监督学习的训练方法没什么不一样，都是基于梯度下降的。
具体地，这篇论文里的实验是这么做的：采用了AdaGrad的梯度下降算法，对矩阵XX中的所有非零元素进行随机采样，学习曲率（learning rate）设为0.05，在vector size小于300的情况下迭代了50次，其他大小的vectors上迭代了100次，直至收敛。最终学习得到的是两个vector是vi,vjv_{i},v_{j}，因为 X 是对称的（symmetric），所以从原理上讲vi,vjv_{i},v_{j}是也是对称的，他们唯一的区别是初始化的值不一样，而导致最终的值不一样。

所以这两者其实是等价的，都可以当成最终的结果来使用。但是为了提高鲁棒性，我们最终会选择两者之和
vi+vjv_{i}+v_{j}作为最终的vector（两者的初始化不同相当于加了不同的随机噪声，所以能提高鲁棒性）。在训练了400亿个token组成的语料后，得到的实验结果如下图所示：
【NLP】GloVe原理详解
这个图一共采用了三个指标：语义准确度，语法准确度以及总体准确度。那么我们不难发现Vector Dimension在300时能达到最佳，而context Windows size大致在6到10之间。

4、GloVe与LSA、Word2Vec的比较

LSA（Latent Semantic Analysis）是一种比较早的count-based的词向量表征工具，它也是基于co-occurance matrix的，只不过采用了基于奇异值分解（SVD）的矩阵分解技术对大矩阵进行降维，而我们知道SVD的复杂度是很高的，所以它的计算代价比较大。还有一点是它对所有单词的统计权重都是一致的。而这些缺点在GloVe中被一一克服了。

而word2vec最大的缺点则是没有充分利用所有的语料，所以GloVe其实是把两者的优点结合了起来。从这篇论文给出的实验结果来看，GloVe的性能是远超LSA和word2vec的，但网上也有人说GloVe和word2vec实际表现其实差不多。

参考文献：
1、四步理解GloVe！(附代码实现)：https://blog.****.net/weixin_41510260/article/details/100049700
2、理解GloVe模型：https://blog.****.net/coderTC/article/details/73864097

相关推荐