自然语言是一套用来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是用来表示词的向量，也可被认为是词的特征向量或表征。把词映射为实数域向量的技术也叫词嵌入（word embedding）。近年来，词嵌入已逐渐成为自然语言处理的基础知识
word2vec是Google于2013年推出的开源的获取词向量word2vec的工具包。它包括了一组用于word embedding的模型，这些模型通常都是用浅层（两层）神经网络训练词向量。
Word2vec的模型以大规模语料库作为输入，然后生成一个向量空间（通常为几百维）。词典中的每个词都对应了向量空间中的一个独一的向量，而且语料库中拥有共同上下文的词映射到向量空间中的距离会更近。
虽然one-hot词向量构造起来很容易，但通常并不是一个好选择。一个主要的原因是，one-hot词向量无法准确表达不同词之间的相似度，如我们常常使用的余弦相似度。x , y ∈ R d \boldsymbol{x}, \boldsymbol{y} \in \mathbb{R}^d x , y ∈ R d
x ⊤ y ∣ x ∣ ∣ y ∣ ∈ [ − 1 , 1 ] . \frac{\boldsymbol{x}^\top \boldsymbol{y}}{|\boldsymbol{x}| |\boldsymbol{y}|} \in [-1, 1]. ∣ x ∣ ∣ y ∣ x ⊤ y ∈ [ − 1 , 1 ] . x ⊤ y ∣ x ∣ ∣ y ∣ = 1 ∗ 1 + 2 ∗ 3 + 3 ∗ 3 1 2 + 2 2 + 3 2 1 2 + 3 2 + 3 2 = 16 266 \frac{\boldsymbol{x}^\top \boldsymbol{y}}{|\boldsymbol{x}| |\boldsymbol{y}|} =\frac{1*1+2*3+3*3}{\sqrt{1^2+2^2+3^2}\sqrt{1^2+3^2+3^2}}=\frac{16}{\sqrt{266}} ∣ x ∣ ∣ y ∣ x ⊤ y = 1 2 + 2 2 + 3 2 1 2 + 3 2 + 3 2 1 ∗ 1 + 2 ∗ 3 + 3 ∗ 3 = 2 6 6 1 6
word2vec工具的提出正是为了解决上面这个问题 。跳字模型（skip-gram） 和连续词袋模型（continuous bag of words，CBOW） 。接下来让我们分别介绍这两个模型以及它们的训练方法。
跳字模型假设基于某个词来生成它在文本序列周围的词P ( the" , man" , his" , son" ∣ “loves" ) . P(\textrm{the"},\textrm{man"},\textrm{his"},\textrm{son"}\mid\textrm{``loves"}). P ( the" , man" , his" , son" ∣ “loves" ) .
P ( the" ∣ loves" ) ⋅ P ( man" ∣ loves" ) ⋅ P ( his" ∣ loves" ) ⋅ P ( son" ∣ loves" ) . P(\textrm{the"}\mid\textrm{loves"})\cdot P(\textrm{man"}\mid\textrm{loves"})\cdot P(\textrm{his"}\mid\textrm{loves"})\cdot P(\textrm{son"}\mid\textrm{loves"}). P ( the" ∣ loves" ) ⋅ P ( man" ∣ loves" ) ⋅ P ( his" ∣ loves" ) ⋅ P ( son" ∣ loves" ) . d d d i i i v i ∈ R d \boldsymbol{v}_i\in\mathbb{R}^d v i ∈ R d u i ∈ R d \boldsymbol{u}_i\in\mathbb{R}^d u i ∈ R d w c w_c w c c c c w o w_o w o o o o
P ( w o ∣ w c ) = exp ( u o ⊤ v c ) ∑ i ∈ V exp ( u i ⊤ v c ) , P(w_o \mid w_c) = \frac{\text{exp}(\boldsymbol{u}_o^\top \boldsymbol{v}c)}{ \sum{i \in \mathcal{V}} \text{exp}(\boldsymbol{u}_i^\top \boldsymbol{v}_c)}, P ( w o ∣ w c ) = ∑ i ∈ V exp ( u i ⊤ v c ) exp ( u o ⊤ v c ) ,
其中词典索引集V = 0 , 1 , … , ∣ V ∣ − 1 \mathcal{V} = {0, 1, \ldots, |\mathcal{V}|-1} V = 0 , 1 , … , ∣ V ∣ − 1 T T T t t t w ( t ) w^{(t)} w ( t ) m m m
∏ t = 1 T ∏ − m ≤ j ≤ m , j ≠ 0 P ( w ( t + j ) ∣ w ( t ) ) , \prod_{t=1}^{T} \prod_{-m \leq j \leq m,\ j \neq 0} P(w^{(t+j)} \mid w^{(t)}), t = 1 ∏ T − m ≤ j ≤ m , j = 0 ∏ P ( w ( t + j ) ∣ w ( t ) ) ,
这里小于1和大于T T T
跳字模型的参数是每个词所对应的中心词向量和背景词向量。训练中我们通过最大化似然函数来学习模型参数，即最大似然估计。这等价于最小化以下损失函数：
− ∑ t = 1 T ∑ − m ≤ j ≤ m , j ≠ 0 log , P ( w ( t + j ) ∣ w ( t ) ) . - \sum_{t=1}^{T} \sum_{-m \leq j \leq m,\ j \neq 0} \text{log}, P(w^{(t+j)} \mid w^{(t)}). − t = 1 ∑ T − m ≤ j ≤ m , j = 0 ∑ log , P ( w ( t + j ) ∣ w ( t ) ) .
如果使用随机梯度下降，那么在每一次迭代里我们随机采样一个较短的子序列来计算有关该子序列的损失，然后计算梯度来更新模型参数。梯度计算的关键是条件概率的对数有关中心词向量和背景词向量的梯度。根据定义，首先看到
log P ( w o ∣ w c ) = u o ⊤ v c − log ( ∑ i ∈ V exp ( u i ⊤ v c ) ) \log P(w_o \mid w_c) = \boldsymbol{u}_o^\top \boldsymbol{v}c - \log\left(\sum{i \in \mathcal{V}} \text{exp}(\boldsymbol{u}_i^\top \boldsymbol{v}_c)\right) log P ( w o ∣ w c ) = u o ⊤ v c − log ( ∑ i ∈ V exp ( u i ⊤ v c ) )
通过微分，我们可以得到上式中v c \boldsymbol{v}_c v c
∂ log , P ( w o ∣ w c ) ∂ v c = u o − ∑ j ∈ V exp ( u j ⊤ v c ) u j ∑ i ∈ V exp ( u i ⊤ v c ) = u o − ∑ j ∈ V ( exp ( u j ⊤ v c ) ∑ i ∈ V exp ( u i ⊤ v c ) ) u j = u o − ∑ j ∈ V P ( w j ∣ w c ) u j . \begin{aligned} \frac{\partial \text{log}, P(w_o \mid w_c)}{\partial \boldsymbol{v}_c} &= \boldsymbol{u}o - \frac{\sum{j \in \mathcal{V}} \exp(\boldsymbol{u}_j^\top \boldsymbol{v}_c)\boldsymbol{u}j}{\sum{i \in \mathcal{V}} \exp(\boldsymbol{u}_i^\top \boldsymbol{v}_c)}\ &= \boldsymbol{u}o - \sum{j \in \mathcal{V}} \left(\frac{\text{exp}(\boldsymbol{u}_j^\top \boldsymbol{v}c)}{ \sum{i \in \mathcal{V}} \text{exp}(\boldsymbol{u}_i^\top \boldsymbol{v}_c)}\right) \boldsymbol{u}_j\ &= \boldsymbol{u}o - \sum{j \in \mathcal{V}} P(w_j \mid w_c) \boldsymbol{u}_j. \end{aligned} ∂ v c ∂ log , P ( w o ∣ w c ) = u o − ∑ i ∈ V exp ( u i ⊤ v c ) ∑ j ∈ V exp ( u j ⊤ v c ) u j = u o − ∑ j ∈ V ( ∑ i ∈ V exp ( u i ⊤ v c ) exp ( u j ⊤ v c ) ) u j = u o − ∑ j ∈ V P ( w j ∣ w c ) u j .
它的计算需要词典中所有词以w c w_c w c
训练结束后，对于词典中的任一索引为i i i v i \boldsymbol{v}_i v i u i \boldsymbol{u}_i u i
连续词袋模型与跳字模型类似。与跳字模型最大的不同在于，连续词袋模型假设基于某中心词在文本序列前后的背景词来生成该中心词。在同样的文本序列“the”“man”“loves”“his”“son”里，以“loves”作为中心词，且背景窗口大小为2时，连续词袋模型关心的是，给定背景词“the”“man”“his”“son”生成中心词“loves”的条件概率，也就是P ( loves" ∣ the" , man" , his" , “son" ) . P(\textrm{loves"}\mid\textrm{the"},\textrm{man"},\textrm{his"},\textrm{``son"}). P ( loves" ∣ the" , man" , his" , “son" ) . v i ∈ R d \boldsymbol{v_i}\in\mathbb{R}^d v i ∈ R d u i ∈ R d \boldsymbol{u_i}\in\mathbb{R}^d u i ∈ R d i i i w c w_c w c c c c w o 1 , … , w o 2 m w_{o_1}, \ldots, w_{o_{2m}} w o 1 , … , w o 2 m o 1 , … , o 2 m o_1, \ldots, o_{2m} o 1 , … , o 2 m
P ( w c ∣ w o 1 , … , w o 2 m ) = exp ( 1 2 m u c ⊤ ( v o 1 + … + v o 2 m ) ) ∑ i ∈ V exp ( 1 2 m u i ⊤ ( v o 1 + … + v o 2 m ) ) . P(w_c \mid w_{o_1}, \ldots, w_{o_{2m}}) = \frac{\text{exp}\left(\frac{1}{2m}\boldsymbol{u}c^\top (\boldsymbol{v}{o_1} + \ldots + \boldsymbol{v}{o{2m}}) \right)}{ \sum_{i \in \mathcal{V}} \text{exp}\left(\frac{1}{2m}\boldsymbol{u}i^\top (\boldsymbol{v}{o_1} + \ldots + \boldsymbol{v}{o{2m}}) \right)}. P ( w c ∣ w o 1 , … , w o 2 m ) = ∑ i ∈ V exp ( 2 m 1 u i ⊤ ( v o 1 + … + v o 2 m ) ) exp ( 2 m 1 u c ⊤ ( v o 1 + … + v o 2 m ) ) .
为了让符号更加简单，我们记W o = w o 1 , … , w o 2 m \mathcal{W}o= {w{o_1}, \ldots, w_{o_{2m}}} W o = w o 1 , … , w o 2 m v ˉ o = ( v o 1 + … + v o 2 m ) / ( 2 m ) \bar{\boldsymbol{v}}o = \left(\boldsymbol{v}{o_1} + \ldots + \boldsymbol{v}{o{2m}} \right)/(2m) v ˉ o = ( v o 1 + … + v o 2 m ) / ( 2 m )
P ( w c ∣ W o ) = exp ( u c ⊤ v ˉ o ) ∑ i ∈ V exp ( u i ⊤ v ˉ o ) . P(w_c \mid \mathcal{W}_o) = \frac{\exp\left(\boldsymbol{u}_c^\top \bar{\boldsymbol{v}}o\right)}{\sum{i \in \mathcal{V}} \exp\left(\boldsymbol{u}_i^\top \bar{\boldsymbol{v}}_o\right)}. P ( w c ∣ W o ) = ∑ i ∈ V exp ( u i ⊤ v ˉ o ) exp ( u c ⊤ v ˉ o ) .
给定一个长度为T T T t t t w ( t ) w^{(t)} w ( t ) m m m
∏ t = 1 T P ( w ( t ) ∣ w ( t − m ) , … , w ( t − 1 ) , w ( t + 1 ) , … , w ( t + m ) ) . \prod_{t=1}^{T} P(w^{(t)} \mid w^{(t-m)}, \ldots, w^{(t-1)}, w^{(t+1)}, \ldots, w^{(t+m)}). t = 1 ∏ T P ( w ( t ) ∣ w ( t − m ) , … , w ( t − 1 ) , w ( t + 1 ) , … , w ( t + m ) ) .
10.1.3.1 训练连续词袋模型
− ∑ t = 1 T log , P ( w ( t ) ∣ w ( t − m ) , … , w ( t − 1 ) , w ( t + 1 ) , … , w ( t + m ) ) . -\sum_{t=1}^T \text{log}, P(w^{(t)} \mid w^{(t-m)}, \ldots, w^{(t-1)}, w^{(t+1)}, \ldots, w^{(t+m)}). − t = 1 ∑ T log , P ( w ( t ) ∣ w ( t − m ) , … , w ( t − 1 ) , w ( t + 1 ) , … , w ( t + m ) ) .
注意到
log , P ( w c ∣ W o ) = u c ⊤ v ˉ o − log , ( ∑ i ∈ V exp ( u i ⊤ v ˉ o ) ) . \log,P(w_c \mid \mathcal{W}_o) = \boldsymbol{u}_c^\top \bar{\boldsymbol{v}}o - \log,\left(\sum{i \in \mathcal{V}} \exp\left(\boldsymbol{u}_i^\top \bar{\boldsymbol{v}}_o\right)\right). log , P ( w c ∣ W o ) = u c ⊤ v ˉ o − log , ( ∑ i ∈ V exp ( u i ⊤ v ˉ o ) ) .
通过微分，我们可以计算出上式中条件概率的对数有关任一背景词向量v o i \boldsymbol{v}_{o_i} v o i i = 1 , … , 2 m i = 1, \ldots, 2m i = 1 , … , 2 m
∂ log , P ( w c ∣ W o ) ∂ v o i = 1 2 m ( u c − ∑ j ∈ V exp ( u j ⊤ v ˉ o ) u j ∑ i ∈ V exp ( u i ⊤ v ˉ o ) ) = 1 2 m ( u c − ∑ j ∈ V P ( w j ∣ W o ) u j ) . \frac{\partial \log, P(w_c \mid \mathcal{W}o)}{\partial \boldsymbol{v}{o_i}} = \frac{1}{2m} \left(\boldsymbol{u}c - \sum{j \in \mathcal{V}} \frac{\exp(\boldsymbol{u}_j^\top \bar{\boldsymbol{v}}_o)\boldsymbol{u}j}{ \sum{i \in \mathcal{V}} \text{exp}(\boldsymbol{u}_i^\top \bar{\boldsymbol{v}}_o)} \right) = \frac{1}{2m}\left(\boldsymbol{u}c - \sum{j \in \mathcal{V}} P(w_j \mid \mathcal{W}_o) \boldsymbol{u}_j \right). ∂ v o i ∂ log , P ( w c ∣ W o ) = 2 m 1 ( u c − ∑ j ∈ V ∑ i ∈ V exp ( u i ⊤ v ˉ o ) exp ( u j ⊤ v ˉ o ) u j ) = 2 m 1 ( u c − ∑ j ∈ V P ( w j ∣ W o ) u j ) .
有关其他词向量的梯度同理可得。同跳字模型不一样的一点在于，我们一般使用连续词袋模型的背景词向量作为词的表征向量。
