目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch size, 来控制梯度方差和收敛的结果。
g t = ∂ w 1 ∣ B t ∣ ∑ i ∈ B t f ( x i , w t − 1 ) = 1 ∣ B t ∣ ∑ i ∈ B t g i , t − 1 .
\mathbf{g}_t = \partial_{\mathbf{w}} \frac{1}{|\mathcal{B}_t|} \sum_{i \in \mathcal{B}_t} f(\mathbf{x}_{i}, \mathbf{w}_{t-1}) = \frac{1}{|\mathcal{B}_t|} \sum_{i \in \mathcal{B}_t} \mathbf{g}_{i, t-1}.
g t = ∂ w ∣ B t ∣ 1 i ∈ B t ∑ f ( x i , w t − 1 ) = ∣ B t ∣ 1 i ∈ B t ∑ g i , t − 1 .
Condition Number of Hessian Matrix:
c o n d H = λ m a x λ m i n
cond_{H} = \frac{\lambda_{max}}{\lambda_{min}}
c o n d H = λ m i n λ m a x
where λ m a x , λ m i n \lambda_{max}, \lambda_{min} λ m a x , λ m i n
让我们考虑一个输入和输出分别为二维向量x = [ x 1 , x 2 ] ⊤ \boldsymbol{x} = [x_1, x_2]^\top x = [ x 1 , x 2 ] ⊤
f ( x ) = 0.1 x 1 2 + 2 x 2 2
f(\boldsymbol{x})=0.1x_1^2+2x_2^2
f ( x ) = 0 . 1 x 1 2 + 2 x 2 2
c o n d H = 4 0.2 = 20 → ill-conditioned
cond_{H} = \frac{4}{0.2} = 20 \quad \rightarrow \quad \text{ill-conditioned}
c o n d H = 0 . 2 4 = 2 0 → ill-conditioned
For f ( x ) f(x) f ( x ) η \eta η
To guarantee the convergence, we need to have η \eta η
在二阶优化中，我们使用Hessian matrix的逆矩阵(或者pseudo inverse)来左乘梯度向量 i . e . Δ x = H − 1 g i.e. \Delta_{x} = H^{-1}\mathbf{g} i . e . Δ x = H − 1 g H H H x 2 x_2 x 2 x 1 x_1 x 1
动量法的提出是为了解决梯度下降的上述问题。设时间步 t t t x t \boldsymbol{x}_t x t η t \eta_t η t t = 0 t=0 t = 0 m 0 \boldsymbol{m}_0 m 0 t > 0 t>0 t > 0
m t ← β m t − 1 + η t g t , x t ← x t − 1 − m t ,
\begin{aligned}
\boldsymbol{m}_t &\leftarrow \beta \boldsymbol{m}_{t-1} + \eta_t \boldsymbol{g}_t, \\
\boldsymbol{x}_t &\leftarrow \boldsymbol{x}_{t-1} - \boldsymbol{m}_t,
\end{aligned}
m t x t ← β m t − 1 + η t g t , ← x t − 1 − m t ,
Another version:
m t ← β m t − 1 + ( 1 − β ) g t , x t ← x t − 1 − α t m t ,
\begin{aligned}
\boldsymbol{m}_t &\leftarrow \beta \boldsymbol{m}_{t-1} + (1-\beta) \boldsymbol{g}_t, \\
\boldsymbol{x}_t &\leftarrow \boldsymbol{x}_{t-1} - \alpha_t \boldsymbol{m}_t,
\end{aligned}
m t x t ← β m t − 1 + ( 1 − β ) g t , ← x t − 1 − α t m t ,
α t = η t 1 − β
\alpha_t = \frac{\eta_t}{1-\beta}
α t = 1 − β η t
其中，动量超参数 β \beta β 0 ≤ β < 1 0 \leq \beta < 1 0 ≤ β < 1 β = 0 \beta=0 β = 0 η = 0.4 \eta=0.4 η = 0 . 4 β = 0.5 \beta=0.5 β = 0 . 5
为了从数学上理解动量法，让我们先解释一下指数加权移动平均（exponential moving average）。给定超参数 0 ≤ β < 1 0 \leq \beta < 1 0 ≤ β < 1 t t t y t y_t y t t − 1 t-1 t − 1 y t − 1 y_{t-1} y t − 1 x t x_t x t
y t = β y t − 1 + ( 1 − β ) x t .
y_t = \beta y_{t-1} + (1-\beta) x_t.
y t = β y t − 1 + ( 1 − β ) x t .
我们可以对 y t y_t y t
y t = ( 1 − β ) x t + β y t − 1 = ( 1 − β ) x t + ( 1 − β ) ⋅ β x t − 1 + β 2 y t − 2 = ( 1 − β ) x t + ( 1 − β ) ⋅ β x t − 1 + ( 1 − β ) ⋅ β 2 x t − 2 + β 3 y t − 3 = ( 1 − β ) ∑ i = 0 t β i x t − i
\begin{aligned}
y_t &= (1-\beta) x_t + \beta y_{t-1}\\
&= (1-\beta)x_t + (1-\beta) \cdot \beta x_{t-1} + \beta^2y_{t-2}\\
&= (1-\beta)x_t + (1-\beta) \cdot \beta x_{t-1} + (1-\beta) \cdot \beta^2x_{t-2} + \beta^3y_{t-3}\\
&= (1-\beta) \sum_{i=0}^{t} \beta^{i}x_{t-i}
\end{aligned}
y t = ( 1 − β ) x t + β y t − 1 = ( 1 − β ) x t + ( 1 − β ) ⋅ β x t − 1 + β 2 y t − 2 = ( 1 − β ) x t + ( 1 − β ) ⋅ β x t − 1 + ( 1 − β ) ⋅ β 2 x t − 2 + β 3 y t − 3 = ( 1 − β ) i = 0 ∑ t β i x t − i
( 1 − β ) ∑ i = 0 t β i = 1 − β t 1 − β ( 1 − β ) = ( 1 − β t )
(1-\beta)\sum_{i=0}^{t} \beta^{i} = \frac{1-\beta^{t}}{1-\beta} (1-\beta) = (1-\beta^{t})
( 1 − β ) i = 0 ∑ t β i = 1 − β 1 − β t ( 1 − β ) = ( 1 − β t )
Approximate Average of 1 1 − β \frac{1}{1-\beta} 1 − β 1
令 n = 1 / ( 1 − β ) n = 1/(1-\beta) n = 1 / ( 1 − β ) ( 1 − 1 / n ) n = β 1 / ( 1 − β ) \left(1-1/n\right)^n = \beta^{1/(1-\beta)} ( 1 − 1 / n ) n = β 1 / ( 1 − β )
lim n → ∞ ( 1 − 1 n ) n = exp ( − 1 ) ≈ 0.3679 ,
\lim_{n \rightarrow \infty} \left(1-\frac{1}{n}\right)^n = \exp(-1) \approx 0.3679,
n → ∞ lim ( 1 − n 1 ) n = exp ( − 1 ) ≈ 0 . 3 6 7 9 ,
所以当 β → 1 \beta \rightarrow 1 β → 1 β 1 / ( 1 − β ) = exp ( − 1 ) \beta^{1/(1-\beta)}=\exp(-1) β 1 / ( 1 − β ) = exp ( − 1 ) 0.9 5 20 ≈ exp ( − 1 ) 0.95^{20} \approx \exp(-1) 0 . 9 5 2 0 ≈ exp ( − 1 ) exp ( − 1 ) \exp(-1) exp ( − 1 ) β 1 / ( 1 − β ) \beta^{1/(1-\beta)} β 1 / ( 1 − β ) β 1 / ( 1 − β ) \beta^{1/(1-\beta)} β 1 / ( 1 − β ) β = 0.95 \beta=0.95 β = 0 . 9 5
y t ≈ 0.05 ∑ i = 0 19 0.9 5 i x t − i .
y_t \approx 0.05 \sum_{i=0}^{19} 0.95^i x_{t-i}.
y t ≈ 0 . 0 5 i = 0 ∑ 1 9 0 . 9 5 i x t − i .
因此，在实际中，我们常常将 y t y_t y t 1 / ( 1 − β ) 1/(1-\beta) 1 / ( 1 − β ) x t x_t x t γ = 0.95 \gamma = 0.95 γ = 0 . 9 5 y t y_t y t x t x_t x t β = 0.9 \beta = 0.9 β = 0 . 9 y t y_t y t x t x_t x t t t t x t x_t x t
现在，我们对动量法的速度变量做变形：
m t ← β m t − 1 + ( 1 − β ) ( η t 1 − β g t ) .
\boldsymbol{m}_t \leftarrow \beta \boldsymbol{m}_{t-1} + (1 - \beta) \left(\frac{\eta_t}{1 - \beta} \boldsymbol{g}_t\right).
m t ← β m t − 1 + ( 1 − β ) ( 1 − β η t g t ) .
Another version:
m t ← β m t − 1 + ( 1 − β ) g t .
\boldsymbol{m}_t \leftarrow \beta \boldsymbol{m}_{t-1} + (1 - \beta) \boldsymbol{g}_t.
m t ← β m t − 1 + ( 1 − β ) g t .
x t ← x t − 1 − α t m t ,
\begin{aligned}
\boldsymbol{x}_t &\leftarrow \boldsymbol{x}_{t-1} - \alpha_t \boldsymbol{m}_t,
\end{aligned}
x t ← x t − 1 − α t m t ,
α t = η t 1 − β
\alpha_t = \frac{\eta_t}{1-\beta}
α t = 1 − β η t
由指数加权移动平均的形式可得，速度变量 v t \boldsymbol{v}_t v t { η t − i g t − i / ( 1 − β ) : i = 0 , … , 1 / ( 1 − β ) − 1 } \{\eta_{t-i}\boldsymbol{g}_{t-i} /(1-\beta):i=0,\ldots,1/(1-\beta)-1\} { η t − i g t − i / ( 1 − β ) : i = 0 , … , 1 / ( 1 − β ) − 1 } 1 / ( 1 − β ) 1/(1-\beta) 1 / ( 1 − β ) 1 − β 1-\beta 1 − β
相对于小批量随机梯度下降，动量法需要对每一个自变量维护一个同它一样形状的速度变量，且超参数里多了动量超参数。实现中，我们将速度变量用更广义的状态变量states表示。
目标函数值在后期迭代过程中的变化不够平滑。直觉上，10倍小批量梯度比2倍小批量梯度大了5倍，我们可以试着将学习率减小到原来的1/5。此时目标函数值在下降了一段时间后变化更加平滑。
在Pytorch中，torch.optim.SGD已实现了Momentum。
在之前介绍过的优化算法中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。举个例子，假设目标函数为f f f [ x 1 , x 2 ] ⊤ [x_1, x_2]^\top [ x 1 , x 2 ] ⊤ η \eta η x 1 x_1 x 1 x 2 x_2 x 2 η \eta η
x 1 ← x 1 − η ∂ f ∂ x 1 , x 2 ← x 2 − η ∂ f ∂ x 2 .
x_1 \leftarrow x_1 - \eta \frac{\partial{f}}{\partial{x_1}}, \quad
x_2 \leftarrow x_2 - \eta \frac{\partial{f}}{\partial{x_2}}.
x 1 ← x 1 − η ∂ x 1 ∂ f , x 2 ← x 2 − η ∂ x 2 ∂ f .
在“动量法”一节里我们看到当x 1 x_1 x 1 x 2 x_2 x 2
AdaGrad算法会使用一个小批量随机梯度g t \boldsymbol{g}_t g t s t \boldsymbol{s}_t s t s 0 \boldsymbol{s}_0 s 0 t t t g t \boldsymbol{g}_t g t s t \boldsymbol{s}_t s t
s t ← s t − 1 + g t ⊙ g t ,
\boldsymbol{s}_t \leftarrow \boldsymbol{s}_{t-1} + \boldsymbol{g}_t \odot \boldsymbol{g}_t,
s t ← s t − 1 + g t ⊙ g t ,
其中⊙ \odot ⊙
x t ← x t − 1 − η s t + ϵ ⊙ g t ,
\boldsymbol{x}_t \leftarrow \boldsymbol{x}_{t-1} - \frac{\eta}{\sqrt{\boldsymbol{s}_t + \epsilon}} \odot \boldsymbol{g}_t,
x t ← x t − 1 − s t + ϵ η ⊙ g t ,
其中η \eta η ϵ \epsilon ϵ 1 0 − 6 10^{-6} 1 0 − 6
需要强调的是，小批量随机梯度按元素平方的累加变量s t \boldsymbol{s}_t s t s t \boldsymbol{s}_t s t
下面我们仍然以目标函数f ( x ) = 0.1 x 1 2 + 2 x 2 2 f(\boldsymbol{x})=0.1x_1^2+2x_2^2 f ( x ) = 0 . 1 x 1 2 + 2 x 2 2 s t \boldsymbol{s}_t s t
通过名称为“adagrad”的Trainer实例，我们便可使用Pytorch提供的AdaGrad算法来训练模型。
我们在“AdaGrad算法”一节中提到，因为调整学习率时分母上的变量s t \boldsymbol{s}_t s t
我们在“动量法”一节里介绍过指数加权移动平均。不同于AdaGrad算法里状态变量s t \boldsymbol{s}_t s t t t t g t \boldsymbol{g}_t g t 0 ≤ γ 0 0 \leq \gamma 0 0 ≤ γ 0
v t ← β v t − 1 + ( 1 − β ) g t ⊙ g t .
\boldsymbol{v}_t \leftarrow \beta \boldsymbol{v}_{t-1} + (1 - \beta) \boldsymbol{g}_t \odot \boldsymbol{g}_t.
v t ← β v t − 1 + ( 1 − β ) g t ⊙ g t .
和AdaGrad算法一样，RMSProp算法将目标函数自变量中每个元素的学习率通过按元素运算重新调整，然后更新自变量
x t ← x t − 1 − α v t + ϵ ⊙ g t ,
\boldsymbol{x}_t \leftarrow \boldsymbol{x}_{t-1} - \frac{\alpha}{\sqrt{\boldsymbol{v}_t + \epsilon}} \odot \boldsymbol{g}_t,
x t ← x t − 1 − v t + ϵ α ⊙ g t ,
其中η \eta η ϵ \epsilon ϵ 1 0 − 6 10^{-6} 1 0 − 6 s t \boldsymbol{s}_t s t g t ⊙ g t \boldsymbol{g}_t \odot \boldsymbol{g}_t g t ⊙ g t 1 / ( 1 − β ) 1/(1-\beta) 1 / ( 1 − β )
照例，让我们先观察RMSProp算法对目标函数f ( x ) = 0.1 x 1 2 + 2 x 2 2 f(\boldsymbol{x})=0.1x_1^2+2x_2^2 f ( x ) = 0 . 1 x 1 2 + 2 x 2 2
通过名称为“rmsprop”的Trainer实例，我们便可使用Gluon提供的RMSProp算法来训练模型。注意，超参数γ \gamma γ gamma1指定。
除了RMSProp算法以外，另一个常用优化算法AdaDelta算法也针对AdaGrad算法在迭代后期可能较难找到有用解的问题做了改进 [1]。有意思的是，AdaDelta算法没有学习率这一超参数。
AdaDelta算法也像RMSProp算法一样，使用了小批量随机梯度g t \boldsymbol{g}_t g t s t \boldsymbol{s}_t s t 0 ≤ ρ 0 0 \leq \rho 0 0 ≤ ρ 0
s t ← ρ s t − 1 + ( 1 − ρ ) g t ⊙ g t .
\boldsymbol{s}_t \leftarrow \rho \boldsymbol{s}_{t-1} + (1 - \rho) \boldsymbol{g}_t \odot \boldsymbol{g}_t.
s t ← ρ s t − 1 + ( 1 − ρ ) g t ⊙ g t .
与RMSProp算法不同的是，AdaDelta算法还维护一个额外的状态变量Δ x t \Delta\boldsymbol{x}_t Δ x t Δ x t − 1 \Delta\boldsymbol{x}_{t-1} Δ x t − 1
g t ′ ← Δ x t − 1 + ϵ s t + ϵ ⊙ g t ,
\boldsymbol{g}_t' \leftarrow \sqrt{\frac{\Delta\boldsymbol{x}_{t-1} + \epsilon}{\boldsymbol{s}_t + \epsilon}} \odot \boldsymbol{g}_t,
g t ′ ← s t + ϵ Δ x t − 1 + ϵ ⊙ g t ,
其中ϵ \epsilon ϵ 1 0 − 5 10^{-5} 1 0 − 5
x t ← x t − 1 − g t ′ .
\boldsymbol{x}_t \leftarrow \boldsymbol{x}_{t-1} - \boldsymbol{g}'_t.
x t ← x t − 1 − g t ′ .
最后，我们使用Δ x t \Delta\boldsymbol{x}_t Δ x t g t ′ \boldsymbol{g}'_t g t ′
Δ x t ← ρ Δ x t − 1 + ( 1 − ρ ) g t ′ ⊙ g t ′ .
\Delta\boldsymbol{x}_t \leftarrow \rho \Delta\boldsymbol{x}_{t-1} + (1 - \rho) \boldsymbol{g}'_t \odot \boldsymbol{g}'_t.
Δ x t ← ρ Δ x t − 1 + ( 1 − ρ ) g t ′ ⊙ g t ′ .
可以看到，如不考虑ϵ \epsilon ϵ Δ x t − 1 \sqrt{\Delta\boldsymbol{x}_{t-1}} Δ x t − 1 η \eta η
通过名称为“adadelta”的Trainer实例，我们便可使用pytorch提供的AdaDelta算法。它的超参数可以通过rho来指定。
Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均 [1]。下面我们来介绍这个算法。
Adam算法使用了动量变量m t \boldsymbol{m}_t m t v t \boldsymbol{v}_t v t 0 ≤ β 1 < 1 0 \leq \beta_1 < 1 0 ≤ β 1 < 1 t t t m t \boldsymbol{m}_t m t g t \boldsymbol{g}_t g t
m t ← β 1 m t − 1 + ( 1 − β 1 ) g t .
\boldsymbol{m}_t \leftarrow \beta_1 \boldsymbol{m}_{t-1} + (1 - \beta_1) \boldsymbol{g}_t.
m t ← β 1 m t − 1 + ( 1 − β 1 ) g t .
和RMSProp算法中一样，给定超参数0 ≤ β 2 < 1 0 \leq \beta_2 < 1 0 ≤ β 2 < 1 g t ⊙ g t \boldsymbol{g}_t \odot \boldsymbol{g}_t g t ⊙ g t v t \boldsymbol{v}_t v t
v t ← β 2 v t − 1 + ( 1 − β 2 ) g t ⊙ g t .
\boldsymbol{v}_t \leftarrow \beta_2 \boldsymbol{v}_{t-1} + (1 - \beta_2) \boldsymbol{g}_t \odot \boldsymbol{g}_t.
v t ← β 2 v t − 1 + ( 1 − β 2 ) g t ⊙ g t .
由于我们将m 0 \boldsymbol{m}_0 m 0 s 0 \boldsymbol{s}_0 s 0 t t t m t = ( 1 − β 1 ) ∑ i = 1 t β 1 t − i g i \boldsymbol{m}_t = (1-\beta_1) \sum_{i=1}^t \beta_1^{t-i} \boldsymbol{g}_i m t = ( 1 − β 1 ) ∑ i = 1 t β 1 t − i g i ( 1 − β 1 ) ∑ i = 1 t β 1 t − i = 1 − β 1 t (1-\beta_1) \sum_{i=1}^t \beta_1^{t-i} = 1 - \beta_1^t ( 1 − β 1 ) ∑ i = 1 t β 1 t − i = 1 − β 1 t t t t β 1 = 0.9 \beta_1 = 0.9 β 1 = 0 . 9 m 1 = 0.1 g 1 \boldsymbol{m}_1 = 0.1\boldsymbol{g}_1 m 1 = 0 . 1 g 1 t t t m t \boldsymbol{m}_t m t 1 − β 1 t 1 - \beta_1^t 1 − β 1 t m t \boldsymbol{m}_t m t v t \boldsymbol{v}_t v t
m ^ t ← m t 1 − β 1 t ,
\hat{\boldsymbol{m}}_t \leftarrow \frac{\boldsymbol{m}_t}{1 - \beta_1^t},
m ^ t ← 1 − β 1 t m t ,
v ^ t ← v t 1 − β 2 t .
\hat{\boldsymbol{v}}_t \leftarrow \frac{\boldsymbol{v}_t}{1 - \beta_2^t}.
v ^ t ← 1 − β 2 t v t .
接下来，Adam算法使用以上偏差修正后的变量m ^ t \hat{\boldsymbol{m}}_t m ^ t m ^ t \hat{\boldsymbol{m}}_t m ^ t
g t ′ ← η m ^ t v ^ t + ϵ ,
\boldsymbol{g}_t' \leftarrow \frac{\eta \hat{\boldsymbol{m}}_t}{\sqrt{\hat{\boldsymbol{v}}_t} + \epsilon},
g t ′ ← v ^ t + ϵ η m ^ t ,
其中η \eta η ϵ \epsilon ϵ 1 0 − 8 10^{-8} 1 0 − 8 g t ′ \boldsymbol{g}_t' g t ′
x t ← x t − 1 − g t ′ .
\boldsymbol{x}_t \leftarrow \boldsymbol{x}_{t-1} - \boldsymbol{g}_t'.
x t ← x t − 1 − g t ′ .
我们按照Adam算法中的公式实现该算法。其中时间步t t t hyperparams参数传入adam函数。
torch.optim.Adam
我们之前使用 one-hot 向量表示单词，虽然它们构造起来很容易，但通常并不是一个好选择。一个主要的原因是，one-hot 词向量无法准确表达不同词之间的相似度，如我们常常使用的余弦相似度。
Word2Vec 词嵌入工具的提出正是为了解决上面这个问题，它将每个词表示成一个定长的向量，并通过在语料库上的预训练使得这些向量能较好地表达不同词之间的相似和类比关系，以引入一定的语义信息。基于两种概率模型的假设，我们可以定义两种 Word2Vec 模型：
Skip-Gram 跳字模型：假设背景词由中心词生成，即建模 P ( w o ∣ w c ) P(w_o\mid w_c) P ( w o ∣ w c ) w c w_c w c w o w_o w o
CBOW (continuous bag-of-words) 连续词袋模型：假设中心词由背景词生成，即建模 P ( w c ∣ W o ) P(w_c\mid \mathcal{W}_o) P ( w c ∣ W o ) W o \mathcal{W}_o W o
在这里我们主要介绍 Skip-Gram 模型的实现，CBOW 实现与其类似，读者可之后自己尝试实现。后续的内容将大致从以下四个部分展开：
1.PTB 数据集
简单来说，Word2Vec 能从语料中学到如何将离散的词映射为连续空间中的向量，并保留其语义上的相似关系。那么为了训练 Word2Vec 模型，我们就需要一个自然语言语料库，模型将从中学习各个单词间的关系，这里我们使用经典的 PTB 语料库进行训练。PTB (Penn Tree Bank) 是一个常用的小型语料库，它采样自《华尔街日报》的文章，包括训练集、验证集和测试集。我们将在PTB训练集上训练词嵌入模型。
数据集训练文件 ptb.train.txt 示例：
aer banknote berlitz calloway centrust cluett fromstein gitano guterman ...
pierre N years old will join the board as a nonexecutive director nov. N
mr. is chairman of n.v. the dutch publishing group
...
文本数据中一般会出现一些高频词，如英文中的“the”“a”和“in”。通常来说，在一个背景窗口中，一个词（如“chip”）和较低频词（如“microprocessor”）同时出现比和较高频词（如“the”）同时出现对训练词嵌入模型更有益。因此，训练词嵌入模型时可以对词进行二次采样。 具体来说，数据集中每个被索引词 w i w_i w i
P ( w i ) = max ( 1 − t f ( w i ) , 0 )
P(w_i)=\max(1-\sqrt{\frac{t}{f(w_i)}},0)
P ( w i ) = max ( 1 − f ( w i ) t , 0 )
其中 f ( w i ) f(w_i) f ( w i ) w i w_i w i t t t 1 0 − 4 10^{−4} 1 0 − 4 f ( w i ) > t f(w_i)>t f ( w i ) > t w i w_i w i
在跳字模型中，每个词被表示成两个 d d d i i i v i ∈ R d \boldsymbol{v}_i\in\mathbb{R}^d v i ∈ R d u i ∈ R d \boldsymbol{u}_i\in\mathbb{R}^d u i ∈ R d w c w_c w c c c c w o w_o w o o o o
P ( w o ∣ w c ) = exp ( u o ⊤ v c ) ∑ i ∈ V exp ( u i ⊤ v c )
P(w_o\mid w_c)=\frac{\exp(\boldsymbol{u}_o^\top \boldsymbol{v}_c)}{\sum_{i\in\mathcal{V}}\exp(\boldsymbol{u}_i^\top \boldsymbol{v}_c)}
P ( w o ∣ w c ) = ∑ i ∈ V exp ( u i ⊤ v c ) exp ( u o ⊤ v c )
在跳字模型中，每个词被表示成两个 d d d i i i v i ∈ R d \boldsymbol{v}_i\in\mathbb{R}^d v i ∈ R d u i ∈ R d \boldsymbol{u}_i\in\mathbb{R}^d u i ∈ R d w c w_c w c c c c w o w_o w o o o o
P ( w o ∣ w c ) = exp ( u o ⊤ v c ) ∑ i ∈ V exp ( u i ⊤ v c )
P(w_o\mid w_c)=\frac{\exp(\boldsymbol{u}_o^\top \boldsymbol{v}_c)}{\sum_{i\in\mathcal{V}}\exp(\boldsymbol{u}_i^\top \boldsymbol{v}_c)}
P ( w o ∣ w c ) = ∑ i ∈ V exp ( u i ⊤ v c ) exp ( u o ⊤ v c )
nn.Embedding
torch.bmm
由于 softmax 运算考虑了背景词可能是词典 V \mathcal{V} V
负采样方法用以下公式来近似条件概率 P ( w o ∣ w c ) = exp ( u o ⊤ v c ) ∑ i ∈ V exp ( u i ⊤ v c ) P(w_o\mid w_c)=\frac{\exp(\boldsymbol{u}_o^\top \boldsymbol{v}_c)}{\sum_{i\in\mathcal{V}}\exp(\boldsymbol{u}_i^\top \boldsymbol{v}_c)} P ( w o ∣ w c ) = ∑ i ∈ V exp ( u i ⊤ v c ) exp ( u o ⊤ v c )
P ( w o ∣ w c ) = P ( D = 1 ∣ w c , w o ) ∏ k = 1 , w k ∼ P ( w ) K P ( D = 0 ∣ w c , w k )
P(w_o\mid w_c)=P(D=1\mid w_c,w_o)\prod_{k=1,w_k\sim P(w)}^K P(D=0\mid w_c,w_k)
P ( w o ∣ w c ) = P ( D = 1 ∣ w c , w o ) k = 1 , w k ∼ P ( w ) ∏ K P ( D = 0 ∣ w c , w k )
其中 P ( D = 1 ∣ w c , w o ) = σ ( u o ⊤ v c ) P(D=1\mid w_c,w_o)=\sigma(\boldsymbol{u}_o^\top\boldsymbol{v}_c) P ( D = 1 ∣ w c , w o ) = σ ( u o ⊤ v c ) σ ( ⋅ ) \sigma(\cdot) σ ( ⋅ ) K K K K = 5 K=5 K = 5 P ( w ) P(w) P ( w ) w w w 0.75 0.75 0 . 7 5
应用负采样方法后，我们可利用最大似然估计的对数等价形式将损失函数定义为如下
∑ t = 1 T ∑ − m ≤ j ≤ m , j ≠ 0 [ − log P ( D = 1 ∣ w ( t ) , w ( t + j ) ) − ∑ k = 1 , w k ∼ P ( w ) K log P ( D = 0 ∣ w ( t ) , w k ) ]
\sum_{t=1}^T\sum_{-m\le j\le m,j\ne 0} [-\log P(D=1\mid w^{(t)},w^{(t+j)})-\sum_{k=1,w_k\sim P(w)^K}\log P(D=0\mid w^{(t)},w_k)]
t = 1 ∑ T − m ≤ j ≤ m , j = 0 ∑ [ − log P ( D = 1 ∣ w ( t ) , w ( t + j ) ) − k = 1 , w k ∼ P ( w ) K ∑ log P ( D = 0 ∣ w ( t ) , w k ) ]
根据这个损失函数的定义，我们可以直接使用二元交叉熵损失函数进行计算.
Word2Vec 模型仍不是完美的，它还可以被进一步地改进：
子词嵌入（subword embedding）：FastText 以固定大小的 n-gram 形式将单词更细致地表示为了子词的集合，而 BPE (byte pair encoding) 算法则能根据语料库的统计信息，自动且动态地生成高频子词的集合；
GloVe 全局向量的词嵌入 : 通过等价转换 Word2Vec 模型的条件概率公式，我们可以得到一个全局的损失函数表达，并在此基础上进一步优化模型。实际中，我们常常在大规模的语料上训练这些词嵌入模型，并将预训练得到的词向量应用到下游的自然语言处理任务中。本节就将以 GloVe 模型为例，演示如何用预训练好的词向量来求近义词和类比词。
先简单回顾以下 Word2Vec 的损失函数（以 Skip-Gram 模型为例，不考虑负采样近似）：
− ∑ t = 1 T ∑ − m ≤ j ≤ m , j ≠ 0 log P ( w ( t + j ) ∣ w ( t ) )
-\sum_{t=1}^T\sum_{-m\le j\le m,j\ne 0} \log P(w^{(t+j)}\mid w^{(t)})
− t = 1 ∑ T − m ≤ j ≤ m , j = 0 ∑ log P ( w ( t + j ) ∣ w ( t ) )
其中
P ( w j ∣ w i ) = exp ( u j ⊤ v i ) ∑ k ∈ V exp ( u k ⊤ v i )
P(w_j\mid w_i) = \frac{\exp(\boldsymbol{u}_j^\top\boldsymbol{v}_i)}{\sum_{k\in\mathcal{V}}\exp(\boldsymbol{u}_k^\top\boldsymbol{v}_i)}
P ( w j ∣ w i ) = ∑ k ∈ V exp ( u k ⊤ v i ) exp ( u j ⊤ v i )
是 w i w_i w i w j w_j w j q i j q_{ij} q i j
注意到此时我们的损失函数中包含两个求和符号，它们分别枚举了语料库中的每个中心词和其对应的每个背景词。实际上我们还可以采用另一种计数方式，那就是直接枚举每个词分别作为中心词和背景词的情况：
− ∑ i ∈ V ∑ j ∈ V x i j log q i j
-\sum_{i\in\mathcal{V}}\sum_{j\in\mathcal{V}} x_{ij}\log q_{ij}
− i ∈ V ∑ j ∈ V ∑ x i j log q i j
其中 x i j x_{ij} x i j w j w_j w j w i w_i w i
我们还可以将该式进一步地改写为交叉熵 (cross-entropy) 的形式如下：
− ∑ i ∈ V x i ∑ j ∈ V p i j log q i j
-\sum_{i\in\mathcal{V}}x_i\sum_{j\in\mathcal{V}}p_{ij} \log q_{ij}
− i ∈ V ∑ x i j ∈ V ∑ p i j log q i j
其中 x i x_i x i w i w_i w i p i j = x i j / x i p_{ij}=x_{ij}/x_i p i j = x i j / x i w j w_j w j w i w_i w i
从这里可以看出，我们的词嵌入方法实际上就是想让模型学出 w j w_j w j w i w_i w i x i x_i x i
注意到目前为止，我们只是改写了 Skip-Gram 模型损失函数的表面形式，还没有对模型做任何实质上的改动。而在 Word2Vec 之后提出的 GloVe 模型，则是在之前的基础上做出了以下几点改动：
使用非概率分布的变量 p i j ′ = x i j p'_{ij}=x_{ij} p i j ′ = x i j q ′ i j = exp ( u j ⊤ v i ) q′_{ij}=\exp(\boldsymbol{u}^\top_j\boldsymbol{v}_i) q ′ i j = exp ( u j ⊤ v i )
为每个词 w i w_i w i b i b_i b i c i c_i c i
将每个损失项的权重 x i x_i x i h ( x i j ) h(x_{ij}) h ( x i j ) h ( x ) h(x) h ( x ) [ 0 , 1 ] [0,1] [ 0 , 1 ] x i x_i x i
用平方损失函数替代了交叉熵损失函数。
综上，我们获得了 GloVe 模型的损失函数表达式：
∑ i ∈ V ∑ j ∈ V h ( x i j ) ( u j ⊤ v i + b i + c j − log x i j ) 2
\sum_{i\in\mathcal{V}}\sum_{j\in\mathcal{V}} h(x_{ij}) (\boldsymbol{u}^\top_j\boldsymbol{v}_i+b_i+c_j-\log x_{ij})^2
i ∈ V ∑ j ∈ V ∑ h ( x i j ) ( u j ⊤ v i + b i + c j − log x i j ) 2
由于这些非零 x i j x_{ij} x i j
GloVe 官方 提供了多种规格的预训练词向量，语料库分别采用了维基百科、CommonCrawl和推特等，语料库中词语总数也涵盖了从60亿到8,400亿的不同规模，同时还提供了多种词向量维度供下游模型使用。
torchtext.vocabtorchtext.vocab.GloVe
由于词向量空间中的余弦相似性可以衡量词语含义的相似性（为什么？），我们可以通过寻找空间中的 k 近邻，来查询单词的近义词。
除了求近义词以外，我们还可以使用预训练词向量求词与词之间的类比关系，例如“man”之于“woman”相当于“son”之于“daughter”。求类比词问题可以定义为：对于类比关系中的4个词“a a a b b b c c c d d d a , b , c a,b,c a , b , c d d d vec ( c ) + vec ( b ) − vec ( a ) \text{vec}(c)+\text{vec}(b)−\text{vec}(a) vec ( c ) + vec ( b ) − vec ( a ) vec ( w ) \text{vec}(w) vec ( w ) w w w
