[机器学习-从入门到入土] 词嵌入

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

词嵌入Word Embedding

神经网络只能处理数值向量，因此必须先把词映射为向量

具有相同含义的词语会获得相似的表示

大多数神经网络难以有效处理非常高维且稀疏的向量
-> 使用低维且稠密的向量

词袋模型(bag-of-words)(BOW)

计每个单词出现的次数，将任意文本转换为固定长度向量的表示方法

• 词表大小 = $V$
• 每个文本 → 一个 $V$ 维向量
• 每一维表示某个词出现的次数

问题 1：极度稀疏

• 一个句子只包含极少数词
• 向量中几乎全是 0

问题 2：没有语义结构

• “king” 与 “queen” 在向量空间中正交
• “king” 和 “apple” 距离一样远

Word Embedding 的目标: 用低维、稠密的连续向量表示词，并让“语义相近的词在向量空间中距离更近”

Word2Vec

词的含义来自它的上下文

-> 语义相似的词会出现在相似的上下文中

Skip-gram:

给定语料：“the king loves the queen”
以窗口大小 $c=2$ 为例：当中心词是 king, 要预测the, loves
于是训练样本变成：
$$(\text{king}\to \text{the}),(\text{king}\to \text{loves})$$
Skip-gram 的目标函数(最大化):
$$\frac{1}{T}\sum _{t=1}^T\sum _{-c\le j\le c,j\ne 0}\log p\left(w_{t+j}\mid w_t\right)$$

• $T$：语料中词的总数
• $w_t$：中心词
• $w_{t+j}$：上下文词
• 目标：给定中心词 $w_t$，最大化真实上下文词出现的概率

Skip-gram 的概率模型:（Softmax）
$$p\left(w_O\mid w_I\right)=\frac{\exp \left(v_{w_O}^{\prime \top }{v}_{w_I}\right)}{{\sum }_{w=1}^W\exp \left(v_w^{\prime \top }{v}_{w_I}\right)}$$

• $v_{w_I}$：输入词向量（中心词）

• $v_{w_O}^{\prime }$：输出词向量（上下文词）

• 训练结束后：通常只保留 $v_w$ 作为词嵌入

也有: King - man +woman -> Queen

说明能学到单词之间的逻辑关系

维度	BOW	Word2Vec
向量维度	词表大小（上万）	低维（50–300）
稀疏性	极稀疏	稠密
是否学习	❌ 固定编码	✅ 从数据中学
语义相似性	❌ 无	✅ 有
词间关系	❌	✅（向量运算）