词嵌入
什么是embedding?什么是word embedding? embedding就是一个映射,将一个空间映射到另一个空间。 Embedding在数学上表示一个maping, f: X -> Y, 也就是一个function,其中该函数是injective(就是我们所说的单射函数,每个Y只有唯一的X对应,反之亦然)和structure-preserving (结构保存,比如在X所属的空间上X1 < X2,那么映射后在Y所属空间上同理 Y1 < Y2)。那么对于word embedding,就是将单词word映射到另外一个空间,其中这个映射具有 injective 和 structure-preserving 的特点。 行为:word embedding就是把一个维数为所有词的数量的高维空间嵌入到一个 维数低 得多的 连续 向量空间中,每个单词或词组被映射为实数域上的向量。 动机: ①distributed representation使单词的表征在数学上有捕捉单词间关系的可能。 原来单词的one-hot表示不可能捕捉到不同单词(word type)之间的关系。因为one-hot之间是正交的。 可以实现”北京-中国 = 巴黎-法国”。 说明embedding很好的捕捉到了语义和语法。语义相似的词有相似embedding ②降维,提高计算效率。one-hot表达太过稀疏,低效