word2vec

如何在 PyTorch 中使用 skip-gram 结构实现 Word2Vec算法。将学习自然语言处理中用到的词嵌入概念。词嵌入对于机器翻译来说很有用。 词嵌入 在处理文本中的字词时，需要分析数千个字词类别；词汇表中的每个字词对应一个类别。对这些字词进行独热编码效率很低，因为独热向量中的大多数值将为 0。如果对独热输入向量与第一个隐藏层进行矩阵乘法运算，结果将生成一个有多个值为 0 的隐藏输出向量。为了解决这个问题并提高网络的效率，将使用嵌入功能。嵌入其实就是全连接层，和你之前看过的层级一样。将此层级称为嵌入层，将权重称为嵌入权重。将跳过与嵌入层的乘法运算步骤，直接从权重矩阵里获取隐藏层的值。这是因为独热向量与矩阵相乘后，结果是“开启”输入单元的索引对应的矩阵行。 Word2Vec Word2Vec 算法通过查找表示字词的向量，得出更高效的表示法。这些向量也包含关于字词的语义信息。出现在相似上下文里的字词将具有相互靠近的向量，例如“coffee”、“tea”和“water”。不同字词的向量相互之间离得更远，在向量空间里的距离可以表示字词之间的关系。将使用 skip-gram 结构和负采样，因为 skip-gram 的效果比 CBOW 好，并且负采样的训练速度更快。对于 skip-gram 结构，传入一个字词，并尝试预测它在文本里的上下文字词

介绍 \quad Word2Vec也称Word Emneddings，中文有很多叫法，比较普遍的是"词向量"或“词嵌入”。Word2Vec是一个可以将语言文字转化为向量形式表达(Vector Respresentations)的模型，我们先来看看为什么要把字词转为向量。图像，音频等数据天然可以编码并存储为稠密向量的形式，比如图片是像素点的稠密矩阵，音频可以转为声音信号的频谱数据。自然语言处理在Word2Vec出现之前，通常将字词转为离散的单独的符号，比如“中国”转为编号为5178的特征，将“北京”转为3978的特征。这即是One-Hot Encoder，一个词对应一个向量（向量中只有一个值为1，其他为0），通常需要将一篇文章中每一个词都转化为1个向量，而整篇文章则变为一个稀疏矩阵。对文本分类模型，我们使用Bag of Words模型，将文章对应的稀疏矩阵合并为一个向量，即把每一个词对应的向量加到一起，这样只统计每个词出现的次数，比如中国出现23次，那么第5178个特征为23，"北京"出现2次，那么第3987个特征为2。 \quad 使用One-Hot Encoder有一个问题，即我们队特征的编码往往是随机的，没有提供任何关联信息，没有考虑到字词间可能存在的关系。例如，我们队"中国"和"北京"的从属关系，地理位置关系等一无所知，我们从5178和3987这2个值看不出任何信息。同时

依赖： java深度学习框架，deeplearning4j: http://deeplearning4j.org/word2vec 开源中文分词框架,ansj_seg: http://www.oschina.net/p/ansj 项目GitHub地址： https://github.com/YuyuZha0/word2vec 说明：word2vec深层次的原理不做说明，要实现word2vec主要要做到只有一件事，那就是词汇的识别。英文由于是空格符隔开的，所以分词比较容易，但是中文（包括日文、韩文）等是靠字形成句子的，所以借助分词工具将句子进行语法拆分很重要。word2vec借助一定的模型，通过对语料上下文进行分析，从而将词的含义投射到向量空间。相似的词在向量空间夹角很小，而不同的词差别则较大。需要注意的是，这一过程是不需要人工干预的，你只需要准备好语料即可. 2016-12-19更新：所有代码均迁移到了GitHub 来源： oschina 链接： https://my.oschina.net/u/2541538/blog/663761

**在做分词前需要做的准备： ** （1）：已经预处理过的需要分词的语料（需要分词的语料要符合结巴分词的要求，每句一行，并且以句号做结尾） （2）：需要一份相关方面的词典用于更加专业化的分词，单纯的使用结巴分词不能很好的分出你需要的词，会影响到你以后词向量化阶段。 （3）：需要一份停用词表，因为结巴分词不能很好的把一些没有实际意义的词去掉，这样此会影响到后面词向量化阶段。停用词表的作用就是去掉一些没有意义的词语，单字，或者特殊符号。主要你需要去掉的东西，你把它写在停用词表中就可以。停用词表可以在网上下载，停用词表一般分为很多种，有专门的中文停用词表。在做分词的时候看需要下载，一般下载一个比较全的停用词表就行（停用词表一般包括特殊符号和中文一些无意义词）。 此处需要注意，在保存停用词表的时候注意保存为编码格式utf-8的格式储存为txt格式. 开始分词： 代码如下 import codecs import jieba infile = 'date_open_yuliao.txt' ##你需要分词的语料的文件名 outfile = 'data_open_yuliaochuli2.txt' ##分词完成后保存的文件名 jieba . load_userdict ( "data_open_dict.txt" ) ##用结巴加载你准备好的专用分词的词典 descsFile = codecs

论文 Distributed Representations of Words and Phrases and their Compositionality Natural Language Processing (almost) from Scratch Efficient estimation of word representations in vector space word2vec Parameter Learning Explained 官网 word2vec API models.word2vec – Word2vec embeddings 语料 搜狗实验室 Pre-trained word vectors of 30+ languages 中文维基分词语料：链接 https://pan.baidu.com/s/1qXKIPp6 密码 kade 腾讯AI Lab开源大规模高质量中文词向量数据，800万中文词随你用 实战 # 加载包 from gensim.models import Word2Vec from gensim.models.word2vec import LineSentence import logging import itertools import gensim from gensim import utils # 训练模型 sentences