word2vec

1、概念 * word2vector 是google开源的一个生成词向量的工具， * 以语言模型为优化目标，迭代更新训练文本中的词向量，最终收敛获得词向量。 * 词向量可以作为文本分析中重要的特征，在分类问题、标注问题等场景都有着重要的应用价值。 * 由于是用向量表示，而且用较好的训练算法得到的词向量的向量一般是有空间上的意义的， * 也就是说，将所有这些向量放在一起形成一个词向量空间， * 而每一向量则为该空间中的一个点，在这个空间上的词向量之间的距离度量也可以表示对应的两个词之间的“距离”。 * 所谓两个词之间的“距离”，就是这两个词之间的语法，语义之间的相似性。 * * 一个比较实用的场景是找同义词，得到词向量后，假如对于词来说，想找出与这个词相似的词， * 这个场景对人来说都不轻松，毕竟比较主观，但是对于建立好词向量后的情况， * 对计算机来说，只要拿这个词的词向量跟其他词的词向量一一计算欧式距离或者cos距离，得到距离小于某个值那些词，就是它的同义词。 * * 这个特性使词向量很有意义，自然会吸引很多人去研究，google的word2vec模型也是基于这个做出来的。 * * Word2Vec 是一种著名的 词嵌入（Word Embedding） 方法， * 它可以计算每个单词在其给定语料库环境下的 分布式词向量（Distributed Representation

前言   尽管gensim里的word2vec已经非常好用，但用别人的模型始终难以直接解决自己的问题，于是去搜有没有直接能用的Keras版，找到了两版，分别为： 版本1： keras训练word2vec代码 版本2： 【不可思议的Word2Vec】6. Keras版的Word2Vec   两位写的都很好，版本1代码上可以直接上手，版本2框架更清晰，但两位大佬的数据集都是基于多篇文章的，版本1是从微信接口里拿的，但我连接不上服务器；版本二的数据集未给，然后面向对象的写法本人不是很熟就不好改。于是就在学习版本框架理论的同时，在版本1上进行更改。   最终形成在单个文本内进行词向量训练。 数据   随便一个utf-8的中文文档就行，我这里为了求快，节选了 《天龙八部》 的第一章，记得改下编码utf-8。 停用词   也是网上扒的停用词，据说非常全， 最全中文停用词表整理（1893个） 。 def stopwordslist ( ) : #设置停用词 stopwords = [ ] if not os . path . exists ( './stopwords.txt' ) : print ( '未发现停用词表！' ) else : stopwords = [ line . strip ( ) for line in open ( 'stopwords.txt' , encoding =