word2vec

文本分类主要流程 获取数据集 使用爬虫从网上获取。 下载某些网站整理好的数据集。 公司内部数据资源。 数据预处理 数据预处理是按照需求将数据整理出不同的分类，分类预测的源头是经过预处理的数据，所以数据预处理非常重要，会影响到后期文本分类的好坏。 预处理主要分为以下几个步骤： 将数据集按类别做好不同分类 将分类好的数据集分为训练集和测试集 去除数据集中的空字段或对空字段添加标识 对文本进行分词 1. 加载自己需要的分词词典和停用词（使后期模型更加简单、准确） 2. 去除无用的字符符号 3. 进行分词 特征提取 对于文本分类的特征提取目前主要有Bag of Words(词袋法)、TfIdf、Word2Vec、Doc2Vec。 词袋法介绍 对于每一个训练文本，它只考虑每种词汇在该训练文本中出现的频率。没有考虑到单词的顺序，忽略了单词的语义信息。 TfIdf算法介绍 除了考量某词汇在文本出现的频率，还关注包含这个词汇的所有文本的数量，能够削减高频没有意义的词汇出现带来的影响，挖掘更有意义的特征，相对词袋法来说，文本条目越多，Tfidf的效果会越显著。缺点也是没有考虑到单词的顺序。 Word2Vec算法介绍 Word2Vec的优点就是考虑了一个句子中词与词之间的关系，关于两个词的关系亲疏，word2vec从两个角度去考虑。第一，如果两个词意思比较相近，那么他们的向量夹角或者距离

PaddlePaddle垃圾邮件处理实战（一） 背景介绍   在我们日常生活中，经常会受到各种垃圾邮件，譬如来自商家的广告、打折促销信息、澳门博彩邮件、理财推广信息等，一般来说邮件客户端都会设置一定的关键词屏蔽这种垃圾邮件，或者对邮件进行归类，但是总会有一些漏网之鱼。   不过，自己手动做一个垃圾邮件分类器也并不是什么难事。传统的机器学习算法通常会采用朴素贝叶斯、支持向量机等算法对垃圾邮件进行过滤，今天我们主要讲如何用PaddlePaddle手写一个垃圾邮件分类器。当然，在讲PaddlePaddle做垃圾邮件处理之前，先回顾一下传统的机器学习算法是如何对垃圾邮件进行分类的。 了解数据集   首先先了解一下今天的数据集：trec06c。trec06c是一个公开的垃圾邮件语料库，由国际文本检索会议提供，分为英文数据集（trec06p）和中文数据集（trec06c），其中所含的邮件均来源于真实邮件保留了邮件的原有格式和内容。 文件下载地址： trec06c 文件格式： trec06c │ └───data │ │ 000 │ │ 001 │ │ ... │ └───215 └───delay │ │ index └───full │ │ index 文件内容： 垃圾邮件示例：本公司有部分普通发票（商品销售发票）增值税发票及海关代征增值税专用缴款书及其它服务行业发票,公路、内河运输发票

DeepWalk[1]这篇文章挺有意思的， 主要是讲怎么 用Deep Learning的方法学图结构 ， 学出每个节点的隐含表示（比较像LSA、LDA、word2vec那种）。 发在了14年的KDD上， 咱们看到的是预览版本。 github地址作者也放出来了， github地址 下面大致讲一下文章是怎么弄得， 是个阅读笔记。 一、 介绍，优点 先说概念， 学出来什么样。 图a是输入图， 图b是输出。 例子是将一个输入的图转化成了2维表示。 输入是图和图的自身结构，输出是二维表示。 例子应该是做的比较好的， 基本将本来是cluster的弄得也比较近， 不过这点比较容易。 优点：1） 与传统cluster、降维方法比， 这个方法的优点是 可以调试 ， 也就代表着这东西可以堆数据， 因而在 知识图谱，在社交网络 上是有应用的。 2） 与传统cluster比 能学到维度 ，能进一步利用。 3） 与降维比， 其实没什么优点， 但是图结构本身没有什么比较正常、有可以 大规模使用 的降维方法。 应用： 1. 社交网络学习特征；2. 知识图谱学习表示；3. 推荐系统学习低维度关联性。 二、 随机游走和语言模型 1. 随机游走 假设节点$v_i$处的随机游走是$W_{v_i}$，则全过程表示为$W_{v_i}^1,W_{v_i}^2,W_{v_i}^3,\cdots,W_{v_i}^k$。