文本分析

使用余弦相似度算法计算文本相似度 </h1> <div class="clear"></div> <div class="postBody"> 在工作中一直使用余弦相似度算法计算两段文本的相似度和两个用户的相似度。一直弄不明白多维的余弦相似度公式是怎么推导来的。今天终于花费时间把公式推导出来，其实很简单，都是高中学过的知识，只是很多年没用了，都还给老师了。本文还通过一个例子演示如果使用余弦相似度计算两段文本的相似度。 余弦函数在三角形中的计算公式为： 在直角坐标系中，向量表示的三角形的余弦函数是怎么样的呢？下图中向量a用坐标(x1,y1)表示，向量b用坐标(x2,y2)表示。 向量a和向量b在直角坐标中的长度为 向量a和向量b之间的距离我们用向量c表示，就是上图中的黄色直线，那么向量c在直角坐标系中的长度为 ，将a，b，c带入三角函数的公式中得到如下的公式： 这是2维空间中余弦函数的公式，那么多维空间余弦函数的公式就是： 余弦相似度 余弦相似度量：计算个体间的相似度。 相似度越小，距离越大。相似度越大，距离越小。 假设有3个物品，item1，item2和item3，用向量表示分别为： item1[1,1,0,0,1]， item2[0,0,1,2,1]， item3[0,0,1,2,0]， 即五维空间中的3个点。用欧式距离公式计算item1、itme2之间的距离

1.TF-IDF 昨天给大家演示简单的文本聚类，但要给每个聚类再提取一两个关键词用于表示该聚类。我们还是用TFIDF算法来做，因为这是比较简单的提取特征算法，不过这里的TF是指某词在本聚类内所有文章的词频，而不是本文章内出现的次数，IDF还是在所有文章里出现的倒文档频率。 原理：1、先给本聚类内的所有文档进行分词，然后用一个字典保存每个词出现的次数 2、遍历每个词，得到每个词在所有文档里的IDF值，和在本聚类内出现的次数（TF）相乘的值 3、用一个字典(key是词，value是TF*IDF权重)来保存所有的词信息，然后按value对字典排序，最后取权重排名靠前的几个词作为关键词。 2.基于语义的统计语言模型 文章关键词提取基础件能够在全面把握文章的中心思想的基础上，提取出若干个代表文章语义内容的词汇或短语，相关结果可用于精化阅读、语义查询和快速匹配等。 采用 基于语义的统计语言模型 ，所处理的文档不受行业领域限制，且能够识别出最新出现的新词语，所输出的词语可以配以权重。 文章关键词提取组件的主要特色在于： 1、 速度快 ：可以处理海量规模的网络文本数据，平均每小时处理至少50万篇文档； 2、 处理精准 ：Top N的分析结果往往能反映出该篇文章的主干特征； 3、 精准排序 ：关键词按照影响权重排序，可以输出权重值； 4、 开放式接口

文本关键词提取算法 转自： http://www.cnblogs.com/a198720/p/3990666.html 1.TF-IDF 2.基于语义的统计语言模型 文章关键词提取基础件能够在全面把握文章的中心思想的基础上，提取出若干个代表文章语义内容的词汇或短语，相关结果可用于精化阅读、语义查询和快速匹配等。 采用基于语义的统计语言模型，所处理的文档不受行业领域限制，且能够识别出最新出现的新词语，所输出的词语可以配以权重。 3.TF-IWF文档关键词自动提取算法 针对现有TF-IWF的领域文档关键词快速提取算法.该算法使用简单统计并考虑词长、位置、词性等启发性知识计算词权重,并通过文档净化、领域词典 分词等方法提高了关键词提取的速度及准确度.对523篇学生心理健康领域文档的实验结果表明,该算法提取的文档关键词质量优于TF-IDF方法,且能在 O(n)时间内完成. 4.基于分离模型的中文关键词提取算法研究 关键词提取在自动文摘、信息检索、文本分类、文本聚类等方面具有十分重要的作用。通常所说的关键词实际上有相当一部分是关键的短语和未登录词,而这部分关 键词的抽取是十分困难的问题。该文提出将关键词提取分为两个问题进行处理:关键单词提取和关键词串提取,设计了一种基于分离模型的中文关键词提取算法。该 算法并针对关键单词提取和关键词串提取这两个问题设计了不同的特征以提高抽取的准确性。实验表明

摘要 本文探讨了使用C#从底层开发一个带格式的文本编辑器的任务，深入探讨了其中的文档对象模型的设计，图形化用户界面的处理和用户操作的响应，说明了其中的某些技术问题和解决之道。 前言 小弟从大学里开始接触编程也有6年了，工作4年也是干编程的活，见过不少程序，自己也编过不少，在学校编程自己觉得是搞艺术品，其实玩一些游戏，比如文明法老王星际等从某些角度看也是搞艺术品，看着自己苦心经营的建筑物和人员由少变多，由简单变复杂，心中有些成就感。编程也一样，程序从几十行写到上万行，功能由HellowWord到相当复杂而强大，心中也有不少成就感。 毕业后工作，才渐渐感悟软件开发本质上是做一个工具，这个工具给别人或者自己用。有了工具，很多问题就迎刃可解了。如此开来偶们程序员和石匠铁匠木匠是同一类人了。不过没什么，程序员本来就没高人一等，人在社会，认认真真的工作就行了。 问题 废话不多说了，现在谈谈标题提出的问题，如何用C#编写文本编辑器。本人有幸开发过一个比较复杂的文本编辑器，因此也算有点经验吧，在此来分享一下。这里所指的文本编辑器不是简单的像Windows自带的单行或多行文本编辑框，而是类似于Word的文本编辑器。 粗看起来，一个编辑器有什么好难的，其实很难的，因为我们认为容易的事对计算机来说确实天大的问题。比如大家经常上网，可以发现最近几年很多网站登录时除了输入用户名和密码后还要输入所谓的验证码

空间数据管理平台总体设计 随需而变 柔性再造 成都领 君科技有限公司 http:// www. linjon .cn 2012 年 11 月 目录 1. 引言 ... 1 1.1. 编写目的 ... 1 1.2. 背景 ... 1 1.3. 定义 ... 1 2. 总体设计 ... 1 2.1. 系统总体目标 ... 1 2.2. 系统总体构架 ... 2 2.3. 数据组织模型 ... 2 2.4. 系 统总体功能设计 ... 3 2.5. 系统运行环境 ... 4 2.6. 系统网络结构 ... 4 2.7. 系统软件开发环境 ... 5 2.8. 系统开发技术路线 ... 6 3. 各子模块功能设计 ... 6 3.1. GIS 基本工具 ... 6 3.1.1. 图形显示 ... 6 3.1.2. 图形输出 ... 6 3.2. 数据库管理维护功能 ... 7 3.2.1. 添加数据库 ... 7 3.2.2. 添加文件夹 ... 9 3.2.3. 版本管理 ... 9 3.2.4. 注册版本 ... 10 3.2.5. 附加要素集 ... 10 3.2.6. 附加要素类 ... 11 3.2.7. 节点重命名 ... 11 3.2.8. 数据入库管理 ... 11 3.2.9. 数据建库方案管理： ... 13 3.2.10. 数据加载 ... 15 3.2.11.

1.字形度量 顾名思义，字形度量是对应每一个字形的特定距离，以此描述如何对文本排版。 通常一个字形有两个度量集：用来排版水平文本排列的字形（拉丁文、西里尔文、阿拉伯文、希伯来文等等）和用来排版垂直文本排列的字形（中文、日文、韩文等等）。 要注意的是只有很少的字体格式提供了垂直度量。你可以使用宏FT_HAS_VERTICAL测试某个给出的face对象是否包含垂直度量，当结果为真时表示包含垂直度量。 每个的字形度量都可以先装载字形到face的字形槽，然后通过face->glyph->metrics结构访问，其类型为FT_Glyph_Metrics。我们将在下面详细讨论它，现在，我们只关注该结构包含如下的字段： Width 这是字形图像的边框的宽度。它与排列方向无关。 Height 这是字形图像的边框的高度。它与排列方向无关。千万不要把它和FT_Size_Metrics的height字段混淆。 horiBearingX 用于水平文本排列，这是从当前光标位置到字形图像最左边的边界的水平距离。 horiBearingY 用于水平文本排列，这是从当前光标位置（位于基线）到字形图像最上边的边界的水平距离。 horiAdvance 用于水平文本排列，当字形作为字符串的一部分被绘制时，这用来增加笔位置的水平距离。 vertBearingX 用于垂直文本排列

离过年又近了一天，回家已是近在咫尺，有人欢喜有人愁，因为过几天就得经历每年一度的装逼大戏，亲戚朋友加同学的各方显摆，所以得靠一剂年终奖来装饰一个安稳的年，在这里我想起了一个题目“论装逼的技术性和重要性”。 都是老司机了，不扯淡，站在外面的都进来，然后请后面的把门关一下，我们接着出发。 上一篇主要介绍.NET的散列加密，散列算法主要用于签名等操作，在我们的项目中，如果对加密没有特别的要求，一般都是采用的对称加密方式，因为这种加密方式相较其他加密方式较为简单，但是这种加密方式比较的高效，所以今天就介绍一下.NET的对称加密方式。 一.DotNet对称加密概述： 对称加密是采用单密钥加密方式，这也就意味着加密和解密都是用同一个密钥。根据密码学的相关定义，对称加密系统的组成部分有5个，分别是明文空间，密文空间，密钥空间，加密空间，解密算法。接下来用一个示意图来表示一下： DotNet对称加密算法的核心是一个密码函数，该函数将固定大小的消息数据块（纯文本）转换成加密数据库（加密文本）。转化为加密文本或重建为纯文本都需要密钥，加密是可逆的，或者说是双向的过程，可以使用密钥来反转加密效果并重建纯文本。 大多数对称加密算法是在不同的密码模式下运行，在密码函数处理数据之前，这些模式指定了准备这些数据的不同方式。密码模式有：电子代码薄模式，密码块链接，密码反馈模式。 有关块值填充的内容在下面会讲解到。

本文首发于 vivo互联网技术 微信公众号 链接： https://mp.weixin.qq.com/s/39NCyZvm8EYiJ-pEEtjxGw 作者：何彦军 目前在移动端开发的展示界面中，如果一段文本的数量过长，受限于屏幕的宽高等因素，有可能不能完全显示，这个时候就会把溢出的文本显示成省略号。 最近就亲身经历了一系列类似的需求，于是这里做个总结和记录。 首先一个最基本的需求就是当文本超过一行最大宽度时，超出的部分变为省略号，如下图所示。 这个功能比较基础，只用css就可以实现，如下图所示代码块。 可是有时候产品同学希望显示的文本可以再多一点，于是就有了多行文本溢出显示省略号的需求，如下图所示。 这个功能也可以通过css实现，如下图代码块所示。 这里用到了webkit的css扩展属性，因此适用于webkit浏览器及移动端，并且在兼容性方面也有些影响，但是只要不是特别老旧的机器，还是完全能够支持的。 在支持了多行文本溢出显示省略号的功能之后，产品同学又发现了体验不友好的点，如下图所示。文本在第二行开头处就结束了，这就导致第二行大部分是空白的，影响了美观度。 因此，产品同学提出了一个新需求： 当文本没有超过第x行的一半时，则按第x-1行溢出显示省略号的方式展示；（第1行除外） 当文本超过第x行的一半但没有超过第x行时，则正常展示； 当文本超过第x行时

@[toc] 本文将为读者提供许多不同 Linux 命令的简要概述。 将特别强调解释如何在执行数据科学任务的上下文中使用每个命令。 我们的目标是让读者相信这些命令中的每一个都非常有用，并且让他们了解每个命令在操作或分析数据时可以扮演什么角色。 管道符号 “ | ” 许多读者可能已经熟悉了“ | ”符号，但是如果不熟悉的话，值得提前指出: 下面几节中讨论的命令的所有输入和输出都可以使用“ | ”符号自动“管道”输入到彼此中！ 这意味着每个命令完成的所有特殊任务都可以链接在一起，从而生成非常强大和简短的迷你程序，所有这些都直接在命令行上完成！ grep 什么是 grep？ “ grep”是一个可用于从文件中提取匹配文本的工具。 您可以指定许多不同的控件标志和选项，这些标志和选项允许您非常有选择性地确定希望从文件或流中提取哪些文本子集。 Grep 通常用作“面向行”的工具，这意味着在找到匹配的文本时，Grep 将打印该行上的所有文本，尽管您可以使用“-o”标志只打印匹配的行部分。 为什么 grep 是有用的？ “ grep”很有用，因为它是在大量文件中搜索特定文本块的最快方法。 一些很好的用例有: 从巨大的 web 服务器日志中过滤访问特定的 web 页面; 为特定关键字的实例搜索代码库(这比使用 Eclipse Editor 的搜索要快得多，也更可靠) ; 在 Unix

最近在做NLP相关项目，包括句法分析、情感分析等，有大量数据需要标注。我评估了几个文本标注工具，也接触了几家数据标注公司和平台，总结如下，供各位参考。 文本标注平台（标注外包公司） 数据标注公司的工作比较多样，文本数据标注是最基础的，另外语音、图片、视频标注也都可以做。目前这个行业良莠不齐，有的平台技术实力强，有品牌背景，比如京东众智、百度众包，数据保密做得好。有的平台是专门做代理的，你的数据需求交给他，他转手就分包给下一层。下面介绍几个平台，也综合了其他博主的一些意见，如下： 京东众智 标注质量比较高，项目交付准时，数据隔离方案可以不出自己的服务器完成标注，比较重视客户的数据安全。也提供私有化部署服务。 百度众测 标注能力比较广泛，百度进入标注行业比较久，积累了较多的众包用户。不过我个人不看好众包模式，因为质量比较难把控。 figure-eight 国外知名的数据标注平台，国外好多大公司都与它有合作。需求方可以自行配置标注工具和相应的label，直接在平台上发任务，没有客户经理沟通…这可能对国内客户不太友好。 文本标注工具（开源） Prodigy 　　Website: https://prodi.gy/docs/ 　　Blog: https://explosion.ai/blog/prodigy-annotation-tool-active-learning DeepDive