实体关系图

知识图谱在金融领域的应用

纵然是瞬间 提交于 2019-11-28 07:41:23
一. 知识图谱和金融领域简述 什么是知识图谱? 借鉴其中一个理解: 知识图谱主要的目标是用来描述真实世界中间存在的各种实体和概念,以及它们之间的关联关系。 具体理论知识就不在此赘述,对于这个抽象的概念会有一篇文章来列举一个代表性的例子。 知识图谱起源于语义网络,最初由Google提出用与优化搜索结果,发展至今已经应用于各个垂直化领域。从商业概念上,知识图谱可分为“通用知识图谱”和“行业知识图谱”。通用知识图谱顾名思义是面向全领域的,强调的是“广度”,比较著名的知识库有Freebase, Wikidata, Yago, DBPedia等。 行业知识图谱是面向特定的垂直领域,对于数据有更严格的前置数据模式和更准确的准确度要求,强调的是“深度”。两者之间的主要区别在于前者是“自底向上”构建的知识库,后者是“自顶向下”构建的知识库。 金融领域数据是典型的具有”4V”特征的大数据(数量海量Volume、多结构多维度Variety、价值巨大Value、及时性要求Velocity)。进一步,金融领域是最能把数据变现的行业。金融业类别业非常广,大类主要包括:银行类、投资类、保险类等。再小粒度可分为:货币、债券、基金、信托等资管计划、要素市场、征信贷款等。知识图谱在金融领域的应用主要包括:风控、征信、审计、反欺诈、数据分析、自动化报告等,本文主要讨论知识图谱在小微风控的应用。

Stride威胁建模

。_饼干妹妹 提交于 2019-11-28 06:17:54
一、什么是威胁建模 简单的来说,威胁建模就是通过结构化的方法,系统的识别、评估产品的安全风险和威胁,并针对这些风险、威胁制定消减措施的一个过程。 威胁建模是一个非常有用的工具,它的核心是“像攻击者一样思考”。威胁建模可以在产品设计阶段、架构评审阶段或者产品运行时开展,强迫我们站在攻击者的角度去评估产品的安全性,分析产品中每个组件是否可能被篡改、仿冒,是否可能会造成信息泄露、拒绝攻击。威胁建模的作用更偏向于确保产品架构、功能设计的安全,无法保证编码的安全,但是输出的威胁建模报告中包含了全面的安全需求,这些安全需求不仅包括大的方案设计,如要认证、鉴权、审计,也可以包括安全细节的实现,比如具体的认证方式、密码使用哪种安全算法存储,使用什么方法生成安全随机数等。所以,威胁建模虽不能保证编码的安全,但可以指导研发人员编写出安全的代码,同时也可以辅助渗透测试人员开展安全测试。 二、为什么要做威胁建模 1. 站在攻击者的角度通过识别威胁,尽可能多的发现产品架构和功能设计中的安全风险 2. 制定措施消减威胁,规避风险,确保产品的安全性 三、应该在什么时候做威胁建模 威胁建模应融入企业的软件开发安全生命周期(SDL)中。 1. 新产品或新功能的设计阶段应开展威胁建模,发现风险、制定消减措施,消减措施是安全需求的一部分,需落入产品需求跟踪,确保产品安全。 2. 系统运行过程中也可以开展威胁建模

全面解读文本情感分析任务

拈花ヽ惹草 提交于 2019-11-28 05:58:08
【摘要】 文本情感分析在社交媒体、舆情监测等领域有着广泛的应用,如商品评价正负面的分析、公司网络评价正负面的监测等。本文主要介绍了文本情感分析的主要任务,包括词级别的情感分析、句子级情感分析以及属性级情感分析等任务的介绍,同时介绍了华为云在这三个任务上的一些进展。用户可以直接在EI体验空间小程序体验这些功能。 1 基本概念 为什么 :随着移动互联网的普及,网民已经习惯于在网络上表达意见和建议,比如电商网站上对商品的评价、社交媒体中对品牌、产品、政策的评价等等。这些评价中都蕴含着巨大的商业价值。比如某品牌公司可以分析社交媒体上广大民众对该品牌的评价,如果负面评价忽然增多,就可以快速采取相应的行动。而这种正负面评价的分析就是情感分析的主要应用场景。 是什么 :文本情感分析旨在分析出文本中针对某个对象的评价的正负面,比如“华为手机非常好”就是一个正面评价。情感分析主要有五个要素,(entity/实体,aspect/属性,sentiment/观点,holder/观点持有者,time/时间),其中实体和属性合并称为评价对象(target)。情感分析的目标就是从非结构化的文本评论中抽取出这五个要素。 举例如下图: 上例中左侧为非结构化的评论文本,右侧为情感分析模型分析出的五个要素中的四个(不包括时间)。其中实体“华为手机”和属性“拍照”合并起来可以作为评价对象

Neo4j 第三篇:Cypher查询入门

馋奶兔 提交于 2019-11-27 05:02:15
Neo4j使用Cypher查询图形数据,Cypher是描述性的图形查询语言,语法简单,功能强大,由于Neo4j在图形数据库家族中处于绝对领先的地位,拥有众多的用户基数,使得Cypher成为图形查询语言的事实上的标准。本文作为入门级的教程,我不会试图分析Cypher语言的全部内容,本文的目标是循序渐进地使用Cypher语言执行简单的CRUD操作,为了便于演示,本文在Neo4j Browser中执行Cypher示例代码。以下图形包含三个节点和两个关系,本文会一步一步讲解如何利用Cypher语言创建以下图形。 我的Neo4j系列的文章收录在: Neo4j 一,easy,热热身 和SQL很相似,Cypher语言的关键字不区分大小写,但是属性值,标签,关系类型和变量是区分大小写的。 1,变量(Variable) 变量用于对搜索模式的部分进行命名,并在同一个查询中引用,在小括号()中命名变量, 变量名是区分大小写的 ,示例代码创建了两个变量:n和b,通过return子句返回变量b; MATCH (n)-->(b) RETURN b 在Cypher查询中,变量用于引用搜索模式(Pattern),但是变量不是必需的,如果不需要引用,那么可以忽略变量。 2,访问属性 在Cypher查询中,通过逗号来访问属性,格式是:Variable.PropertyKey,通过id函数来访问实体的ID,格式是id

Neo4j 第二篇:图形数据库

筅森魡賤 提交于 2019-11-27 05:01:46
在深入学习图形数据库之前,首先理解属性图的基本概念。一个属性图是有向图,由顶点(Vertex),边(Edge),标签(Lable),关系类型(Relationship Type)和属性(Property)组成。 在属性图形中,节点和关系是最重要的实体,顶点也称作节点(Node),边也称作关系(Relationship)。所有的节点是独立存在的,但是可以为节点设置标签,那么拥有相同标签的节点属于一个分组,也就是一个集合。关系通过关系类型来分组,类型相同的关系属于同一个集合。节点可以有0个、1个或多个标签,但是关系必须设置关系类型,并且只能设置一个关系类型。 关系是有向的,关系的两端是起始节点和结束节点,通过有向的箭头来标识方向,节点之间的双向关系通过两个方向相反的关系来标识。 Neo4j图形数据库的查询语言是Cypher,用于操作和查询属性图,它是图形数据库语言中事实上的标准。 我的Neo4j系列的文章收录在: Neo4j 一,图形数据库的基本概念 使用Neo4j创建的图(Graph)基于属性图模型,在该模型中,每个实体都有ID(Identity)唯一标识,每个节点由标签(Lable)分组,每个关系都有一个唯一的关系类型。 属性图模型的基本概念: 实体(Entity) 是指节点(Node)和关系(Relationship); 每个实体都有一个唯一的ID; 通常情况下

知识图谱基本概念梳理

纵然是瞬间 提交于 2019-11-26 20:25:33
《知识图谱技术综述》整理 知识图谱基本概念 前言 知识图谱的定义和架构 知识图谱的定义 知识图谱的架构 知识图谱的逻辑结构 知识图谱的体系架构 知识图谱的关键技术 先提一下知识存储 知识抽取 知识表示 知识融合 知识推理 知识图谱基本概念 前言 本文内容整理自文献 1 。 “Web 1.0”时代:以 文档互联 为主要特征 “Web 2.0”时代:以 数据互联 为主要特征 “Web 3.0”时代:基于 知识互联 (尚未到来) 知识图谱的定义和架构 知识图谱的定义 本质上,知识图谱是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。 知识图谱的架构 知识图谱的逻辑结构 知识图谱在逻辑上可分为模式层与数据层两个层次,数据层主要是由一系列的事实组成,而知识将以事实为单位进行存储。 知识图谱的体系架构 知识图谱主要有自顶向下(top-down)与自底向上(bottom-up)两种构建方式。 知识图谱的关键技术 知识抽取技术:从一些公开的半结构化、非结构化的数据中提取出实体、关系、属性等知识要素。 知识融合:消除实体、关系、属性等指称项与事实对象之间的歧义,形成高质量的知识库。 知识推理:在已有的知识库基础上进一步挖掘隐含的知识,从而丰富、扩展知识库。 分布式的知识表示形成的综合向量:对知识库的构建、推理、融合以及应用均具有重要的意义。 先提一下知识存储

知识图谱综述

三世轮回 提交于 2019-11-26 20:21:14
知识图谱综述 通用知识图谱VS行业知识图谱 区别 通用知识图谱 行业知识图谱 广度/深度 广度 知识类型/来源 常识性知识, 百科知识,语言学知识 精度 低 面向群体 普通用户 代表 谷歌大脑 类型 模式 数据模型固定 数据量 获取难度 公共数据 领域知识图谱 挑战 1.多源异构数据难以融合 2.数据模式动态变迁困难 3.非结构化数据计算机难以理解 4.分散的数据难以统一消费利用 解决方案   • 挑战1:使用知识图谱(本体)对各种类型的数据进行抽象建模,基于可动态变化 的“概念—实体—属性—关系”数据模型,实现各类数据的统一建模。   • 挑战2:使用可支持数据模式动态变化的知识图谱的数据存储,实现对大数据及数 据模式动态变化的支持。   • 挑战3:利用信息抽取技术,对非结构化数据及半结构化数据进行抽取和转换,形 成知识图谱形式的知识。   • 挑战4:在知识融合的基础上,基于语义检索、智能问答、图计算、推理、可 视化等技术,提供统一的数据检索、分析和利用平台。 联系 通用知识图谱为行业知识图谱提供基础/体系,细化,则是需要搜寻相应的行业知识 行业知识图谱能够通过融合到通用知识图谱当中 关键技术  或者这张图(好好感觉) 知识建模  就是建立图谱的数据模式,就是对整个知识图谱的结构进行定义,构建 自顶向下的方法:专家手工编辑形成数据模式 自底向上的方法:

知识图谱基础知识之三——知识图谱的构建过程

随声附和 提交于 2019-11-26 20:18:36
前两次介绍了知识图谱的基本概念和知识图谱的构建方式,这次介绍一下知识图谱系统的构建过程。 1 知识图谱的总体构建思路 如图所示,从原始的数据到形成知识图谱,经历了知识抽取、知识融合(实体对齐)、数据模型构建、质量评估等步骤。 原始的数据,按照数据的结构化程度来分,可以分为结构化数据、半结构化数据和非结构化数据,根据数据的不同的结构化形式,采用不同的方法,将数据转换为三元组的形式,然后对三元组的数据进行知识融合,主要是实体对齐,以及和数据模型进行结合,经过融合之后,会形成标准的数据表示,为了发现新知识,可以依据一定的推理规则,产生隐含的知识,所有形成的知识经过一定的质量评估,最终进入知识图谱,依据知识图谱这个数据平台,可以实现语义搜索,智能问答,推荐系统等一些应用。 以下对知识图谱构建中的步骤进行详细的介绍。 2 知识抽取 我们将原始数据分为结构化数据、半结构化数据和非结构化数据,根据不同的数据类型,我们采用不同的方法进行处理。 2.1 结构化数据处理 针对结构化数据,通常是关系型数据库的数据,数据结构清晰,把关系型数据库中的数据转换为RDF数据(linked data),普遍采用的技术是D2R技术。D2R主要包括D2R Server,D2RQ Engine和D2RRQ Mapping语言。 D2R Server 是一个 HTTP Server

知识图谱的技术与应用-笔记

落爺英雄遲暮 提交于 2019-11-26 20:18:20
知识图谱的技术与应用 原文链接 知识图谱的技术与应用 概论 只要有关系分析的需求,就能用上“知识图谱” 场景 社交网络图谱 风控知识图谱 知识图谱应用的前提是已经构建好了知识图谱 知识图谱是一个比较新的工具,主要作用在于分析关系,尤其是深度的关系。 知识图谱领域最重要的是知识的推理。 知识图谱工程本身还是业务为中心,以数据为中心。 什么是知识图谱 知识图谱本质上是语义网络的知识库 知识图谱也可以认为是一个知识库 知识图谱也可以算是 多关系图。 多关系图:包含多种类型的节点和多种类型的边 实体:现实世界中的事物。 比如人、地名、概念、药物、公司等 关系 表达不同实体之间的某种联系 当一个知识图谱拥有属性时,可以用属性图来表示 存储方式 RDF 学术界 很多三元组来组成 特点 易于发布和分享数据,但不支持实体或关系拥有属性 图数据库 工业界 存储属性图 增长最快的存储系统 RDF和图数据库对比 RDF 存储三元组 标准的推理引擎 W3C标准 易于发布数据 代表框架:Jena 图数据库 节点和关系可以带有属性 没有标准的推理引擎 图的遍历效率高 事务管理 代表框架:Neo4j、OrientDB、Janus Graph 知识抽取 难点在于处理非结构化数据 数据源渠道 业务本身的数据,公司内部数据库 网络上公开抓取的数据,网页数据 NLP 实体命名识别 从文本里提取出实体,并对每个实体做分类

知识图谱研究综述

与世无争的帅哥 提交于 2019-11-26 20:13:33
清华大学李涓子教授“知识图谱研究综述”一文的阅读笔记。 内容: 1. 概念 2. 现有的知识图谱资源 3. 知识表示 4. 知识图谱构建 5. 应用 知识图谱旨在描述客观世界的概念、实体、事件及其间的关系。 概念 是指人们认识世界过程中形成的对客观事物的概念化,如人、动物、组织机构等; 实体 是客观世界中的具体事物,如篮球运动员姚明、互联网公司腾讯等; 事件 是客观世界的活动,如地震、买卖行为等; 关系 描述概念、实体事件之间客观存在的关联,如毕业学院描述了个人及其所在院校的关系,运动员和篮球运动员之间的概念和子概念的关系等。 知识图谱是将互联网的信息表达成更接近人类认知世界的形式,提供了一种更好地组织、管理和理解互联网海量信息的能力 。 涉及的技术:认知计算、知识表示和推理、信息检索与抽取、自然语言处理和语义web、数据挖掘与机器学习等> 知识图谱技术具体地包括知识表示、知识图谱构建和知识图谱的应用三方面: 知识表示研究客观世界知识的建模,从知识的表示和存储,以及知识的使用和计算来使得知识便于机器的识别和理解; 知识图谱的构建解决如何建立计算机算法从客观世界或者或联网的各种数据资源中获取客观世界的知识,主要研究使用何种数据和方法抽取何种知识; 知识图谱应用主要研究如何利用知识图谱建立基于知识的智能服务系统,更好地解决实际应用问题。 现有知识图谱资源 人工构建 WordNet