数据仓库

数据仓库的发展大致经历了这样的三个过程： 1. 简单报表阶段：这个阶段，系统的主要目标是解决一些日常的工作中业务人员需要的报表，以及生成一些简单的能够帮助领导进行决策所 需要的汇总数据。大部分表现形式为数据库和前端报表工具。 3. 数据集市阶段：这个阶段，主要是根据某个业务部门的需要，进行一定的数据的采集，整理，按照业务人员的需要，进行多维报表的展现， 能够提供对特定业务指导的数据，并且能够提供特定的领导决策数据。 4. 数据仓库阶段：这个阶段，主要是按照一定的数据模型，对整个企业的数据进行采集，整理，并且能够按照各个业务部门的需要，提供 跨部门的，完全一致的业务报表数据，能够通过数据仓库生成对对业务具有指导性的数据，同时，为领导决策提供全面的数据支持。 通过数据仓库建设的发展阶段，我们能够看出，数据仓库的建设和数据集市的建设的重要区别就在于数据模型的支持。因此，数据模型的建设，对于我们数据仓库的建设，有着决定性的意义。 一般来说，数据模型的建设主要能够帮助我们解决以下的一些问题： 进行全面的业务梳理，改进业务流程。 1.在业务模型建设的阶段，能够帮助我们的企业或者是管理机关对本单位的业务进行全面的梳理。 2.通过业务模型的建设，我们应该能够全面了解该单位的业务架构图和整个业务的运行情况，能够将业务按照特定的规律进行分门别类和程序化。 3.同时，帮助我们进一步的改进业务的流程

1.大数据是什么？特点 大数据：是一种规模非常大的，在分析、管理、存储和获取等方面都超出了传统的数据库软件所具有的功能处理范围的巨大数据的调集。 特征4V ： ①海量的数据规模（Volume） ②数据类型多种多样（Variety） ③快速的数据流转和动态的数据体系（Velocity） ④巨大的数据价值（Value） 2.数据仓库是什么？Datawarehouse 数据仓库，英文名称 Data Warehouse，是面向主题的、集成的、稳定的。面向时间的数据集合。是单个数据存储。 数据仓库中有 OLTP和OLAP。 OLTP（on-line transaction processing）联机事务处理主要是执行基本日常的事务处理。例如银行交易。特点： ①实时性要求高。②数据量不是很大，及时做数据处理与转移。③对确定性的的数据进行存取。④高并发。 OLAP（on-line analytical processing）是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。例如复杂的动态的报表系统。特点： ①实时性要求不高。②数据量大，动态查询。③将用户所有关心的维度数据，存入对应数据平台。 3. ELT（Extract Transform Load）：抽取、转换、加载。 ETL工作的实质就是从各个数据源提取数据，对数据进项转换

数据挖掘学习篇——数据挖掘的概念 数据挖掘是从大量数据中挖掘有趣模式和知识的过程。数据源包括数据库，数据仓库，Web，其他信息存储库或动态地流入系统的数据。 数据库系统，也称为数据库管理系统(DBMS),由一组内部相关的数据(称做数据库)和一组管理和存储数据的软件程序组成。软件程序提供如下机制：定义数据库结构和数据存储，说明和管理并发，共享或分布式数据访问等。 数据仓库是一个是一个从多个数据源收集的信息存储库，存放在一致的模式下，并且通常驻留在单个站点上。 概括来说，数据仓库系统是指具有综合企业数据的能力，能够对大量企业数据进行快速和准确分析，辅助做出更好的商业决策的系统。它本身包括三部分内容： 　　1、数据层：实现对企业操作数据的抽取、转换、清洗和汇总，形成信息数据，并存储在企业级的中心信息数据库中。 　　2、应用层：通过联机分析处理，甚至是数据挖掘等应用处理，实现对信息数据的分析。 　　3、表现层：通过前台分析工具，将查询报表、统计分析、多维联机分析和数据发掘的结论展现在用户面前。 存在大量的数据挖掘功能，包括特征化与区分，频繁模式，关联和相关性挖掘，分类和回归，聚类分析与离群点分析等。 来源： CSDN 作者： 快乐的霖霖 链接： https://blog.csdn.net/chenglinhust/article/details/8109062

巴塞尔新资本协议介绍 在银行管理中经常会听到巴3、新资本协议等专用词，那这都是指《巴塞尔资本协议》，全称《关于统一国际银行资本衡量和资本标准的协议》。新资本协议的五大目标是：促进金融体系的安全性和稳健性（保持总体资本水平不变）；继续促进公平竞争；更全面地反映风险；更敏感地反映银行头寸及其业务的风险程度；重点放在国际活跃银行，基本原则适用于所有银行。最新的《巴塞尔协议III》（第3版）于2010 年9月12日发布，也称为新资本协议。 我国银保监会于2011年4月发布关于中国银行业实施新监管标 准的指导意见（银监发2011年44号文），该指导意见中明确指出 要大力推动中国银行业实施国际新监管标准，增强银行体系稳健性和国内银行的国际竞争力。2012年6月，银监会公布最新修订的《商业银行资本管理办法（试行）》根据 巴塞尔II和巴塞尔III确立的银行业资本监管的新标准结合国内银行业实际制定，自2013年1月1日开始实行。在我国境内设立的商业银行均需实施新资本协议。要求各银行2019年1月1日前达到规定的监管要求，也称为新资本协议的三大支柱： （1）第一支柱：最低资本充足率要求。我国银保监要求各银行资本充足率不得低于8%，同时应当在最低资本要求的基础上计提储备资本，即我国商业银行资本充足率要求不得低于10.5%。 风险加权资产（RWA）是指对银行的资产加以分类

一、数据库和数据仓库 　　 二、OLTP和OLAP对比 ①OLTP（OnLine Transaction Processing）和OLAP（OnLine Analytical Processing） 　　　数据库属于OLTP系统（ 联机事务处理系统 ），覆盖了企业大部分的日常操作，比如：购物、库存、银行、工资、记账等。比如MySQL、Oracle关系型数据库。 　　　数据仓库属于OLAP系统（ 联机分析处理系统 ），比如Hive，HBase等 ②OLTP（ 联机事务处理系统 ）是面向用户的、用于程序员的事务处理以及客户的查询处理；OLAP（ 联机分析处理系统 ）是面向市场的，用于知识工人（数据分析人员）的数据分析。 ③OLTP系统（ 联机事务处理系统 ）的访问由于保证原子性，所以有事务机制和恢复机制；OLAP（ 联机分析处理系统 ）通常会集成多个异构数据源的结构，数量巨大 ④OLTP系统有较强的事务；OLAP系统一般存储的是历史数据，所以大部分数据都是只读操作。 来源： https://www.cnblogs.com/rmxd/p/11318206.html