多维数据库

原文: SSAS系列——【03】多维数据（多维数据集对象） 1、什么是Cube? 简单 Cube 对象由基本信息、维度和度量值组组成。 基本信息包括多维数据集的名称、多维数据集的默认度量值、数据源和存储模式等。维度是多维数据集中使用的实际维度组。所有维度都必须先在数据库的维度集合中定义，然后才能在多维数据集中引用。度量值组是多维数据集中的度量值集。度量值组是具有常见数据源视图和维度集的度量值的集合。度量值组是度量值的处理单元；可先对度量值组进行单独处理，然后再浏览。这个概念MSND解释的非常清楚，也不难理解，姑且Copy贴上来。 2、度量值和度量值组 度量值通常映射到事实数据表中的列。维度表中的属性列可以用于定义度量值，但是这些度量值通常在聚合行为方面具有半累加性或非累加性。 图 事实数据表中的度量值 简单 MeasureGroup 对象由基本信息、度量值、维度和分区组成。基本信息包括度量值组的 名称 、度量值的 类型 、 存储模式 和 处理模式 等。度量值是组成度量值组的实际度量值集。对于每个度量值，均有一个聚合函数定义、一个格式属性定义、一个数据项源定义等其他定义。维度是用于创建已处理度量值组的多维数据集维度的子集。分区是已处理度量值组的物理拆分的集合。在多维数据集中，度量值按照其基础事实数据表分组为多个度量值组。度量值组用于使维度和度量值相互关联

原文: SSAS系列——【02】多维数据（维度对象） 1、维度是什么？ 数学中叫参数，物理学中是独立的时空坐标的数目。0维是一点，1维是线，2维是一个长和宽(或曲线)面积，3维是2维加上高度形成体积面。在物理学上时间是第四维，与三个空间维不同的是，它只有一个，且只能往一方向前进。 图一 MSDN中关于维度的概念 2 、服务器对象的内容？ 包括数据源、数据视图、数据库对象、安全角色和程序集。前4个都不难理解。关于程序集的概念，还需加强一下，程序集可为两种不同的类型：COM 和 CLR。CLR 程序集是使用 .NET Framework 编程语言（如 C#、Visual Basic .NET 和托管 C++）开发的程序集。说白了，你可以使用C#语言来编程处理服务器对象。 3、维度对象的内容？ 简单 Dimension 对象由 基本信息 、 属性 和 层次结构 组成。基本信息包括维度的名称、维度的类型、数据源和存储模式等。属性可定义维度中的实际数据。属性可不必属于层次结构，但层次结构却要由属性生成。层次结构不但可创建级别的有序列表，还可定义用户浏览维度的方式。简单的讲，就像Session对象中的键值对一样，这里的key（基本信息）、Value（属性），但这里key之前可能存在一定的关系，所以多了一个层次结构。 维度的结构 a、最简单的——星型结构 特点：每个维度均基于一个通过主键

商业智能 ，又称 商务智能 ，英文为 Business Intelligence ，简写为 BI 。 商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具 。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而 商业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策 。为了 将数据转化为知识 ，需要利用 数据仓库 、 联机分析处理（ OLAP ）工具 和 数据挖掘 等技术。因此，从技术层面上讲，商业智能不是什么新技术，它 只是数据仓库、 OLAP 和数据挖掘等技术的综合运用 。 商业智能的概念于 1996 年最早由加特纳集团（ Gartner Group ）提出，加特纳集团将商业智能定义为： 商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定 。 商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处 。 可以认为， 商业智能是对商业信息的搜集、管理和分析过程，目的是使企业的各级决策者获得知识或洞察力（ insight ），促使他们做出对企业更有利的决策 。商业智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 数据立方体 　　关于数据立方体（Data Cube），这里必须注意的是数据立方体只是多维模型的一个形象的说法。立方体其本身只有三维，但多 维模型不仅限于三维模型，可以组合更多的维度，但一方面是出于更方便地解释和描述，同时也是给思维成像和想象的空间；另一方面是为了与传统关系型数据库的二维表区别开来，于是就有了数据立方体的叫法。所以本文中也是引用立方体，也就是把多维模型以三维的方式为代表进行展现和描述，其实上Google图片搜索“OLAP”会有一大堆的数据立方体图片，这里我自己画了一个： OLAP 　　 OLAP（On-line Analytical Processing，联机分析处理） 是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。可以比较下其与传统的OLTP（On-line Transaction Processing，联机事务处理）的区别来看一下它的特点： OLAP与OLTP 数据处理类型 OLTP OLAP 面向对象 业务开发人员 分析决策人员 功能实现 日常事务处理 面向分析决策 数据模型 关系模型 多维模型 数据量 几条或几十条记录 百万千万条记录 操作类型 查询、插入、更新、删除 查询为主 OLAP的类型 　

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 数据立方体 　　关于数据立方体（Data Cube），这里必须注意的是数据立方体只是多维模型的一个形象的说法。立方体其本身只有三维，但多维模型不仅限于三维模型，可以组合更多的维度，但一方面是出于更方便地解释和描述，同时也是给思维成像和想象的空间；另一方面是为了与传统关系型数据库的二维表区别开来，于是就有了数据立方体的叫法。所以本文中也是引用立方体，也就是把多维模型以三维的方式为代表进行展现和描述，其实上Google图片搜索“OLAP”会有一大堆的数据立方体图片，这里我自己画了一个： OLAP 　　 OLAP（On-line Analytical Processing，联机分析处理） 是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。可以比较下其与传统的OLTP（On-line Transaction Processing，联机事务处理）的区别来看一下它的特点： OLAP与OLTP 数据处理类型 OLTP OLAP 面向对象 业务开发人员 分析决策人员 功能实现 日常事务处理 面向分析决策 数据模型 关系模型 多维模型 数据量 几条或几十条记录 百万千万条记录 操作类型 查询、插入、更新、删除 查询为主 OLAP的类型 　

前言 大数据背景下，传统关系型多维分析 ROLAP 引擎遇到极大挑战，因而链家转向基于 Hadoop 生态的 MOLAP(Kylin)及 HOLAP （多引擎）。在架构师实践日北京站中，链家大数据集群架构组负责人邓钫元进行演讲，分享了链家在多维分析引擎方面的一些实践经验，主要从 OLAP 的背景和简介、链家多维分析架构演进和展望、OLAP 平台链路优化这三部分来介绍。 一、OLAP 的背景和简介 > > > > 1. OLAP vs OLTP OLAP 翻译成中文叫 联机分析处理 ，OLTP 叫 联机事务处理 。OLTP 它的核心是事务，实际上就是我们常见的数据库。我们业务数据库就是面向于事务。它的并发量会比较高，但是操作的数据量会比较小。它是实时更新的。数据库的设计会按照 3NF 范式，更高的话可能会按照 BC 范式之类的来做。而 OLAP 的核心是分析，面向应用是分析决策，需要分析的数据级会非常大，可能 TB，甚至 PB 都会有。它的数据更新会稍微慢一些，它的设计一般是反范式的，因为面向分析。常见的是雪花模型和星型模型。 实际上 OLAP 是什么呢？ 非常简单，就是一个 SQL，这里按照两个维度，一个 returnflag，一个 orderstatus 来做 Group By，然后做一下 Sum，Group By 这段就叫维度，From 这段叫做指标，非常简单。 > > > >

array_multisort() 可以用来一次对多个数组进行排序，或者根据某一维或多维对多维数组进行排序。 array_multisort — 对多个数组或多维数组进行排序 说明 bool array_multisort ( array ar1 [, mixed arg [, mixed ... [, array ...]]] ) array_multisort (PHP 4, PHP 5) 如果成功则返回 TRUE，失败则返回 FALSE。 array_multisort() 可以用来一次对多个数组进行排序，或者根据某一维或多维对多维数组进行排序。 关联（string）键名保持不变，但数字键名会被重新索引。 输入数组被当成一个表的列并以行来排序――这类似于 SQL 的 ORDER BY 子句的功能。第一个数组是要排序的主要数组。数组中的行（值）比较为相同的话就按照下一个输入数组中相应值的大小来排序，依此类推。 本函数的参数结构有些不同寻常，但是非常灵活。第一个参数必须是一个数组。接下来的每个参数可以是数组或者是下面列出的排序标志。 排序顺序标志： SORT_ASC – 按照上升顺序排序 SORT_DESC – 按照下降顺序排序 排序类型标志： SORT_REGULAR – 将项目按照通常方法比较 SORT_NUMERIC – 将项目按照数值比较 SORT_STRING –

OLTP、OLAP与HTAP https://blog.csdn.net/ZG_24/article/details/87854982 OLTP On-Line Transaction Processing联机事务处理过程(OLTP) 也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。 这样做的最大优点是可以即时地处理输入的数据，及时地回答。也称为 实时系统 (Real time System)。衡量联机事务处理结果的一个重要指标是系统性能，具体体现为实时请求-响应时间(Response Time)，即用户在终端上输入数据之后，到计算机对这个请求给出答复所需要的时间。OLTP是由前台、应用、数据库共同完成的，处理快慢以及处理程度取决于数据库引擎、服务器、应用引擎。 OLTP 数据库旨在使 事务 应用程序仅写入所需的数据，以便尽快处理单个事务。 OLTP特征 支持大量并发用户定期添加和修改数据。 反映随时变化的单位状态，但不保存其历史记录。 包含大量数据，其中包括用于验证事务的大量数据。 结构复杂。 可以进行优化以对 事务 活动做出响应。 提供用于支持单位日常运营的技术基础结构。 个别事务能够很快地完成，并且只需访问相对较少的数据。OLTP 旨在处理同时输入的成百上千的事务。

我今天分享的话题是Druid驱动海量数据实时多维分析。 1、需求背景 首先我来谈一下海量实时多维分析的需求背景，我们广告系统有DSP睿视系统和AD exchange等，前段时间品友的曹老师分享时提到DSP Ad exchange,如果对DSP不了解的同学，可以在百度百科上查一下“互联网广告DSP”，实时竞价是DSP的核心，广告主或者优化师需要动态调整出价优化使收益最大化。 广告主调整出价策略或者投放策略进行优化，想要尽快得到实时的反馈，比如修改了地域定投，实时分地域的竞得率和转化率，甚至是分钟粒度的。在我们的DSP系统中我们提供12种维度(不算多)的多维分析，用户可以任意组合下钻查询。 最初的时候我并不是采用Druid，而是采用Storm+Kafka+Redis实时数据处理，以及hive+mysql的离线处理的Lambda架构架构见下图。 实时数据经过Storm ETL，主要是将不同维度组合作为key，计算metrics以后为value存在redis中。离线数据定时将昨天的数据在Hive中 经过一系列ETL，按照维度组合计算metrics以后将结果存储在mysql中。 采用redis作为实时数据的存储有两个核心问题需要解决： redis不支持range scan，我们需要在app层拼好所有的key，然后调用mget获取，如果执行groupby查询的话例如select area,pv