海量数据

　　一、背景 　　分页应该是极为常见的数据展现方式了，一般在数据集较大而无法在单个页面中呈现时会采用分页的方法。 　　各种前端UI组件在实现上也都会支持分页的功能，而数据交互呈现所相应的后端系统、数据库都对数据查询的分页提供了良好的支持。 　　以几个流行的数据库为例： 　　查询表 t_data 第 2 页的数据(假定每页 5 条) 　　MySQL 的做法： 　　select * from t_data limit 5,5 　　PostGreSQL 的做法： 　　select * from t_data limit 5 offset 5 　　MongoDB 的做法： 　　db.t_data.find().limit(5).skip(5); 　　尽管每种数据库的语法不尽相同，通过一些开发框架封装的接口，我们可以不需要熟悉这些差异。如 SpringData 提供的分页接口： 　　public interface PagingAndSortingRepository<t, serializable="" extends=""> 　　extends CrudRepository<t,> { 　　Page findAll(Pageable pageable); 　　} 　　这样看来，开发一个分页的查询功能是非常简单的。 　　然而万事皆不可能尽全尽美，尽管上述的数据库

转自： https://blog.csdn.net/every__day/article/details/90763607 《数据结构与算法之美》 前面讲过MySQL数据库索引实现原理，底层是依赖B+树这种数据结构来实现的。那类似Redisp 这要的Key-Value数据库中的索引，又是怎么实现的呢?底层依赖的又是什么数据结构呢？ 为什么需要索引？ 在实际的软件开发中，业务纷繁复杂，功能千变万化，但是，万变不离其宗。如果抛开业务和功能的外壳，其实它们的本质都可以抽象为“对数据的存储和计算”。对应到数据结构和算法中，那“存储”需要的就是数据结构，“计算”需要的就是算法。 对于存储的需求，功能上无外乎增删改查。这其实并不复杂。但是，一旦存储的数据多了，那性能就成了这些系统要关注的重点，特别是在一些跟存储相关的基础系统（比如MySQL数据库、分布式文件系统等）、中间件（比如消息中间件RocketMQ等）中。 “如何节省存储空间、如何提高数据增删改查的执行效率”，这个问题就成了设计的重点。而这些系统的实现，都离不开一个东西，那就是索引。不夸张的说，索引设计的好坏，直接决定了这些系统是否优秀。 索引这个概念，非常好理解。你可以类比书籍的目录来理解。如果没有目录，我们想要查找某个知识点的时候，就要一页一页的翻。通过目录，我们就可以快速定位相关的知识点的页数，查找的速度也会有质的提高。

农业银行以国产数据库GBase 8a为基础的国内最大的金融大数据平台采用混搭融合架构、双活数据仓库、超大规模数据库集群这些先进技术全部应用其中。56是生产环境，现在实现了56环境的双活!5.2PB数据量、236个节点、每天6000多个复杂的分析任务。 项目背景 随着互联网+时代的到来，金融大数据呈指数增长。结构化数据增长基本可控，它随着业务的增长是一个线性关系；而对非结构化数据，尤其语音、图像，优酷上的视频，增长巨大。现在精准营销、风险控制、运营等对大数据的应用提出更高的要求。随着大数据时代到来，处理大数据的技术手段和成本的下降都提供了对大数据的可能，在技术上它也是成长最快的一部分。 中国农业银行数据仓库项目最初是基于Sybase IQ建设的，主要应用于统计报表。随着数据量的不断增大、接入的系统越来越多，Sybase IQ由于性能的限制，已经很难在指定的时间窗口中完成统计，也无法继续接入其它的业务系统数据，无法满足银行内部数据分析和监管机构的监管数据要求。系统架构的障碍影响了客户从宝贵的数据资源中挖掘价值，寻找新的、更先进的产品成为客户不得不考虑的问题。 着眼未来，为更好地利用大数据领域新兴技术构造大数据平台，应对市场变幻、带动业务模式创新，寻求新的技术方向已成为必然选择。同时近年来信息安全问题越来越受中国政府和企业的关注，关键领域信息系统的国产化逐步开展。基于信息安全

所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是 无法在较短时间内迅速解决 ，要么是数据太大，导致 无法一次性装入内存 。 处理海量数据的基本方法： 分而治之/hash映射 + hash统计 + 堆/快速/归并排序； 双层桶划分 Bloom filter/Bitmap； Trie树/数据库/倒排索引； 外排序； 分布式处理之Hadoop/Mapreduce。 参考内容 教你如何迅速秒杀掉：99%的海量数据处理面试题. https://blog.csdn.net/v_july_v/article/details/7382693 十道海量数据处理面试题与十个方法大总结. https://blog.csdn.net/v_JULY_v/article/details/6279498 来源： https://www.cnblogs.com/lvjincheng/p/11337461.html

本文转自https://www.cnblogs.com/skyme/p/5779885.html 简介及适用场景 如果想在数据仓库中快速查询结果，可以使用greenplum。 Greenplum数据库也简称GPDB。它拥有丰富的特性： 第一，完善的标准支持：GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展；从应用编程接口上讲，它支持ODBC和JDBC。完善的标准支持使得系统开发、维护和管理都大为方便。而现在的 NoSQL，NewSQL和Hadoop 对 SQL 的支持都不完善，不同的系统需要单独开发和管理，且移植性不好。 第二，支持分布式事务，支持ACID。保证数据的强一致性。 第三，做为分布式数据库，拥有良好的线性扩展能力。在国内外用户生产环境中，具有上百个物理节点的GPDB集群都有很多案例。 第四，GPDB是企业级数据库产品，全球有上千个集群在不同客户的生产环境运行。这些集群为全球很多大的金融、政府、物流、零售等公司的关键业务提供服务。 第五，GPDB是Greenplum（现在的Pivotal）公司十多年研发投入的结果。GPDB基于PostgreSQL 8.2，PostgreSQL 8.2有大约80万行源代码，而GPDB现在有130万行源码。相比PostgreSQL 8.2，增加了约50万行的源代码。 第六，Greenplum有很多合作伙伴

海量数据时代，云计算、大数据、人工智能等技术的广泛应用，使得数据呈指数级增长。随着存储空间不断增大，然而存储容量同存储性能成反比，传统数据库在处理海量数据时，暴露了并发性低、扩展性差、效率低下等问题。因此， 海量存储技术成为了重点研究对象。 大数据时代，如何准确、高效地从丰富而膨胀的数据中筛选出对经营决策有用的信息已经成为企业和机构迫切需要解决的问题，因而海量存储技术应运而生，并显示出强大的解决能力。 企业上云时代，企业如何选择海量存储系统？ 1.极强的扩展能力 因为数据规模是动态增长的，存储系统不但要应对当下的数据规模，未来数据规模呈指数级增长超过现有容量时，还需要能够灵活扩展。所以，海量存储系统应对的除了现时数据本身，还包括对未来数据的增长预期。 2.高效和高性能 在数据存储过程中，除了数据规模本身巨大，还有备份、归档等操作会进一步增加数据量，这就需要存储系统能够判别数据冗余，实现存储空间的高效利用。除此之外，存储数据的最终目的是挖掘数据价值，所以能否在最短的时间将数据进行处理、分析，是衡量海量存储系统优劣的重要标准。 3.存储系统平台要好操作、易管理，能够支持标准API接口 愈是复杂的系统，它的管理、操作愈是不便。这导致企业需要投入大量的人力、物力、财力资源对系统进行运维管理和升级。出于节约企业成本的考虑，海量存储系统能够提供统一、简化的管理就变得非常重要

海量数据处理分析 北京迈思奇科技有限公司 戴子良 笔者在实际工作中，有幸接触到海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面： 一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。 二、软硬件要求高，系统资源占用率高。对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。 三、要求很高的处理方法和技巧。这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。 那么处理海量数据有哪些经验和技巧呢，我把我所知道的罗列一下，以供大家参考： 一、 选用优秀的数据库工具 现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2

海量数据处理思路 1. 计算容量 在解决问题之前，要先计算一下海量数据需要占多大的容量。常见的单位换算如下： 1 byte = 8 bit 1 KB = 210 byte = 1024 byte ≈ 103 byte 1 MB = 220 byte ≈ 10 6 byte 1 GB = 230 byte ≈ 10 9 byte 1 亿 = 108 1 个整数占 4 byte，1 亿个整数占 4*108 byte ≈ 400 MB。 2. 拆分 可以将海量数据拆分到多台机器上和拆分到多个文件上： 如果数据量很大，无法放在一台机器上，就将数据拆分到多台机器上。这种方式可以让多台机器一起合作，从而使得问题的求解更加快速。但是也会导致系统更加复杂，而且需要考虑系统故障等问题； 如果在程序运行时无法直接加载一个大文件到内存中，就将大文件拆分成小文件，分别对每个小文件进行求解。 有以下策略进行拆分： 按出现的顺序拆分：当有新数据到达时，先放进当前机器，填满之后再将数据放到新增的机器上。这种方法的优点是充分利用系统的资源，因为每台机器都会尽可能被填满。缺点是需要一个查找表来保存数据到机器的映射，查找表可能会非常复杂并且非常大。 按散列值拆分：选取数据的主键 key，然后通过哈希取模 hash(key)%N 得到该数据应该拆分到的机器编号，其中 N 是机器的数量。优点是不需要使用查找表

何谓海量数据处理？ 所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。 那解决办法呢？针对时间，我们可以采用巧妙的算法搭配合适的数据结构，如布隆过滤器/Hash/bit-map/堆/数据库或倒排索引/trie树，针对空间，无非就一个办法：大而化小，分而治之（hash映射），你不是说规模太大嘛，那简单啊，就把规模大化为规模小的，各个击破不就完了嘛。 海量数据处理主要方法： 分而治之-hash映射 + hash统计 + 堆排序/外排序 布隆过滤器 布隆过滤器+分层 哈希函数的性质： 典型的哈希函数都有无限的输入值域。 当给哈希函数传入相同的输入值时，返回值一样，即哈希值一样。 当给哈希函数传入不同的值时，返回值可能一样，也可能不一样。 很多不同的输入之所得到的返回值会均匀的分布在S上，S为输出域–范围固定。这条性质是评判一个哈希函数优劣的关键。 堆排序的注意点： 要找出最大的TopK，要建立最小堆，堆顶元素为最小的，先拿K个数建立最小堆，接下来每拿一个数都和堆顶元素比较，如果比堆顶元素大，则代替堆顶元素，然后对该堆进行凋整，使之成为最小堆。重复操作直到遍历所有数据。 要找出最小的TopK，要建立最大堆，每次与最大堆的堆顶元素比较，小于堆顶元素则代替堆顶元素，然后进行调整

什么叫海量数据： 1. 数据量函数过千万，或者过亿，必须用程序处理； 2. 数据量达到TB，普通机器无法处理，必须借助特殊的工具和程序。 海量数据处理的软硬件要求： 3. 合理使用工具； 4. 合理分配系统资源； 5. 利用适当的方法。 对程序员的要求：没有通用方法，有通用原则和原理。 1. 丰富的经验； 2. 灵活的处理方式。 海量数据处理的技巧 ## 一、选择优秀的数据库 ## 可以选择hadoop的HDFS，hbase、mysql。 ## 二、编写优良的程序代码 ## 优良的程序代码关于数据处理的正确率和效率问题。 ## 三、对海量数据进行分区处理 ## ## 四、对数据表建立索引 ## ## 五、建立缓存机制 ## 如果读取2亿行的数据，建立100,000行的buffer，在经验上是可行的。 缓存是避免频繁访问数据库或者磁盘而建立的一种临时快速存储器的。它是利用内存等比磁盘和数据库访问速度更快的设备，临时存储需要多次访问的数据，加快访问速度。对于某些需要多次从磁盘和数据库访问的数据，可以通过Map来缓存数据。也可以对某些中间计算结果，但计算耗时的，缓存下来。 缓存的更细和过期：如果缓存的实践超过某一时间间隔，则设定其过期，必须重新从数据库或磁盘读取数据，放入缓存。 也可通过缓存数据的版本比较得出是否过期，是否需要重新到磁盘或数据库读取新数据缓存。 ## 六、加大虚拟内存 #