数据库分区

博文大纲： 1、RANGE分区 2、LIST分区 3、HASH分区 4、key分区 5、MySQL分表和分区的区别 6、附加：如何实现将分区放在不同的目录下进行存储 MySQL分区类型如下： RANFGE分区 LIST分区 HASH分区 key分区 上面的四种分区的条件必须是整形，如果不是整形需要通过函数将其转换为整形。 1、RANGE分区 RANGE分区是基于属于一个给定连续区间的列值，把多行分配给分区。这些区间要连续且不能相互重叠，使用values less than操作符来进行定义。 创建一个RANGE分区方式的表： mysql> create table employees ( -> id int not null, -> fname varchar(30), -> lname varchar(30), -> hired date not null default '1970-01-01', -> separated date not null default '9999-12-31', -> job_code int not null, -> store_id int not null -> ) -> partition by range (store_id) ( -> partition p0 values less than (6), -> partition p1

概念： 简单地说，分区是将大型的对象（如表）分成更小的且易于管理的小块。分区的基本单位是行，需要注意的是与分区视图不同的地方时，分区必须位于同一个数据库内。 分区的原因： 对于非常大的表在进行诸如数据库维护、备份或者还原操作的时候会消耗大量的时间；除此之外还会增加标的死锁或者并发性的问题的概率。当然我们也可以通过Database Tuning Advisor 运行工作负载，将对是否需要分区给出建议并生产代码。 创建分区的过程： 1.创建分区函数来定义一种数据放置策略。 create partition function years(datetime) as range right for values(‘时间点1’,’时间点2’…) 如上面的代码。最左边的分区是 小于 时间点1的所有数据行数据，第二个分区是 大于或者等于 时间点1 小于 时间点2的所有分区，以此类推即可。范围函数制定范围的边界，left 和right 关键字制定数据库引擎按照升序从左到右进行排序时边界值属于左边或者右边，这里不难发现我们这个是right 那么边界值属于右边。默认为left。 2.创建文件分组来支持分区函数。 作为最佳实践，一般可以创建用户对象，并将它映射到主文件组之外的文件组，按照之前的情况我们建立文件组y01，y02,y03… 3.创建分区方案来定义物理数据分布策略（将函数数据映射到文件组）。

分布式系统当中有一个著名的 CAP 理论，它也是分布式系统理论的基础。 CAP理论最早发表于2000年，由加州伯克利的教授首先在ACM PODC会议上提出猜想，两年之后，被麻省理工学院的教授Seth Gilbert和Nancy Lynch从理论上证明。从此之后，它成了分布式系统领域的公认定理。 今天这篇文章就和大家聊聊这个大名鼎鼎的CAP理论。 CAP理论描述起来其实很简单，它说的是 一个分布式系统最多只能满足C（一致性）、A（可用性）和P（分区性）这三者当中的两个 。我们先来看一下这三项分别代表了什么。 Consistency 一致性 分布式系统当中的一致性指的是 所有节点的数据一致 ，或者说是 所有副本的数据一致 。用英文描述是： All the nodes see the same data at the same time 。它和数据库事务中的一致性是两码事，在我们之前的文章里，曾经详细描述过分布式系统中的各种一致性模型，感兴趣的同学可以点击这里。 我们可以将一致性一分为二，分别从 客户端和服务端 进行探究。对于客户端而言，并不关心后端的实现，也不关心后端的节点运行情况。唯一只关心 多次并发访问下都能获得准确的符合预期的结果 。比如用户多次点击付款，也只会付款一次，余额无论什么时候查询都是当下最新的值。 而服务端关心的是会引发数据变更的请求过来，

本文转载自《金融电子化》 作者： 吉林省农村信用社联合社信息科技中心 总经理 孙刚、总经理助理 程永义 随着移动互联网的迅猛发展，分布式架构在互联网IT技术领域广泛应用并积累了大量实践经验。在互联网金融快速发展和利率市场化的大环境下，建设能够支持海量客户、具有弹性扩展能力、高效灵活的分布式架构应用系统已成为国内金融行业迫切的需要。 分布式数据库应用大势所趋 我社普惠金融平台建设，旨在“充分运用金融科技手段，优化信贷流程和客户评价模型，降低企业融资成本，纾解民营企业、小微企业融资难融资贵问题，增强金融服务实体经济能力”。 普惠金融服务是典型的互联网应用，其与传统信贷系统不同，具有互联网场景接入能力，如果沿用集中式的技术架构，在应对海量客户的互联网应用场景和总拥有成本等方面存在以下的潜在问题： 集中式架构普遍缺乏弹性伸缩的能力。随着交易量和数据量的增长，系统整体吞吐量会遇到硬件或技术的瓶颈。尤其在支持面向互联网客户相关业务时，不能有效处理瞬时爆发的高并发交易，制约了客户获取以及大规模业务营销。 集中式架构采用单体应用设计。软件开发和运行管理的最小单元是应用，管理力度较粗，容易“牵一发而动全身”，应用的开发过程不易践行轻量化敏捷开发理念，系统在运行过程中容易出现单点故障，难以有效进行故障隔离。 集中式架构系统的基础设施通常使用高端服务器和存储设备，以及传统关系型数据库

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 本文转载自《金融电子化》 作者： 吉林省农村信用社联合社信息科技中心 总经理 孙刚、总经理助理 程永义 随着移动互联网的迅猛发展，分布式架构在互联网IT技术领域广泛应用并积累了大量实践经验。在互联网金融快速发展和利率市场化的大环境下，建设能够支持海量客户、具有弹性扩展能力、高效灵活的分布式架构应用系统已成为国内金融行业迫切的需要。 分布式数据库应用大势所趋 我社普惠金融平台建设，旨在“充分运用金融科技手段，优化信贷流程和客户评价模型，降低企业融资成本，纾解民营企业、小微企业融资难融资贵问题，增强金融服务实体经济能力”。 普惠金融服务是典型的互联网应用，其与传统信贷系统不同，具有互联网场景接入能力，如果沿用集中式的技术架构，在应对海量客户的互联网应用场景和总拥有成本等方面存在以下的潜在问题： 集中式架构普遍缺乏弹性伸缩的能力。随着交易量和数据量的增长，系统整体吞吐量会遇到硬件或技术的瓶颈。尤其在支持面向互联网客户相关业务时，不能有效处理瞬时爆发的高并发交易，制约了客户获取以及大规模业务营销。 集中式架构采用单体应用设计。软件开发和运行管理的最小单元是应用，管理力度较粗，容易“牵一发而动全身”，应用的开发过程不易践行轻量化敏捷开发理念，系统在运行过程中容易出现单点故障，难以有效进行故障隔离。

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Partition 分区 MySql 5.6 手册： http://dev.mysql.com/doc/refman/5.6/en/partitioning.html 我理解的分区 举个例子， 操作系统中的分区，是将硬盘根据大小进行逻辑分区，就是我们看到的C、D、E、F盘，逻辑分区还是在同一个操作系统中。数据库产品的Partition分区也是一样的道理，将数据进行逻辑分区，对数据划分界限。 分区类型 MySql 支持Range，List，Hash，Key。最长用的是Range。 注意不同的版本对分区类型的支持有些不同！ Range：范围 CREATE TABLE employees ( id INT NOT NULL, fname VARCHAR(30), lname VARCHAR(30), hired DATE NOT NULL DEFAULT '1970-01-01', separated DATE NOT NULL DEFAULT '9999-12-31', job_code INT NOT NULL, store_id INT NOT NULL ) PARTITION BY RANGE (store_id) ( PARTITION p0 VALUES LESS THAN (6), PARTITION

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> InnoDB逻辑存储结构 　　首先要先介绍一下InnoDB逻辑存储结构和区的概念， 它的所有数据都被逻辑地存放在表空间，表空间又由段，区，页组成。 段 段就是上图的segment区域，常见的段有数据段、索引段、回滚段等，在InnoDB存储引擎中，对段的管理都是由引擎自身所完成的。 区 　　区就是上图的extent区域， 区是由连续的页组成的空间，无论页的大小怎么变，区的大小默认总是为1MB。 为了保证区中的页的连续性，InnoDB存储引擎一次从磁盘申请4-5个区，InnoDB页的大小默认为16kb，即一个区一共有64（1MB/16kb=16）个连续的页。每 个段开始，先用32页（page）大小的碎片页来存放数据，在使用完这些页之后才是64个连续页的申请。这样做的目的是，对于一些小表或者是undo类的段，可以开始申请较小的空间，节约磁盘开销。 页 　　页就是上图的page区域，也可以叫块。 页是InnoDB磁盘管理的最小单位。 默认大小为16KB，可以通过参数innodb_page_size来设置。常见的页类型有：数据页，undo页，系统页，事务数据页，插入缓冲位图页，插入缓冲空闲列表页，未压缩的二进制大对象页，压缩的二进制大对象页等。 分区概述 分区 　　 这里讲的分区，此“区”非彼“区”

首先采用Mysql存储千亿级的数据，确实是一项非常大的挑战。Mysql单表确实可以存储10亿级的数据，只是这个时候性能非常差，项目中大量的实验证明，Mysql单表容量在500万左右，性能处于最佳状态。 针对大表的优化，主要是通过数据库分库分表来解决，目前比较普遍的方案有三个：分区，分库分表，NoSql/NewSql。实际项目中，这三种方案是结合的，目前绝大部分系统的核心数据都是以RDBMS存储为主，NoSql/NewSql存储为辅。 分区 首先来了解一下分区方案。 分区表是由多个相关的底层表实现的。这些底层表也是由句柄对象表示，所以我们也可以直接访问各个分区，存储引擎管理分区的各个底层表和管理普通表一样（所有的底层表都必须使用相同的存储引擎），分区表的索引只是在各个底层表上各自加上一个相同的索引。这个方案对用户屏蔽了sharding的细节，即使查询条件没有sharding column，它也能正常工作（只是这时候性能一般）。 不过它的缺点很明显：很多的资源都受到单机的限制，例如连接数，网络吞吐等。如何进行分区，在实际应用中是一个非常关键的要素之一。 下面开始举例：以客户信息为例，客户数据量5000万加，项目背景要求保存客户的银行卡绑定关系，客户的证件绑定关系，以及客户绑定的业务信息。 此业务背景下，该如何设计数据库呢。项目一期的时候，我们建立了一张客户业务绑定关系表

博文大纲： 1、为什么要分表？ 2、MySQL分表 3、利用merge存储引擎实现分表 4、MySQL分区 1、为什么要分表？ 数据库数据越来越大，随之而来的是单个表中数据太多。以至于查询速度变慢，而且由于表的锁机制导致应用操作也搜到严重影响，出现了数据库性能瓶颈。 mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。当出现这种情况时，我们可以考虑分表或分区。 2、MySQL分表 分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表，每个表都对应三个文件，MYD数据文件，.MYI索引文件，.frm表结构文件。这些表可以分布在同一块磁盘上，也可以在不同的机器上。app读写的时候根据事先定义好的规则得到对应的表名，然后去操作它。 将单个数据库表进行拆分，拆分成多个数据表，然后用户访问的时候，根据一定的算法（如用hash的方式，也可以用求余（取模）的方式），让用户访问不同的表，这样数据分散到多个数据表中，减少了单个数据表的访问压力。提升了数据库访问性能。分表的目的就在于此，减小数据库的负担，缩短查询时间。 Mysql分表分为垂直切分和水平切分，具体区别如下： 垂直切分 是指数据表列的拆分，把一张列比较多的表拆分为多张表

数据是怎样分布在多个Redis实例上的 分区是将你的数据分布在多个Redis实例上，以至于每个实例只包含一部分数据。 为什么分区是有用的呢 Redis分区有两个主要目标： 它允许更大的数据库，用许多计算机的内存总和。如果不进行分区，你将会受限于单台计算机的内存。 它允许将计算能力扩展到多核和多台计算机，将网络带宽扩展到多台计算机和网络适配器。 假设我们有4个Redis实例（R0, R1, R2, R3），其上有许多代表用户的key，比如user:1, user:2, ... 等等，那么在存储一个key的时候我们有多种方式。 最简单的一种方式是按照范围分区，即根据对象的映射范围将数据分配到指定的Redis实例上。例如，我们规定ID为0~10000的就分到R0，10001~20000到R1，以此类推。这种方式是可以的，但是有一个缺点是需要一张表来维护这个映射关系。这个表需要管理起来，而且每一个key都需要一个这样的表，因此Redis中的范围分区通常是不受欢迎的，因为它比其他分区方法效率低得多。 除了范围分区以外，另一种方法是 哈希分区 （ hash partitioning ）： 第1步、取key，并应用哈希函数将其转换为一个数。例如，如果key是foobar，哈希函数式crc32，那么crc32(foobar)将输出93024922。 第2步、对这个数字使用模运算（取模