分区表

1.1Hazelcast概述 Hazelcast是基于内存的数据网格开源项目，同时也是该公司的名称。Hazelcast提供弹性可扩展的分布式内存计算，Hazelcast被公认是提高应用程序性能和扩展性最好的方案。Hazelcast通过开放源码的方式提供以上服务。更重要的是，Hazelcast通过提供对开发者友好的Map、Queue、ExecutorService、Lock和JCache接口使分布式计算变得更加简单。例如，Map接口提供了内存中的键值存储，这在开发人员友好性和开发人员生产力方面提供了NoSQL的许多优点。 除了在内存中存储数据外，Hazelcast还提供了一组方便的api来访问集群中的cpu，以获得最大的处理速度。轻量化和简单易用是Hazelcast的设计目标。Hazelcast以Jar包的方式发布，因此除Java语言外Hazelcast没有任何依赖。Hazelcast可以轻松地内嵌已有的项目或应用中，并提供分布式数据结构和分布式计算工具。 Hazelcast 具有高可扩展性和高可用性（100%可用，从不失败）。分布式应用程序可以使用Hazelcast进行分布式缓存、同步、集群、处理、发布/订阅消息等。Hazelcast基于Java实现，并提供C/C++，.NET，REST，Python、Go和Node.js客户端。Hazelcast遵守内存缓存协议

在window操作系统中，挂载通常是指给磁盘分区（包括被虚拟出来的磁盘分区）分配一个盘符。第三方软件，如磁盘分区管理软件、虚拟磁盘软件等，通常也附带挂载功能。在linux操作系统中，挂载是指将一个设备（通常是存储设备）挂接到一个已存在的目录上。我们要访问存储设备中的文件，必须将文件所在的分区挂载到一个已存在的目录上，然后通过访问这个目录来访问存储设备。 以上的内容是在网上找到的一些资料。个人理解挂载就相当于一颗树，首先只有一个根节点。当需要挂载的时候，原有的树上某个节点的位置上创建一个文件夹，该文件夹作为挂载点。（新更新的位置：2017/09/17） 一下是在linux中挂载一块硬盘的方法： 1首先先在虚拟机上添加一块硬盘 2.打开虚拟机收输入fdisk -l 将，系统中所有的分区都列出来。 当输入fdisk -l 显示的结果为如下图所示的时候 上图说明此时是因为使用的普通用户没有权限造成的所以使用管理员root则不会显示上图的文字。（额外添加的内容：2017/09/17） 3.输入fdisk /dev/sdb ：对已经选中的硬盘进行编辑。选中硬盘时候输入n(增加一个新的分区)，之后输入选输入p（选则为主分区），其次在输入1，之后按回车选择默认（即将一个2G的空间全部给这个分区了），最后输入“w”,将分区保存并退出 4.之后输入fdisk -l ，再次查看分区是否完成分配

1.分区和分桶 1.1 分区和分桶优点 我们知道传统的DBMS系统一般都具有表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率，当然我们还可以通过进一步在分区上建立索引进一步提升查询效率。在此就不赘述了。 1.2 分区概念 在Hive数仓中也有分区分桶的概念，在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的值不一定要基于表的某一列（字段），它可以指定任意值，只要查询的时候指定相应的分区键来查询即可。我们可以对分区进行添加、删除、重命名、清空等操作。因为分区在特定的区域（子目录）下检索数据，它作用同DNMS分区一样，都是为了减少扫描成本。 1.3 分桶概念 分桶则是指定分桶表的某一列，让该列数据按照哈希取模的方式随机、均匀地分发到各个桶文件中。因为分桶操作需要根据某一列具体数据来进行哈希取模操作，故指定的分桶列必须基于表中的某一列（字段）。因为分桶改变了数据的存储方式，它会把哈希取模相同或者在某一区间的数据行放在同一个桶文件中。如此一来便可提高查询效率，如：我们要对两张在同一列上进行了分桶操作的表进行JOIN操作的时候，只需要对保存相同列值的桶进行JOIN操作即可。同时分桶也能让取样（Sampling）更高效。 2.分区 Hive(Inceptor

一分钟系列 潜在场景如何？ 当MySQL单表的数据量过大时，数据库的访问速度会下降，“数据量大”问题的常见解决方案是“水平切分”。 MySQL常见的水平切分方案有哪些？ （1）分库分表； （2）分区表。 画外音：我C，没听过分区表，有朋友惊叹。 什么是分库分表？ 把一个很大的库（表）的数据分到几个库（表）中，每个库（表）的结构都相同，但他们可以分布在不同的MySQL实例，甚至不同的物理机器上，以达到降低单库（表）数据量，提高读写性能的目的。 分库分表有什么缺点？ 分库分表往往是业务层实施的，分库分表后，往往需要升级系统： （1）修改某些SQL代码； （2）丧失某些SQL功能。 什么是分区表？ 所有数据，逻辑上还在一个表中，但物理上，可以根据一定的规则放在不同的文件中。这是MySQL5.1之后支持的功能，业务代码无需改动。 分区表看上去 很帅气，为什么大部分互联网公司不使用，而更多的选择分库分表来进行水平切分呢？ 分区表的一些缺点，是大数据量，高并发量的业务难以接受的： （1）如果SQL不走分区键，很容易出现全表锁； （2）在分区表实施关联查询，就是一个灾难； （3）分库分表，自己掌控业务场景与访问模式，可控；分区表，工程师写了一个SQL，自己无法确定MySQL是怎么玩的，不可控； 画外音：类似于，不要把业务逻辑实现在存储过程，用户自定义函数，触发器里，而要实现在业务代码里一样。

分区表 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。 分区表基本操作 1．引入分区表（需要根据日期对日志进行管理） /user/hive/warehouse/log_partition/20170702/20170702.log /user/hive/warehouse/log_partition/20170703/20170703.log /user/hive/warehouse/log_partition/20170704/20170704.log 2．创建分区表语法 hive (default)> create table dept_partition( deptno int, dname string, loc string ) partitioned by (month string) row format delimited fields terminated by '\t'; 3．加载数据到分区表中 hive (default)> load data local inpath '/opt/module/datas/dept.txt' into table

分库、分表、表分区 来源场景：读写分离以后可分为一个主库 ( 主库负责写 ) 加上 N 多个从库 ( 从库负责读 ) ， 但是因为业务量的扩大，主库还是无法承受写入的压力，那么此时就可以考虑分库、分表、表分区 来进一步优化 分库： 场景 1 ：比如一个系统涵盖了订单 \ 物流 \ 仓储 ..... 等等 垂直分库，按业务拆分库，不同库不同的服务器 场景 2：订单增删改特别大 水平分库，每个库结构一致数据不一致 (地域/时间/类别/随机算法) 分表 场景 1 ： 文章表， 10个常规字段+1个很长的内容字段 垂直分表，减小表体积，提升增删改查的效率 场景 2： 单表数据量太大 (订单表/商品表) 水平分表 (地域/时间/类别/随机算法) 表分区 一般情况下，我们建立数据库表时，表数据都存放在一个文件里。 但是如果是分区表的话，表数据就会按照你指定的规则分放到不同的文件里，把一个大的数据文件拆分为多个小文件，还可以把这些小文件放在不同的磁盘下由多个 cpu进行处理。这样文件的大小随着拆分而减小，还得到硬件系统的加强，自然对我们操作数据是大大有利的。 所以大数据量的数据表，对分区的需要还是必要的，因为它可以提高 select效率，还可以对历史数据经行区分存档等。但是数据量少的数据就不要凑这个热闹啦，因为表分区会对数据库产生不必要的开销，除啦性能还会增加实现对象的管理费用和复杂性。

PostgreSQL从继承到分区 (pg_partman) PostgreSQL从继承到分区（一） http://my.oschina.net/lianshunke/blog/205296 PostgreSQL从继承到分区（二） http://my.oschina.net/lianshunke/blog/205296 PostgreSQL从继承到分区（三） http://my.oschina.net/lianshunke/blog/205316 一、Inheritance http://www.postgresql.org/docs/9.3/static/ddl-inherit.html 通过下面的简单例子说明什么是表继承： 1.1 单表继承 postgres=# CREATE DATABASE lsk; CREATE DATABASE postgres=# \c lsk You are now connected to database "lsk" as user "postgres". lsk=# CREATE TABLE t1(id int,name varchar(20)); CREATE TABLE lsk=# CREATE TABLE t2(age int) inherits(t1); CREATE TABLE {在子表中新添的字段会汇同父表的所有字段一起作为子表字段}

1. 数据库设计和表创建时就要考虑性能 2.sql 的编写需要注意优化 4. 分区 4. 分表 5. 分库 数据库设计和表创建时就要考虑性能 设计表时要注意： 表字段避免null值出现，null值很难查询优化且占用额外的索引空间，推荐默认数字0代替null。 尽量使用INT而非BIGINT，如果非负则加上UNSIGNED（这样数值容量会扩大一倍），当然能使用TINYINT、SMALLINT、MEDIUM_INT更好。 使用枚举或整数代替字符串类型 尽量使用TIMESTAMP而非DATETIME 单表不要有太多字段，建议在20以内 用整型来存IP 索引 索引并不是越多越好，要根据查询有针对性的创建，考虑在WHERE和ORDER BY命令上涉及的列建立索引，可根据EXPLAIN来查看是否用了索引还是全表扫描 应尽量避免在WHERE子句中对字段进行NULL值判断，否则将导致引擎放弃使用索引而进行全表扫描 值分布很稀少的字段不适合建索引，例如"性别"这种只有两三个值的字段 字符字段只建前缀索引 字符字段最好不要做主键 不用外键，由程序保证约束 尽量不用UNIQUE，由程序保证约束 使用多列索引时主意顺序和查询条件保持一致，同时删除不必要的单列索引 简言之就是使用合适的数据类型，选择合适的索引 # 选择合适的数据类型 （ 1 ）使用可存下数据的最小的数据类型，整型 < date,time <

原文链接： http://www.cnblogs.com/wcwen1990/p/6656545.html _partition_large_extents和_index_partition_large_extents 参考： http://www.xifenfei.com/2013/08/%E5%88%86%E5%8C%BA%E9%BB%98%E8%AE%A4segment%E5%A4%A7%E5%B0%8F%E5%8F%98%E5%8C%9664k-8m.html 从11.2.0.2开始创建分区表,每个分区默认大小为8M,是由_partition_large_extents参数控制,可以算是11.2.0.2开始的一个新特性,为了减少extent数量,提高分区表性能,而引入的一个参数,默认为true，即分区表的每个extent为8M,这里对于_partition_large_extents为true和false的情况进行了测试。 例1： 数据库参数情况如下： SQL> select * from v$version; BANNER -------------------------------------------------------------------------------- Oracle Database 11g Enterprise Edition

1. fastboot flash boot boot.img 当使用上述命令写入编译的Image时，fastboot做了些什么？基于那些信息把Image写到哪里呢？ Android的每一款产品，都有一个partition.xml描述，有关分区的信息。下面是一个例子。 2. eMMC 分区表 Partition# Name# Size# Strat LBA-End LBR Description# 0 MBR & GPT 0x00000000-0x000000FF Master Boot Record and GUID Partition Table 1 x-loader(MLO) 256KB 0x00000100-0x000001FF First stage bootloader 2 bootloader(u-boot.bin) 384KB 0x00000200-0x000005FF Second stage bootloader 3 misc 128KB 0x00000600-0x000006FF Reserved.This partition can be used for internal purpose 4 recovery (zImage + recovery-ramdisk.img) 8MB 0x00000A00-0x000049FF recovery