数据库分区

分区 工作原理 对用户而言，分区表是一个独立的逻辑表，但是底层MySQL将其分成多个物理子表，这对用户来说是透明的，每一个分区表都会使用一个独立的表文件。 如果数据量比较大，可以进行分区。分区对PHP层面是无感知的，对代码没有改变。但是需要对mysql的表来做一个物理层面的拆分。将数据通过一些策略进行拆分，客户也是无感知的，对业务逻辑也没有什么影响。 创建表时使用partition by 子句定义每个分区存放的数据，比如年龄，地区等等。执行查询时， 优化器 会根据分区定义过滤那些没有我们需要数据的分区，这样查询只需要查询所需数据存在的分区即可。 目的 将数据按照一个较粗的力度分在不同的表中，这样可以将相关的数据存放在一起。而且如果想一次性删除整个分区的数据也很方便。 使用场景 表非常大或者只在表的最后有热点数据，其它都是历史数据。可以分区 分区表的数据更容易维护，可以对独立的分区进行独立的操作，就相当于独立的表，不过用户感知不到 分区表的数据可以分布在不同的机器上，从而高效利用资源。 可以使用分区表来避免某些特殊的瓶颈。比如数据库的特殊查询等等。 可以备份和恢复独立的分区。 限制 一个表最多只能有1024个分区 最好用mysql5.5以上的，可以使用列分区。否则mysql中含有null会使分区过滤无效。 分区字段中如果有主键 和唯一索引列，那么主键列和唯一列都必须包含进来。

使用hive储存数据时，需要对做分区，如果从kafka接收数据，将每天的数据保存一个分区（按天分区），保存分区时需要根据某个字段做动态分区，而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区，这是静态分区。 Hive动态分区步骤如下： 1、建立某一个源表模拟数据源并插入一些数据 create table t_test_p_source ( id string, name string, birthday string ) row format delimited fields terminated by '\t' stored as textfile; insert into t_test_p_source values ('a1', 'zhangsan', '2018-01-01'); insert into t_test_p_source values ('a2', 'lisi', '2018-01-02'); insert into t_test_p_source values ('a3', 'zhangsan', '2018-01-03'); insert into t_test_p_source values ('a4', 'wangwu', '2018-01-04'); insert into t_test_p_source values ('a5',

企业linux分区方案 方案1：针对网站集群架构中的某个节点服务器分区 该服务器上的数据有多份（其他节点也有）且数据不太重要，建议分区方案如下： /boot: 200MB swap: 物理内存的1.5倍，当内存大于或等于8GB时，配置为8-16GB即可 /: 剩余硬盘空间大小(/usr、/home、/var等分区和 “/” 公用一个分区，这相当于在windows系统中只有一个C盘，所有数据和文件都放在一起) 方案2: 针对数据库及存储角色的服务器分区 该服务器的业务有大量重要的数据，建议分区方案如下： /boot: 200MB /: 大小设置为50-200GB，只存放系统相关文件，网站等业务数据不放在这里。 swap: 物理内存的1.5倍，当内存大于或等于8GB时，配置为8-16GB即可 /data: 剩余硬盘空间大小，放数据库及存储服务等重要数据。当然，data的名称可以换成别的名字 注：本方案就是把重要数据单独分区，便于备份和管理 方案3: 针对大网站或门户级别企业的服务器进行分区 此分区方案更灵活，比较适合业务线比较多、需求不确定的大企业使用，建议分区如下： /boot: 200MB /: 大小设置为50-200GB，只存放系统相关文件，网站等业务数据不放在这里。 swap: 物理内存的1.5倍，当内存大于或等于8GB时，配置为8-16GB即可 剩余的磁盘空间保留，root

修改表-官网手册 表分区-官网手册 概述 分区是指将一个逻辑上大的表拆分为较小的物理块。分区可以提供以下好处： 在某些情况下，尤其是当表中大多数被频繁访问的行位于单个分区或少量分区中时，查询性能可以得到显着提高。分区替代了索引的前几列，从而减小了索引的大小，并 使索引中频繁使用的部分更有可能装入内存 。 当查询或更新访问单个分区的很大一部分时，可以通过对该分区进行顺序扫描而不是使用索引和分散在整个表中的随机访问读取来提高性能。 如果计划将这种需求计划到分区设计中，则可以通过添加或删除分区来完成批量加载和删除。做ALTER TABLE DETACH PARTITION或采用滴的个体分区DROP TABLE远快于批量操作。这些命令还完全避免了VACUUM由于批量操作引起的开销DELETE。 很少使用的数据 可以 迁移到更便宜，更慢的存储介质上 。 通常只有在表很大的情况下，这些好处才是值得的 。表可以从分区中受益的确切时间取决于应用程序，尽管经验法则是 表的大小应超过数据库服务器的物理内存 。 PostgreSQL为以下形式的分区提供内置支持： 范围分区 该表被划分为由键列或列集定义的“ 范围 ”，分配给不同分区的值的范围之间没有重叠。例如，可以按日期范围或特定业务对象的标识符范围进行分区。 列表分区 通过显式列出哪些键值出现在每个分区中来对表进行分区。 哈希分区

当 MySQL 单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED VARCHAR的长度只分配真正需要的空间 使用枚举或整数代替字符串类型 尽量使用TIMESTAMP而非DATETIME， 单表不要有太多字段，建议在20以内 避免使用NULL字段，很难查询优化且占用额外索引空间 用整型来存IP 索引 索引并不是越多越好，要根据查询有针对性的创建，考虑在WHERE和ORDER BY命令上涉及的列建立索引，可根据EXPLAIN来查看是否用了索引还是全表扫描 应尽量避免在WHERE子句中对字段进行NULL值判断，否则将导致引擎放弃使用索引而进行全表扫描 值分布很稀少的字段不适合建索引，例如"性别"这种只有两三个值的字段 字符字段只建前缀索引 字符字段最好不要做主键 不用外键，由程序保证约束 尽量不用UNIQUE，由程序保证约束 使用多列索引时主意顺序和查询条件保持一致

Kakfa中有很多概念，以下对其中常见的概念进行整理，方便学习和后续回顾。 01、消息和批次 Kafka的数据单元被称为消息，可以把消息看成是数据库里的一个“数据行”或一条“记录”。消息被分批次写入Kafka，批次就是一组消息，这些消息属于同一个主题和分区。 02、模式 根据应用程序的需求，消息模式有许多可用的选项。Kafka的许多开发者喜欢使用Apache Avro，Avro提供了一种紧凑的序列化格式，模式和消息体是分开的，当模式发生变化时，不需要重新生产代码；它还支持强类型和模式进化，其版本既向前兼容，也向后兼容。 03、主题和分区 Kafka的消息通过主题进行分类。主题就好比数据库的表，或者文件系统里的文件夹。主题可以被分为若干个分区，一个分区就是一个提交日志。消息一追加的方式写入分区，然后以先入先出的顺序读取。 人们把一个主题的数据看作是一个流，不管它是多少个分区。流是一组从生产者移动到消费者的数据。 04、生产者和消费者 Kafka的客户端就是Kafka系统的用户，它们被分为两种基本数据类型：生产者和消费者。此外，还有其他高级客户端API——用于数据集成的Kafka Connect API和用于流式处理的Kafka Streams。 1、生产者创建消息。一个消息会被发布到一个特定的主题上。生产者在默认情况下把消息均衡地分布到主题所有分区上。 2、消费者读取消息

SQL Server表分区 什么是表分区 一般情况下，我们建立数据库表时，表数据都存放在一个文件里。 但是如果是分区表的话，表数据就会按照你指定的规则分放到不同的文件里，把一个大的数据文件拆分为多个小文件，还可以把这些小文件放在不同的磁盘下由多个cpu进行处理。这样文件的大小随着拆分而减小，还得到硬件系统的加强，自然对我们操作数据是大大有利的。 所以大数据量的数据表，对分区的需要还是必要的，因为它可以提高select效率，还可以对历史数据经行区分存档等。但是数据量少的数据就不要凑这个热闹啦，因为表分区会对数据库产生不必要的开销，除啦性能还会增加实现对象的管理费用和复杂性。 跟着做，分区如此简单 先跟着做一个分区表（分为11个分区），去除神秘的面纱，然后咱们再逐一击破各个要点要害。 分区是要把一个表数据拆分为若干子集合，也就是把把一个数据文件拆分到多个数据文件中，然而这些文件的存放可以依托一个文件组或这多个文件组，由于多个文件组可以提高数据库的访问并发量，还可以把不同的分区配置到不同的磁盘中提高效率，所以创建时建议分区跟文件组个数相同。 1.创建文件组 可以点击数据库属性在文件组里面添加 T-sql语法： alter database <数据库名> add filegroup <文件组名> ---创建数据库文件组 alter database testSplit add

1、 普通索引 create index my_index on test (col_1); 可创建合并两列或多列的索引，最多可将32列合并在一个索引中（位图索引最多可合并30列） create index my_index on test (col_1,col_2); crate index my_index on test（col_1,col_2） tablespace my_indexes storage (initial 10K next 10K pctfree 10) 通过使用create index 命令的compute statistics来为索引计算统计值。也可以使用compress键来对索引进行压缩 create unique index my_index1 on test (col_1,col_2) tablespace my_indexes compress storage (initial 10k next 10k pctfree 10) compute statistics 2、 位图索引 create bitmap index bit_my_index on my_tab(col_1,col_2) tablespace my_tbs; 3、 使用oracle并行查询来创建索引 create index ix_parts on parts(id)

1、简单使用 1、1 安装zookeepeper并启动 启动kafka自带的zookeeper（建议独立安装zookeeper并配置启动。） zookeeper-server-start ../../config/zookeeper.properties zookeeper.properties在kafka主目录下的config目录中 也可以直接使用自己下载并独立安装的zookeeper 1.2 启动broker kafka-server-start D:\development\kafka\config\server.properties ​​​​​​​ 1.3 创建 topic kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test ​​​​​​​ 1.4 启动kafka自带的consumer kafka-console-consumer --bootstrap-server localhost:9092 --topic test ​​​​​​​1.5 启动kafka自带的producer kafka-console-producer --broker-list localhost:9092 --topic test 2、数据结构

原文来自： pursuer.chen 原文地址：https://www.cnblogs.com/chenmh/default.aspx?page=1 [置顶]MongoDB 文章目录 2018-02-09 10:27 by pursuer.chen, 144 阅读, 收藏 , 编辑 基础: MongoDB入门系列（一）：基础概念和安装 MongoDB入门系列（二）：Insert、Update、Delete、Drop MongoDB入门系列（三）：查询（SELECT） MongoDB入门系列（四）：权限管理 MongoDB入门系列（五）：聚合操作 MongoDB 错误汇总 MongoDB 启动配置参数 集群: MongoDB 复制机制 MongoDB 搭建可复制群集 MongoDB 副本集管理 MongoDB 搭建分片集群 MongoDB 分片管理 MongoDB 分片键的选择与案例 OPS: 0 Comment [置顶]SQL Server 文章目录 2017-06-02 17:27 by pursuer.chen, 335 阅读, 收藏 , 编辑 SQL Server系列: 高可用方案: 搭建域服务器和DNS 搭建Windows故障转移群集 SQL Server Alwayson概念总结 SQL Server AlwaysOn搭建 SQL Server