数据库分区

现在先抛出问题，假设有一个主数据中心在北京M，然后有成都A，上海B两个地方数据中心，现在的问题是，假设成都上海各自的数据中心有记录变更，需要先同步到主数据中心，主数据中心更新完成之后，在把最新的数据分发到上海，成都的地方数据中心A，地方数据中心更新数据，保持和主数据中心一致性（数据库结构完全一致）。数据更新的消息是通过一台中心的MQ进行转发。 先把问题简单化处理，假设A增加一条记录Message_A，发送到M，B增加一条记录 MESSAGE_B发送到M，都是通过MQ服务器进行转发，那么M系统接收到条消息，增加两条数据，那么M在把增加的消息群发给A，B，A和B找到自己缺失的数据，更新数据库。这样就完成了一个数据的同步。 从正常情况下来看，都没有问题，逻辑完全合理，但是请考虑以下三个问题 1 如何保证A->M的消息，M一定接收到了，同样，如何保证M->A的消息，M一定接收到了 2 如果数据需要一致性更新，比如A发送了三条消息给M，M要么全部保存，要么全部不保存，不能够只保存其中的几条记录。我们假设更新的数据是一条条发送的。 3 假设同时A发送了多条更新请求，如何保证顺序性要求？ 这两个问题就是分布式环境下数据一致性的问题 对于第一个问题，比较好解决，我们先看看一个tcp/ip协议链接建立的过程 我们的思路可以从这个上面出发，在简化一下，就一个请求，一个应答。 简单的通信模型是这样的 A

(1.) 表空间及分区表的概念 表空间： 　　是一个或多个数据文件的集合，所有的数据对象都存放在指定的表空间中，但主要存放的是表， 所以称作表空间。 分区表： 当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据在物理上存放到多个表空间(物理文件上)，这样查询数据时，不至于每次都扫描整张表。 ( 2).表分区的具体作用 Oracle的表分区功能通过改善可管理性、性能和可用性，从而为各式应用程序带来了极大的好处。通常，分区可以使某些查询以及维护操作的性能大大提高。此外,分区还可以极大简化常见的管理任务，分区是构建千兆字节数据系统或超高可用性系统的关键工具。 分区功能能够将表、索引或索引组织表进一步细分为段，这些数据库对象的段叫做分区。每个分区有自己的名称，还可以选择自己的存储特性。从数据库管理员的角度来看，一个分区后的对象具有多个段，这些段既可进行集体管理，也可单独管理，这就使数据库管理员在管理分区后的对象时有相当大的灵活性。但是，从应用程序的角度来看，分区后的表与非分区表完全相同，使用 SQL DML 命令访问分区后的表时，无需任何修改。 什么时候使用分区表： 1、表的大小超过2GB。 2、表中包含历史数据，新的数据被增加都新的分区中。 (3).表分区的优缺点 表分区有以下优点

分布式CAP理论 来自wiki: 在 理论计算机科学 中， CAP定理 （CAP theorem），又被称作 布鲁尔定理 （Brewer's theorem），它指出对于一个 分布式计算系统 来说，不可能同时满足以下三点：[ 1] [ 2] 一致性（ C onsistency） （等同于所有节点访问同一份最新的数据副本） 可用性 （ A vailability）（每次请求都能获取到非错的响应——但是不保证获取的数据为最新数据） 分区容错性 （ P artition tolerance）（以实际效果而言，分区相当于对通信的时限要求。系统如果不能在时限内达成数据一致性，就意味着发生了分区的情况，必须就当前操作在C和A之间做出选择[ 3] 。） 根据定理，分布式系统只能满足三项中的两项而不可能满足全部三项[ 4] 。理解CAP理论的最简单方式是想象两个节点分处分区两侧。允许至少一个节点更新状态会导致数据不一致，即丧失了C性质。如果为了保证数据一致性，将分区一侧的节点设置为不可用，那么又丧失了A性质。除非两个节点可以互相通信，才能既保证C又保证A，这又会导致丧失P性质。 来自 : 2000年7月，加州大学伯克利分校的Eric Brewer教授在ACM PODC会议上提出CAP猜想。2年后，麻省理工学院的Seth Gilbert和Nancy Lynch从理论上证明了CAP。之后

特别说明：该案例引自谭老师的《让Oracle跑的更快2》。 实验说明： 该实验将用到在线数据库YFT1，离线数据库YFT2。 实验操作： 一、分别在两个数据库中创建一个分区表，并为每个分区创建一个单独的表空间，以便于和临时表做分区交换。 1.1、在数据库YFT1中： Create Tablespace 1 [ oracle@node2 ~ ] $ env | grep ORA 2 ORACLE_SID = YFT1 3 ORACLE_BASE =/ u01 / app / oracle 4 ORACLE_HOME =/ u01 / app / oracle / product / 11.2 . 0 / db_1 5 [ oracle@node2 ~ ] $ sqlplus / nolog 6 7 SQL * Plus: Release 11.2 . 0.1 . 0 Production on Wed Dec 19 13 : 56 : 53 2012 8 9 Copyright (c) 1982 , 2009 , Oracle. All rights reserved. 10 11 SQL > conn / as sysdba 12 Connected. 13 SQL > alter system set db_create_file_dest = ' /u01/app/oracle

在计算机信息安全领域中，数据库系统无疑有着举足轻重的地位。比如：SQL Server、MySQL、DB2、Oracle等，都是比较知名的数据库管理软件，由于Oracle数据库的安全性，所以在一些比较重要的场合被普遍使用，比如：电信、银行、政府部门等。 本次博文以Oracle 12c数据库的64位企业版为例，学习如何在Centos 操作系统中的安装和基本配置，包括安装的准备等。 博文大纲： 一、安装Oracle 12c 二、创建Oracle 12c数据库 三、Oracle 12c数据库的启动与关闭 四、将Oracle数据库设置为开机自启动 一、安装Oracle 12c 1.安装CentOS 7操作系统的注意事项 由于本次安装Oracle 12c软件是在CentOS 7系统上实现的，那么首次安装CentOS 7操作系统有几点要求： 防火墙的配置选项设置为禁用； SELinux设置为禁用； 默认安装设置为软件开发； 内核选择3.10.0-862.el7.x86_64及以上版本； 2.前置条件的准备 Oracle数据库是一个相对庞大的应用软件，对服务器的系统类型、内存和交换分区、硬盘空阿金、内核参数、软件环境、用户环境等都有相应的要求。只要满足了这些必备的条件，才能确保Oracle 12c安装成功并稳定运行。 （1）系统及配置要求 Oracle

一、Oracle分区简介 ORACLE的分区是一种处理超大型表、索引等的技术。分区是一种“分而治之”的技术，通过将大表和索引分成可以管理的小块，从而避免了对每个表作为一个大的、单独的对象进行管理，为大量数据提供了可伸缩的性能。分区通过将操作分配给更小的存储单元，减少了需要进行管理操作的时间，并通过增强的并行处理提高了性能，通过屏蔽故障数据的分区，还增加了可用性。 二、Oracle分区优缺点 ? 优点： 增强可用性：如果表的某个分区出现故障，表在其他分区的数据仍然可用； 维护方便：如果表的某个分区出现故障，需要修复数据，只修复该分区即可； 均衡I/O：可以把不同的分区映射到磁盘以平衡I/O，改善整个系统性能； 改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索速度。 ? 缺点： 分区表相关：已经存在的表没有方法可以直接转化为分区表。不过 Oracle 提供了在线重定义表的功能。 三、Oracle分区方法 ? 范围分区： 范围分区就是对数据表中的某个值的范围进行分区，根据某个值的范围，决定将该数据存储在哪个分区上。如根据序号分区，根据业务记录的创建日期进行分区等。 ? Hash分区（散列分区）： 散列分区为通过指定分区编号来均匀分布数据的一种分区类型，因为通过在I/O设备上进行散列分区，使得这些分区大小一致。 ? List分区（列表分区）：

和压缩（Compression）相比，数据库分区（Partition）的操作更为复杂繁琐。而且与Compression一次操作，终身保持不同，分区是一项需要长期维护周期变更的操作。 分区的意义在于将大数据从物理上切割为几个相互独立的小部分，从而在查询时只取出其中一个或几个分区，减少影响的数据；另外对于置于不同文件组的分区，并行查询的性能也要高于对整个表的查询性能。 事实上，在SQL Server 2005中就已经包含了分区功能，甚至在2005之前，还存在一个叫做“Partitioned Views”的功能，能通过将同样结构的表Union在一个View中，实现类似现在分区表的效果。而在SQL Server 2008中，分区功能得到了显著加强，使得我们不仅能够对表和索引做分区， 而且允许对分区上锁，而不是之前的全表上锁 。 指定分区列 和Compression一样，在SQL Server 2008中也提供了分区的向导界面。在企业管理器中，需要分区的表上右键选择Storage-》Create Partition: 这里会列出该表所有的字段，包括字段类型、长度、精度及小数位数的信息，可以选择其中的任意一一列作为分区列（Patitioning Column），不仅仅是数字或者日期类型，即使是字符串类型的列，也可以按照字母顺序进行分区。而以下类型的列不可用于分区： text、ntext

本文主要详解kafka client的使用，包括kafka消费者的三种消费语义at-most-once，at-least-once，和exact-once message，生产者的使用等。 创建主题 bin/kafka-topics.sh --zookeeper localhost：2181 --create --topic normal --partitions 2 --rerelication-factor 1 生产者 private static Producer < String，String > createProducer（）{ Properties props = new Properties（）; props.put（“bootstrap.servers”，“localhost：9092”）; props.put（“acks”，“all”）; props.put（“retries”，0）; //控制发送者在发布到Kafka之前等待批处理的字节数。 props.put（“batch.size”，10）; props.put（“linger.ms”，）; props.put（“key.serializer”，“org.apache.kafka.common.serialization.StringSerializer”）; props.put（“value

　　分区是分割数据到多个Redis实例的处理过程，因此每个实例只保存key的一个子集。 　　分区的优势 　　通过利用多台计算机内存的和值，允许我们构造更大的数据库。 　　通过多核和多台计算机，允许我们扩展计算能力;通过多台计算机和网络适配器，允许我们扩展网络带宽。 　　分区的不足 　　redis的一些特性在分区方面表现的不是很好： 　　涉及多个key的操作通常是不被支持的。举例来说，当两个set映射到不同的redis实例上时，你就不能对这两个set执行交集操作。 　　涉及多个key的redis事务不能使用。 　　当使用分区时，数据处理较为复杂，比如你需要处理多个rdb/aof文件，并且从多个实例和主机备份持久化文件。 　　增加或删除容量也比较复杂。redis集群大多数支持在运行时增加、删除节点的透明数据平衡的能力，但是类似于客户端分区、代理等其他系统则不支持这项特性。然而，一种叫做presharding的技术对此是有帮助的。 　　分区类型 　　Redis 有两种类型分区。 假设有4个Redis实例 R0，R1，R2，R3，和类似user:1，user:2这样的表示用户的多个key，对既定的key有多种不同方式来选择这个key存放在哪个实例中。也就是说，有不同的系统来映射某个key到某个Redis服务。 　　范围分区 　　最简单的分区方式是按范围分区

mysql error code 1005：创建表失败 1006：创建数据库失败 1007：数据库已存在，创建数据库失败 1008：数据库不存在,删除数据库失败 1009：不能删除数据库文件导致删除数据库失败 1010：不能删除数据目录导致删除数据库失败 1011：删除数据库文件失败 1012：不能读取系统表中的记录 1020：记录已被其他用户修改 1021：硬盘剩余空间不足，请加大硬盘可用空间 1022：关键字重复，更改记录失败 1023：关闭时发生错误 1024：读文件错误 1025：更改名字时发生错误 1026：写文件错误 1032：记录不存在 1036：数据表是只读的，不能对它进行修改 1037：系统内存不足，请重启数据库或重启服务器 1038：用于排序的内存不足，请增大排序缓冲区 1040：已到达数据库的最大连接数，请加大数据库可用连接数 1041：系统内存不足 1042：无效的主机名 1043：无效连接 1044：当前用户没有访问数据库的权限 1045：不能连接数据库，用户名或密码错误 1048：字段不能为空 1049：数据库不存在 1050：数据表已存在 1051：数据表不存在 1054：字段不存在 1065：无效的SQL语句，SQL语句为空 1081：不能建立Socket连接 1114：数据表已满，不能容纳任何记录 1116：打开的数据表太多 1129