数据库分区

2019年11月26日 一、 Linux的特点 技术成熟，可靠性高 极强的可伸缩性 强大的网络功能 支持部署很多数据库程序 强大的开发功能 二、 Linux发展历史 三、 Linux版本 乌班图 红帽 centos debian suse Fedora 四、 装系统 修改网卡名称 net.ifnames=0 biosdevname=0 系统网络和主机名称配置 10.0.0.200/24 10.0.0.254 分区 分区方法一: 通用分区方法: boot 系统盘 256M 操作系统的内核及在引导过程中使用的文件 swap 交换分区 1.5倍内存（8G及以上给8G）（学习给768） 根分区 剩余空间 相当于Windows的C盘 分区方法二: 数据重要分区方法: /boot分区 类似系统分区, 启动分区 200M swap分区 交换分区(硬盘空间 - 交换 -> 内存使用) 内存 <8G swap分区大小 = 1.5内存 内存>=8G swap分区大小 = 8G /分区 20G~500G /data 剩余空间 分区方式三: 灵活分区方案 /boot分区 类似系统分区, 启动分区 200M swap分区 交换分区(硬盘空间 - 交换 -> 内存使用) 内存 <8G swap分区大小 = 1.5内存 内存>=8G swap分区大小 = 8G /分区 20G~500G 40G 剩余空间不分

在弄清楚这个问题之前，我们先了解一下什么是分布式的CAP定理。 根据百度百科的定义，CAP定理又称CAP原则，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），最多只能同时三个特性中的两个，三者不可兼得。 一、CAP的定义 Consistency (一致性)： “all nodes see the same data at the same time”,即更新操作成功并返回客户端后，所有节点在同一时间的数据完全一致，这就是分布式的一致性。一致性的问题在并发系统中不可避免，对于客户端来说，一致性指的是并发访问时更新过的数据如何获取的问题。从服务端来看，则是更新如何复制分布到整个系统，以保证数据最终一致。 Availability (可用性): 可用性指“Reads and writes always succeed”，即服务一直可用，而且是正常响应时间。好的可用性主要是指系统能够很好的为用户服务，不出现用户操作失败或者访问超时等用户体验不好的情况。 Partition Tolerance (分区容错性): 即分布式系统在遇到某节点或网络分区故障的时候，仍然能够对外提供满足一致性和可用性的服务。 分区容错性要求能够使应用虽然是一个分布式系统，而看上去却好像是在一个可以运转正常的整体

oracle表分区详解 从以下几个方面来整理关于分区表的概念及操作: 表空间及分区表的概念 表分区的具体作用 表分区的优缺点 表分区的几种类型及操作方法 对表分区的维护性操作 1.表空间及分区表的概念 表空间： 　　是一个或多个数据文件的集合，所有的数据对象都存放在指定的表空间中，但主要存放的是表， 所以称作表空间。 分区表： 当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据在物理上存放到多个表空间(物理文件上)，这样查询数据时，不至于每次都扫描整张表。 2.表分区的具体作用 Oracle的表分区功能通过改善可管理性、性能和可用性，从而为各式应用程序带来了极大的好处。通常，分区可以使某些查询以及维护操作的性能大大提高。此外,分区还可以极大简化常见的管理任务，分区是构建千兆字节数据系统或超高可用性系统的关键工具。 分区功能能够将表、索引或索引组织表进一步细分为段，这些数据库对象的段叫做分区。每个分区有自己的名称，还可以选择自己的存储特性。从数据库 管理员的角度来看，一个分区后的对象具有多个段，这些段既可进行集体管理，也可单独管理，这就使数据库管理员在管理分区后的对象时有相当大的灵活性。但 是，从应用程序的角度来看，分区后的表与非分区表完全相同，使用 SQL DML

1，虚拟机上安装Centos7.6 本人是选择阿里云下载的Centos7.6 链接镜像地址： https://mirrors.aliyun.com/centos/ 之后下的DVD版本有很多坑如何避免在本位末有描述。 一台虚拟的PC，但还没有安装linux操作系统。这里，我们继续来讲解如何给虚拟机安装linux的CentOS版本的系统。 点击VMware的虚拟机界面，选择我们创建好的虚拟机CentOS7.6，然后双击虚拟机中模拟的光驱设备。如下图： 更改光驱设置，使用ISO映像文件来安装linux系统。 开启该虚拟机，相当于打开电脑的电源启动电脑。 开启虚拟机的同时，按 Ctrl+G 键或在虚拟机内部单击，可使输入定向到虚拟机，然后迅速按F2键，可以打开linux系统的BIOS界面。因为我们这里是用光盘安装linux操作系统，BIOS默认的第一启动项是硬盘启动。如果你是在真实机中通过光盘安装linux操作系统，就需要在安装时，更改光盘启动为第一启动项，系统安装完成后，再把硬盘启动改回第一启动项。但是，在虚拟机中安装linux操作系统，则无需更改BIOS的启动项设置，虚拟机会自动进行识别和调整。因此，这里我们不用管这一步。 开启虚拟机后，迅速将虚拟机的光盘设置，改为下面的设置，即勾选“已连接”和“启动时连接”，如下图： 如果光盘镜像文件被正确加载和识别的话，就会出现下面的光盘启动界面

Kafka 基本概述 什么是 Kafka Kafka 是一个分布式流式平台，它有三个关键能力 订阅发布记录流，它类似于企业中的 消息队列 或 企业消息传递系统 以容错的方式存储记录流 实时记录流 Kafka 的应用 作为消息系统 作为存储系统 作为流处理器 Kafka 可以建立流数据管道，可靠性的在系统或应用之间获取数据。 建立流式应用传输和响应数据。 Kafka 作为消息系统 Kafka 作为消息系统，它有三个基本组件 Producer : 发布消息的客户端 Broker：一个从生产者接受并存储消息的客户端 Consumer : 消费者从 Broker 中读取消息 在大型系统中，会需要和很多子系统做交互，也需要消息传递，在诸如此类系统中，你会找到源系统（消息发送方）和 目的系统（消息接收方）。为了在这样的消息系统中传输数据，你需要有合适的数据管道 这种数据的交互看起来就很混乱，如果我们使用消息传递系统，那么系统就会变得更加简单和整洁 Kafka 运行在一个或多个数据中心的服务器上作为集群运行 Kafka 集群存储消息记录的目录被称为 topics 每一条消息记录包含三个要素： 键（key）、值（value）、时间戳（Timestamp） 核心 API Kafka 有四个核心API，它们分别是 Producer API，它允许应用程序向一个或多个 topics 上发送消息记录

数据库压缩开始 --1、最开始先执行数据的导出和删除 --2、执行下面语句查看空间压缩情况 select a.file#, a.name, a.bytes / 1024 / 1024 CurrentMB, ceil(HWM * a.block_size) / 1024 / 1024 ResizeTo, (a.bytes - HWM * a.block_size) / 1024 / 1024 ReleaseMB, 'alter database datafile ''' || a.name || ''' resize ' || ceil(HWM * a.block_size / 1024 / 1024) || 'M;' ResizeCMD from v$datafile a, (select file_id, max(block_id + blocks - 1) HWM from dba_extents group by file_id) b where a.file# = b.file_id(+) and (a.bytes - HWM * block_size) > 0 and a.NAME like '%TBS_PART_01%' --根据月份修改数值，当前情况是月份，二月份修改为 and a.NAME like '%TBS_PART_02%' order by 2; --3

1. Hbase与hive的对比 A. Hive（数据仓库） ：Hive的本质其实就相当于将HDFS中已经存储的文件在mysql中做了一个双射关系，以便使用HSQL查询。hive适用于离线数据的分析和清洗，延迟较高。hive基于hdfs和mapreduce。 B. HBase（数据库） ：列式存储的非关系型数据库，用于存储结构化和半结构化的数据，不适合关联查询，基于hdfs，数据的持久化存储的体现形式是Hfile，存放于DataNode中。延迟较低。 总结 ：Hive和HBase是两种基于hadoop的不同技术，hive是一种类sql查询引擎，并且运行mapreduce任务，Hbase是在hadoop之上的nosql的key-value数据库。这两种工具可以同时使用，hive用来统计查询，hbase用来实时查询。两者之间数据可以互相写入。 2. HBase和Hive整合 A. hive的结果导入HBase中 --创建Hive表 create external table if not exists course.score(id int,cname string,score int) row format delimited fields terminated by '\t' stored as textfile ; --数据内容 1 zhangsan 80 2 lisi 60 3

Kafka 入门 什么是 Kafka kafka最初是 LinkedIn 的一个内部基础设施系统。最初开发的起因是， LinkedIn虽然有了数据库和其他系统可以用来存储数据，但是缺乏一个可以帮助处理持续数据流的组件。所以在设计理念上，开发者不想只是开发一个能够存储数据的系统，如关系数据库、Nosql 数据库、搜索引擎等等，更希望把数据看成一个持续变化和不断增长的流，并基于这样的想法构建出一个数据系统，一个数据架构。 Kafka外在表现很像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异， 首先，Kafka 是个现代分布式系统，以集群的方式运行，可以自由伸缩。 其次，Kafka 可以按照要求存储数据，保存多久都可以， 第三，流式处理将数据处理的层次提示到了新高度，消息系统只会传递数据，Kafka 的流式处理能力可以让我们用很少的代码就能动态地处理派生流和数据集。所以 Kafka 不仅仅是个消息中间件。 Kafka不仅仅是一个消息中间件，同时它是一个流平台，这个平台上可以发布和订阅数据流（Kafka 的流，有一个单独的包 Stream 的处理），并把他们保存起来，进行处理，这个是 Kafka作者的设计理念。 大数据领域，Kafka 还可以看成实时版的 Hadoop，但是还是有些区别，Hadoop 可以存储和定期处理大量的数据文件，往往以 TB 计数，而

BoneCP 一、BoneCP配置文件格式(bonecp-config.xml)： <?xml version="1.0" encoding="UTF-8"?> < bonecp-config > < default-config > <!-- --> < property name = "" > </ property > </ default-config > </ bonecp-config > 二、BoneCP主要配置参数 1.jdbcUrl 设置数据库URL 2.username 设置数据库用户名 3.password 设置数据库密码 4.partitionCount 设置分区个数。这个参数默认为1，建议3-4（根据特定应用程序而定）。 为了减少锁竞争和改善性能，从当前线程分区(thread-affinity)中获取一个connection， 也 就是这个样子：partitions[Thread.currentThread().getId() % partitionCount]。当拥有充足的短期(short-lived)的线程时候，这个参数设置越大，性能越好。当超过一定的阀值时，连接池的维 护工作就可能对性能造成一定的负面影响（仅当分区上的connection使用耗尽时）。 5.maxConnectionsPerPartition

什么是“partition-wise join”呢?我们将用一个比喻来解释它的好处。 假设两个人，Logan和Shannon，决定住在一起。如果他们每个人都已经有了自己的住所，他们就会拥有很多你在任何家庭都能找到的普通物品。所以他们要做一个决定——是每样东西都保留两件，还是对它们的共同点进行“筛选”。在这个假想的场景中，我们将关注浴室和厨房中的家庭用品。Logan拿起一套厨刀和一个刀板，打电话问Shannon:“嘿，Shannon，你已经有一个刀架了吗?” 你觉得Shannon会怎么做?在整栋房子里找一个现有的刀板?当然不是。如果有刀板，那么它唯一的位置就是厨房。事实上，当Shannon和Logan在整所房子里匹配物品时，他们会把调查范围限制在对有问题的物品有意义的房间里。这是常识——为什么会有人在浴室里找(比如说)叉子和勺子呢?那只是白费力气。(编者注:任何有小孩的人当然会对这个比喻提出异议，他们会非常正确地指出，你可能在每个房间里都能找到所有可能的家居用品，可能在外面也能找到，但为了讨论的方便，我们将省略这种可能性) 这正是Partition-Wise Join使我们能够在数据库中做到的。如果两个表分区具有相同的定义,我们在分区键上进行join,那么定义保证对于表中位于分区P、分区键为k的行，我们只需要在要连接的表中的相同的分区中找对应的行(相同是基于分区定义的)