数据库分区

主分区 ：总共最多只能分四个 扩展分区 ：只能有一个，也算作主分区的一种，也就是说主分区加扩展分区最多有四个。但是扩展分区不能存储数据和格式化，必须再划分成逻辑分区才能使用。 逻辑分区 ：逻辑分区是在扩展分区中划分的，如果是IDE硬盘，Linux最多支持59个逻辑分区，如果是SCSI硬盘Linux最多支持11个逻辑分区。 分区的设备文件名 主分区1/dev/sda1 扩展分区/dev/sda2 逻辑分区1/dev/sda5 逻辑分区2/dev/sda6 逻辑分区3/dev/sda7 VMware虚拟机 官方网站 ：http：//www.vmware.com 注意： 给虚拟机分配的内存不能超过真实内存的一半 克隆机删掉不影响原始机，原始机删掉后克隆机不能使用。 Ctrl+Alt切出鼠标 拓展分区不能直接写入数据，不能格式化 1.2.3.4四个号只能给主分区使用 格式化的主要目的是写入文件系统 word在分区格式化后可直接分配盘服 Linux在格式化后必须要建设设备文件名 挂载点必须是目录，而且必须是空目录 分区文件名：在硬盘文件名后直接加分区号 Linux命令 ======================关机重启与用户管理命令=========================== shutdown -h now || [指定时间] 、poweroff 、init 0 ->关机命令

堆组织表，索引组织表和索引聚簇表 https://www.cnblogs.com/youngerger/p/8446399.html --- 堆组织表就不说了，其索引中记录了记录所在位置的rowid，查找的时候先找索引，然后再根据索引rowid找到块中的行数据 索引组织表，其行数据以索引形式存放，因此找到索引，就等于找到了行数据。 -- 堆组织表的数据是散放的，索引和表的数据是分离的 索引组织表的索引和数据是在一起的 -- 堆组织表的存储速度因为不用考虑排序, 所以存储速度会比较快. 但是要查找符合某个条件的记录, 就必须得读取全部的记录以便筛选. 而这个时候为了加快查询速度, 索引就出现了, 索引是针对少量特定字段的值拿出来进行排序存储, 并记录在表中的位置, 而因为索引是有序的, 所以就会很容易通过索引查询到具体的记录位置, 然后再根据记录位置直接从表中读取该记录. 同时因为索引的字段较少, 所以索引通常会比其基表小得多. 从上面通过索引访问表记录的方式可以看出, 当要访问的数据量较大时, 通过每一条记录的位置去访问原始记录, 每一条符合条件的记录都需要经过索引访问后再访问基表这样一个复杂的过程, 这会花费很多时间, 同样, 如果不经过索引而直接查询表, 也可能因为表字段太多, 记录较大的情况下把全部的数据读取进来, 这也会花费很多时间. 那怎么办呢? 这个时候就会想到,

Hive看上去很像关系型数据库。不过，Hive实现和使用的方式和传统的关系型数据库非常不同。Hive是反模式的。 本文将重点介绍Hive中哪些模式是用户应该使用的，儿哪些是应该避免的 一、按天划分的表 这种每天一张表的方式在数据库领域是反模式的一种方式，但因为实际情况下，数据集增长的很快，这种方式应用还是比较广泛的。 对于Hive，这种情况下应该使用分区表。 Hive通过where子句中的表达式来选择查询所需的指定的分区。这样的产需效率高，而且看起来清晰明了。 二、关于分区 Hive中分区的功能非常有用的。这是因为Hive通常要对输入进行全盘扫描，来满足查询条件。通过创建很多分区确实可以优化一些铲鲟，但是同时可能会对其他一些重要的查询不利： HDFS用于设计存储数百万的大文件，而非数十亿的小文件。使用过多分区可能导致的一个问题就是创建大量的非必须的Hadoop文件和文件夹。一个分区就对应着一个包含多个文件的文件夹。如果指定的表存在数百个分区吗，那么可能每天都会创建好几万个文件。如果保持这样的表很多年，那么最终就会超出NameNode对系统云数据信息的 来源： https://www.cnblogs.com/xibuhaohao/p/11847930.html

一、为什么要做分区表？ 当数据量非常大，比如几百GB或是到T的时候。那查询的速度可想而知，Oracle提供了对表和索引进行分区的技术，以改善大型应用系统的性能。 使用分区的优点： 　　·增强可用性：如果表的某个分区出现故障，表在其他分区的数据仍然可用； 　　·维护方便：如果表的某个分区出现故障，需要修复数据，只修复该分区即可； 　　·均衡I/O：可以把不同的分区映射到磁盘以平衡I/O，改善整个系统性能； 　　·改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索速度。 　　Oracle数据库提供对表或索引的分区方法有三种： 　　·范围分区 　　·Hash分区（散列分区） 　　·复合分区 二、下边分别对三种分区方法作操作 为了方便，先建立三个表空间 create tablespace test1 datafile 'd:/分区test/test1.dnf' size 50M; create tablespace test2 datafile 'd:/分区test/test2.dnf' size 50M; create tablespace test3 datafile 'd:/分区test/test3.dnf' size 50M; 1.范围分区 1.1根据序号进行分区建表 SQL> create table fenqutest( 2 id number, 3 name

limit 限制调整 -- 因为使用 limit 语句时候，是先执行整个查询语句，然后再返回部分结果的 set hive.limit.optimize.enable=true; set hive.limit.row.max.size=10000; set hive.limit.optimize.limit.file=10; 2.JOIN 优化 。。。 3. 本地模式 --hive 尝试使用本地模式执行查询，要不然 hive 会使用 MapReduce 来执行其他所有的查询 set hive.exec.mode.local.auto=true; 4. 并行执行 set hive.exec.parallel=true; 5. 严格模式 -- 对分区表进行查询，在 where 子句中没有加分区过滤的话，将禁止提交任务 ( 默认： nonstrict) set hive.mapred.mode=strict; 注：使用严格模式可以禁止 3 种类型的查询： （ 1 ）对于分区表，不加分区字段过滤条件，不能执行 （ 2 ）对于 order by 语句，必须使用 limit 语句。 （ 3 ）限制笛卡尔积的查询（ join 的时候不使用 on ，而使用 where 的）。 6. 调整 mapper 和 reducer 个数 set hive.exec.reducers.max=( 集群总

分区操作 Hive 的分区通过在创建表时启动 PARTITION BY 实现，用来分区的维度并不是实际数据的某一列，具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用 WHERE 语句， 例如使用 “WHERE tablename.partition_key>a” 创建含分区的表。创建分区语法如下。 CREATE TABLE table_name(...)PARTITION BY (dt STRING,country STRING) 1、 创建分区 Hive 中创建分区表没有什么复杂的分区类型（范围分区、列表分区、hash 分区，混合分区等）。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说，在表的数据文件中实际并不保存分区列的信息与数据。 创建一个简单的分区表。 hive> create table partition_test(member_id string,name string) partitioned by (stat_date string,province string) row format delimited fields terminated by ','; 这个例子中创建了 stat_date 和 province 两个字段作为分区列。通常情况下需要预先创建好分区，然后才能使用该分区。例如： hive> alter

Brooklin 是一种近实时的大规模数据流分布式服务，LinkedIn 自 2016 年以来一直在使用这项服务，支撑每天数千个数据流和超过 2 万亿条消息。 为什么要开发 Brooklin？ 由于对可扩展、低延迟数据处理管道的需求不断在增长，LinkedIn 的数据基础设施也一直在不断演化。以一种可信赖的方式高速传输大量数据并非易事，除此之外，他们还要解决其他问题——为快速增长的数据存储类型和消息系统提供支持同样是一个有待解决的大问题。为此，LinkedIn 开发了 Brooklin，满足了他们对在数据量和系统可变性方面具备伸缩能力的系统的需求。 什么是 Brooklin？ Brooklin 是一个分布式系统，旨在将数据以可靠的方式大规模传输至多个不同的数据存储系统和消息系统。它公开了一组抽象概念，通过编写新的 Brooklin 消费者和生产者来扩展其支持新系统消费和生产数据的能力。在 LinkedIn，Brooklin 被用来将数据传输至多个数据存储系统（如 Espresso 和 Oracle）和消息系统（如 Kafka、Azure Event Hubs 和 AWS Kinesis）。 应用场景 Brooklin 有两大类应用场景：数据传输桥和变更数据捕获（Change Data Capture，CDC）。 数据传输桥 数据可以分布在不同的环境（公有云及公司的数据中心）

为什么要分表和分区？ 日常开发中我们经常会遇到大表的情况，所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大，导致 数据库 在查询和插入的时候耗时太长，性能低下，如果涉及联合查询的情况，性能会更加糟糕。分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通常点来讲就是提高表的增删改查效率。 什么是分表？ 分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表，我们可以称为子表，每个表都对应三个文件，MYD数据文件，.MYI索引文件，.frm表结构文件。这些子表可以分布在同一块磁盘上，也可以在不同的机器上。app读写的时候根据事先定义好的规则得到对应的子表名，然后去操作它。 什么是分区？ 分区和分表相似，都是按照规则分解表。不同在于分表将大表分解为若干个独立的实体表，而分区是将数据分段划分在多个位置存放，可以是同一块磁盘也可以在不同的机器。分区后，表面上还是一张表，但数据散列到多个位置了。app读写的时候操作的还是大表名字，db自动去组织分区的数据。 mysql 分表和分区有什么联系呢？ 1.都能提高mysql的性高，在高并发状态下都有一个良好的表现。 2.分表和分区不矛盾，可以相互配合的，对于那些大访问量，并且表数据比较多的表，我们可以采取分表和分区结合的方式（如果merge这种分表方式，不能和分区配合的话，可以用其他的分表试），访问量不大

下文中的部分例子来源于《hive学习指南》和易百教程，但是总结大部分是自己写的。 hive　官方文档： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterTableProperties 易百教程： https://www.yiibai.com/hive hive 学习笔记： 一、基础 1. 数据类型： 类型 解释 tinyint 1 byte 整数 smallint 2 int 4 bigint 8 byte boolean boolean float 单精度浮点数 double 双进度浮点数 timestamp 整数、浮点数或字符串 binary 字节数组 string 字符串 decimal 集合 ： 数据类型 描述 语法示例 struct C里的结构体，类似与class， 可以用. 访问元素 struct('a', 'b', 'c')/ DDL: struct<street:string, city:string, zip:int> map k-v集合，可以用[key]访问元素 map('firt':'join', 'last':'kobe') / DDL : map<string, float> array 数组[a, b] ,可以i用 d[0

数据库（分库分表）中间件对比 https://www.cnblogs.com/cangqiongbingchen/p/7094822.html 基本概念：分区，分片，分表，分库 分区：对业务透明，分区只不过把存放数据的文件分成了许多小块，例如mysql中的一张表对应三个文件.MYD,MYI,frm。 根据一定的规则把数据文件(MYD)和索引文件（MYI）进行了分割，分区后的表呢，还是一张表。分区可以把表分到不同的硬盘上，但不能分配到不同服务器上。 优点：数据不存在多个副本，不必进行数据复制，性能更高。 缺点：分区策略必须经过充分考虑，避免多个分区之间的数据存在关联关系，每个分区都是单点，如果某个分区宕机，就会影响到系统的使用。 分片：对业务透明，在物理实现上分成多个服务器，不同的分片在不同服务器上 个人感觉跟分库没啥区别，只是叫法不一样而已，值得一提的是关系型数据库和nosql数据库分片的概念以及处理方式是一样的吗？ 请各位看官自行查找相关资料予以解答 分表：当数据量大到一定程度的时候，都会导致处理性能的不足，这个时候就没有办法了，只能进行分表处理。也就是把数据库当中数据根据按照分库原则分到多个数据表当中， 这样，就可以把大表变成多个小表，不同的分表中数据不重复，从而提高处理效率。 分表也有两种方案： 1. 同库分表：所有的分表都在一个数据库中，由于数据库中表名不能重复