数据库分区

第一章：1. 网络连接的方式一共有几种?2计算技术的使用为什么可能会导致安全隐患的增加？ 第二章：1.不同进制之间能随意转化吗？如果可以，该如何转化？2.为什么二进制是计算机硬件主要采用的运算系统？ 第三章：1.什么情况下运用有损压缩？2为什么所有类型的数据都必须表现为二进制形式？ 第四章：1.门的电路构造是什么？2.一个门可以接收输出多少信号？ 第五章：1.触摸屏是如何知道触摸屏幕的位置的？2.为什么存储在ROM中的值不可更改？ 第六章：1.伪代码和伪操作的区别是什么？累加器和一般的区别在什么地方？ 第七章：1.如何提高算法编写正确率？2.三种复合数据结构机制是什么？ 第八章：1.列表能是树吗？2.栈的作用是什么？ 第九章：1.自项向下设计与面向世界设计的区别是什么？2.程序设计语言的范型除了命令示范型和声明式范型外还有没有其他范型？ 第十章：1.逻辑地址和物理地址之间的区别和联系是什么？2.固定分区法和动态分区法分别在什么情况下使用？ 第十一章：1.文本文件和二进制文件的区别是什么?2.顺序文件访问和直接文件访问各有什么好处？ 第十二章:1.ER图中，关系连接线连接的是什么？2.电子商务在当今社会的角色是什么 ？在以后的角色会是什么？ 第十三章：1.语义网中应该如何表示知识？2.数据库模式是什么意思？ 第十四章：1.连续事件模拟和离散事件模拟的区别是什么？2

ALTER DATABASE [数据库名称] SET READ_COMMITTED_SNAPSHOT ON; SQL Server 死锁处理和优化心得 1，将数据库隔离级别改成行版本控制隔离级别。 （没有了共享锁死锁） 2，重建和优化索引，优化SQL语句和采用分区视图等方法。提高访问速度。 （减少了锁定时间） 3，水平拆分表（分区）并在程序读写时尽量做到分区消除，减少读写的行数，降低锁定升级的频率和时间。 (减少锁的升级) SET TRANSACTION ISOLATION LEVEL READ uncommitted GO DBCC Useroptions read committed 来源： oschina 链接： https://my.oschina.net/u/187935/blog/194144

一. 引言 Hadoop生态中的NoSQL数据分析三剑客Hive、HBase、Impala分别在海量批处理分析、大数据列式存储、实时交互式分析各有所长。尤其是Impala，自从加入Hadoop大家庭以来，凭借其各个特点鲜明的优点博取了广大大数据分析人员的欢心。 Impala 通过主节点生成执行计划树并分发执行计划至各节点并行执行的拉式获取数据的工作方式，替代了Hadoop中传统的MapReduce推式获取数据的工作方 式，计算的中间结果不写入磁盘，及时通过网络以stream的方式传递，交互性和实时性更强；Impala不花费额外的精力管理元数据，而是使用Hive 的Metastore进行元数据管理，能够直接访问存储在Hadoop的HDFS和HBase中的PB级大数据；Impala采用块的方式将元数据加载到 内存进行运算，相比Hive、HBase而言运算性能有了较大的提升；Impala提供SQL语义，相比HBase对于用户而言使用方便快捷并且简单实 用，无需其他编程语言，只需使用SQL语句即可完成复杂的数据分析任务；Impala还继承了Hadoop的灵活性、伸缩性和经济性，具有分布式本地化处 理的特性以避免网络瓶颈。 说了Impala这么多优点，难道它真是一点缺点没有的一款“完美”的分析工具吗？ 非也！在一年以上的Impala海量数据分析、web应用开发实战经验中

简述 分区是指根据一定的虽则，数据库将表分解为多个更小的，更容易管理的部分，就访问数据库而言，逻辑上只有一张表或一个索引，但实际上这张表可能又多个物理分区共同构成，每一个分区都是一个独立的对象，可以独自处理，也可以作为表的一部分进行处理，分区对应用来说是完全透明的，不影响应用的业务逻辑。 MySQL采用分区的优点： 1.和单个磁盘或单个文件系统比较，可以 存储更多的数据 。 2. 优化查询 ，采用‘分而治之’的思想，例如在 where 子句中包含分区条件时，可以只扫描必要的一个或几个分区，避免全表扫描带来的性能缺失。此外，在使用 SUM 和 COUNT 等聚合函数时，可以采用归并的思想，只需汇总每一个分区的查询结果来提高效率。 3.对于过期或垃圾数据的清除，可以通过删除特定分区来减少查询。 特别注意: 1.大部分存储引擎( InnoDB , MyISAM , Memory 等)均支持分区， MERGE 和 CSV 不支持分区； 2.可以使用 SHOW VARIABLES LIKE '%partition%' (版本在5.6以下，5.6以上使用 SHOW PLUGINS )来查看当前版本的MySQL是否支持分区； 3.同一个分区表必须使用同一个存储引擎，但是对同一个MySQL服务器中，同一个数据库中对不同分区表使用不同的存储引擎； 4.MySQL分区适用于一个表的所有数据和索引

1. 数据库设计和表创建时就要考虑性能 2.sql 的编写需要注意优化 4. 分区 4. 分表 5. 分库 数据库设计和表创建时就要考虑性能 设计表时要注意： 表字段避免null值出现，null值很难查询优化且占用额外的索引空间，推荐默认数字0代替null。 尽量使用INT而非BIGINT，如果非负则加上UNSIGNED（这样数值容量会扩大一倍），当然能使用TINYINT、SMALLINT、MEDIUM_INT更好。 使用枚举或整数代替字符串类型 尽量使用TIMESTAMP而非DATETIME 单表不要有太多字段，建议在20以内 用整型来存IP 索引 索引并不是越多越好，要根据查询有针对性的创建，考虑在WHERE和ORDER BY命令上涉及的列建立索引，可根据EXPLAIN来查看是否用了索引还是全表扫描 应尽量避免在WHERE子句中对字段进行NULL值判断，否则将导致引擎放弃使用索引而进行全表扫描 值分布很稀少的字段不适合建索引，例如"性别"这种只有两三个值的字段 字符字段只建前缀索引 字符字段最好不要做主键 不用外键，由程序保证约束 尽量不用UNIQUE，由程序保证约束 使用多列索引时主意顺序和查询条件保持一致，同时删除不必要的单列索引 简言之就是使用合适的数据类型，选择合适的索引 # 选择合适的数据类型 （ 1 ）使用可存下数据的最小的数据类型，整型 < date,time <

ORACLE 表、索引和分区 一、数据库表 每种类型的表都有不同的特性，分别应用与不同的领域 • 堆组织表 • 聚簇表 ( 共三种 ) • 索引组织表 • 嵌套表 • 临时表 • 外部表和对象表 1. 行迁移 • 建表过程中可以指定以下两个参数： • PCTFREE ：自由空间，默认值 10 • PCTUSED （只适用于 MSSM ）：默认值 40 • 设置这两个参数很重要： • 一方面避免迁移过多的行，影响性能 • 一方面避免浪费太多的空间 • 当自由空间存不下更新后的某一行时，这一行将会发生行迁移，在两个块上存储这一行数据，如下图： 2. 堆组织表 • 基本上我们使用的表都是堆组织表（ heap organized table ），堆是无序的数据结构，数据的存取都是随机的，想要排序必须使用 order by 子句 • 对于 ASSM 有三个重要的选项： • PCTFREE • INITRANS ：默认值 2 ，高并发会设置更大一些 • COMPRESS/NOCOMPRESS ：启用 / 禁用压缩 3. 索引组织表（ IOT ） • 以索引结构存储的表 • 使用场景： • 信息检索 • 空间数据 • OLAP 应用 • 创建，使用 organization index 子句： create table tbl( name varchar2(20), age int )

转自： https://blog.csdn.net/ransom0512/article/details/50440316 http://www.360doc.com/content/16/0712/11/9200790_574921580.shtml https://www.cnblogs.com/kkyycom/p/9359090.html VoltDB数据库是一个分布式，可扩展，shared-nothing的内存数据库。使用JAVA 写的存储过程来定义事务。使用标准SQL访问数据，使用并行的单线程处理方式确保数据一致性，同时避免了传统数据库的锁，插销，资源管理开销。 VoltDB具有如下特点： 高吞吐量：百万次每秒 横向拓展：可以根据需求自由拓展，性能线性增长。 高可用性：数据支持副本、也可以持久化保存、除此之外，还支持双活机制。 实时数据分析：数据实时性高，因为都是内存计算。 完整ACID支持，保证事务性和可靠性。 VoltDB的设计动机来源于内存成本的大幅下降，系统对于数据的时效性要求越来越高，而传统数据库由于数据在本地文件保存，所以不论并发还是处理速度，都难以满足要求。而新型的NoSQL数据库，又缺乏SQL支持以及完整的ACID的支持，完全无法提单传统数据库。 VoltDB、NoSQL和传统关系型数据库的对比如下所示： 适用场景 VoltDB适合OLTP系统

1、建库 create database mydb; create database if no exists mydb; create database if no exists mydb location "/aa/bb"; 2、查询数据库 查询库列表：show databases; 查询库详细信息：desc database [extended] mydb; 查询建库的详细信息：show create database mydb; 3、删除数据库 drop database mydb; drop database if exists mydb; drop database if exists mydb [restrict|cascade]; 4、先进入我们要操作的数据库/切换库 use mydb; 5、查看数据库里面的表 show tables; show tables in mydb; 6、添加表 创建内部表（Managered_Table） create table mingxing_mng(id int, name string, sex string, age int, department string) row format delimited fields terminated by ','; show create table mingxing; 创建外部表

一．为什么要用集群 redis3.0 集群采用 P2P 模式，完全去中心化，将 redis 所有的 key 分成了 16384 个槽位，每个 redis 实例负责一部分 slot ，集群中的所有信息通过节点数据交换而更新。 redis 实例集群主要思想是 将 redis 数据的 key 进行散列，通过 hash 函数特定的 key 会映射到指定的 redis 节点上 二． 数据分布理论 分布式数据库首要解决把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每个节点负责整个数据的一个子集。 常见的分区规则有哈希分区和顺序分区。 Redis Cluster 采用哈希分区规则，因此接下来会讨论哈希分区规则。 (1) 节点取余分区 (2) 一致性哈希分区 (3) 虚拟槽分区 (redis-cluster 采用的方式) 顺序分布 那么同样的分 4个节点就是hash(key)%4 节点取余的优点是简单，客户端分片直接是哈希 +取余 一致性哈希 客户端进行分片，哈希 +顺时针取余 三． redis 虚拟槽分区 Redis Cluster 采用虚拟槽分区 虚拟槽分区巧妙地使用了哈希空间，使用分散度良好的哈希函数把所有的数据映射到一个固定范围内的整数集合，整数定义为槽（ slot ）。 Redis Cluster 槽的范围是 0 ～ 16383 。

优化器统计范围： 表统计； --行数，块数，行平均长度；all_tables：NUM_ROWS，BLOCKS，AVG_ROW_LEN； 列统计； --列中唯一值的数量（NDV），NULL值的数量，数据分布； --DBA_TAB_COLUMNS：NUM_DISTINCT，NUM_NULLS，HISTOGRAM； 索引统计；--叶块数量，等级，聚簇因子； --DBA_INDEXES：LEAF_BLOCKS，CLUSTERING_FACTOR，BLEVEL； 系统统计；--I/O性能与使用率； --CPU性能与使用率； --存储在aux_stats$中，需要使用dbms_stats收集，I/O统计在X$KCFIO中； ------------- analyze ------------- 需要使用ANALYZE统计的统计： 使用LIST CHAINED ROWS和VALIDATE子句； 收集空闲列表块的统计； Analyze table tablename compute statistics; Analyze index|cluster indexname estimate statistics; ANALYZE TABLE tablename COMPUTE STATISTICS FOR TABLE FOR ALL [LOCAL] INDEXES FOR ALL [INDEXED]