sql优化

1 索引的常见模型 1.1 哈希表 哈希表是一种以键-值（key-value)存储数据的结构，只要输入待查找的键key, 就可以找到对应的值value。 哈希表适用于做等值查询（即查找的key值在表中有对应），但是哈希索引做区间查询的速度是很慢的 1.2 有序数组 查找数据的时间复杂度是O(log(N))。仅看查询效率，有序数组是一种非常好的数据结构，但是更新数据比较慢，因为要做数据的挪动工作。所以，有序数据只适用于静态存储引擎。 1.3 N叉搜索树 多叉树就是每个结点有多个儿子，儿子之间的大小保证从左到右递增。二叉搜索树效率是最高的，但是实际大多数的数据库存储并不使用二叉树，原因是，索引不止存在内存中，还要写到磁盘上。为了尽量少地读磁盘，一般使用N叉树。N取决于数据块的大小。 2 InnoDB的索引模型 2.1主键索引与非主键索引 在InnoDB中，表都是根据主键顺序以索引的形式存放的，这种存储方式称为索引组织表。InnoDB使用B+树索引模型，所以数据都是存储在B+树中的。 索引类型分为 主键索引 和 非主键索引 。 主键索引 的叶子结点是整行数据。在InnoDB中，主键索引也被称为聚簇索引（clustered index）。 非主键索引 的叶子结点是主键的值。在InnoDB中，非主键索引也被称为二级索引。 2.2 索引维护 自增主键是指自增列上定义的主键，在建表语句中一般是

有一张财务流水表，未分库分表，目前的数据量为9555695，分页查询使用到了limit，优化之前的查询耗时 16 s 938 ms (execution: 16 s 831 ms, fetching: 107 ms)，按照下文的方式调整SQL后，耗时 347 ms (execution: 163 ms, fetching: 184 ms)； 操作： 查询条件放到子查询中，子查询只查主键ID，然后使用子查询中确定的主键关联查询其他的属性字段； 原理： 减少回表操作； -- 优化前SQL SELECT 各种字段 FROM `table_name` WHERE 各种条件 LIMIT 0,10; -- 优化后SQL SELECT 各种字段 FROM `table_name` main_tale RIGHT JOIN ( SELECT 子查询只查主键 FROM `table_name` WHERE 各种条件 LIMIT 0,10; ) temp_table ON temp_table.主键 = main_table.主键 找到的原理分析：MySQL 用 limit 为什么会影响性能？ 一，前言 首先说明一下MySQL的版本： mysql> select version(); +-----------+ | version() | +-----------+ | 5.7.17 | +-----

一、为什么需要分布式数据据库 随着计算机和信息技术的迅猛发展，行业应用系统的规模迅速扩大，行业应用所产生的数据量呈爆炸式增长，动辄达到数百TB甚至数百PB的规模，已远远超出传统计算技术和信息系统的处理能力，集中式数据库面对大规模数据处理逐渐表现出其局限性。因此，人们希望寻找一种能快速处理数据和及时响应用户访问的方法，也希望对数据进行集中分析、管理和维护。这已经成为迫切需求。 分布式数据库是在集中式数据库的基础上发展起来的，是计算机技术和网络技术结合的产物。分布式数据库是指数据在物理上分布而在逻辑上集中管理的数据库系统。物理上分布是指数据分布在物理位置不同并由网络连接的节点或站点上;逻辑上集中是指各数据库节点之间的逻辑上是一个整体，并由统一的数据库管理系统管理。不同的节点分布可以跨不同的机房、城市甚至国家。 二、分布式数据库的特点 分布式数据库具有透明性、数据冗余性、易于扩展性、自治性等特点，还具有经济、性能优越、响应速度更快、灵活的体系结构、易于集成现有系统等特点。 分布式数据库尽管有着天生的高贵血统，但它依赖调整网络，对事务的处理远没有传统数据库成熟，在很长一段时间内分布式数据存储将与传统数据存储共存。 三、MyCat数据库中间件简介 MyCat是一个彻底开源的面向企业应用开发的大数据库集群，支持事务、ACID，是可以替代MySQL的加强版数据库

===================================================================================== binlog_format参数介绍 binlog_format 在mysql 5.1 版本前，所有二进制文件的格式都是基于SQL语句级别的，在mysql 5.1 版本后引入binlog_format参数，可以设置为STATEMENT\ROW\MIXED ROW 日志中会记录成每一行数据被修改的形式，然后在 slave 端再对相同的数据进行修改。 Statement 每一条会修改数据的 SQL 都会记录到 master 的 bin-log 中。slave 在复制的时候 SQL 进程会解析成和原来 master 端执行过的相同的 SQL 再次执行。 Mixed 在 Mixed 模式下，MySQL 会根据执行的每一条具体的 SQL 语句来区分对待记录的日志形式，也就是在 statement 和 row 之间选择一种。新版本中的 statment 还是和以前一样，仅仅记录执行的语句。而新版本的 MySQL 中对 row 模式也被做了优化，并不是所有的修改都会以 row 模式来记录，比如遇到表结构变更的时候就会以 statement 模式来记录，如果 SQL 语句确实就是 update 或者 delete 等修改数据的语句

SQL调优对提高项目的性能有着至关重要的作用，介绍几种常见的SQL调优方式，仅供参考。 1. 对查询进行优化，要尽量避免全表扫描（带*号的查询），首先应考虑在 where 及 order by 涉及的列上建立索引。 2. 应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描， 如： select id from t where num is null 最好不要给数据库留NULL，尽可能的使用 NOT NULL填充数据库。 备注、描述、评论之类的可以设置为 NULL，其他的，最好不要使用NULL。不要以为 NULL 不需要空间，比如：char(100) 型，在字段建立时，空间就固定了， 不管是否插入值（NULL也包含在内），都是占用 100个字符的空间的，如果是varchar这样的变长字段， null 不占用空间。 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select id from t where num = 0 3. 应尽量避免在 where 子句中使用 != 或 <> 操作符，否则将引擎放弃使用索引而进行全表扫描。 4. 应尽量避免在 where 子句中使用 or 来连接条件， 如果一个字段有索引，一个字段没有索引，将导致引擎放弃使用索引而进行全表扫描 ， 如： select id from

一、SQL语句优化 （1）使用limit对查询结果的记录进行限定 （2）避免select *，将需要查找的字段列出来 （3）使用连接（join）来代替子查询 （4）拆分大的delete或insert语句 二、选择合适的数据类型 （1）使用可存下数据的最小的数据类型，整型 < date,time < char,varchar < blob （2）使用简单的数据类型，整型比字符处理开销更小，因为字符串的比较更复杂。如，int类型存储时间类型，bigint类型转ip函数 （3）使用合理的字段属性长度，固定长度的表会更快。使用enum、char而不是varchar （4）尽可能使用not null定义字段 （5）尽量少用text，非用不可最好分表 三、选择合适的索引列 （1）查询频繁的列，在where，group by，order by，on从句中出现的列 （2）where条件中<，<=，=，>，>=，between，in，以及like 字符串+通配符（%）出现的列 （3）长度小的列，索引字段越小越好，因为数据库的存储单位是页，一页中能存下的数据越多越好 （4）离散度大（不同的值多）的列，放在联合索引前面。查看离散度，通过统计不同的列值来实现，count越大，离散程度越高： mysql> SELECT COUNT(DISTINCT column_name) FROM table_name;

多版本并发控制 MySQL的大多数事务型存储引擎实现的都不是简单的行级锁。基于提升并发性能的考虑，它们一般都同时实现了多版本并发控制(MVCC)。不仅是MySQL，包括Oracle、PostgreSQL等其他数据库系统也都实现了MVCC，但各自的实现机制不尽相同，因为MVCC没有一个统一的实习标准。 可以认为MVCC是行级锁的一个变种，但是它在很多情况下避免了加锁操作，因此开销更低。虽然实现机制不同，但大都实现了非阻塞的读操作，写操作也只锁定了必要的行。 MVCC的实现，是通过保存数据在某个时间点的快照来实现的。也就是说，不管需要执行多长时间，每个事务看到的数据都是一致的。根据事务开始的时间不同，每个事务对同一张表，同一时刻看到的数据可能是不一样的。 前面说到不同存储引擎的MVCC实现是不同的，典型的有乐观（optimistic）并发控制和悲观（pessimistic）并发控制。下面我们通过InnoDB的简化版行为来说明MVCC是如何工作的。 InnoDB的MVVC，是通过在每行记录后面保存两个隐藏列来实现的。一个保存了行的创建时间，一个保存了行的过期时间（或删除时间）。当然存储的并不是实际的时间值，而是系统版本号（system version number）。每开启一个新的事务，系统版本号都会自动递增。事务开始时刻的系统版本号会作为当前事务的版本号

MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且改名为MyBatis 。2013年11月迁移到Github; MyBatis 是一款优秀的持久层框架，它支持定制化 SQL、存储过程以及高级映射; MyBatis 可以使用简单的 XML 或注解来配置和映射原生信息，将接口和 Java 的 POJOs(Plain Ordinary Java Object,普通的 Java对象)映射成数据库中的记录; 好处: 1. 简单易学 ：本身就很小且简单。没有任何第三方依赖，最简单安装只要两个jar文件+配置几个sql映射文件易于学习，易于使用，通过文档和源代码，可以比较完全的掌握它的设计思路和实现。 2. 灵活 ：mybatis不会对应用程序或者数据库的现有设计强加任何影响。 sql写在xml里，便于统一管理和优化。通过sql语句可以满足操作数据库的所有需求。 3. 解除sql与程序代码的耦合 ：通过提供DAO层，将业务逻辑和数据访问逻辑分离，使系统的设计更清晰，更易维护，更易单元测试。sql和代码的分离，提高了可维护性。 4. 提供映射标签，支持对象与数据库的orm字段关系映射 5. 提供对象关系映射标签，支持对象关系组建维护 6. 提供xml标签，支持编写动态sql.

致敬原文： https://www.cnblogs.com/cindy-cindy/p/6798010.html SQL的别名 1、不可以在where子句中使用列名的别名，即select name t from emp where t>2999;是不允许的 2、使用别名的好处： 提高SQL的易读性 提高SQL的解析执行效率 语法检查 语义检查 共享池检查 生成执行树 执行 3、SQL的硬解析和软解析？ SQL的执行顺序 1、from语句–where语句–group by语句–having语句–select语句–order by语句 rownum的使用 select * from emp rownum<=2 / 查找emp表的前两条记录 / select * from (select rownum t,ename from emp) m where m.t>=5 and m.t<=10 / 查询某个范围的记录，先查询出rownum并保存为临时表m，再进行查询 / where和having的区别？ where对分组前的小组内的详细信息进行过滤 having对分组后的信息进行过滤 内连接，外连接，自连接？ SQL优化（这里可以借鉴） 1、避免使用select * ，而是具体指出选择哪些列 2、SQL大小写，数据库在解析sql时，先把SQL语句转换为大写，再进行解析操作

1.登录mysql与退出mysql 登录：mysql -u账号 -p密码 -h主机地址 -P端口号 -e 执行的sql语句； //密码一般不直接写出，回车后隐藏写入 ，-h可以不写默认是localhost 退出：quit，exit ，ctrl+c 备注：参数可分为全局和会话，可修改与不可修改，全局需要加上global，例如 set global 参数 =值，会话级别只对当前会话有效， 例如set 【session】 autocommit=1；中间可以省略session，例如需要全局的话需要 set global autocommit=1；不能持久化，重启后是默认值，全局设置对已经开启了会话的不起作用，只会对以后连接的会话有效，查看可以使用show 【global/session】 【variables 】 【like pattern】 变量名 来查看。 备注：dbms数据库管理系统 ，dba数据库管理员， sql（ddl 表结构，dml增删改 ，dql 查询，dcl数据库控制，tcl事物控制） 2.数据的导入与导出 1）数据的导入：source （运行在mysql下的命令） select version（）；//查看当前数据库版本； create database 数据库名称；//创建数据库 show databases ； //显示所有的数据库，产看数据库是否已经导入，也可以使用