sql优化

聚合函数查询 聚合函数的最大特点是它们根据一组数据求出一个值。聚合函数的结果值只根据选定行中非NULL的值进行计算，NULL值被忽略。 COUNT()函数 COUNT()函数，对于除“*”以外的任何参数，返回所选择集合中非NULL值的行的数目；对于参数“*”，返回选择集合中所有行的数目，包含NULL值的行。没有WHERE子句的COUNT(*)是经过内部优化的，能够快速的返回表中所有的记录总数。 例子： select COUNT(*) from info; 查询结果： SUM()函数 SUM()函数可以求出表中某个字段取值的总和。 例子： select SUM(score) from info; 查询结果： AVG()函数 AVG()函数可以求出表中某个字段取值的平均值。 例子： select avg(score) from info; 查询结果： MAX()函数 MAX()函数可以求出表中某个字段取值的最大值。 例子： select max(score) from info; 查询结果： MIN()函数 MIN()函数可以求出表中某个字段取值的最小值。 例子： select min(score) from info; 查询结果： 来源： 51CTO 作者： 低调的男孩 链接： https://blog.51cto.com/13760351/2472352

MySQL中间件之MyCat 一、MyCat基础概念 1、什么是MyCat 一个彻底开源的，面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 一个新颖的数据库中间件产品 2、为什么使用MyCat 如今随着互联网的发展，数据的量级也是撑指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。但是，在有些场合NoSQL一些折衷是无法满足使用场景的（比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的）。所以还是需要使用关系性数据库。如何使用关系型数据库解决海量存储的问题呢？此时就需要做数据库集群，为了提高查询性能将一个数据库的数据分散到不同的数据库中存储，为应对此问题就出现了——MyCat MyCat作用： 能满足数据库数据大量存储；提高了查询性能 读写分离 数据分片 垂直拆分（分库）、水平拆分（分表）、垂直+水平拆分

原文链接 大家有没有遇到过慢查询的情况，执行一条SQL需要几秒，甚至十几、几十秒的时间，这时候DBA就会建议你去把查询的 SQL 优化一下，怎么优化？你能想到的就是加索引吧？ 为什么加索引就查的快了？这就要从索引的本质以及他的底层原理说起。 索引是什么 那索引到底是什么呢?你是不是还停留在大学学『数据库原理』时老师讲的“索引就像字典的目录”这样的概念？老师讲的没错，但没有深入去讲。 其实索引就是一种用于快速查找数据的数据结构，是帮助MySQL高效获取数据的排好序的数据结构。 索引的好处 举例说明索引的好处以及是怎么加快查询的。 假设我们有一个表t，它有俩字段，Col1和Col2，如下： 不加索引 不加索引的情况下，SQL： select * from t where t.col2=89 ，需要从表的第一行一行行遍历比对col2的值是否等于89，这样需要比对6次才能查到。这只是只有几行记录的表，那如果是百万级千万级的表呢？是不是就比较的次数就更多了，那还不得慢死。 加索引 如果col2这列加了索引，mysql内部会维护一个数据结构。假设mysql用的数据结构是红黑树（右子树的元素大于根节点，左子树的元素小于根节点）的数据结构建立索引，那就像上图右边那样。这样的话，刚才的那条SQL是不是只需要2次磁盘IO就查到了，是不是快很多了。 这就是索引的好处。索引使用比较巧妙的数据结构

今天我们来看看count的不同实现方式 count(*) 的实现方式 先来看一下 coun(*)的实现，MyISAM和InnoDB的实现上是不同的 MyISAM 引擎把一个表的总行数存在了磁盘上，因此执行 count( ) 的时候会直接返回这个数，效率很高; 而 InnoDB 引擎就麻烦了，它执行 count( ) 的时候，需要把数据一行一行地从引擎里面读出来，然后累积计数 如果加了 where条件的话，MyISAM 表也是不能返回得这么快的 为什么 InnoDB 不跟 MyISAM 一样，也把数字存起来呢? 这是因为即使是在同一个时刻的多个查询，由于多版本并发控制(MVCC)的原因， InnoDB 表应该返回多少行也是不确定的 这和 InnoDB 的事务设计有关系，可重复读是它默认的隔离级别，在代码上就是通过MVCC 来实现的。每一行记录都要判断自己是否对这个会话可见，因此对于 count(*) 请求来说，InnoDB只好把数据一行一行地读出依次判断，可见的行才能 够用于计算“基于这个查询”的表的总行数 InnoDB 是索引组织表，主键索引树的叶子节点是数据，而普通索引树的叶子节点是主键值。所以，普通索引树比主键索引树小很多。对于count(*) 这样的操作，遍历哪个索引树得到的结果逻辑上都是一样的。因此，MySQL 优化器会找到最小的那棵树来 遍历。在保证逻辑正确的前提下

两大类索引 使用的存储引擎：MySQL5.7 InnoDB 聚簇索引 * 如果表设置了主键，则主键就是聚簇索引 * 如果表没有主键，则会默认第一个NOT NULL，且唯一（UNIQUE）的列作为聚簇索引 * 以上都没有，则会默认创建一个隐藏的row_id作为聚簇索引 由此可见，使用聚簇索引查询会很快，因为可以直接定位到行记录。 普通索引 InnoDB的普通索引叶子节点存储的是主键（聚簇索引）的值，而MyISAM的普通索引存储的是记录指针。 示例 建表 mysql> create table user( -> id int( 10 ) auto_increment, -> name varchar( 30 ), -> age tinyint( 4 ), -> primary key ( id ), -> index idx_age ( age ) -> )engine=innodb charset=utf8mb4 ; id 字段是聚簇索引，age 字段是普通索引（二级索引） 填充数据 insert into user(name,age) values( '张三' , 30 ); insert into user(name,age) values( '李四' , 20 ); insert into user(name,age) values( '王五' , 40 ); insert

Mysql 系列文章主页 =============== Mysql 的逻辑架构（网上搜索的两张图片） 和其它数据库相比，Mysql 有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎的架构上， 插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离 。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。 总体来说，四层结构： 连接层 ：客户端和连接服务 服务层 ：完成核心的服务功能（如Sql接口），并完成缓存的查询、Sql的分析和优化以及部分内置函数的执行。服务器会解析查询并创建相应的内部解析树，并对其完成相应的优化（如确定查询表的顺序、是否使用索引等），最后生成相应的执行操作。 引擎层 ：存储引擎层，真正的负责 Mysql 中数据的存储和提取，主要是 MyISam 和 InnoDB。 存储层 ：将数据存储到物理设备上 ======下一篇====== Mysql--七种 Join 查询 来源： https://www.cnblogs.com/cyhbyw/p/8899016.html

1.MySQL整体逻辑架构 mysql 数据库的逻辑架构如下图： 第一层，即最上一层 ，所包含的服务并不是MySQL所独有的技术。它们都是服务于C/S程序或者是这些程序所需要的 ：连接处理，身份验证，安全性等等。 第二层值得关注 。这是MySQL的核心部分。通常叫做 SQL Layer。在 MySQL据库系统处理底层数据之前的所有工作都是在这一层完成的，包括权限判断， sql解析，行计划优化， query cache 的处理以及所有内置的函数(如日期,时间,数学运算,加密)等等。各个存储引擎提供的功能都集中在这一层，如存储过程，触发器，视 图等。 第三层包括了存储引擎 。通常叫做StorEngine Layer ，也就是底层数据存取操作实现部分，由多种存储引擎共同组成。它们负责存储和获取所有存储在MySQL中的数据。就像Linux众多的文件系统 一样。每个存储引擎都有自己的优点和缺陷。服务器是通过存储引擎API来与它们交互的。这个接口隐藏 了各个存储引擎不同的地方。对于查询层尽可能的透明。这个API包含了很多底层的操作。如开始一个事 物，或者取出有特定主键的行。存储引擎不能解析SQL，互相之间也不能通信。仅仅是简单的响应服务器 的请求。 连接管理和安全 在服务器内部，每个client连接都有自己的线程。这个连接的查询都在一个单独的线程中执行。这些线程轮流运行在某一个CPU内核

作为一个程序员，几乎所有人都使用过 SQL 语言，无论是在命令行执行、程序调用，还是在 SQL 工具里，你都做过这样的事：写一个规范的 SQL 语句，然后等待数据库返回的结果，然后再基于结果做各种逻辑处理。但是，你知道这条 SQL 语句是咋执行的吗？我打赌你并不是很清楚，读完全文，你会有完全不同的感受。 我们经常说，看一个事儿千万不要直接陷入细节里，你应该先鸟瞰其全貌，这样能够帮助你从高维度理解问题。同样，对于 MySQL 的学习也是这样。平时我们使用数据库，看到的通常都是一个整体。比如，你有个最简单的表，表里只有一个 ID 字段，在执行下面这个查询语句时： mysql> select * from T where ID=10; 我们看到的只是输入一条语句，返回一个结果，却不知道这条语句在 MySQL 内部的执行过程。 今天我们就把 MySQL 拆解一下，看看里面都有哪些“零件”，希望借由这个拆解过程，让你对 MySQL 有更深入的理解。这样当我们碰到 MySQL 的一些异常或者问题时，就能够直击本质，更为快速地定位并解决问题。 下面我给出的是MySQL的基本架构示意图，从中你可以清楚地看到SQL语句在MySQL的各个功能模块中的执行过程。 MySQL的逻辑架构图 大体来说，MySQL 可以分为 Server 层和存储引擎层两部分。 Server层包括连接器、查询缓存、分析器

select * from tb where ID = 1 下面解析的查询过程都是基于上面的简单查询，该系列的所有素材都来自于丁奇的mysql的45讲 1、建立连接 　　a、客户端发出请求，请求首先到达连接器，然后连接器去校验用户名和密码，如果校验通过，则去权限表读取该用户的权限，并且之后该连接的所有操作都是基于该次权限的读取。 　　b、如果你在这次连接建立之后，再用管理员账号去修改该用户的账号权限，也不会对该次连接的后续操作生效，除非再次建立个新的连接；一个连接建立之后如果没有后续操作，则该连接处于空闲状态；如果长时间没有动静，则连接器会自动断开该次连接，这个时间由参数指定（wait_timeout）,默认是8个小时。 2、查询缓存 　　a、连接建立之后就开始查询缓存：mysql收到一个请求之后会先去查询缓存，看看这条语句是否被执行过，之前执行过的语句和结果会以键值对的形式存在缓存中，如果在缓存中查到了该语句，则会将结果直接返回给客户端。如果没有查询到，则会继续执行后面的流程，同时会将查询的结果放到缓存中；需要注意的是查询缓存失效非常频繁，只要有对表的更新，那么这个表中所有的缓存都会被清空，是否需要查询缓存，mysql都有参数设置，按需设值，在后续8.0的版本中，查询缓存的功能将会被删除掉。 3、分析器 　　a、这一步是该条查询语句没有命中缓存的时候才到这里

原文链接： 当执行一条 select 语句时，MySQL 到底做了啥？ 也许，你也跟我一样，在遇到数据库问题时，总时茫然失措，想重启解决问题，又怕导致数据丢失，更怕重启失败，影响业务。 就算重启成功了，对于问题的原因仍不知所以。 本文开始，记录学习《MySQL实战45讲》专栏的过程。 也许有人会问，你记录有什么意义？直接看专栏不就行了吗？你这不是啃别人的剩骨头吗？ 是的，这个系列，我只是基于专栏学习，但是我会尽量从我的角度搞懂每一个知识点，遇到不懂得也会将知识点进行拆分。 我知道关注公众号的小伙伴也有很多购买了这个专栏的，我希望大家都能够利用好这个机会，把 MySQL 吃透！ 看大家的反馈情况吧，若有需要，可以建个小群，大家互相讨论学习！ 下面开始正文。 大家或多或少都用过 MySQL，起码 select 还是会用的吧，但是 select 执行后，MySQL 内部到底发生了什么，你知道吗？ 比如，我们有个简单的表 T，它有个 ID 字段，那么我们可以执行下面的语句： mysql> select * from T where ID=10; 语句执行很简单，但是具体到 MySQL 内部，其实是一个完整的执行流程。 MySQL 的基本架构 从下图就可以清楚地看出 MySQL 的命令执行流程： 从该图可以看出，MySQL 主要分为 server 层和存储引擎层。 server