create table t1(id int primary key, a int, b int, index(a));
(select 1000 as f) union (select id from t1 order by id desc limit 2);
union的语义是取这两个子查询结果的并集,重复的行只保留一行。
- 第二行的key=Primary表示用到了索引,第三行的EXTRA字段,表示结果集在做union的时候,使用了临时表。
- 创建一个临时表,临时表只有一个整形字段f,并且f是主键字段。
- 执行第一个子查询,得到1000这个值,存入临时表。
- 执行第二个子查询:
- 拿到第一行id=1000,试图插入临时表,但由于1000这个值已经存在于临时表,违反了唯一性约束,插入失败。
- 拿到第二行id=999,插入成功。
- 从临时表中按行取出数据,返回结果,删除临时表,结果中包含两行数据分别1000和999.
- 可以看到,这里内存临时表起到了暂存数据的作用,而且计算过程还用上了临时表主键id的唯一性约束,实现了union语义。
- 如果把这个语句中的union改成union all的话,就依次执行子查询,就不需要临时表了。
select id%10 as m, count(*) as c from t1 group by m;
这个语句的逻辑是表t1里的数据,按照id%10进行分组统计,按照m的结果排序后输出。
- 创建内存临时表,表里有两个字段m和c,主键m
- 扫描t1的索引a,依次取出叶子节点的id值,计算id10%的结果,记为x
- 如果临时表中没有主键为x的行,就插入一个记录(x,1)
- 如果有主键为x的行,就将x这一行的c值加1
- 遍历完成后,在根据字段m做排序,得到的结果集返回给客户端
如果 你在最后输入了order by null,就可以跳过最后排序的阶段,直接从临时表中取数据返回。
假设,现在有一个类似下图的这么一个数据结构,我们来看看group by可以怎么做。
可以看到,如果可以确保输入的数据是有序的,那么计算group by的时候,就只需要从左到右,顺序扫描,依次累加。也就是下面这个过程:
InnoDB的索引,就可以满足这个输入有序的条件。
alter table t1 add column z int generated always as(id % 100), add index(z); select z, count(*) as c from t1 group by z;
之后再用explain查看执行结果,就会发现该语句不需要临时表,也不需要排序了。
如果某些业务不适合加索引,怎么优化group呢?
- 先指定优化器用磁盘临时表。
- 优化器根据存储效率,选择数组存储而不是B+树。
select SQL_BIG_RESULT id%100 as m, count(*) as c from t1 group by m;
执行流程如下:
- 初始化sort_buffer,确定放入一个整型字段,记为m;
- join_buffer是无序数组,sort_buffer是有序数组,临时表是二维表结构;
tmp_table_size参数,来避免用到磁盘临时表;