为什么会使用内部临时表

匿名 (未验证) 提交于 2019-12-02 23:49:02
create table t1(id int primary key, a int, b int, index(a));
(select 1000 as f) union (select id from t1 order by id desc limit 2);

union的语义是取这两个子查询结果的并集,重复的行只保留一行。

  1. 第二行的key=Primary表示用到了索引,第三行的EXTRA字段,表示结果集在做union的时候,使用了临时表。
  2. 创建一个临时表,临时表只有一个整形字段f,并且f是主键字段。
  3. 执行第一个子查询,得到1000这个值,存入临时表。
  4. 执行第二个子查询:
    • 拿到第一行id=1000,试图插入临时表,但由于1000这个值已经存在于临时表,违反了唯一性约束,插入失败。
    • 拿到第二行id=999,插入成功。
  5. 从临时表中按行取出数据,返回结果,删除临时表,结果中包含两行数据分别1000和999.
  • 可以看到,这里内存临时表起到了暂存数据的作用,而且计算过程还用上了临时表主键id的唯一性约束,实现了union语义。
  • 如果把这个语句中的union改成union all的话,就依次执行子查询,就不需要临时表了。
select id%10 as m, count(*) as c from t1 group by m;

这个语句的逻辑是表t1里的数据,按照id%10进行分组统计,按照m的结果排序后输出。

  1. 创建内存临时表,表里有两个字段m和c,主键m
  2. 扫描t1的索引a,依次取出叶子节点的id值,计算id10%的结果,记为x
    1. 如果临时表中没有主键为x的行,就插入一个记录(x,1)
    2. 如果有主键为x的行,就将x这一行的c值加1
  3. 遍历完成后,在根据字段m做排序,得到的结果集返回给客户端

如果 你在最后输入了order by null,就可以跳过最后排序的阶段,直接从临时表中取数据返回。

假设,现在有一个类似下图的这么一个数据结构,我们来看看group by可以怎么做。

可以看到,如果可以确保输入的数据是有序的,那么计算group by的时候,就只需要从左到右,顺序扫描,依次累加。也就是下面这个过程:

InnoDB的索引,就可以满足这个输入有序的条件。

alter table t1 add column z int generated always as(id % 100), add index(z); select z, count(*) as c from t1 group by z;

之后再用explain查看执行结果,就会发现该语句不需要临时表,也不需要排序了。

如果某些业务不适合加索引,怎么优化group呢?



  1. 先指定优化器用磁盘临时表。
  2. 优化器根据存储效率,选择数组存储而不是B+树。
select SQL_BIG_RESULT id%100 as m, count(*) as c from t1 group by m;

执行流程如下:

  1. 初始化sort_buffer,确定放入一个整型字段,记为m;
  1. join_buffer是无序数组,sort_buffer是有序数组,临时表是二维表结构;

  2. tmp_table_size参数,来避免用到磁盘临时表;
标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!