sql优化

一．WITH AS的含义 WITH AS短语，也叫做子查询部分（subquery factoring），可以让你做很多事情，定义一个SQL片断，该SQL片断会被整个SQL语句所用到。有的时候，是为了让SQL语句的可读性更高些，也有可能是在UNION ALL的不同部分，作为提供数据的部分。 特别对于UNION ALL比较有用。因为UNION ALL的每个部分可能相同，但是如果每个部分都去执行一遍的话，则成本太高，所以可以使用WITH AS短语，则只要执行一遍即可。如果WITH AS短语所定义的表名被调用两次以上，则优化器会自动将WITH AS短语所获取的数据放入一个TEMP表里，如果只是被调用一次，则不会。而提示materialize则是强制将WITH AS短语里的数据放入一个全局临时表里。很多查询通过这种方法都可以提高速度。 二．使用方法 先看下面一个嵌套的查询语句： 1 2 select * from person.StateProvince where CountryRegionCode in (select CountryRegionCode from person.CountryRegion where Name like 'C%') 上面的查询语句使用了一个子查询。虽然这条SQL语句并不复杂，但如果嵌套的层次过多，会使SQL语句非常难以阅读和维护。因此

一、单表 创建索引之前：type=ALL全表扫描，Extra里面的Using filesort(文件内部排序) 根据where后面的条件创建 ： CREATE INDEX idx_article_ccv ON article(category_id,comments,views); 可以看出type由ALL变成了range,但是Extra里面的Using filesort(文件内部排序)未解决 此时删除索引 : DROP INDEX idx_article_ccv ON article; 重新建立 ： CREATE INDEX idx_article_ccv ON article(category_id,views); 此时完美解决！！ 二、双表 创建索引之前：type=ALL全表扫描 此时有两个表，里面都有字段card,但是现在不知道应该建左表class还是右表book,所以可以先建右表book，查看之后再进行优化 ALTER TABLE book ADD index Y('card'); 此时可以明显看到book表得到优化type=ref,但是class表未得到改变，于是删除索引 ： DROP INDEX Y ON book; 现在加左表class: ALTER TABLE class ADD INDEX Y ('card'); 此时看到class表的type=index

版权声明：本文由黄辉原创文章，转载请注明出处: 文章原文链接： https://www.qcloud.com/community/article/195 来源：腾云阁 https://www.qcloud.com/community 如今，多样的交易模式以及大众消费观念的改变使得数据库应用领域不断扩大，现代的大型分布式应用系统的数据膨胀也对数据库的海量数据处理能力和并行处理能力提出了更高的要求，如何在数据呈现海量扩张的同时提高处理速度和应用系统的可用性，使客户能同时得到更高的处理速度、更高的数据可用性和更大的数据集，是数据库系统面临的一个挑战。 通过TPC-H基准测试，可获得数据库单位时间内的性能处理能力，为评估数据库系统的现有性能服务水平提供有效依据，通过横向对比促进数据库系统的整体质量提升，能更好地在重大信息化工程中实现推广。 一.TPC-H原理简介 TPC-H是由TPC(Transaction Processing Performance Council)事务处理性能委员会公布的一套针对数据库决策支持能力的测试基准，通过模拟数据库中与业务相关的复杂查询和并行的数据修改操作考察数据库的综合处理能力，获取数据库操作的响应时间和每小时执行的查询数指标(QphH@Size)。 TPC-H基准模型中定义了一个数据库模型，容量可以在1GB~10000GB的8个级别中进行选择

场景 在使用某个平台的时候，有些页面发现长时间，部分数据无法加载成功，开始排查问题。 确定是mariadb的问题的过程 访问了几个页面都是正常的，唯独某几个页面查询实时监控数据时无法加载出来， F12 查看接口发现有几个业务相似的接口长时间不返回数据。 既然整体功能是正常的，只有部分页面出现问题，而且都是实时数据无法显示，怀疑是同一个地方出现问题，于是把接口放在一起发现共同点。 都是 timeout 长时间无响应，而且不是前端资源加载的问题， F12 可以看到一个接口的请求过程，例如下图 查看代码逻辑 ，发现几个接口同时查询过一个表，登陆 mariadb ，发现 SELECT 长时间不返回。怀疑是锁表了。 以下所有示例使用 docker 启动 mysql 演示复现。 我先锁表 lock table test read; lock table test write; 发现是卡住了 mysql> select * from test; mysql> 2013 - Lost connection to MySQL server during query 查看长时间卡住的线程 查询进程（如果您有SUPER权限，您可以看到所有线程。否则，您只能看到您自己的线程） show processlist; 但是此命令只能显示前100条数据，要想看全部的数据，请输入 show full

Perl与数据库DBI快速入门 上次的文章 Perl无废话入门指南 中，简单的介绍了Perl的开发环境。为了完成提到的任务，还需要做几个知识点。无论是写脚本还是做CGI，如何使用Perl来访问数据库就是很有用的一个知识。 各种语言和开发环境访问数据库有各种不同的方式，比如可以用C和数据库提供的API接口来进行访问，也可以用JDBC、ODBC、ADO等封装好的统一接口来进行访问。Perl访问数据库最常用的包是DBI，可以在 www.cpan.org 找到。另外还需要安装对应数据库的驱动包，例如DBD::MySQL、DBD::Oracle、DBD::Sybase或者DBD::ODBC等。具体的安装方法请参考上期文章，在此就不赘述了。 下文以常见的MySQL为例，说说如何实现对数据库的操作。 1 基本流程 习惯在Windows下开发数据库、熟悉ADO、ADO.NET的朋友，一定对ADOConnection/ADODataSet/ADOTable等类耳熟能详。DBI的接口与之类似，但在操作方法上又有不同，对ADO熟悉的朋友不妨比较一下异同。一般来说，数据库操作由以下几个步骤组成一个常见的流程： 1． 建立一个数据库连接 2． 通过建立的数据库连接，执行SQL语句 3． 执行SQL后获取返回的数据集 4． 在数据集中对记录进行处理，一般是一个循环的过程 5． 处理完毕，关闭数据库连接

1. 背景 自从大家对于MySQL数据库的稳定性有了更高的追求后，经常有小伙伴有这样的疑问，对于count(*)这样的操作，有没有正确的姿势，或者有没有可以优化的地方？ 但答案比较残酷，如果已经使用了正确的索引，那么基本上没有可以优化的地方。 一旦出现慢查询了，它就是慢查询了，要改，只能自己计数或者通过其他搜索平台来做。 今天，就一起来看看为什么会这样，并对大家日常会遇到的一些的困惑进行解答。 2. count(*)的实现方式 据说，MyISAM 引擎把一个表的总行数存在了磁盘上，因此执行 count(*) 的时候会直接返回这个数，效率很高。 而我们的mysql一般都是用Innodb的引擎，Innodb是怎么实现count操作的呢？ InnoDB 引擎就比较麻烦了，它执行 count(*) 的时候，需要把数据一行一行地从引擎里面读出来，然后累积计数。 所以，当我们的表里面的记录越来越多的时候，count(*)就会越来越慢。 当然，我们这里说的都是不带where条件的，如果带上where条件的话，MyISAM也是很慢的。 3.正确的打开方式 嗯，首先还是说，mysql上不太推荐用count(*)来做统计相关业务，尤其是表非常大的情况下。 那如果业务比较小，需要快速上马，那么，至少应该保证count(*)带上了科学的where条件，然后，这个表也已经建立了科学的索引。 如果count(

场景 在使用某个平台的时候，有些页面发现长时间，部分数据无法加载成功，开始排查问题。 确定是mariadb的问题的过程 访问了几个页面都是正常的，唯独某几个页面查询实时监控数据时无法加载出来， F12 查看接口发现有几个业务相似的接口长时间不返回数据。 既然整体功能是正常的，只有部分页面出现问题，而且都是实时数据无法显示，怀疑是同一个地方出现问题，于是把接口放在一起发现共同点。 都是 timeout 长时间无响应，而且不是前端资源加载的问题， F12 可以看到一个接口的请求过程，例如下图 查看代码逻辑 ，发现几个接口同时查询过一个表，登陆 mariadb ，发现 SELECT 长时间不返回。怀疑是锁表了。 以下所有示例使用 docker 启动 mysql 演示复现。 我先锁表 lock table test read; lock table test write; 发现是卡住了 mysql> select * from test; mysql> 2013 - Lost connection to MySQL server during query 查看长时间卡住的线程 查询进程（如果您有SUPER权限，您可以看到所有线程。否则，您只能看到您自己的线程） show processlist; 但是此命令只能显示前100条数据，要想看全部的数据，请输入 show full

在 SQL Server 中，为了查询性能的优化，有时我们就需要对数据表通过建立索引的方式，目的主要是根据查询要求，迅速缩小查询范围，避免全表扫描。 索引有两种类型，分别是聚集索引(clustered index，也称聚类索引、簇集索引)和非聚集索引(nonclustered index，也称非聚类索引、非簇集索引)。 聚集索引在一个表中只能有一个，默认情况下在主键建立的时候创建，它是规定数据在表中的物理存储顺序，我们也可以取消主键的聚集索引，所以必须考虑 数据库 可能用到的查询类型以及使用的最为频繁的查询类型，对其最常用的一个字段或者多个字段建立聚集索引或者组合的聚集索引，它就是SQL Server会在物理上按升序(默认)或者降序重排数据列，这样就可以迅速的找到被查询的数据。 非聚集索主要是 数据存储 在 一个地方，索引存储在另一个地方，索引带有指针指向数据的存储位置。索引中的项目按索引键值的顺序存储，而表中的信息按另一种顺序存储。可以在一个表格中 使用高达249个非聚集的索引，在查询的过程中先对非聚集索引进行搜索，找到数据值在表中的位置，然后从该位置直接检索数据。这使非聚集索引成为精确匹配 查询的最佳方法，因为索引包含描述查询所搜索的数据值在表中的精确位置的条目。 所以我们在选择创建聚集索引的时候要注意以下几个方面： 1) 对表建立主键时，就会为主键自动添加了聚集索引

1、id 每个被独立执行的操作的标识，表示对象被操作的顺序；id值大，先被执行；如果相同，执行顺序从上到下。 若没有子查询和联合查询，id则都是1。Mysql会按照id从大到小的顺序执行query，在id相同的情况下，则从上到下执行。 2、select_type 查询中每个select子句的类型 （1）SIMPLE （2）PRIMARY/UNION （3）DEPENDENT UNION/UNIOIN RESULT （4）SUBQUERY/DEPENDENT SUBQUERY （5）DERIVED/MATERIALIZED （6）UNCACHEABLE SUBQUERY/UNCACHEABLE UNION 3、table 名字，被操作的对象名称，通常是表名，或者表的别名，或者一个为查询产生临时表的标示符（如派生表、子查询、集合）。 4、type 代表查询执行计划中表使用的连接方式。连接操作的类型。 （1）SYSTEM （2）CONST （3）EQ_REF （4）REF （5）REF_OR_NULL （6）RANGE （7）INDEX_SCAN （8）ALL （9）UNIQUE_SUBQUERY （10）INDEX_SUBQUERY （11）INDEX_MERGE （12）FT system > const > eq_ref > ref > fulltext > ref_or_null

索引 什么是索引？ 索引是一种磁盘上的数据结构，建立在表或视图的基础上。使用索引可以使数据的获取更快更高校，也会影响其他的一些性能，如插入或更新等。 索引主要分为两种类型：聚集索引和非聚集索引。 字典的目录就是一个索引，按照拼音查询想要的字就是聚集索引（物理连续，页码与目录一一对应），偏旁部首就是一个非聚集索引（逻辑连续，页码与目录不连续）。 聚集索引存储记录是物理上连续存在的，而非聚集索引是逻辑上的连续，物理存储并不连续。 聚集索引一个表中只能有一个，而非聚集索引一个表中可以有多个。 索引的利弊 使用索引是为了避免全表扫描，因为全表扫描是从磁盘上读取表的每一个数据页，如果有索引指向数据值，则只需要读少次数的磁盘就可以。 带索引的表在数据库中占用更多的空间，同样增、删、改数据的命令所需时间会更长。 索引的存储机制 书中的目录是一个字词以及所在的页码列表，数据库中的索引是表中的值以及各值存储位置的列表。 聚集索引是在数据库中新开辟一个物理空间，用来存放他排列的值，当有新数据插入时，他会重新排列整个物理存储空间。 非聚集索引只包含原表中的非聚集索引的列和指向实际物理表的一个指针。 数据表的基本结构 当一个新的数据表创建时，系统将在磁盘中分配一段以8k为单位的连续空间。当一个8k用完的时候，数据库指针会自动分配一个8k的空间，每个8k的空间称为一个数据页，并分配从0-7的页号