数据库优化

数据库优化目的 避免出现页面访问错误 1、由于数据库链接timeout产生页面5xxx错我 2、由于慢查询造成页面无法加载 3、由于阻塞造成数据无法提交 如何发现有问题的sql 使用mysql慢查日志对有效率问题的sql进行监控 show variables like '%slow%'; set global log_queries_not_using_indexes=on; 代表 记录下没有使用索引的sql 后面进行优化 ,记录未使用索引的 打开 long_query_time 单位是秒 一般设置成100ms，也就是0.1秒 如果慢查日志时间短，会有大量的日志，磁盘空间可能会被沾满 第一款MySQL官方的mysqldumpslow 分析慢查工具 安装好mysql后自带的工具，mysqldumpslow -t 3 慢查日志路径 | more 查看 但是结果信息不是很全面 所以用pt-query-digest --limit=A 参数 -review expain 执行计划 如扫描行数很多，发送到客户端的很少，代表了索引不是很好 第一部分是头显示了基本信息，时间范围 sql数量 第二部表统计信息 第三部分 sql信息 举例说明 就是，这个sql 执行了一次，但是执行时间占用了百分之73百分比，这种sql重点关注，就是执行次数多，占用总时间的百分比大。数据库主要瓶颈在io这

目的： 避免网页访问错误 避免访问网页由于连接timeout出现5XX错误 慢查询造成页面的无法加载 由于阻塞造成的数据的无法提交 增加数据库的稳定性 很多数据库问题都是由于低效的查询引起的 优化用户体验 浏览网页的速度 良好网页功能的体验 数据库优化的几个方面以及成本问题 一、SQL优化 如何发现有问题的SQL 使用MYSQL慢查询日志对有效率问题的SQL进行监 如何开 启慢查询日志 关于慢查询日志的几个变量 1.slow_query_log 慢查询日志 2.slow_query_log_file 慢查询日志的存放地址 3.log_queries_not_using_indexes 没使用索引的查询是否放入慢查询日志 4.long_query_time 对查询SQL最长多久的SQL进行记录，测试中我们把他设置为0以便对所有的SQL都进行慢查询日志记录 我们可以通过查询变量的方式对这几个变量进行查询 例如：show variables like 'slow_qu%' 看他们的开启状态或者值 设置慢查询 set global slow_query_log_file='/home/mysql/sql_log/slow-mysql.log' 设置慢查询日志的存放地方 set global log_queries_not_using_indexes=on

优化目标 减少 IO 次数 IO永远是数据库最容易瓶颈的地方，这是由数据库的职责所决定的，大部分数据库操作中超过90%的时间都是 IO 操作所占用的，减少 IO 次数是 SQL 优化中需要第一优先考虑，当然，也是收效最明显的优化手段。 降低 CPU 计算 除了 IO 瓶颈之外，SQL优化中需要考虑的就是 CPU 运算量的优化了。order by, group by,distinct … 都是消耗 CPU 的大户（这些操作基本上都是 CPU 处理内存中的数据比较运算）。当我们的 IO 优化做到一定阶段之后，降低 CPU 计算也就成为了我们 SQL 优化的重要目标 优化方法 改变 SQL 执行计划 明确了优化目标之后，我们需要确定达到我们目标的方法。对于 SQL 语句来说，达到上述2个目标的方法其实只有一个，那就是改变 SQL 的执行计划，让他尽量“少走弯路”，尽量通过各种“捷径”来找到我们需要的数据，以达到 “减少 IO 次数” 和 “降低 CPU 计算” 的目标 常见误区 count(1)和count(primary_key) 优于 count(*) 很多人为了统计记录条数，就使用 count(1) 和 count(primary_key) 而不是 count(*) ，他们认为这样性能更好，其实这是一个误区。对于有些场景，这样做可能性能会更差，应为数据库对 count(*)

原文：http://www.uml.org.cn/sjjm/sjjm-MySql.asp MySQl MySQL高可用数据库内核深度优化的四重定制 MySQL数据表存储引擎类型及特性 MySQL分布式数据库高可用架构、复制机制、多机房 Mysql高并发优化 我必须得告诉大家的MySQL优化原理 MySQL注入攻击与防御 腾讯云：MySQL数据库的高可用性分析 一步一步打造MySQL高可用平台 MySQL 日志管理详解 MySQL锁解决并发问题详解 MySQL的配置与管理 MySQL日志管理 MySQL 5.7新特性介绍 MySQL数据库读写分离中间件Atlas 京东MySQL数据库主从切换自动化 全面了解MySql中的事务 MySQL NULL值简介 MySQL备份的持续验证：还原备份 初识MySQL存储过程 优步工程团队对容器化MySQL的应用 MySQL NULL值简介 MySQL备份的持续验证：还原备份 MySQL SQL语句优化技巧 MySQL简单主从方案及暴露的问题 Uber为什么从Postgres迁移到MySQL 一种MySQL到HBase的迁移策略的研究与实现 MySQL 索引详解大全 MYSQL企业常用架构与调优经验分享 SQL优化之六脉神剑 MySQL 大表优化方案探讨 mysql 数据库引擎 MySQL数据库事务隔离级别 MySQL 用户权限详细汇总

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 在大数据并发处理中，很容易发生系统hang机。 此处应该考虑两点，系统锁死，或者IO流异常 1.IO流异常 在系统查询大量数据的时候，我们通常采用索引的方式来优化系统查询。而索引在查询方面会有瓶颈。 什么是索引： 索引是数据库中一种可选的数据结构，它通常与表或簇相关。用户可以在表的一列或数列上建立索引，通常以提高在此表上执行 SQL 语句的性能。就像本文档的索引可以帮助读者快速定位所需信息一样，Oracle 的索引提供了更为迅速地访问表数据的方式。正确地使用索引能够显著的减少磁盘 I/O。 通俗的讲就是数据的分类后的目录。在此处我们查询数据的时候通过查询索引能够很快的找到数据所在，并返回我们想要的数据。这就是索引的作用所在，在海量的数据库里查询少量的数据的时候索引是个不错的选择。但是 当我们查询的数据量过大的时候，就会产生性能的瓶颈。 例如：当我在100万条数据中查询10万条数据的时候，数据库会去大量的遍历索引，会导致整个数据库宕机停止响应。此时使用索引还不如全表遍历查询更快。此时索引就会失效。因为你每次查询我都得去查询索引找到对应的信息，而全表查询我十个中挑一个记录。性能耗费以及所用时间可能就已经不相上下了。当我查询的数据量过大比如100万查询50万数据。此时你在查索引 可能就是得不偿失了。 注

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 应用系统上线运行后，随着系统数据量的不断增长、访问量的不断上升，系统的响应速度通常会越来越慢，尤其日常峰值情况下常不能满足业务需要，甚至出现应用服务中断的现象，给企业造成巨大的品牌损失和经济损失。大量数据表明，每0.1秒的核心体验响应时间延长会导致1%的营收下降。企业应用系统上云，如何在云端利用云的优势进行性能优化，是一个值得深入分析的重点问题。 性能优化的价值与策略 1、性能优化价值 性能是一个应用系统最重要的指标，除非没有选择，否则没有用户会忍受一个响应缓慢的应用系统或网站。大量数据表明，每0.1秒的核心体验响应时间延长会导致1%的营收下降。 应用系统上线运行后，随着系统数据量的不断增长、访问量的不断上升，系统的响应速度通常会越来越慢，尤其峰值情况下常不能满足业务需要，甚至出现应用服务中断，给企业造成巨大的品牌损失和经济损失，因此性能优化会显得至关重要。 通过性能优化，可以用更少的硬件资源，支撑更大量的业务发展，从而达到节省硬件成本的目的；同时，可以在有限资源的情况下，提升系统的响应能力，为用户带来更好的使用体验，促进业务增长。 2、性能优化策略 对于应用系统来说，用户从浏览器发出请求到数据库完成事务操作，中间需要经过很多环节，如果系统响应慢，必须对请求经过的各个环节进行分析，排查可能出现性能瓶颈的地方

前言 优化有风险，涉足需谨慎！！！ 1、优化可能带来的问题？ 优化不总是对一个单纯的环境进行，还很可能是一个复杂的已投产的系统。 优化手段本来就有很大的风险，只不过我们可能没有能力意识到和预见到！ 任何的技术可以解决一个问题，但必然存在带来一个问题的风险！ 对于优化来说解决问题而带来的问题，控制在可接受的范围内才是有成果，保持现状或出现更差的情况都是失败。 2、优化的需求 稳定性和业务的持续性，通常比性能更重要。 优化不可避免涉及到变更，变更就有风险。 优化使性能变好，维持和变差使等概率事件。 切记优化，应该是各部门协同参与的工作，任何单一部门都不能对数据库进行优化。 所有优化工作，是由业务需要驱使的。 3、优化由谁参与 在进行数据库优化时，应该由DBA、业务部门代表、应用程序设计人员、应用程序开发人员、运维等相关人员共同参与。 4、优化思路 在数据库优化上由两个主要方面：即安全与性能。 安全：数据可持续性。 性能：数据的高性能访问。 5、优化的范围有哪些？ 存储、主机和操作系统方面： 主机架构稳定性； I/O规划及配置； Swap交换分区； OS内核参数和网络问题； 应用程序方面； 应用程序稳定性； SQL语句性能； 串行访问资源； 性能欠佳会话管理； 这个应用适不适合用MySQL； 数据库优化方面： 内存； 数据库结构（物理&逻辑）； 实例配置； 注：不管是在设计系统

前言 不管对于哪种服务，对于其优化，无非是从两个方面着手，第一个是对于硬件方面的优化，第二个是对系统以及服务本身的优化。 1、查询连接MySQL服务器的次数 mysql> show status like 'connections'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | Connections | 3 | +---------------+-------+ 1 row in set (0.01 sec) 2、查询MySQL服务器的运行时间 mysql> show status like 'uptime'; //单位为“秒” +---------------+-------+ | Variable_name | Value | +---------------+-------+ | Uptime | 127 | +---------------+-------+ 1 row in set (0.00 sec) 3、查询操作的次数 mysql> show status like 'com_select'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ |

原文：http://www.uml.org.cn/sjjm/sjjm-MySql.asp MySQl MySQL高可用数据库内核深度优化的四重定制 MySQL数据表存储引擎类型及特性 MySQL分布式数据库高可用架构、复制机制、多机房 Mysql高并发优化 我必须得告诉大家的MySQL优化原理 MySQL注入攻击与防御 腾讯云：MySQL数据库的高可用性分析 一步一步打造MySQL高可用平台 MySQL 日志管理详解 MySQL锁解决并发问题详解 MySQL的配置与管理 MySQL日志管理 MySQL 5.7新特性介绍 MySQL数据库读写分离中间件Atlas 京东MySQL数据库主从切换自动化 全面了解MySql中的事务 MySQL NULL值简介 MySQL备份的持续验证：还原备份 初识MySQL存储过程 优步工程团队对容器化MySQL的应用 MySQL NULL值简介 MySQL备份的持续验证：还原备份 MySQL SQL语句优化技巧 MySQL简单主从方案及暴露的问题 Uber为什么从Postgres迁移到MySQL 一种MySQL到HBase的迁移策略的研究与实现 MySQL 索引详解大全 MYSQL企业常用架构与调优经验分享 SQL优化之六脉神剑 MySQL 大表优化方案探讨 mysql 数据库引擎 MySQL数据库事务隔离级别 MySQL 用户权限详细汇总

博文目录 一、索引 二、视图 三、存储过程 四、系统存储过程 五、触发器 六、事务 七、锁 一、索引 索引提供指针以指向存储在表中指定列的数据值，然后根据指定的次序排列这些指针，再跟随指针到达包含该值的列。 1、什么是索引 数据库中的索引与书籍中的目录相似。在一本书中，无需阅读整本书，利用目录就可以快速的查找到所需的信息。在数据库中，索引使数据库程序无须对整个表进行扫描，就可以在其中找到所需的数据。书中的目录就是一个词语列表，其中注明了包含各个词的页码。而数据库中的索引是某个表中一列或若干列值的集合，以及物理表示这些值得数据业的逻辑指针清单。 索引是SQL Server编排数据的内部方法，它为SQL Server提供一种方法来编排查询数据的路由。 索引页是数据库中存储索引的数据页。索引页存放检索数据行的关键字页以及该数据行的地址指针。通过使用索引，可以大大提高数据库的检索速度，改善数据库性能。 2、索引分类 1）唯一索引 唯一索引不允许两行具有相同的索引值。 如果现有数据中存在重复的键值，则一般情况下大多数数据库不允许创建唯一索引。当新数据使表中的键值重复时，数据库也拒绝接收此数据。创建了唯一约束，将自动创建唯一索引。尽管唯一索引有助于找到信息，但是为了获得最佳性能，建议使用主键约束。 2）主键索引 在数据库关系图中为表定义一个主键将自动创建主键索引，主键索引是唯一索引的特殊类型。