数据库性能

监控MySQL的性能指标 系列 / 数据库 / 度量 / mysql的 / 性能 这个职位是一个3部分组成的系列关于MySQL的第1部分监控。 第二 ​​部分 是关于从MySQL收集度量和 第3部分 解释了如何使用MySQL的Datadog进行监控。 什么是MySQL？ MySQL的 是世界上最流行 ​​的开源关系数据库服务器。 属于Oracle，MySQL是在免费下载的社区版，以及在商业版本添加了功能和支持可用。 最初于1995年发布，MySQL已经催生以来高调叉子竞争性技术，如MariaDB的和Percona的。 重点统计的MySQL 如果你的数据库运行缓慢，或未能提供查询服务以任何理由，你的筹码的每一个部分取决于该数据库上会遇到性能问题也是如此。 为了保持你的数据库运行平稳，你可以主动监测指标涵盖了性能和资源利用四个方面： 查询吞吐量 查询执行性能 连接 缓冲池的使用 MySQL的用户可以访问数据库中的上百个指标，因此在本文中，我们将重点放在关键指标，这将使你获得实时洞察到你的数据库的健康和性能屈指可数。 在 第二部分， 这一系列我们将向你展示如何访问和收集所有这些指标。 本文参考指标术语在介绍 我们的监控101系列 ，它提供了指标收集和警报的框架。 版本和技术之间的兼容性 一些在本系列中讨论的监测策略是特定的MySQL版本5.6和5.7。 这些版本之间的差异将沿途指出。

MySQL官方优化文档：https://dev.mysql.com/doc/refman/5.7/en/optimization.html 数据库优化概述： 数据库性能取决于数据库级别的多个因素，例如表，查询和配置设置。这些软件构造导致硬件级别的CPU和I / O操作，您必须尽可能地最小化并尽可能高效。在处理数据库性能时，首先要学习软件方面的高级规则和指南，并使用挂钟时间来衡量性能。当您成为专家时，您将了解内部发生的更多信息，并开始测量诸如CPU周期和I / O操作之类的事情。 典型用户的目标是从现有的软件和硬件配置中获得最佳的数据库性能。高级用户寻找改进MySQL软件本身的机会，或者开发自己的存储引擎和硬件设备来扩展MySQL生态系统。 在数据库级别进行优化 在硬件级别进行优化 平衡可移植性和性能 在数据库级别进行优化 使数据库应用程序快速运行的最重要因素是其基本设计： 表格结构合理吗？特别是，列是否具有正确的数据类型，并且每个表是否具有适合工作类型的列？例如，执行频繁更新的应用程序通常具有许多具有少量列的表，而分析大量数据的应用程序通常具有很少列的表。 是否有适当的 索引 来提高查询效率？ 您是否为每个表使用适当的存储引擎，并利用您使用的每个存储引擎的优势和功能？特别是，事务性存储引擎（例如 InnoDB 非 事务性存储引擎）的选择 MyISAM 对于性能和可伸缩性来说非常重要

【编者按】本文作者为 John Matson，主要介绍 mysql 性能监控应该关注的 4 大指标。 文章系国内 ITOM 管理平台 OneAPM 编译呈现。 MySQL 是什么？ MySQL 是现而今最流行的开源关系型数据库服务器。由 Oracle 所有，MySQL 提供了可以免费下载的社区版及包含更多特性与支持的商业版。从 1995 年首发以来，MySQL 衍生出多款备受瞩目的分支，诸如具有相当竞争力的 MariaDB 及 Percona。 关键 MySQL 统计指标 如果你的数据库运行缓慢，或者出于某种原因无法响应查询， 技术栈 中每个依赖数据库的组件都会遭受性能问题。为了保证数据库的平稳运行，你可以主动监控以下四个与性能及资源利用率相关的指标： 查询吞吐量 查询执行性能 连接情况 缓冲池使用情况 MySQL 用户可以接触到数百个数据库指标，因此，在本文中，笔者将专注于能帮助我们实时了解数据库健康与性能的关键指标。 本文参考了我们在 监控入门系列文章 中介绍的指标术语，后者为指标收集与告警提供了基础框架。 不同版本与技术的兼容性 本系列文章讨论的一些监控策略只适用于 MySQL 5.6 与 5.7 版本。这些版本间的差异将在后文中提及。 本文列出的大多数指标与监控策略同样适用于与 MySQL 兼容的技术，诸如 MariaDB 与 Percona 服务器，不过带有一些明显的差别

BoneCP 一、BoneCP配置文件格式(bonecp-config.xml)： <?xml version="1.0" encoding="UTF-8"?> < bonecp-config > < default-config > <!-- --> < property name = "" > </ property > </ default-config > </ bonecp-config > 二、BoneCP主要配置参数 1.jdbcUrl 设置数据库URL 2.username 设置数据库用户名 3.password 设置数据库密码 4.partitionCount 设置分区个数。这个参数默认为1，建议3-4（根据特定应用程序而定）。 为了减少锁竞争和改善性能，从当前线程分区(thread-affinity)中获取一个connection， 也 就是这个样子：partitions[Thread.currentThread().getId() % partitionCount]。当拥有充足的短期(short-lived)的线程时候，这个参数设置越大，性能越好。当超过一定的阀值时，连接池的维 护工作就可能对性能造成一定的负面影响（仅当分区上的connection使用耗尽时）。 5.maxConnectionsPerPartition

在进行 MySQL 的优化之前必须要了解的就是 MySQL 的查询过程，很多的查询优化工作实际上就是遵循一些原则让 MySQL 的优化器能够按照预想的合理方式运行而已。 图 - MySQL查询过程 优化的哲学 优化有风险，涉足需谨慎。 优化可能带来的问题 优化不总是对一个单纯的环境进行，还很可能是一个复杂的已投产的系统。 优化手段本来就有很大的风险，只不过你没能力意识到和预见到！ 任何的技术可以解决一个问题，但必然存在带来一个问题的风险！ 对于优化来说解决问题而带来的问题,控制在可接受的范围内才是有成果。 保持现状或出现更差的情况都是失败！ 优化的需求 稳定性和业务可持续性,通常比性能更重要！ 优化不可避免涉及到变更，变更就有风险！ 优化使性能变好，维持和变差是等概率事件！ 切记优化,应该是各部门协同，共同参与的工作，任何单一部门都不能对数据库进行优化！ 所以优化工作,是由业务需要驱使的！！！ 优化由谁参与 　　在进行数据库优化时，应由数据库管理员、业务部门代表、应用程序架构师、应用程序设计人员、应用程序开发人员、硬件及系统管理员、存储管理员等，业务相关人员共同参与。 优化思路 优化什么 在数据库优化上有两个主要方面：即安全与性能。 安全 ---> 数据可持续性 性能 ---> 数据的高性能访问 优化的范围有哪些 存储、主机和操作系统方面 主机架构稳定性 I/O 规划及配置

一、什么是架构 我想这个问题，十个人回答得有十一个答案，因为另外的那一个是大家妥协的结果。哈哈，我理解，架构就是 骨架 ，如下图所示： 人类的身体的支撑是主要由骨架来承担的，然后是其上的肌肉、神经、皮肤。架构对于软件的重要性不亚于骨架对人类身体的重要性。 二、. 什么是设计模式 这个问题我问过的面试者不下于数十次，回答五花八门，在我看来，模式就是经验，设计模式就是 设计经验 ，有了这些经验，我们就能在特定情况下使用特定的设计、组合设计，这样可以大大节省我们的设计时间，提高工作效率。 作为一个工作10年以上的老码农，经历的系统架构设计也算不少，接下来，我会把工作中用到的一些架构方面的设计模式分享给大家，望大家少走弯路。总体而言，共有八种，分别是： 单库单应用模式 ：最简单的，可能大家都见过 内容分发模式 ：目前用的比较多 查询分离模式 ：对于大并发的查询、业务 微服务模式 ：适用于复杂的业务模式的拆解 多级缓存模式 ：可以把缓存玩的很好 分库分表模式 ：解决单机数据库瓶颈 弹性伸缩模式 ：解决波峰波谷业务流量不均匀的方法之一 多机房模式 ：解决高可用、高性能的一种方法 三、单库单应用模式 这是最简单的一种设计模式，我们的大部分本科毕业设计、一些小的应用，基本上都是这种模式，这种模式的一般设计见下图： 如上图所示，这种模式一般只有一个数据库，一个业务应用层，一个后台管理系统

一、MySQL 的主要适用场景 1、Web网站系统 2、日志记录系统 3、数据仓库系统 4、嵌入式系统 二、 MySQL 架构图： 三、 MySQL 存储引擎概述 1 ） MyISAM 存储引擎 MyISAM存储引擎的表在数据库中，每一个表都被存放为三个以表名命名的物理文件。首先肯定会有任何存储引擎都不可缺少的存放表结构定义信息的.frm文件，另外还有.MYD和.MYI文件，分别存放了表的数据（.MYD）和索引数据（.MYI）。每个表都有且仅有这样三个文件做为MyISAM存储类型的表的存储，也就是说不管这个表有多少个索引，都是存放在同一个.MYI文件中。 MyISAM支持以下三种类型的索引： 1、B-Tree索引 B-Tree索引，顾名思义，就是所有的索引节点都按照balancetree的数据结构来存储，所有的索引数据节点都在叶节点。 2、R-Tree索引 R-Tree索引的存储方式和b-tree索引有一些区别，主要设计用于为存储空间和多维数据的字段做索引，所以目前的MySQL版本来说，也仅支持geometry类型的字段作索引。 3、Full-text索引 Full-text索引就是我们长说的全文索引，他的存储结构也是b-tree。主要是为了解决在我们需要用like查询的低效问题。 2 ） Innodb 存储引擎 1、支持事务安装 2、数据多版本读取 3、锁定机制的改进 4

Performance Insights是什么 阿里云RDS Performance Insights是RDS CloudDBA产品一项专注于用户数据库实例性能调优、负载监控和关联分析的利器，以简单直观的方式帮助用户迅速评估数据库负载，资源等待的源头和对应SQL查询语句，以此来指导用户在何时、何处、采取何种行动进行数据性能优化。 几个名词解释 Performance Insights：中文翻译过来叫性能洞察。 Active Session （AS）：RDS数据库系统中，活跃的会话数量。 Average Active Session （AAS）：一段时间内，RDS数据库中平均活跃会话数量。 Max Vcores：RDS数据库实例最大可以使用到的CPU Cores数量。 AAS和MaxVcores来量化系统瓶颈 在文章开始，我们希望能够把一个非常重要的问题解释清楚：为什么可以使用AAS （平均活跃会话数）与RDS数据库实例MaxVcores量化对比来作为系统瓶颈的判断依据？我们的理由是： 首先，RDS数据库系统中，我们认为最为重要的资源是CPU资源，因为其他所有资源都需要CPU来调度。 其次，CPU的并发处理能力，与CPU Cores的数量相关。假设在相当小的一个时间切片上，CPU对活跃会话（AS）处理能力瓶颈就是CPU Cores数量。即

这是我离线整理资料里的内容，大概是2012年时候开始使用此性能监控工具的，直到至今，接触到几个性能监控工具里，还是美国quest公司生产的Spotlight此产品相对比较牛！ 我也不知道现在发展到能支持监控多少资源，我就拿我之前整理的文档所对应的的工具版本进行讲解，至于下载软件支持某个资源或者某些资源，请自行百度搜索：quest Spotlight，官网下载的版本是需要收费的，因此自行在网上搜索下载破解版本。 Spotlight可以监控很多很资源，相关如下： Spotlight on web server //web应用程序服务 Spotlight on Active Directory //wwindows操作系统上的AD域应用程序服务 Spotlight on DB2 //DB2关系型数据库应用程序服务 Spotlight on MySQL //mysql关系型数据库应用程序服务 Spotlight on Oracle //oracle关系型数据库应用程序服务 Spotlight on SQL Serever // SQL Serever 关系型数据库应用程序服务 Spotlight on Sybase ASE // sybase OLTP关系型数据库应用程序服务 Spotlight on Unix/Linux //Unix/Linux操作系统 Spotlight on

为什么要创建索引呢？这是因为，创建索引可以大大提高系统的性能。 第一，通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。 第二，可以大大加快 数据的检索速度，这也是创建索引的最主要的原因。 第三，可以加速表和表之间的连接，特别是在实现数据的参考完整性方面特别有意义。 第四，在使用分组和排序 子句进行数据检索时，同样可以显著减少查询中分组和排序的时间。 第五，通过使用索引，可以在查询的过程中，使用优化隐藏器，提高系统的性能。 也许会有人要问：增加索引有如此多的优点，为什么不对表中的每一个列创建一个索引呢？这种想法固然有其合理性，然而也有其片面性。虽然，索引有许多优点， 但是，为表中的每一个列都增加索引，是非常不明智的。这是因为，增加索引也有许多不利的一个方面。 第一，创建索引和维护索引要耗费时间，这种时间随着数据 量的增加而增加。 第二，索引需要占物理空间，除了数据表占数据空间之外，每一个索引还要占一定的物理空间，如果要建立聚簇索引，那么需要的空间就会更大。 第三，当对表中的数据进行增加、删除和修改的时候，索引也要动态的维护，这样就降低了数据的维护速度。 索引是建立在数据库表中的某些列的上面。因此，在创建索引的时候，应该仔细考虑在哪些列上可以创建索引，在哪些列上不能创建索引。一般来说，应该在这些列 上创建索引，例如： 在经常需要搜索的列上，可以加快搜索的速度；