InnoDB

来源：李平 www.cnblogs.com/leefreeman/p/8286550.html 1、背景 对于数据库系统来说在多用户并发条件下提高并发性的同时又要保证数据的一致性一直是数据库系统追求的目标，既要满足大量并发访问的需求又必须保证在此条件下数据的安全，为了满足这一目标大多数数据库通过锁和事务机制来实现，MySQL数据库也不例外。尽管如此我们仍然会在业务开发过程中遇到各种各样的疑难问题，本文将以案例的方式演示常见的并发问题并分析解决思路。 2、表锁导致的慢查询的问题 首先我们看一个简单案例，根据ID查询一条用户信息： mysql> select * from user where id=6; 这个表的记录总数为3条，但却执行了13秒。 出现这种问题我们首先想到的是看看当前MySQL进程状态： 从进程上可以看出select语句是在等待一个表锁，那么这个表锁又是什么查询产生的呢？这个结果中并没有显示直接的关联关系，但我们可以推测多半是那条update语句产生的（因为进程中没有其他可疑的SQL），为了印证我们的猜测，先检查一下user表结构： 果然user表使用了MyISAM存储引擎，MyISAM在执行操作前会产生表锁，操作完成再自动解锁。如果操作是写操作，则表锁类型为写锁，如果操作是读操作则表锁类型为读锁。 正如和你理解的一样写锁将阻塞其他操作(包括读和写)

作者 赖铮（Allen Lai） 前MySQL官方团队成员，专注数据库内核开发近二十年，先后就职于达梦，Teradata，北大方正以及MySQL InnoDB存储引擎团队，是达梦数据库内核，方正XML数据库，以及MySQL InnoDB的GIS支持，透明加密功能的主要开发者。现任腾讯TEG云架构平台部数据库团队专家工程师，负责腾讯云MySQL数据库内核的研发。 Part1 相遇 2012年的春天，我正在张江的一栋橙黄色的大楼里，窗外的阳光很好，我跟我的小伙伴们正在一起奋力地敲打着键盘，随着一阵轻柔的电话铃响起，手机屏幕上显示出一个陌生的号码，“是不是又是骚扰电话？”没管他，我接着做自己的事情。但是手机一直在震动着，好像催促着我，我拿起电话接通，那头传来一个非常轻柔而且职业化的女声，“您好，我是Oracle的招聘顾问Amy，请问您现在方便吗…”。 我的职业生涯从此与MySQL发生了交集。 Amy告诉我MySQL InnoDB团队有意在中国招聘合适的数据库内核工程师，问我有没有兴趣加入。MySQL是什么，the world’s most popular open source database，邀请我加入？我想都没想就回答她：“当然有，而且兴趣很大！” Amy是个非常专业的HR，非常有效率的安排了我后面的面试事宜，怀着一丝忐忑和兴奋，我开始了进入MySQL团队的面试。 面试第一轮

一、索引是什么 MySQL官方对索引的定义为：索引（Index）是帮助MySQL 高效 获取数据的数据结构，而MYSQL使用的数据结构是： B+树 在这里推荐大家看一本书， 《深入理解计算机系统的书》 1.1 局部性原理 程序和数据的访问都有聚集成群的倾向，在一个时间段内，仅使用其中一小部分，在最近的将来将用到的信息很可能与现在正在使用的信息在空间地址上是临近的（ 称空间局部性 ），或者最近访问过的程序代码和数据，很快又被访问的可能性很大（ 称时间局部性 ）。 1.2 磁盘预读 预读的长度一般为页（page）的整数倍 页是存储器的逻辑块，操作系统往往将主存和磁盘存储区分割成连续的大小相等的块，每个存储块称为一页（在许多操作系统中，页大小通常为4K），主存和磁盘以页为单位交换数据 1.3 简介 在使用数据库中，通常数据库查询是数据库的最主要功能之一。但每种查找算法都只能应用于特定的数据结构之上。 例如二分查找要求被检索数据有序 而二叉树查找只能应用于二叉查找树上，但是数据本身的组织结构不可能完全满足各种数据结构（例如，理论上不可能同时将两列都按顺序进行组织），所以，在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是 索引 。 索引一般以文件形式存储在磁盘上，索引检索需要磁盘I

前言 MySQL 是业务后台系统经常用到的结构化数据库。 掌握 MySQL 相关知识是研发人员必备的能力。 与此同时，在面试过程当中，MySQL 的知识点也是经常被当做面试题目，以此来考量候选人的能力。 随着业务量的增加，对于 MySQL 性能优化的要求也越来越高， 而索引方面是性能优化重点考虑的方向，所以深入理解 MySQL 索引对于未来的优化起到很重要的作用。 深入理解MySQL底层实现 MySQL 的初始、组成 MySQL 的常用引擎（InnoDB、Myisam、MariaDB） 数据存储原理 数据结构 MySQL 数据结构 MySQL 的优化 来自一线大厂高频面试题 唯一索引比普通索引快吗, 为什么 MySQL查询缓存有什么弊端, 应该什么情况下使用, 8.0版本对查询缓存有什么变更. MySQL怎么恢复半个月前的数据 做过哪些MySQL索引相关优化 一千万条数据的表, 如何分页查询 订单表数据量越来越大导致查询缓慢, 如何处理 简要说一下数据库范式 MySQL事务的隔离级别, 分别有什么特点 上面的一些大厂高频面试题以及答案已经整理成文档，需要领取的同学可以关注我， 点我 免费领取 哦！ 来自一线互联网公司总结的真题面试收录 一张表，里面有 ID 自增主键，当 insert 了 17 条记录之后，删除了第 15,16,17 条记录，再把 Mysql 重启，再 insert

一、报名考试 www.pearsonvue.com/oracle 访问以上网站，注册，预约考试科目，地点。 科目如下: 需要158美金，约等于1000元人民币。 二、考试 复习: 5.7ocp考试目前没有题库泄露出来，越早考含金量越高。以我这次考试的经验来看，5.7ocp考试含有5.6ocp考试大约三分之一的原题或近似的题目。建议考前先复习一下5.6ocp的题目(百度1Z0-883，应该可以很快找到下载链接，注意里面大概有100-200道题，但答案不一定正确，需要自己折磨梳理正确答案)。 5.7新增考点: 以我这次考试的经验，里面有这些新考点: 1. old_alter_table=0与alter table drop partition的关系 2.X509 一题 3.PAM 一题 4.MGR考了一题，通过哪个方式可以看到MGR解决事务冲突的问题 1.PS库 2.IS库 3.show processlist 4.show slave status 5.show engine innodb status 5.执行计划中多表join时，各表的显示顺序是依据什么条件 6.密码校验插件 考了密码校验插件设置为strong，导入了一个密码字典文件,问以下描述错误的,这个题得结合图片 7.密码插件sha256_password 8.考了root密码忘记了怎么找回 考试当天准备: 洗好脸梳好头

这是我离线整理资料里的内容，大概是2012年时候开始使用此性能监控工具的，直到至今，接触到几个性能监控工具里，还是美国quest公司生产的Spotlight此产品相对比较牛！ 我也不知道现在发展到能支持监控多少资源，我就拿我之前整理的文档所对应的的工具版本进行讲解，至于下载软件支持某个资源或者某些资源，请自行百度搜索：quest Spotlight，官网下载的版本是需要收费的，因此自行在网上搜索下载破解版本。 Spotlight可以监控很多很资源，相关如下： Spotlight on web server //web应用程序服务 Spotlight on Active Directory //wwindows操作系统上的AD域应用程序服务 Spotlight on DB2 //DB2关系型数据库应用程序服务 Spotlight on MySQL //mysql关系型数据库应用程序服务 Spotlight on Oracle //oracle关系型数据库应用程序服务 Spotlight on SQL Serever // SQL Serever 关系型数据库应用程序服务 Spotlight on Sybase ASE // sybase OLTP关系型数据库应用程序服务 Spotlight on Unix/Linux //Unix/Linux操作系统 Spotlight on

错误如下： 2020-05-19 09:28:19 11082 [ERROR] InnoDB: Unable to lock ./ibdata1, error: 11 2020-05-19 09:28:19 11082 [Note] InnoDB: Check that you do not already have another mysqld process using the same InnoDB data or log files. 2020-05-19 09:28:20 11082 [ERROR] InnoDB: Unable to lock ./ibdata1, error: 11 2020-05-19 09:28:20 11082 [Note] InnoDB: Check that you do not already have another mysqld process using the same InnoDB data or log files. 2020-05-19 09:28:21 11082 [ERROR] InnoDB: Unable to lock ./ibdata1, error: 11 2020-05-19 09:28:21 11082 [Note] InnoDB: Check that you do not already have

上篇《缓冲池(buffer pool)，彻底懂了！》介绍了InnoDB缓冲池的工作原理。 简单回顾一下： （1）MySQL数据存储包含内存与磁盘两个部分； （2）内存缓冲池(buffer pool)以页为单位，缓存最热的数据页(data page)与索引页(index page)； （3）InnoDB以变种LRU算法管理缓冲池，并能够解决“预读失效”与“缓冲池污染”的问题； 画外音：细节详见《缓冲池(buffer pool)，彻底懂了！》。 毫无疑问，对于读请求，缓冲池能够减少磁盘IO，提升性能。问题来了，那写请求呢？ 情况一 假如要修改页号为4的索引页，而这个页正好在缓冲池内。 如上图序号1-2： （1）直接修改缓冲池中的页，一次内存操作； （2）写入redo log，一次磁盘顺序写操作； 这样的效率是最高的。 画外音：像写日志这种顺序写，每秒几万次没问题。 是否会出现一致性问题呢？ 并不会。 （1）读取，会命中缓冲池的页； （2）缓冲池LRU数据淘汰，会将“脏页”刷回磁盘； （3）数据库异常奔溃，能够从redo log中恢复数据； 什么时候缓冲池中的页，会刷到磁盘上呢？ 定期刷磁盘，而不是每次刷磁盘，能够降低磁盘IO，提升MySQL的性能。 画外音：批量写，是常见的优化手段。 情况二 假如要修改页号为40的索引页，而这个页正好不在缓冲池内。 此时麻烦一点，如上图需要1-3：

MySQL数据库作发布系统的存储，一天五万条以上的增量，预计运维三年,怎么优化？ 为什么索引能提高查询速度? MySQL连接池的连接数说爆就爆了？ 关心过业务系统里面的sql耗时吗？统计过慢查询吗？对慢查询都怎么优化过？ 最近小编在阿里P7大佬手里扒到这份MySQL高级调优笔记，竟然有80K+星，今天就拿出来分享给大家， 本笔记主要讲解了MySQL中的视图/存储过程/触发器/索引等对象的使用、常见的SQL语句优化的技巧 、应用优化、数据库优化、数据库日志等方面的知识，并通过综合案例，对笔记中的知识进行一个整合应用。旨在通过MySQL高级部分内容，可以在满足现有业务需求基础上，对MySQL底层的体系结构, 对底层的优化有一个深入的理解 , 对系统的整体性能进行提升。 有需要这份MySQL高级调优笔记的朋友看文末有免费的获取方式！ MySQL高级调优笔记主要内容 由于篇幅原因，这份纯手写笔记已经被整理成了PDF文档，有需要MySQL高级调优笔记完整文档的麻烦一键三连之后看下图种小助理的微信：（vip1024x）添加即可免费获取到哦 第一部分 : MySQL 常用对象 Linux安装MySQL及启动 MySQL对象 - 索引 MySQL对象 - 视图 MySQL对象 - 存储过程 MySQL对象 - 触发器 第二部分 : MySQL体系结构,存储引擎及SQL优化 MySQL 体系结构

Mysql事务隔离级别与锁机制 概述 数据库一般都会并发执行多个事务，多个事务可能会并发的对相同的数据进行CRUD操作，有时候就会导致脏读、脏写、不可重复读、幻读这些问题。 为了解决多事务并发问题，Mysql数据库设计了事务隔离机制、锁机 制、MVCC多版本并发控制隔离机制，用一整套机制来解决多事务并发问题。 事务及其ACID属性 事务具有以下4个属性,通常简称为事务的ACID属性。 原子性(Atomicity) ：事务是一个原子操作单元,其对数据的修改,要么全都执行,要么全都不执行。 一致性(Consistent) ：在事务开始和完成时,数据都必须保持一致状态。这意味着所有相关的数据规 则都必须应用于事务的修改,以保持数据的完整性。 隔离性(Isolation) ：数据库系统提供一定的隔离机制,保证事务在不受外部并发操作影响的“独立”环境执行。这意味着事务处理过程中的中间状态对外部是不可见的,反之亦然。 持久性(Durable) ：事务完成之后,它对于数据的修改是永久性的,即使出现系统故障也能够保持。 并发事务处理带来的问题 更新丢失(Lost Update)或脏写 当两个或多个事务选择同一行数据时，然后基于最初选定的值更新该行时，由于每个事务都不知道其他事务的存在，就会发生丢失更新问题–最后的更新覆盖了由其他事务所做的更新。 　　 脏读（Dirty Reads）