mysql读写分离

hello 各位小伙伴大家好，我是小栈君，这期我们分享关于mysql中间件的研究，也就是数据层的读写分离和负载均衡，希望能够在实际的应用中能够帮助到各位小伙伴。 下期我们将继续分享go语言的系列讲解，以及以后的生活中我们也将会分享系列课程包括大数据、人工智能、区块链等等，希望大家能够多多学习和分享给身边的小伙伴，我们一起进步和成长。 mysql-proxy MySQL Proxy就是这么一个中间层代理，简单的说，MySQL Proxy就是一个连接池，负责将前台应用的连接请求转发给后台的数据库，并且通过使用lua脚本，可以实现复杂的连接控制和过滤。 从而实现读写分离和负载平衡。对于应用来说，MySQL Proxy是完全透明MySQL Proxy更强大的一项功能是实现“读写分离”，基本原理是让主数据库处理事务性查询。 它的执行流程如图所示： 让从库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从库。 mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。 官网: https://downloads.mysql.com/archives/proxy/ 下面介绍几款能代替其的mysql开源中间件产品，Atlas，cobar，tddl，让我们看看它们各自有些什么优点和新特性吧。

MySQL主从同步 1. 主从同步的定义 　　主从同步使得数据可以从一个数据库服务器复制到其他服务器上，在复制数据时，一个服务器充当主服务器（master），其余的服务器充当从服务器（slave）。 　　因为复制是异步进行的，所以从服务器不需要一直连接着主服务器，从服务器甚至可以通过拨号断断续续地连接主服务器。通过配置文件，可以指定复制所有的数据库，某个数据库，甚至是某个数据库上的某个表。 2.mysql 主从同步作用： 　　1.读写分离 　　2.分流，减轻服务器压力 　　3. 数据备份 　　　　80% 查询，20% 写入， 3.使用主从同步的好处： （1） 通过增加从服务器来 提高数据库的性能 ，在主服务器上执行写入和更新，在从服务器上向外提供读功能，可以动态地调整从服务器的数量，从而调整整个数据库的性能。 （2） 提高数据安全 ，因为数据已复制到从服务器，从服务器可以终止复制进程，所以，可以在从服务器上备份而不破坏主服务器相应数据 （3） 在主服务器上生成实时数据，而在从服务器上分析这些数据，从而 提高主服务器的性能 4. 主从同步的机制 　　Mysql服务器之间的主从同步是基于二进制日志机制，主服务器使用二进制日志来记录数据库的变动情况，从服务器通过读取和执行该日志文件来保持和主服务器的数据一致。 在使用二进制日志时，主服务器的所有操作都会被记录下来

1、什么是运维？什么是游戏运维？ 1）运维是指大型组织已经建立好的网络软硬件的维护，就是要保证业务的上线与运作的正常， 在他运转的过程中，对他进行维护，他集合了网络、系统、数据库、开发、安全、监控于一身的技术 运维又包括很多种，有DBA运维、网站运维、虚拟化运维、监控运维、游戏运维等等 2）游戏运维又有分工，分为开发运维、应用运维（业务运维）和系统运维 开发运维：是给应用运维开发运维工具和运维平台的 应用运维：是给业务上线、维护和做故障排除的，用开发运维开发出来的工具给业务上线、维护、做故障排查 系统运维：是给应用运维提供业务上的基础设施，比如：系统、网络、监控、硬件等等 总结：开发运维和系统运维给应用运维提供了“工具”和“基础设施”上的支撑 开发运维、应用运维和系统运维他们的工作是环环相扣的 2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的？ 游戏运营要做的一个事情除了协调工作以外 还需要与各平台沟通，做好开服的时间、开服数、用户导量、活动等计划 3、现在给你三百台服务器，你怎么对他们进行管理？ 管理3百台服务器的方式： 1）设定跳板机，使用统一账号登录，便于安全与登录的考量。 2）使用salt、ansiable、puppet进行系统的统一调度与配置的统一管理。 3）建立简单的服务器的系统、配置、应用的cmdb信息管理。便于查阅每台服务器上的各种信息记录

监控MySQL的性能指标 系列 / 数据库 / 度量 / mysql的 / 性能 这个职位是一个3部分组成的系列关于MySQL的第1部分监控。 第二 ​​部分 是关于从MySQL收集度量和 第3部分 解释了如何使用MySQL的Datadog进行监控。 什么是MySQL？ MySQL的 是世界上最流行 ​​的开源关系数据库服务器。 属于Oracle，MySQL是在免费下载的社区版，以及在商业版本添加了功能和支持可用。 最初于1995年发布，MySQL已经催生以来高调叉子竞争性技术，如MariaDB的和Percona的。 重点统计的MySQL 如果你的数据库运行缓慢，或未能提供查询服务以任何理由，你的筹码的每一个部分取决于该数据库上会遇到性能问题也是如此。 为了保持你的数据库运行平稳，你可以主动监测指标涵盖了性能和资源利用四个方面： 查询吞吐量 查询执行性能 连接 缓冲池的使用 MySQL的用户可以访问数据库中的上百个指标，因此在本文中，我们将重点放在关键指标，这将使你获得实时洞察到你的数据库的健康和性能屈指可数。 在 第二部分， 这一系列我们将向你展示如何访问和收集所有这些指标。 本文参考指标术语在介绍 我们的监控101系列 ，它提供了指标收集和警报的框架。 版本和技术之间的兼容性 一些在本系列中讨论的监测策略是特定的MySQL版本5.6和5.7。 这些版本之间的差异将沿途指出。

基于 mysqld_multi实现MySQL 5.7.24多实例多进程配置 MySQL多实例的原理 mysql 多实例，简单理解就是在一台服务器上， mysql 服务开启多个不同的端口（如 3306 、 3307 、 3308 ）运行多个服务进程。这些 mysql 服务进程通过不同的 socket 来监听不同的数据端口，进而互不干涉的提供各自的服务。 在同一台服务器上， mysql 多实例会去共用一套 mysql 应用程序，因此你在部署 mysql 的时候只需要部署一次 mysql 程序即可，无需多次部署。但是， mysql 多实例之间会各自使用不同的 my.cnf 配置文件、启动程序和数据文件。在提供服务方面， mysql 多实例在逻辑上看起来是各自独立，互不干涉的，并且多个实例之间是根据配置文件的设定值，来获取相关服务器的硬件资源。 优点如下： 有效利用服务器资源 当单个服务器资源过剩时，可以充分利用剩余的资源来提供更多的服务 节约服务器资源 当公司资金紧张，但数据库又需要数据库之间各自提供服务时，并且还想使用主从同步等技术，此时多实例就再好不过了 方便后期架构扩展 当公司的某个项目才启动时，启动初期并不一定有很大的用户量，因此可以先用一组物理数据库服务器，在上面部署多个实例，方便后续架构扩展、迁移 缺点如下： 资源互相抢占问题 当某个服务实例并发很高或者有慢查询时

一、如何实现MySQL主从读写分离 　　　　1、通过程序实现读写分离（性能，效率最佳，推荐） 　　　　php和java程序都可以通过设置多个连接文件轻松的实现对数据库的读写分离，即当select时，就去连接读库的连接文件，当updata，insert，delete时就连接写库的连接文件。 　　　　2、通过软件实现读写分离 　　　　MySQL-proxy，Amoeba等代理软件也可以实现读写分离功能， 但最常用好用的还是程序实现读写分离。 　　　　3、开发dbproxy 二、主从复制原理图： 三、MySQL主从复制原理过程 　　　　1、同步的时候，从库有俩个线程完成IO、SQL线程，主从有一个线程完成IO线程。 　　　　2、要在从库上面配置连接主库的IP、用户名、账号、密码、文件的位置、以及pos点等。 　　　　3、开启开关之前，要确保主从库是一致的。 　　　　4、要在主库上建立专门用于从库同步的账号。 　　　　5、主库要打开binlog开关，否则无法实现同步。 　　　　6、从库打开开关的过程，其实就是让IO，SQL线程工作的过程 来源： https://www.cnblogs.com/cnxy168/p/11655828.html

一、MySQL复制介绍 1.1、主从复制简介 1）MySQL复制允许将主实例(master)上的数据同步到 一个或多个从实例(slave)上 ，默认情况下复制是 异步 进行的，从库也不需要一直连接到主库来同步数据 2） MySQL复制的数据粒度可以是主实例上所有的数据库，也可以是指定的一个或多个数据库，也可以是一个数据库里的指定的表 1.2、主从复制优势 1） 扩展能力 ：通过复制功能可以将MySQL的性能压力分担到一个或多个slave上。这要求 所有的写操作和修改操作都必须在Master上完成，而读操作可以被分配到一个或多个slave 上。将读写分离到不同服务器执行之后，MySQL的读写性能得到提升 2） 数据库备份 ：由于从实例是同步主实例的数据，所以可以 将备份作业部署到从库 3） 数据分析和报表 ：同样，一些数据分析和报表的实现可以在 从实例 执行，以减少对主库的性能影响 4） 容灾能力 ：可以在物理距离较远的另一个数据中心建立一个slave，保证在主实例所在地区遭遇灾难时，在另一个数据中心能快速恢复 1.3、MySQL复制方法 1） 传统方式 ：基于主库的 bin-log 将日志事件和事件位置复制到从库，从库再加以应用来达到主从同步的目的 2） Gtid方式 ：global transaction identifiers是基于 事务 来复制数据，因此也就不依赖日志文件

MySQL架构 查询执行流程 查询执行的流程是怎样的： 连接 1.1客户端发起一条Query请求，监听客户端的‘连接管理模块’接收请求 1.2将请求转发到‘连接进/线程模块’ 1.3调用‘用户模块’来进行授权检查 1.4通过检查后，‘连接进/线程模块’从‘线程连接池’中取出空闲的被缓存的连接线程和客户端请求对接，如果失败则创建一个新的连接请求。 处理 2.1先查询缓存，检查Query语句是否完全匹配， 2.2查询缓存失败则转交给‘命令解析器’ 2.3再转交给对应的模块处理 2.4如果是SELECT查询还会经由‘查询优化器’做大量的优化，生成执行计划 2.5模块收到请求后，通过‘访问控制模块’检查所连接的用户是否有访问目标表和目标字段的权限 2.6有则调用‘表管理模块’，先是查看table cache中是否存在，有则直接对应的表和获取锁，否则重新打开表文件 2.8根据表的meta数据，获取表的存储引擎类型等信息，通过接口调用对应的存储引擎处理 2.9上述过程中产生数据变化的时候，若打开日志功能，则会记录到相应二进制日志文件中 结果 3.1Query请求完成后，将结果集返回给‘连接进/线程模块’ 3.2返回的也可以是相应的状态标识，如成功或失败等 3.3‘连接进/线程模块’进行后续的清理工作，并继续等待请求或断开与客户端的连接 什么是优化 合理安排资源、调整系统参数使MySQL运行更快

如果有人问你“数据库事务有哪些特性”？你可能会很快回答出原子性、一致性、隔离性、持久性即ACID特性。那么你知道InnoDB如何保证这些事务特性的吗？如果知道的话这篇文章就可以直接跳过不看啦(#^.^#) 先说结论： redo log重做日志用来保证事务的持久性 undo log回滚日志保证事务的原子性 undo log+redo log保证事务的一致性 锁（共享、排他）用来保证事务的隔离性 重做日志 redo log 重做日志 redo log 分为两部分：一部分是内存中的重做日志缓冲（redo log buffer），是易丢失的；二部分是重做日志文件（redo log file），是持久的。InnoDB通过Force Log at Commit机制来实现持久性，当commit时，必须先将事务的所有日志写到重做日志文件进行持久化，待commit操作完成才算完成。 InnoDB在下面情况下会将重做日志缓冲的内容写入重做日志文件： master thread 每一秒将重做日志缓冲刷新到重做日志文件; 每个事务提交时 当重做日志缓冲池剩余空间小于1/2时 为了确保每次日志都写入重做日志文件，在每次将日志缓冲写入重做日志文件后，InnoDB存储引擎都需要调用一次fsync（刷盘）操作。但这也不是绝对的。用户可以通过修改innodb_flush_log_at_trx

https://www.cnblogs.com/lin3615/p/5684891.html 文章来自整理:http://blog.jobbole.com/94606/ 其中Amoeba for MySQL也是实现读写分离 环境描述: 操作系统：CentOS6.5 32位 主服务器Master：192.168.179.146 从服务器Slave：192.168.179.147 调度服务器MySQL-Proxy：192.168.179.142 由于电脑配置不行，安装了三台虚拟机，就卡死了，只能将就一下,由于是一主 一从，所以，导致读写都在master上，有机会，再弄两台slave来测试 一.mysql主从复制，参考：http://www.cnblogs.com/lin3615/p/5679828.html 二、mysql-proxy实现读写分离 1、安装mysql-proxy 实现读写分离是有lua脚本实现的，现在mysql-proxy里面已经集成，无需再安装 下载：http://dev.mysql.com/downloads/mysql-proxy/ 一定要下载对应的版本 tar zxvf mysql-proxy-0.8.5-linux-glibc2.3-x86-32bit.tar.gz mv mysql-proxy-0.8.5-linux-glibc2.3-x86-32bit