mysql中间件

对于一个以数据为中心的应用，数据库的好坏直接影响到程序的性能，因此数据库性能至关重要。一般来说，要保证数据库的效率，要做好以下四个方面的工作：数 据库设计、sql语句优化、数据库参数配置、恰当的硬件资源和操作系统，这个顺序也表现了这四个工作对性能影响的大小。下面我们逐个阐明： 一、数据库设计 　　适度的反范式,注意是适度的 　　我们都知道三范式，基于三范式建立的模型是最有效保存数 据的方式，也是最容易扩展的模式。我们在开发应用程序时，设计的数据库要最大程度的遵守三范式，特别是对于OLTP型的系统，三范式是必须遵守的规则。当 然，三范式最大的问题在于查询时通常需要join很多表，导致查询效率很低。所以有时候基于性能考虑，我们需要有意的违反三范式，适度的做冗余，以达到提 高查询效率的目的。注意这里的反范式是适度的，必须为这种做法提供充分的理由。下面就是一个糟糕的实例：　　 　 　在这里，为了提高学生活动记录的检索效率，把单位名称冗余到学生活动记录表里。单位信息有500条记录，而学生活动记录在一年内大概有200万数据量。 如果学生活动记录表不冗余这个单位名称字段，只包含三个int字段和一个timestamp字段，只占用了16字节，是一个很小的表。而冗余了一个 varchar(32)的字段后则是原来的3倍，检索起来相应也多了这么多的I/O。而且记录数相差悬殊，500 VS 2000000

对于一个以数据为中心的应用，数据库的好坏直接影响到程序的性能，因此数据库性能至关重要。一般来说，要保证数据库的效率，要做好以下四个方面的工作：数据库设计、sql语句优化、数据库参数配置、恰当的硬件资源和操作系统，这个顺序也表现了这四个工作对性能影响的大小。下面我们逐个阐明： 一、数据库设计 　　适度的反范式,注意是适度的 　　我们都知道三范式，基于三范式建立的模型是最有效保存数 据的方式，也是最容易扩展的模式。我们在开发应用程序时，设计的数据库要最大程度的遵守三范式，特别是对于OLTP型的系统，三范式是必须遵守的规则。当 然，三范式最大的问题在于查询时通常需要join很多表，导致查询效率很低。所以有时候基于性能考虑，我们需要有意的违反三范式，适度的做冗余，以达到提 高查询效率的目的。注意这里的反范式是适度的，必须为这种做法提供充分的理由。下面就是一个糟糕的实例：　　 　 　在这里，为了提高学生活动记录的检索效率，把单位名称冗余到学生活动记录表里。单位信息有500条记录，而学生活动记录在一年内大概有200万数据量。 如果学生活动记录表不冗余这个单位名称字段，只包含三个int字段和一个timestamp字段，只占用了16字节，是一个很小的表。而冗余了一个 varchar(32)的字段后则是原来的3倍，检索起来相应也多了这么多的I/O。而且记录数相差悬殊，500 VS 2000000

什么是数据读写分离 把客户端访问数据的读请求和写请求分给不同的数据库服务器处理 为什么要配置数据读写分离 分担单台服务器的工作压力 配置 程序实现:网站代码中指定不同的读写服务器 服务实现:安装提供读写分离服务的软件实现 mysql中间件 mysql-proxy mycat maxscale 配置思路: 配置MySQL主从 配置mysql代理 配置MySQL代理服务器 [ root@maxscale ] rpm -ivh maxscale-2.1.2-1.rhel.7.x86_64.rpm 文件 作用 /etc/maxscale.cnf 配置文件 /var/log/maxscale/ 日志目录 修改配置文件: [ root@maxscale ] vim /etc/maxscale.cnf 9 [ maxscale ] 10 threads = auto #设置线程数量,auto为根据CPU核心数自动设置 18 [ server1 ] #添加MySQL服务器 19 type = server 20 address = 192.168.4.51 21 port = 3306 22 protocol = MySQLBackend 23 24 [ server2 ] 25 type = server 26 address = 192.168.4.52 27 port = 3306 28

原文：http://www.uml.org.cn/sjjm/sjjm-MySql.asp MySQl MySQL高可用数据库内核深度优化的四重定制 MySQL数据表存储引擎类型及特性 MySQL分布式数据库高可用架构、复制机制、多机房 Mysql高并发优化 我必须得告诉大家的MySQL优化原理 MySQL注入攻击与防御 腾讯云：MySQL数据库的高可用性分析 一步一步打造MySQL高可用平台 MySQL 日志管理详解 MySQL锁解决并发问题详解 MySQL的配置与管理 MySQL日志管理 MySQL 5.7新特性介绍 MySQL数据库读写分离中间件Atlas 京东MySQL数据库主从切换自动化 全面了解MySql中的事务 MySQL NULL值简介 MySQL备份的持续验证：还原备份 初识MySQL存储过程 优步工程团队对容器化MySQL的应用 MySQL NULL值简介 MySQL备份的持续验证：还原备份 MySQL SQL语句优化技巧 MySQL简单主从方案及暴露的问题 Uber为什么从Postgres迁移到MySQL 一种MySQL到HBase的迁移策略的研究与实现 MySQL 索引详解大全 MYSQL企业常用架构与调优经验分享 SQL优化之六脉神剑 MySQL 大表优化方案探讨 mysql 数据库引擎 MySQL数据库事务隔离级别 MySQL 用户权限详细汇总

什么是Mycat 至于什么是Mycat，可能在不同的角色下有不同的理解。对MySQL架构有过了解的话，都知道MySQL实际上是由Server层和存储引擎层组成的。所以 对于DBA来说 ，Mycat 就是 MySQL 的Server层。而 Mycat 后面连接的 MySQL Server，就好象是 MySQL 的存储引擎。因此，Mycat 本身并不存储数据，数据是在后端的 MySQL 上存储的，因此数据的可靠性 以及事务等依旧是 MySQL 保证的。 对于开发人员来说 ，Mycat基本等同于MySQL。因为完全可以使用连接MySQL的方式去连接Mycat，除了默认端口不同之外，连接方式上没有区别。所以Mycat对于开发人员来说是透明的，只不过在SQL的使用上有一些限制。 而对于架构师来说 ，Mycat 是一个数据库中间件，可以用作读写分离、分表分库以及容灾备份等。对于使用Mycat的应用来说，其隐藏了数据库的存储逻辑。让我们无需在代码上去对读写分离等存储逻辑进行控制，从而达到不修改应用代码的前提下，扩展数据库架构。 由于Mycat是国内的开源项目，有非常完善且丰富的中文文档。所以本文就不对基础概念进行赘述了，建议参考 Mycat权威指南在线版 或到 Mycat官网 中了解更多关于Mycat的内容。 什么是数据库中间件 数据库中间件，就是介于数据库与应用之间

CentOS7下MySQL主从Master-Slaves同步配置 环境说明 Centos版本: CentOS Linux release 7.7.1908 (Core) Linux连接工具：SecureCRT MySQL Version: 5.7.28 主库主机地址：192.168.163.61 从库主机地址：192.168.163.62 参考文档：https://dev.mysql.com/doc/refman/5.7/en/replication.html 为什么要做主从同步 主从配置原理 配置主从同步 1.1 配置主服务器 修改主服务器配置文件/etc/my.cnf #启用二进制日志记录 ：主服务器基于二进制日志文件位置的复制 log-bin=mysql-bin #每个服务器必须配置有唯一的服务器ID，实战中，通常配置为IP的最后一个数字 server-id=61 #指定可以主从同步的数据库，多数据库要配置多行 binlog-do-db=db_consumer binlog-ignore-db=information_schema binlog-ignore-db=mysql binlog-ignore-db=orders binlog-ignore-db=performance_schema binlog-ignore-db=sys 重启MySQL服务 [ root

原文：http://www.uml.org.cn/sjjm/sjjm-MySql.asp MySQl MySQL高可用数据库内核深度优化的四重定制 MySQL数据表存储引擎类型及特性 MySQL分布式数据库高可用架构、复制机制、多机房 Mysql高并发优化 我必须得告诉大家的MySQL优化原理 MySQL注入攻击与防御 腾讯云：MySQL数据库的高可用性分析 一步一步打造MySQL高可用平台 MySQL 日志管理详解 MySQL锁解决并发问题详解 MySQL的配置与管理 MySQL日志管理 MySQL 5.7新特性介绍 MySQL数据库读写分离中间件Atlas 京东MySQL数据库主从切换自动化 全面了解MySql中的事务 MySQL NULL值简介 MySQL备份的持续验证：还原备份 初识MySQL存储过程 优步工程团队对容器化MySQL的应用 MySQL NULL值简介 MySQL备份的持续验证：还原备份 MySQL SQL语句优化技巧 MySQL简单主从方案及暴露的问题 Uber为什么从Postgres迁移到MySQL 一种MySQL到HBase的迁移策略的研究与实现 MySQL 索引详解大全 MYSQL企业常用架构与调优经验分享 SQL优化之六脉神剑 MySQL 大表优化方案探讨 mysql 数据库引擎 MySQL数据库事务隔离级别 MySQL 用户权限详细汇总

一 . 分库分表 什么是分库分表 ? 分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据库拆分成若干数据库组成，将数据大表分成若干数据表组成，使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。 2.分库分表的方式 2.1 分库 : 1. 垂直分库 : 是指按照业务将表进行分类，分布到不同的数据库上面，每个库可以放不同的服务器上，它的核心理念是专库专用。 2 水平分库 : 把同一个表的数据按一定规则拆分到不同的数据库中，每个库可以放不同的服务器上 2.2 分表 : 1. 垂直分表 : 将一个表按照字段分成多表，每个表存储其中一部分字段 2. 水平分 表 : 在同一个数据库内，把同一个表的数据按一定规则拆到多个表中。 二. MyCat 实现 2.1 什么是 MyCat? MyCat 是目前最流行的基于 java 语言编写的数据库中间件，是一个实现了 MySQL 协议的服务器，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用 MySQL 原生协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信，其核心功能是分库分表。配合数据库的主从模式还可实现读写分离。 MyCat 是基于阿里开源的 Cobar 产品而研发， Cobar 的稳定性、可靠性

读写分离拓扑图如下： 为什么要实现mysql读写分离 ​ 大型网站为了解决大量的并发访问，除了在网站实现分布式负载均衡，远远不够。到了数据业务层、数据访问层，如果还是传统的数据结构，或者只是单单靠一台服务器来处理如此多的数据库连接操作，数据库必然会崩溃，特别是数据丢失的话，后果更是不堪设想。这时候，我们会考虑如何减少数据库的连接，下面就进入我们今天的主题。 ​ 利用主从数据库来实现读写分离，从而分担主数据库的压力。在多个服务器上部署mysql，将其中一台认为主数据库，而其他为从数据库，实现主从同步。其中主数据库负责主动写的操作，而从数据库则只负责主动读的操作（slave从数据库仍然会被动的进行写操作，为了保持数据一致性），这样就可以很大程度上的避免数据丢失的问题，同时也可减少数据库的连接，减轻主数据库的负载。 mysql读写分离 mysql读写分离概述 ​ mysql本身不能实现读写分离的功能，需要借助中间件实现，例如：Amoeba，Mysql Proxy，Atlas。今天主要介绍Amoeba实现mysql读写分离。 ​ Amoeba(变形虫)项目，该开源框架于2008发布一款Amoeba for mysql软件，该软件致力于mysql的分布式数据库前端代理层，**主要的作用是应用服务访问mysql服务器时充当SQL路由功能，并具有负载均衡、高可用性、SQL过滤、读写分离

每天学习一点点 编程PDF电子书、视频教程免费下载： http://www.shitanlife.com/code 1. 漫谈 在进入正题之前，我想先随意谈谈对架构的拓展周期的想法（仅个人观点）。首先，我认为初期规划不该太复杂或者庞大，无论项目的中长期可能会发展地如何如何，前期都应该以灵活为优先，像分库分表等操作不应该在开始的时候就考虑进去。其次，我认为需求变更是非常正常的，这点在我等开发的圈子里吐槽的最多，其中自然有 “领导们” 在业务方面欠缺整体考虑的因素，但我们也不该局限在一个观点内，市场中变则通，不变则死，前期更是如此，因此在前几版的架构中我们必须要考虑较高的可扩展性。最后，当项目经过几轮市场的洗礼和迭代开发，核心业务趋于稳定了，此时我们再结合中长期的规划给系统来一次重构，细致地去划分领域边界，该解耦的解耦，该拆分的拆分。 2. 分库分表 2.1 概述 当数据库达到一定规模后（比如说大几千万以上），切分是必须要考虑的。一般来说我们首先要进行垂直切分，即按业务分割，比如说用户相关、订单相关、统计相关等等都可以单独成库。 图片来源 → 但仅仅如此这是完全不够的，垂直切分虽然剥离了一定的数据，但每个业务还是那个数量级，因此我们还得采取水平切分进一步分散数据，这也是本节论述的重点。 分库分表的优点相信上述两图都一目了然了，一个是专库专用，业务更集中，另一个是提升数据库服务的负载能力