mysql集群

当 MySQL 单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED VARCHAR的长度只分配真正需要的空间 使用枚举或整数代替字符串类型 尽量使用TIMESTAMP而非DATETIME， 单表不要有太多字段，建议在20以内 避免使用NULL字段，很难查询优化且占用额外索引空间 用整型来存IP 索引 索引并不是越多越好，要根据查询有针对性的创建，考虑在WHERE和ORDER BY命令上涉及的列建立索引，可根据EXPLAIN来查看是否用了索引还是全表扫描 应尽量避免在WHERE子句中对字段进行NULL值判断，否则将导致引擎放弃使用索引而进行全表扫描 值分布很稀少的字段不适合建索引，例如"性别"这种只有两三个值的字段 字符字段只建前缀索引 字符字段最好不要做主键 不用外键，由程序保证约束 尽量不用UNIQUE，由程序保证约束 使用多列索引时主意顺序和查询条件保持一致

PXC简介： galera产品是以galera cluster方式为mysql提高高可用集群解决方案的。galera cluster就是集成了galera插件的mysql集群。galera replication是codership提供的mysql数据同步方案，具有高可用性，方便扩展，并且可以实现多个mysql节点间的数据同步复制与读写，可保障数据库的服务高可用及数据强一致性。 PXC属于一套近乎完美的mysql高可用集群解决方案，相比那些比较传统的基于主从复制模式的集群架构MHA和MM+keepalived，galera cluster最突出特点就是解决了诟病已久的数据复制延迟问题，基本上可以达到实时同步。而且节点与节点之间，他们相互的关系是对等的。本身galera cluster也是一种多主架构。galera cluster最关注的是数据的一致性，对待事物的行为时，要么在所有节点上执行，要么都不执行，它的实现机制决定了它对待一致性的行为非常严格，这也能非常完美的保证MySQL集群的数据一致性； 对galera cluster的封装有两个，虽然名称不同，但实质都是一样的，使用的都是galera cluster。一个MySQL的创始人在自己全新的MariaDB上实现的MAriaDB cluster；一个是著名的MySQL服务和工具提供商percona实现的percona

MySQL ---- 读写分离 一：原理 读写分离就是只在主服务器上写，只在从服务器上读 主数据库处理事务性查询，而 从数据库处理select查询 数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库 二：Amoeba的定义 Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。 Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。需要结合使用MySQL的 Replication等机制来实现副本同步等功能。 安装包自行下载 ： 复制这段内容后打开百度网盘手机App，操作更方便哦 链接:https://pan.baidu.com/s/1kRkbem91iPxeQ-bZUObTxg 提取码:bg88 三：实验配置 1、环境说明 准备三台Mysql服务器 （一台主服务器 ，一台从服务器） 一台Amoeba ，用来实现读写分离 一台客户机作为验证 Mysql 主从复制与读写功能是密切相关的，通过主从复制来实现数据同步，再通过读写分离来提升数据库的并发负载能力。 2、实验步骤 配置Amoeba 服务器 [root@localhost ~]#

=============================================================大数据相关资料============================================================ 课程环境 Virtual Box 4.1安装 1、使用课程提供的Virtual Box安装包，一步一步安装即可。Oracle_VM_VirtualBox_Extension_Pack-4.1.40-101594.vbox-extpack。 2、之所以选用Virtual Box是因为它比VMWare更加稳定。使用VMWare运行hadoop集群或者spark集群时，有时会出现休眠后重启时，某些进程莫名挂掉的问题。而Virtual Box没有这种情况。 3、之所以选择Virtual Box 4.1版本，是因为更高的版本就不兼容win7了。 CentOS 6.5安装 1、使用课程提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。 2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark1，选择操作系统为Linux，选择版本为Red Hat，分配1024MB内存，后面的选项全部用默认，在Virtual Disk File location and

原文来自： pursuer.chen 原文地址：https://www.cnblogs.com/chenmh/default.aspx?page=1 [置顶]MongoDB 文章目录 2018-02-09 10:27 by pursuer.chen, 144 阅读, 收藏 , 编辑 基础: MongoDB入门系列（一）：基础概念和安装 MongoDB入门系列（二）：Insert、Update、Delete、Drop MongoDB入门系列（三）：查询（SELECT） MongoDB入门系列（四）：权限管理 MongoDB入门系列（五）：聚合操作 MongoDB 错误汇总 MongoDB 启动配置参数 集群: MongoDB 复制机制 MongoDB 搭建可复制群集 MongoDB 副本集管理 MongoDB 搭建分片集群 MongoDB 分片管理 MongoDB 分片键的选择与案例 OPS: 0 Comment [置顶]SQL Server 文章目录 2017-06-02 17:27 by pursuer.chen, 335 阅读, 收藏 , 编辑 SQL Server系列: 高可用方案: 搭建域服务器和DNS 搭建Windows故障转移群集 SQL Server Alwayson概念总结 SQL Server AlwaysOn搭建 SQL Server

1、mariadb-galera-server 三个控制节点安装 yum install -y centos-release-openstack-stein yum install -y python-openstackclient openstack-selinux MySQL-python python2-PyMySQL yum install -y mariadb mariadb-galera-server mariadb-galera-common galera rsync 配置数据库三个控制节点 mariadb-galera-server #################################################################################### 参考文档 https://blog.51cto.com/arkling/2114967 https://www.jianshu.com/p/a99c474f9fba https://cloud.tencent.com/developer/article/1120419 https://www.cnblogs.com/hukey/p/8047070.html https://blog.csdn.net/super_man_ww/article/details

1、更换yum 镜像源 　　wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 　　yum clean all 2、更新软件包和内核 　　yum update -y 3、安装并运行docker 　　yum install docker -y 　　systemctl start docker 4、配置阿里云docker镜像加速器 sudo tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["https://tti3o6j1.mirror.aliyuncs.com"] } EOF sudo systemctl daemon-reload sudo systemctl restart docker 5、docker search percona-xtradb-cluster 6、docker pull docker.io/percona/percona-xtradb-cluster 获取镜像 7、docker volume create --name v1 8 、docker network create --subnet=172.18.0.0/24 net1 9、用此镜像生成五个容器

原文：http://www.uml.org.cn/sjjm/sjjm-MySql.asp MySQl MySQL高可用数据库内核深度优化的四重定制 MySQL数据表存储引擎类型及特性 MySQL分布式数据库高可用架构、复制机制、多机房 Mysql高并发优化 我必须得告诉大家的MySQL优化原理 MySQL注入攻击与防御 腾讯云：MySQL数据库的高可用性分析 一步一步打造MySQL高可用平台 MySQL 日志管理详解 MySQL锁解决并发问题详解 MySQL的配置与管理 MySQL日志管理 MySQL 5.7新特性介绍 MySQL数据库读写分离中间件Atlas 京东MySQL数据库主从切换自动化 全面了解MySql中的事务 MySQL NULL值简介 MySQL备份的持续验证：还原备份 初识MySQL存储过程 优步工程团队对容器化MySQL的应用 MySQL NULL值简介 MySQL备份的持续验证：还原备份 MySQL SQL语句优化技巧 MySQL简单主从方案及暴露的问题 Uber为什么从Postgres迁移到MySQL 一种MySQL到HBase的迁移策略的研究与实现 MySQL 索引详解大全 MYSQL企业常用架构与调优经验分享 SQL优化之六脉神剑 MySQL 大表优化方案探讨 mysql 数据库引擎 MySQL数据库事务隔离级别 MySQL 用户权限详细汇总

文章目录 一、MHA的简介 1.1、MHA的组成 1.2、MHA特点 二、MHA的案例 2.1、案例需求 2.2、案例实现思路 2.3、案例环境 三、具体搭建过程 3.1、实现MySQL的一主两从 3.2、安装 MHA 3.3、配置无密码访问 3.4、配置MHA 3.5、故障模拟 一、MHA的简介 目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本人youshimaton开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。 在MySQL故障 切换过程中，MHA能做到0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能最大程度上保证数据库的一致性，以达到真正意义上的高可用。 当Master出现故障时，它可以自动将最新数据的Slave提升为新的Master,然后将所有其他的Slave重新指向新的Master。整个故障转移过程对应用程序是完全透明的。 1.1、MHA的组成 MHA Manager (管理节点)： Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。 MHA Node (数据节点)： Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时

--MySQL 结构有两部分组成 1.MySQL server 层 2.存储引擎层 --注：到 存储引擎层之前都属于 MySQL server 层 MySQL 5.1到 5.7 ，大版本 没有变化 ， 小版本 唯一的变化就是 存储引擎 ，MySQL server 层没有变过 在 MySQL 5.5之后 包括 5.5 ，默认的存储引擎都是 innodb (engine=innodb) ,但是 在 5.5之前的版本，默认的存储引擎是 myisam ,基于表的 所以 如果是 5.5之前的版本，创建表的时候 需要指定 engine=innodb ,否则创建出来的表 都是 myisam 存储引擎的 基本上 5.1之后就是 5.5了；期间都是一个跳板 MySQL组成部分: 1.连接池组件 2.管理服务和工具组件 3.SQL接口组件 4.查询分析器组件 5.优化器组件 6.缓冲组件 7.插件式存储引擎 8.物理文件 存储引擎是基于表的，不是基于数据库的 mysql 的核心就是存储引擎 　　　　　　MySQL 表存储引擎 MySQL 插拔式的存储引擎架构提供了一系列标准的管理和服务支持 存储引擎是基于表的，而不是基于数据库的 根据具体的应用选择合适的存储引擎 OLTP:在线联机事物系统，---读多写少，比如：电商，支持行级锁，支持外键 OLAP:在线联机分析系统，---这个接触的几率很小