mysql集群

一、 Mysql1配置 vi /etc/my.cnf.d/server.cnf [mysqld] #作为主从复制的唯一标识，集群中，不能重复 server-id = 1 #开启二进制日志 log-bin = master-log #开启中继日志 relay-log = slave-log auto_increment_offset = 1 auto_increment_increment = 2 二、MySQL2配置 vi /etc/my.cnf.d/server.cnf [mysqld] #作为主从复制的唯一标识，集群中，不能重复 server-id = 2 #开启二进制日志 log-bin = master-log #开启中继日志 relay-log = slave-log auto_increment_offset = 2 auto_increment_increment = 2 三、重启MySQL服务 systemctl restart mysqld 四、MySQL1为主，MySQL2为从配置 　　在MySQL1 中执行sql>> mysql> create user 'lan'@'192.168.11.%' identified by '666666'; mysql> grant replication slave on *.* to 'lan'@'192.168.11.

数据库的基本概念 数据 描述事物的符号记录称为数据（Data） 包括数字、文字、图形、图像、声音、档案记录等 以“记录”形式按统一的格式进行存储 表 将不同的记录组织在一起，就形成了“表” 是用来存储具体数据的 数据库 数据库就是表的集合，是存储数据的仓库 以一定的组织方式存储的相互有关的数据 数据库系统发展史 第一代数据库 自20世纪60年代起，第一代数据库系统问世。它们是层次模型与网状模型的数据库系统，为统一管理和共享数据提供了有力的支撑 第二代数据库 20世纪70年代初，第二代数据库——关系数据库开始出现 20世纪80年代初，IBM公司的关系数据库系统DB2问世，作为第二代数据库系统的关系数据库，开始逐步取代层次与网状模型的数据库，成为占主导地位的数据库，成为行业主流。到目前为止，关系数据库系统仍占领数据库应用的主要地位 第三代数据库 自20世纪80年代起，各种适应不同领域的新型数据库系统不断涌现，如工程数据库、多媒体数据库、图形数据库、智能数据库、分布式数据库及面向对象数据库等，特别是面向对象数据库系统，由于其实用性强、适应面广而受到人们的青睐 20世纪90年代后期，形成了多种数据库系统共同支撑应用的局面。当然,在商务应用方面，依然还是关系数据库占主流，不过，已经有一些新的元素被添加进主流商务数据库系统中。例如，Oracle支持的"关系—对象”数据库模型 当今主流数据库介绍

安装MySQL； 1.检查当前环境是否安装mysql服务（命令：rpm -qa|grep -i mysql） 2.卸载自带的mysql 3.卸载软件：rpm -e --nodeps mysql-libs-5.5.71-1.el6.x86_64 4.安装mysql客户端与服务器 4.1下载依赖 sudo yum install libaio sudo yum install perl 导入服务器，客户端 rpm -ivh ./mysql-client-5.1.73-1.glibc23.x86_64.rpm rpm -ivh mysql-server-5.1.73-1.glibc23.x86_64.rpm 4.2mysql服务启动 检查mysql状态 service mysql status 启动mysql服务 service mysql start 停止mysql服务 service mysql stop 重启mysql服务 service mysql restart 4.3Hive元数据库创建于授权（非root用户） 进入root用户 mysql -uroot[-proot]默认没有设置密码 在root用户下：创建hive库并设置编码Latin1（默认编码） create database hivedb default character set latin1; alter

当单台 MYSQL 服务器无法满足当前网站流量时的优化方案。需要搭建 mysql 集群技术。 一、功能： 当向主服务器插入 | 修改 | 删除数据时，数据会自动同步到从服务器。 注意：主从复制是单向的，只能主 -> 从 分为两种类型：发射型（一主多从）：一般使用在：备份、读写分离。 环形（多主多从）：一般使用：当主服务器压力大时、跨地区的网站实现数据同步 在环形结构中，如果同时向三台服务器的同一表插入记录会出现 “ ID 冲突的问题”。 解决办法：让三台服务器生成不同的 ID ； 第一台： 1,4,7... 第二台： 2,5,8.. 第三台： 3,6,9... 这个可以 MYSQL 的配置文件中设置： 二、主从的 原理（利用了 bin 日志） Mysql 中有一种日志叫做 bin 日志（二进制日志）。这个日志会记录下 所有修改了数据库 的 SQL 语句（ insert,update,delete,ALTER TABLE,grant 等等）。主从复制的原理其实就是把主服务器上的ＢＩＮ日志复制到从服务器上执行一遍，这样从服务器上的数据就和主服务器上的数据相同了。 扩展： mysql 中的日志： 查询日志 错误日志 Bin 日志 慢日志：你可以设置一个时间阀值，如 0.5 秒，那么将来所以执行时间超过这个值的 SQL 语句就会被 记录下来。这样我们就可以把慢的 SQL 语句记录下来

阅读目录 一 什么是存储引擎 二 mysql支持的存储引擎 三 使用存储引擎 一 什么是存储引擎 mysql中建立的库===>文件夹 库中建立的表===>文件 现实生活中我们用来存储数据的文件有不同的类型，每种文件类型对应各自不同的处理机制：比如处理文本用txt类型，处理表格用excel，处理图片用png等 数据库中的表也应该有不同的类型，表的类型不同，会对应mysql不同的存取机制，表类型又称为存储引擎。 存储引擎说白了就是如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方 法。因为在关系数据库中数据的存储是以表的形式存储的，所以存储引擎也可以称为表类型（即存储和 操作此表的类型） 在Oracle 和SQL Server等数据库中只有一种存储引擎，所有数据存储管理机制都是一样的。而MySql 数据库提供了多种存储引擎。用户可以根据不同的需求为数据表选择不同的存储引擎，用户也可以根据 自己的需要编写自己的存储引擎 SQL 解析器、SQL 优化器、缓冲池、存储引擎等组件在每个数据库中都存在,但不是每 个数据库都有这么多存储引擎。MySQL 的插件式存储引擎可以让存储引擎层的开发人员设 计他们希望的存储层,例如,有的应用需要满足事务的要求,有的应用则不需要对事务有这 么强的要求 ;有的希望数据能持久存储,有的只希望放在内存中,临时并快速地提供对数据 的查询。 二

1. 从RDBMS到NoSQL的架构演化 互联网时代背景下大机遇，为什么用nosql 1 单机MySQL的美好年代 在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。 在那个时候，更多的都是静态网页，动态交互类型的网站不多。 上述架构下，我们来看看数据存储的瓶颈是什么？ 1.数据量的总大小 一个机器放不下时 2.数据的索引（B+ Tree）一个机器的内存放不下时 3.访问量(读写混合)一个实例不能承受 如果出现了上述1 or 3个上述瓶颈，架构开始演化到下一个阶段： 2 Memcached(缓存)+MySQL+垂直拆分 后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力，但是当访问量继续增大的时候，多台web机器通过文件缓存不能共享，大量的小文件缓存也带了了比较高的IO压力。在这个时候，Memcached就自然的成为一个非常时尚的技术产品。 Memcached作为一个独立的分布式的缓存服务器，为多个web服务器提供了一个共享的高性能缓存服务，在Memcached服务器上，又发展了根据hash算法来进行多台Memcached缓存服务的扩展

前言 ：数据库的引擎是整个mysql数据库的核心组件，mysql的存储引擎众多，MyISAM、InnoDB、Memory、Archive等，其中InnoDB是mysql里面支持事务类型的一个存储引擎最好的一个，雅虎、facebook、youtube、淘宝、谷歌用的mysql数据库都有用到InnoDB的存储引擎； 在数据库领域中有2个词很容易混淆，“实例” 和 “数据库”; 数据库 ：物理操作系统文件或其他形式文件类型的集合；在mysql 中，数据库可以是 frm、myd、myi、ibd 结尾的文件。当使用 NDB引擎时，数据库的文件 可能 不是操作系统上的 文件，而是 存放于内存之中的文件，但是定义仍然不变。 数据库实例 ：由数据库后台进程/线程以及一个共享内存区组成，共享内存可以被运行的后台进程/线程所共享，需要牢记的是，数据库实例才是 真正用来操作数据库文件的。 更加直白的解释： 数据库是由一个个文件组成（一般来说是二进制文件）,如果要对这些文件执行诸如 select 、insert、update、delete 之类的操作，不能通过简单的操作文件来更改数据库的内容，需要通过数据库实例来完成对数据库的操作。 在mysql 中，实例和数据库的 通常关系是一 一 对应，即一个实例对应一个数据库，一个数据库对应一个实例.在集群情况下，可能存在一个数据库被多个实例使用的情况.

1.准备 1.1.组件 　　 JDK ：1.8版本及以上； 　　 ElasticSearch ：6.x版本，目前貌似不支持7.x版本； 　 Canal.deployer： 1.1.4 　　 Canal.Adapter： 1.1.4 1.1.配置 需要先开启MySQL的 binlog 写入功能，配置 binlog-format 为 ROW 模式 找到my.cnf文件，我的目录是/etc/my.cnf，添加以下 配置： log-bin=mysql-bin 　　# 开启 binlog binlog-format=ROW 　　# 选择 ROW 模式 server_id=1 　　　　 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复 然后 重启mysql ，用以下命令检查一下binlog是否正确启动： mysql> show variables like 'log_bin%'; +---------------------------------+----------------------------------+ | Variable_name | Value | +---------------------------------+----------------------------------+ | log_bin | ON |

为什么要优化? 系统的吞吐量瓶颈往往出现在数据库的访问速度上 随着应用程序的运行，数据库的中的数据会越来越多，处理时间会相应变慢 数据是存放在磁盘上的，读写速度无法和内存相比 Memcached/Redis（缓存）+Mysql+垂直拆分 这种做法可以将你的数据库的数据从开始的一个数据库分成了3个，比如第一个数据库复制保存用户信息，第二个保存商品信息，第三个保存 缺点： 当你的 数据库1 炸了，整合项目就运行不起来了（不安全） Mysql主从复制+读写分离 1、什么是主从复制 多搞几个数据库来存储数据，假设有三台服务器，一主二仆，即以太主服务器，二台从服务器 把你的主服务器的数据复制在你的二个从服务器里，复制是为了容错备份，缓存备份，保证数据的完整性，也为读写分离创建条件 2、什么是读写分离 增删改是写，查是读 写去主服务器去写 读取二个从服务器通过负载均衡去读 分工明确，结合缓存实现性能的一大提升 分库分表＋＋Mysql集群 承接主从复制，读写分离，以及Memcached的使用，这时MySQL主库的写压力开始出现瓶颈 而数据量的持续猛增，由于数据量的指数级增长，单单表表上上的的记记录录条条数数增增长长到到千千万万 级，只能继续对架构进行演变。 这个演变，就是使用分库分表来缓解写压力和数据记录条数增长的问题。 3、什么是分库分表 从字面上简单理解

percona-xtradb-cluster安装部署 Percona Xtradb Cluster 安装 Percona Xtradb Cluster 介绍 Percona XtraDB Cluster 简称:PXC,是针对MySQL 用户的高可用性和扩展性解决方案，基于Percona Server。其包括了Write Set REPlication 补丁，使用Galera库，这是一个针对事务性应用程序的同步多主机复制插件。 Percona XtraDB Cluster特点： 　　（1）同步复制，事务在所有集群节点要么同时提交，要么不提交。 　　（2）多主复制，可以在任意一个节点写入。 　　（3）从服务器上的并行应用事件，真正的“并行复制”。 　　（4）自动配置节点。 　　（5）数据一致性，没有不同步的从服务器。 PXC 安装环境需求 环境： CentOS 6.5 64bits IP: 192.168.1.88 192.168.1.89 192.168.1.90 基本架构： PXC 安装基本步骤 Percona-Xtradb-Cluster 5.6 版本下载 wget http://www.percona.com/downloads/Percona-XtraDB-Cluster-56/Percona-XtraDB-Cluster-5.6.21-25.8/binary/tarball