mysql集群

功能 1 批量自动初始化系统（update,软件安装,时区设置,安全策略...） 2 批量自动部署软件（LAMP,LNMP,Nginx,LVS,Tomcat） 3 管理应用程序（KVM,集群管理扩容,MySQL） 4 日志分析处理程序（PV,UV,200,grep/awk） 5 自动化备份恢复程序（MySQL完全备份/增量备份+Crond） 6 自动化管理程序（批量远程修改密码，软件升级，配置更新） 7 自动化信息采集及监控程序（收集系统/应用状态信息：CPU,Mem,Disk,Net,TCP Status,Apache,MySQL） 8 来源：博客园 作者： 没有显示名称 链接：https://www.cnblogs.com/zhangshengxiang/p/11493658.html

一、手动导入 scm 库 /usr/share/cmf/schema/scm_prepare_database.sh mysql -h<mysql-host> -u<mysql-user> -p<mysql-pwd> --scm-host <scm-host> <scm-user> <scm-dbname> <scm-pwd> 其中 <mysql-host>,<mysql-user> <mysql-pwd> 是需要创建的 scm 库所在的 mysql 位置，对应的 mysql 的主机名，用户名和登录密码； <scm-host>,<scm_user>,<scm-dbname>,<scm-pwd>分别对应 cloudera-scm-server 部署在的主机名，scm 库的登录用户，scm 库的库名，scm 库的登录密码。 但是，当在使用云服务器的 rds 实例作为远程 mysql 时，执行以上脚本会报权限不够的错误。而在本地部署的 mysql 实例执行以上脚本则不会报错，主要原因是<mysql-user>是通过 grant all 命令来授权的，而使用 rds 实例时 grant all 命名是无法执行的，也就是使用 rds 时只能 grant 指定权限给用户，这样可能会导致一部分权限丢失，执行上面的自动建库脚本就会报权限错误。 解决方法： 由于 cloudera-scm

一.DBA工作内容及课程体系 数据库管理员： 1.用户管理 用户名 密码 2.权限管理 读 写 #禁止使用 grant all on *.* to root@'%' identified by '123'; 3.数据管理 增 删 改 查 备份\恢复 4.集群管理 主从复制 异步复制 半同步复制 延时复制 过滤复制 读写分离 mycat atlas mysql-proxy 高可用 MMM MHA 双主+keepalived MGR 监控 shell zabbix percona  二.MySQL课程体系介绍  三.DBA的职业素养  四.MySQL简介及安装 01 什么是数据? 数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材。 数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字，称为数字数据。 在计算机系统中，数据以二进制信息单元0,1的形式表示。 数据的定义: 数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。* 为什么不把数据放到 word这些工具里面？ 1.安全性 2.集群 02 什么是数据库管理系统 DBMS（database management system） 1.管理数据 2.存储数据

一、otter简介 otter是阿里开源的一个分布式数据库同步系统，尤其是在跨机房数据库同步方面，有很强大的功能。它是基于数据库增量日志解析，实时将数据同步到本机房或跨机房的mysql/oracle数据库。 二、安装配置JDK 因为zookeeper和Otter-manager都依赖与java环境 注：将Centos的yum源更换为国内的阿里云源 1、首先安装wget yum install wget 2、备份原有源 mv /etc/yum.repos.d /etc/yum.repos.d.backup mkdir /etc/yum.repos.d 注：不同Linux版本，不同源 CentOS 5 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-5.repo CentOS 6 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo CentOS 7 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 3、清除缓存、生成缓存并更新 yum

1.离线部署大纲 MySQL离线部署 CM离线部署 2.规划 linux版本:CentOS 7.2 节点 MySQL组件 CM服务进程 hadoop001 MySQL Parcel Alert Publisher Event Server NN RM DN NM ZK hadoop002 Alert Publisher Event Server DN NM ZK hadoop003 Host Monitor Service Monitor DN NM ZK 3.下载源 CM cloudera-manager-centos7-cm5.16.1x8664.tar.gz Parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 manifest.json JDK JDK8 下载jdk-8u202-linux-x64.tar.gz MySQL MYSQL5.7 下载mysql-5.7.26-el7-x86_64.tar.gz MySQL JDBC jar mysql-connector-java-5.1.47.jar 下载完成后要重命名去掉版本号 mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar 1

Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。 1. 迁移hdfs数据至新集群 hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/ -skipcrccheck 因本次迁移涉及低版本迁移高版本, 如果Hadoop版本则不需要 -update 增量更新, 通过名称和大小比较,源与目标不同则更新 hadoop distcp /apps/hive/warehouse/userinfo hdfs://10.11.32.76:8020/apps/hive/warehouse/（我的环境操作） hadoop distcp -update /apps/hive/warehouse/ hdfs://10.11.32.76:8020/apps/hive/warehouse/ （差异复制） xxx.xxx.xxx.xxx这个位置最好使用IP地址，尽量不要使用主机名或集群名称，否则需要配置hosts文件解析 2. 源集群metastore数据备份导出(mysql导出) mysqldump -u root -p’密码’--skip-lock-tables -h xxx.xxx

数据库管理系统很早就有了，在最开始时，数据库管理的结构是层次化的，即层次模型，它是一个树形结构，可以通过有限次的查找来定位需要的数据，然而，这种查找还是需要遍历才能实现，所以这种模型应用时间不长久；之后有了网状模型，也就是多个树的集合；层次模型和网状模型都称为非关系型数据库。之后由Edgar Frank Codd提出了一个关系型数据库的模型，从此之后就有了关系模型，其中Oracle公司就是以此为原型开发了Oracle数据库；到现在又提出了反关系模型――No-SQL，它是非关系型的数据库，例如：键值对存储(memcached,redis),HBASE文档数据库等； 大致来讲数据库管理系统发展历程就是： 层次模型 --> 网状模型 --> 关系模型 --> No-SQL 这里我们主要来说说关系型数据库： 1.表 对于关系型数据库而言，最基本的数据管理单位为表，也称为二维表，一个表是由行跟列组成的： 行(row):实例实体，记录,记录数据的特征；(例如：某学生的成绩信息；); 列(column):字段，域；记录数据的某种属性；(例如：默认的身高；) 其中，任何一张RDBMS的表中，可以没有行，但至少要保证要有一列；否则它就不是表，也存储不了数据； 对表的操作是通过关系运算完成的： 选择：从指定表中检索符合条件的行； SELECT * FROM tbl_name WHERE clause;

一、简介 　　　　你可以把它看做是一个监控MySQL的工具，当master挂了之后，起一个slave作为master，另外一台slave重新作为新master的备库； 　　　　所以MHA的架构做好是三台数据库，并且已经提前做好了主从模式（一主两从），MHA可以管理多组MySQL主从集群；VIP的跳转也 　　　　是通过keepalived来实现的，总体的架构设计如下图所示（借助网上的图片）： 　　Mycat： 　　　　实现读写分离、分库分表的一个开源的工具，我这里没有使用到分库分表的功能，只是单纯的做读写分离；mycat实现读写分离是在配置文件 　　　　中配置的，配置起来也比较的简单，下面会详细介绍，架构方面则是采用的如下图所示的架构模式： 二、MHA搭建安装 　　2.1 搭建（ 一主两从已经实现，这里不做阐述 ） 　　　　包分为两部分，一个是manager的包，另外一个是node包；包的下载地址为：https://pan.baidu.com/s/1D6v6yPeCTecaB68LwPZJ2A，密码：oyez 　　　　所有的节点都需要安装node包，然后所有的节点你都需要安装Perl的依赖包：perl-DBD-MySQL 　　　　如果还缺少其它包的话，那就见招拆招呗！！ 　　　　还有一点需要注意：那个manager包你可以单独部署在一台服务器上，也可以部署在其中一台node节点上 　

为了响应公司需求，打造出更安全的mysql集群，能够实现mysql故障后切换，研究了几天终于有了成果，一起分享一下。 首先介绍一下这套集群方案实现的功能 1、mysql服务器故障后自动转移，修好后自动切回 2、mysql服务故障自动转移，修好后自动切回 3、可以实现在几秒钟内转移 以下内容均是实验环境，请根据实际情况修改响应参数 生产环境MySQL主主同步主键冲突处理? http://www.linuxidc.com/Linux/2013-07/86890.htm MySQL + KeepAlived + LVS 单点写入主主同步高可用架构实验? http://www.linuxidc.com/Linux/2013-05/84002.htm MySQL 主主同步配置? http://www.linuxidc.com/Linux/2013-05/83815.htm CentOS?6.3下MySQL主从复制笔记? http://www.linuxidc.com/Linux/2013-06/85983.htm Linux下的MySQL主主复制? http://www.linuxidc.com/Linux/2013-10/91683.htm 实验环境： mysql1 ip：10.1.1.20 mysql2? ip：10.1.1.21 mysql vip：10.1.1.25

当MySQL按照之前的主从复制方式配置好集群以后，可以开启Mycat的读写分离机制，Mycat 1.4 支持MySQL主从复制状态绑定的读写分离机制，让读更加安全 可靠，以以下的配置为例，表明一个从节点hostS1与一个主节点hostM1组成了标准的一主一从的读写分离模式： 修改schema.xml文件： <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> < mycat:schema xmlns:mycat = "http://io.mycat/" > < schema name = "TESTDB" checkSQLschema = "false" sqlMaxLimit = "100" dataNode = "database1" > </ schema > < dataNode name = "database1" dataHost = "localhost1" database = "master" /> < dataHost name = "localhost1" maxCon = "1000" minCon = "10" balance = "1" writeType = "0" dbType = "mysql" dbDriver = "native" switchType = "2"