heartbeat

环境： OS: Centos 7.6 JDK: 1.8.0_91 下载地址： https://artifacts.elastic.co/downloads/beats/heartbeat/heartbeat-7.4.2-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/beats/packetbeat/packetbeat-7.4.2-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.4.2-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.2-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/logstash/logstash-7.4.2.tar.gz https://artifacts.elastic.co/downloads/kibana/kibana-7.4.2-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads

系统开发中，数据库是非常重要的一个点。除了程序的本身的优化，如：SQL语句优化、代码优化，数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件，已经在很多产品上进行使用了。希望通过这篇文章的介绍，能学会Mycat的使用。 安装 Mycat官网： http://www.mycat.io/ 可以了解下Mycat的背景和应用情况，这样使用起来比较有信心。 Mycat下载地址： http://dl.mycat.io/ 官网有个文档，属于详细的介绍，初次入门，看起来比较花时间。 下载： 建议大家选择 1.6-RELEASE 版本，毕竟是比较稳定的版本。 安装： 根据不同的系统选择不同的版本。包括linux、windows、mac,作者考虑还是非常周全的，当然，也有源码版的。（ps:源码版的下载后，只要配置正确，就可以正常运行调试，这个赞一下。） Mycat的安装其实只要解压下载的目录就可以了，非常简单。 安装完成后，目录如下： 目录 说明 bin mycat命令，启动、重启、停止等 catlet catlet为Mycat的一个扩展功能 conf Mycat 配置信息,重点关注 lib Mycat引用的jar包，Mycat是java开发的 logs 日志文件，包括Mycat启动的日志和运行的日志。 配置

Ubuntu下基于HeartBeat的 Web应用 高可用集群 概述 1 网络 拓朴 2 环境配置信息 2 环境搭建 3 搭建 实验环境 节点 A 3 A 机的 HeartBeat 安装、 配置 4 搭建 实验环境 节点 B 5 B 机的 HeartBeat 安装、配置 6 测试 HeartBeat 6 启动 heartbeat 服务 6 访问 集群 ip 8 模拟 ubuntu -node-a 宕机 9 概述 申明：这只是我照着网络上的相关技术文档做实验后的整理 利用 VirtualBox 部署一台完整环境（ lamp+heatrbeat ）并配置，而后利用自带的 镜像复制功能，复制出另外一台虚机，更改好hostname和network后，同时启动心跳服务即可。在VirtualBox中的虚机列表截图如下： 网络 拓朴 环境配置信息 ubuntu-10.04.4-server-i386-nodeA 节点hostname：ubuntu-node-a ubuntu-10.04.4-server-i386-node B 节点hostname：ubuntu-node-b cluster 虚拟集群ip 192.168. 1.200 其中集群 IP 不能和LAN（包括本机）的IP 冲突，且 配置 在 /etc/ha.d/haresources文件 中 环境搭建 搭建 实验环境 节点 A 注

 介绍常见的分布式一致性协议 一．CAP/BASE 1. CAP理论  CAP理论又称之为布鲁尔定理（Brewer’S theorem），认为在设计一个大规模可扩放的网络服务时候不能同时兼容：一致性（consistency）、可用性（Availability）、分区容错（Partition-tolerance）。  一致性：在分布式系统中的所有数据备份，在同一时刻是否有同样的值。（等同于所有节点访问同一份最新的数据副本）  可用性：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。  分区容忍性：以实际效果而言，分区相当于对通信的时限要求。系统如果不能在时限内达成数据一致性，就意味着发生了分区的情况，必须就当前操作在C和A之间做出选择  CAP理论容易理解，网上也有关于该理论的说明，包括模型的简易证明；弱条件下模型的成立等。  参考资料： http://www.cnblogs.com/mmjx/archive/2011/12/19/2290540.html http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html 2. BASE理论  BASE是Basically Available（基本可用）、Soft state（软状态）和Eventually consistent（最终一致性）三个短语的简写

写在前面的话 在学习的索引的时候，有提到，当数据表数据达到 800W 的时候，索引的性能就开始逐步下降。对于一个公司而言，主要业务数据表达到 1000W 都很容易。同时这张表一般都是业务常用的表，操作还比较频繁。所以为了提升用户体验，需要采用另外的方式对数据库进行优化，那就是分库分表。而 MyCAT 就是能够帮助我们管理分库分表的这样一个中间件。 MyCAT 环境基础架构准备 架构图 1： 架构图 2： 【1】搭建基础环境： 1. 在 db01 ：192.168.100.111 上面安装数据库多实例： # 创建基础目录 mkdir -p /data/{data,logs,backup,conf}/mysql-33{07,08,09,10} mkdir -p /data/logs/mysql-33{07,08,09,10}/{bin-log,slow-log,error-log,relay-log} mkdir -p /data/packages/mysql mkdir -p /data/services # 添加用户 useradd -s /sbin/nologin mysql # 修改目录权限 chown -R mysql.mysql /data/logs/mysql-33* chown -R mysql.mysql /data/data/mysql-33* # 清理默认配置文件

对于使用heartbeat v2版的CRM配置的集群信息都是保存在一个名为cib.xml的配置文件中，存放在/var/lib/heartbeat/crm/下。CIB：Cluster Information Base，由于xml文件配置不是那么方便，所以出现了crmsh或者hb_gui等配置工具。由于crmd守护进程监听在TCP 5560端口，它可以接收命令行或者图形化配置工具所编辑的配置信息。 配置信息一般首先是在DC节点实现，各个节点的crmd守护进程之间是可以通信的。想配置集群资源，在集群的任何一个节点使用配置工具连接到该节点的crmd进程，crmd收到编辑的集群资源信息后会首先提交给DC节点，DC收到后保存至cib.xml文件并同步给集群的其他节点，这是heartbeat v1版所不具备的。 上图来自SUSE官方对高可用集群的架构描述。除了展示了高可用集群的4个层次之外，在DC节点上存在了policy engine和transition engine两个组件。policy engine实现整个集群的事务决策，transition engine根据事务决策触发执行相应的操作。transition engine将指令下达给CRM，由CRM传递到LRM，LRM再调用resource agent完成最终的资源操作。而CCM（Cluster Consensus Membership

一、背景 　　 ibmmq是一种传统架构的mq产品，运行稳定，有其自身优点，但在高可用（HA）这一块需要使用公司根据自身需求选用高可用（HA）产品，但由于市面HA商业产品较贵，所以使用linux操作系统级的heartbeat产品是最廉价合适的。关于ibmmq网络共享存储的选用有很多，最贴近生产环境的是ISCSI协议的存储，所以使用ISCSI做为mq服务器共享存储（下文有一点存储方面的知识）。 部署架构图： 二、解决思路 　　 1、搭建共享存储环境； 　　 2、安装heartbeat； 　　 3、安装mq软件； 　　 4、相关脚本补齐； 　　 5、测试 三、使用技术栈及版本 　　 1、linux版本：redhat6.7 　　 2、共享存储，iscsi 　　 Target版本：scsi-target-utils-1.0.24-18.el6.x86_64 　　 Initiator版本：iscsi-initiator-utils-6.2.0.873-27.el6_9.x86_64 　　 网络共享存储介绍：按照网络结构分：扫盲文章： http://www.ptyqm.com/19026.html 　　 根据生产环境情况，只考虑两种共享存储实现 　　　　1）NAS：网络附加存储，NFS共享存储实现简单，方便使用，以文件系统的形式被使用，因为是以文件系统的方式提供，所以在数据传输速度上比较慢；

之前的集群演示都是使用heartbeat v1版的haresources做集群资源配置，下面使用v2版的crm进行集群配置。开启crm的方法很简单，只需要在ha.cf文件中加入一行内容 crm on 即可，然后在各节点启动heartbeat 启动完成后，集群节点除了message层监听在694端口，在CRM层也会有一个守护进程mgmtd监听在5560端口 在任意一个节点使用crm_mon命令可以查看集群状态 这个状态信息每15秒刷新一次，可以看到当前集群有2个节点，其中node2是DC节点，但是没有资源配置。在使用v2版的crm后，v1版的haresources文件配置的资源就不起任何作用，所以需要重新手动配置资源。 通过图形界面配置资源，首先进入到软件存放目录，安装heartbeat-gui包，rpm -ivh hb/heartbeat-gui-2.1.4-12.el6.x86_64.rpm 来源： https://my.oschina.net/u/4181506/blog/3102126

配置MySQL5.7基于GTID的复制 一、 安装前规划 1.1 大体架构规划如下 master 192.168.9.71:3306 Slave 192.168.9.72:3306 数据库搭建过程请参考《mysql5.7部署文档》 二、 主从复制搭建 2.1 创建同步用户repl(master上) grant replication slave on *.* to 'repl'@'%' identified by '123456'; flush privileges; 注：其中'repl'@'%'部分可以修改为'repl'@'xxx.xxx.xxx.*'或'repl'@'xxx.xxx.xxx.xxx'的形式，出于安全目的用以限制网段或IP访问（其中xxx为具体IP） 2.2 主库my.cnf添加同步参数 server_id=1 log-bin = /mysql/3306/binlog/bin.log #binlog 存放路径,需要根据实际情况修改 log_bin_index = /mysql/3306/binlog/bin.index max-binlog-size=209715200 expire-logs-days = 7 sync-binlog = 1 binlog_format="ROW" log_bin_trust_function_creators = 1

Keepalived的配置非常简单，仅仅需要一个配置文件即可完成HA cluster和lvs服务节点监控功能，Keepalived的安装已经在上面章节进行了介绍，在通过Keepalived搭建高可用的LVS集群实例中，主、备Director Server都需要安装Keepalived软件，安装成功后，默认的配置文件路径为/etc/Keepalived/Keepalived.conf。一个完整的keepalived配置文件，有三个部分组成，分别是全局定义部分、vrrp实例定义部分以及虚拟服务器定义部分，下面详细介绍下这个配置文件中每个选项的详细含义和用法： #全局部分： global_defs{ notification_email { dba.gao@gmail.com #设置报警邮件地址，可以设置多个，每行一个。注意，如果要开启邮件报警，需要开启本机的sendmail服务。 ixdba@163.com } notification_email_from Keepalived@localhost #设置邮件的发送地址。 smtp_server 192.168.200.1 #设置smtp server地址。 smtp_connect_timeout 30 #设置连接smtp服务器超时时间。 router_id LVS_MASTER #运行Keepalived服务器的一个标识