master

MySQL高可用集群之MHA 一、MHA简介 MHA（Master High Availability） 目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。 在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 MHA里有两个角色一个是 MHA Node（数据节点） 另一个是MHA Manager（管理节点） 。 MHA Manager 可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。 MHA Node 运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。 MHA自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh访问，MHA没法保存二进制日志

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 MHA里有两个角色一个是MHA Node（数据节点）另一个是MHA Manager（管理节点）。 MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。 MHA工作架构示意图如下： 在MHA架构中，可以采用半同步复制的方式，来最大限度的保证数据的一致性，MySQL的主从复制中，默认是采用异步来做主从复制的，但是异步有些弊端，下面是对异步、半同步的一个简单介绍： 异步与半同步：默认情况下MySQL的复制是异步的，Master上所有的更新操作写入Binlog之后并不确保所有的更新都被复制到Slave之上。异步操作虽然效率高，但是在Master

一、环境说明： 1.1、3台vm虚拟机系统环境介绍： 3台VM系统为： [root@mgr01 ~]# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) 3台VM centos 系统都关闭iptables,关闭selinux 3台虚拟机系统时间同步： ntpdate ntp1.aliyun.com 3台vm虚拟机上各安装一个orchestrator mysql orchestrator版本为：orchestrator-3.1.4-linux-amd64.tar.gz 下载地址： https://github.com/github/orchestrator/releases mysql的版本为mysql5.7.24 GA 二进制版本安装 三台机器ip： 10.0.0.130 172.16.0.130 10.0.0.131 172.16.0.131 10.0.0.132 172.16.0.132 三台vm绑定主机名： [root@mgr01 bin]# cat /etc/hosts 172.16.0.130 mgr01 172.16.0.131 mgr03 172.16.0.132 mgr02 [root@mgr02 ~]# cat /etc/hosts 172.16.0.132 mgr02 172.16.0

环境 centos 7 psbc-master 192.168.182.120 1-psbc-node 192.168.182.121 master和node节点执行以下操作 修改主机名 [root@localhost ~]# hostnamectl set-hostname psbc-master [root@localhost ~]# hostname psbc-master [root@localhost ~]# cat /etc/hostname psbc-master [root@localhost ~]# view /etc/hosts 增加一行 192.168.182.120 psbc-master 2.ip地址设置成静态的 [root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet BOOTPROTO=static DEFROUTE=yes PEERDNS=yes PEERROUTES=yes #IPV4_FAILURE_FATAL=no #IPV6INIT=yes #IPV6_AUTOCONF=yes #IPV6_DEFROUTE=yes #IPV6_PEERDNS=yes #IPV6_PEERROUTES=yes #IPV6_FAILURE_FATAL=no

mysql实现高可用架构之MHA 一、简介 MHA（Master HA）是一款开源的 MySQL 的高可用程序，它为 MySQL 主从复制架构提供了 automating master failover （自动化主故障转移）功能。MHA 在监控到 master 节点故障时，会提升其中拥有最新数据的 slave 节点成为新的master 节点，在此期间，MHA 会通过于其它从节点获取额外信息来避免一致性方面的问题。 MHA 还提供了 master 节点的在线切换功能，即按需切换 master/slave 节点。 MHA 是由日本人 yoshinorim（原就职于DeNA现就职于FaceBook）开发的比较成熟的 MySQL 高可用方案。MHA 能够在30秒内实现 故障切换，并能在故障切换中，最大可能的保证数据一致性。目前淘宝也正在开发相似产品 TMHA， 目前已支持一 主一从。 二、MHA 服务 2.1 服务角色 MHA 服务有两种角色， MHA Manager(管理节点)和 MHA Node(数据节点)： MHA Manager： 通常单独部署在一台独立机器上管理多个 master/slave 集群(组)，每个 master/slave 集群称作一个 application，用来管理统筹整个集群。 MHA node： 运行在每台 MySQL 服务器上(master/slave

MySQL高可用之KeepAlived双主 生产环境中一台mysql主机存在单点故障，所以要确保mysql的高可用性，即两台MySQL服务器。如果其中有一台MySQL服务器挂掉后，另外一台能立马接替其进行工作。 MySQL的高可用方案一般有如下几种：keepalived+双主，MHA，PXC，MMM，Heartbeat+DRBD等，比较常用的是keepalived+双主，MHA和PXC。 主要介绍利用 keepalived 实现 MySQL 数据库的高可用。 Keepalived+mysql双主来实现MySQL-HA，我们必须保证两台MySQL数据库的数据完全一样。 基本思路 两台MySQL互为主从关系，通过Keepalived配置虚拟IP，实现当其中的一台MySQL数据库宕机后，应用能够自动切换到另外一台MySQL数据库，保证系统的高可用。 环境 Mysql版本：mysql 5.7 Keepalived: keepalived-1.2.20 主机 操作系统 mysql-VIP IP地址 mysql-master01 CentOS 7 192.168.10.100 192.168.1.1 mysql-master02 CentOS 7 192.168.10.100 192.168.1.8 一、配置两台服务器主主同步 该过程的第一部分就是master记录二进制日志

Hadoop自带了几个基准测试，本文使用的是hadoop-2.6.0 一、Hadoop Test 的测试 [root@master hadoop-2.6.0]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar An example program must be given as the first argument. Valid program names are: DFSCIOTest: Distributed i/o benchmark of libhdfs. DistributedFSCheck: Distributed checkup of the file system consistency. JHLogAnalyzer: Job History Log analyzer. MRReliabilityTest: A program that tests the reliability of the MR framework by injecting faults/failures SliveTest: HDFS Stress Test and Live Data Verification. TestDFSIO: Distributed i/o

rebase——变基，就是这个可能会把事情搞得一团糟的操作。 对于变基，我只能说，需要一个配合默契的团队，你们心灵想通，互相了解，然后你们会做出非常漂亮的事情。对于使用变基且几乎不会出问题的团队，我一般都是由衷的赞叹和羡慕，因为真的是一群非常好的小伙伴，这样的同事在一起工作应该是非常开心的。 某次提交 commit id 为 master，基于此，有两个分支 master'（在 master 基础上有新的提交进行了更改） 和 develop，我要把 develop 的修改放到 master' 的后面，我需要做的是( git rebase master develop; git merge develop )： git checkout develop git rebase master' git checkout master' git merge develop 其中 rebase 的操作实际的过程是先找到 master' 和 develop 共同的基底，再将 develop 的每次修改暂存下来，然后将当前分支指向目标基底，再将暂存依次应用到目标基底，依次应用暂存修改。这样提交记录就是一条线了，尤其适用于向一些他人维护的项目提交 pr。rebase 还有更方便的用法，是 rebase --onto，这个就厉害了，可以让你的提交记录灵活更改，你会用吗？ 都是合并代码，但

代码开发的时候，有时需要把某分支（比如develop分支）的某一次提交合并到另一分支（比如master分支），这就需要用到git cherry-pick命令。 1. 首先，切换到develop分支，敲 git log 命令，查找需要合并的commit记录，比如commitID：7fcb3defff 2. 然后，切换到master分支，使用 git cherry-pick 7fcb3defff 命令，就把该条commit记录合并到了master分支，这只是在本地合并到了master分支 3. 最后， git push 提交到master远程（可以用命令也可以用工具的push操作） ，至此，就把develop分支的这条commit所涉及的更改合并到了master分支。 来源： https://www.cnblogs.com/myitnews/p/12363154.html

kube-APIserver组件介绍 kube-APIserver提供了k8s各类资源对象（pod,RC,Service等）的增删改查及watch等HTTP Rest接口，是整个系统的数据总线和数据中心。 kube-APIserver的功能 提供了集群管理的REST API接口(包括认证授权、数据校验以及集群状态变更) 提供其他模块之间的数据交互和通信的枢纽（其他模块通过API Server查询或修改数据，只有API Server才直接操作etcd） 是资源配额控制的入口 拥有完备的集群安全机制 kube-apiserver工作原理图 kubernetes API的访问 k8s通过kube-apiserver这个进程提供服务，该进程运行在单个k8s-master节点上。默认有两个端口 本地端口 该端口用于接收HTTP请求 该端口默认值为8080，可以通过API Server的启动参数“--insecure-port”的值来修改默认值 默认的IP地址为“localhost”，可以通过启动参数“--insecure-bind-address”的值来修改该IP地址 非认证或授权的HTTP请求通过该端口访问API Server 安全端口 该端口默认值为6443，可通过启动参数“--secure-port”的值来修改默认值 默认IP地址为非本地（Non-Localhost）网络端口