master

三台MySQL数据库做三主环形同步 同步策略：地主机从，机主仿从，仿主地从 地面关口：192.168.3.104 机载：192.168.3.101 信道仿真器：192.168.3.102 首先更改my.cnf文件：gedit etc/my.cnf server_id = 3 log_bin = mysql-bin binlog-do-db=link #binlog-do-table=test.a #slave_parallel_workers=4 relay-log=relay-bin relay-log-index=relay-bin.index replicate-do-db = link replicate-do-table=link.sync auto_increment_offset=3 auto_increment_increment=3 log-slave-updates=true slave-skip-errors=all 红色字体最重要！ server_id 要不一样 三台数据库可以设为1、2、3 auto_increment_offset 同理 设为1、2、3 auto_increment_increment表示几台同步 log-slave-updates=true slave-skip-errors=all 一定要加上！ 第一步：在三台数据库里面设置权限账户

三台MySQL数据库做三主环形同步 同步策略：地主机从，机主仿从，仿主地从 地面关口：192.168.3.104 机载：192.168.3.101 信道仿真器：192.168.3.102 首先更改my.cnf文件：gedit etc/my.cnf server_id = 3 log_bin = mysql-bin binlog-do-db=link #binlog-do-table=test.a #slave_parallel_workers=4 relay-log=relay-bin relay-log-index=relay-bin.index replicate-do-db = link replicate-do-table=link.sync auto_increment_offset=3 auto_increment_increment=3 log-slave-updates=true slave-skip-errors=all 红色字体最重要！ server_id 要不一样 三台数据库可以设为1、2、3 auto_increment_offset 同理 设为1、2、3 auto_increment_increment表示几台同步 log-slave-updates=true slave-skip-errors=all 一定要加上！ 第一步：在三台数据库里面设置权限账户

Spark 提交应用 Spark’s bin 目录的spark-submit 脚本用于在一个集群上启动应用。它能通过统一的接口使用所有Spark支持的集群管理器。你不必为每个特别配置你的应用。 统一语法如下： ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... # other options <application-jar> \ [application-arguments] Submitting Applications The spark-submit script in Spark’s bin directory is used to launch applications on a cluster. It can use all of Spark’s supported cluster managers through a uniform interface so you don’t have to configure your application especially for each one. Bundling Your Application’s

Linux 集群架构 一、Linux 集群概述 根据功能划分为两大类：高可用和负载均衡 高可用集群，通常为两台服务器，一台工作，另外一台作为冗余；当提供服务的机器宕机，冗余将接替继续提供服务。实现高可用的开源软件有：heartbeat、keepalived 负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理；在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2台。实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler。 二、高可用集群配置 1. keepalived介绍 在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果；keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。

一、启动MHA [root@c733 ~]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 & 查看MHA状态 [root@c733 ~]# masterha_check_status --conf=/etc/mha/app1.cnf 关闭MHA [root@c733 ~]# masterha_stop --conf=/etc/mha/app1.cnf 从库重新加入主库 [root@c733 ~]# grep "CHANGE MASTER TO MASTER" /var/log/mha/app1/manager.log | tail -1 二、测试MHA故障转移 1、停掉c731主库192.168.37.31 [root@c731 ~]# systemctl stop mysql 查看c733的slave状态，发现master_host变成了192.168.37.32 [root@c733 ~]# mysql -uroot -p123456 -e 'start slave;' Warning: Using a password on the

廖雪峰 Git 教程 + Git-Cheat-Sheet 学习总结 本教程主要是个人的 Git 学习总结。 主要参考博客： 廖雪峰 Git 教程 Git-Cheat-Sheet 文章目录 廖雪峰 Git 教程 + Git-Cheat-Sheet 学习总结 Git教程（廖雪峰） 安装Git 创建版本库 时光机穿梭 版本回退 工作区和暂存区 管理修改 撤销修改 删除文件 远程控制 添加远程库 从远程库克隆 分支管理 创建与合并分支 解决冲突 分支管理策略 Bug分支 Feature分支 多人协作 标签管理 创建标签 操作标签 使用GitHub 使用码云 自定义Git 忽略特殊文件 配置别名 搭建Git服务器 Git-Cheat-Sheet 配置 本地修改 搜索 提交历史 分支与标签 更新与发布 合并与重置(Rebase) 撤销 Git教程（廖雪峰） 安装Git 先去Git官网下载安装程序，安装完成后找到Git，启动Git Bash，蹦出一个类似命令行窗口的东西就表示Git安装成功！ 安装完以后的配置： $ git config --global user.name "your name" $ git config --global user.email "email@example.com" 12 因为Git是分布式版本控制系统，所以每个机器都必须自报家门：你的名字和邮箱地址。 git

一、环境简述 1、工作逻辑图 2、MySQL-MMM优缺点 优点：高可用性，扩展性好，出现故障自动切换，对于主主同步，在同一时间只提供一台数据库写操作，保证的数据的一致性。 缺点：Monitor节点是单点，可以结合Keepalived实现高可用，对主机的数量有要求，需要实现读写分离，对程序来说是个挑战。 3、MySQL-MMM工作原理 MMM(Master-Master replication managerfor Mysql， Mysql主主复制管理器 )是一套灵活的脚本程序，基于 perl实现，用来对 mysql replication进行监控和故障迁移，并能管理 mysql Master-Master复制的配置 (同一时间只有一个节点是可写的 )。 mmm_mond：监控进程，负责所有的监控工作，决定和处理所有节点角色活动。此脚本需要在监管机上运行。 mmm_agentd：运行在每个mysql服务器上的代理进程，完成监控的探针工作和执行简单的远端服务设置。此脚本需要在被监管机上运行。 mmm_control：一个简单的脚本，提供管理mmm_mond进程的命令。 mysql-mmm的监管端会提供多个虚拟IP（VIP），包括一个可写VIP，多个可读VIP，通过监管的管理，这些IP会绑定在可用mysql之上，当某一台mysql宕机时，监管会将VIP迁移至其他mysql。

确认主从两服务器的MySQL，特别是从服务器的默认链接编码，否则同步可能会出现乱码。 [mysqld] server-id = 2 slave-skip-errors=all default-character-set=utf8 expire_logs_days=8; [client] default-character-set=utf8 binlog: set global expire_logs_days=8; PURGE MASTER LOGS TO ‘mysql-bin.010′; PURGE MASTER LOGS BEFORE ‘2008-06-22 13:00:00′; 清除3天前的 binlog PURGE MASTER LOGS BEFORE DATE_SUB( NOW( ), INTERVAL 3 DAY); BEFORE变量的date自变量可以为’YYYY-MM-DD hh:mm:ss’格式。MASTER和BINARY是同义词。 修改主服务器： log-bin=/data/mysql/bin binlog_do_db = uc binlog_do_db = web #下面是不需要同步的 #binlog-ignore-db = mysql #binlog-ignore-db = test #binlog-ignore-db = information

Envireronment: VMware® Workstation 12 Pro 12.0.1 build-3160714(Host: Windows 7 Ultimate) Centos 6.5 x64 Greenplum 4.3.8.0 Resource: Greenplum 4.3.8.0(greenplum-db-4.3.8.0-build-1-RHEL5-x86_64.bin) 下载 规划 角色 数量 内存 CPU master 1 4GB 1*2 core master mirror 1 4GB 1*2 core segment(mirror) 3 4GB 1*2 core Envireronment setup： 在VMware中安装5台虚拟机，操作系统为Centos 6.5。 mdw smdw sdw1 sdw2 sdw3 网络设置（每台） 设置主机名称 vi /etc/sysconfig/network 1 NETWORKING=yes 2 HOSTNAME=mdw View Code 安装ifconfig（如果已经安装，可以跳过） yum install net-tools.x86_64 设置静态IP（防止重启后DHCP分配新的IP） vi /etc/sysconfig/network-scripts/ifcfg-eth0 1 DEVICE="eth0" 2

Spark源码分析 各个组件介绍 后面补充。。。。 StandAlone模式 在StandAlone模式的start-all的shell启动脚本下，在当前机器执行了JAVA_HOME/bin/java -cp ....Master和在配置的slave的机器中执行 JAVA_HOME/bin/java -cp ....Worker.这两种进程在启动后通过netty进行rpc通信。 Master的启动 首先创建一个RpcEnv对象，负责管理所有通信逻辑，核心代码为 val rpcEnv: RpcEnv = RpcEnv.create(SYSTEM_NAME, host, port, conf, securityMgr) ,创建后启动NettyRpcEnv Utils.startServiceOnPort(config.port, startNettyRpcEnv, sparkConf, config.name)._1 接着创建一个Master的EndPoint对象 val masterEndpoint: RpcEndpointRef = rpcEnv.setupEndpoint(ENDPOINT_NAME,new Master(rpcEnv, rpcEnv.address, webUiPort, securityMgr, conf)) 该EndPoint对象有 constructor