ZK

概述 Apache Mesos是一款基于多资源（内存、磁盘、CPU、端口等）调度的开源集群管理套件，能使容错和分布式系统更加容易。 工作原理 Apache Mesos采用了Master/Slave结构来简化设计，将Master做得尽可能轻量级，仅保存了各种计算框架（Framework）和Mesos Slave的状态信息，这些状态很容易在Mesos出现故障的时候被重构，除此之外Mesos还可以使用Zookeeper解决Master单点故障问题。 Mesos Master充当全局资源调度器角色，采用某种策略算法将某个Slave上的 空闲资源分配给某个Framework，而各种Framework则是通过自己的调度器向Master注册进行接入。Mesos Master则是收集任务状态和启动各个Framework的Executor。工作原理如图所示： Apache Mesos基本术语 Mesos master：负责管理各个Framework和Slave，并将Slave上的资源分配给各个Framework。 Mesos Slave：负责管理本节点上的各个Mesos Task，为各个Executor分配资源。 Framework：计算框架，如：Hadoop、Spark等，可以通过MesosSchedulerDiver接入。 Executor：执行器，在Master Slave上安装

Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。 1、软件环境 （3台服务器-我的测试） 192.168.30.204 server1 192.168.30.205 server2 192.168.30.206 server3 1-1、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台超过半数，允许1台挂掉 ，是否可以用偶数，其实没必要。 如果有四台那么挂掉一台还剩下三台服务器，如果在挂掉一个就不行了，这里记住是超过半数。 1-2、zookeeper是用java写的所以他的需要JAVA环境，java是运行在java虚拟机上的 1-3、Zookeeper的稳定版本Zookeeper 3.4.6版本 2、配置&安装Zookeeper 下面的操作是：3台服务器统一操作 2-1、安装Java (可选) 卸载已有的open jdk，安装最新版本的java jdk # rpm -qa | grep jdk java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 # yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 remove java-1.6.0

Redis redis.conf配置文件里面关于复制的描述: # 1) Redis replication is asynchronous, but you can configure a master to # stop accepting writes if it appears to be not connected with at least # a given number of slaves. # 2) Redis slaves are able to perform a partial resynchronization with the # master if the replication link is lost for a relatively small amount of # time. You may want to configure the replication backlog size (see the next # sections of this file) with a sensible value depending on your needs. # 3) Replication is automatic and does not need user intervention. After a # network partition