zookeeper集群

前言 关于kafka的工作机制，已经在上篇博文： Kafka原理及单机部署 中详细写出来，这里只是将kafka的一个群集部署写了出来。 博文大纲： 一、环境准备 二、部署zookeeper服务 三、部署kafka集群 一、环境准备 部署kafka群集所需的安装包，可以从我的网盘链接中 下载 。 二、部署zookeeper服务 1、主机kafka01配置如下 #部署zookeeper [root@kafka01 src]# tar zxf zookeeper-3.4.9.tar.gz [root@kafka01 src]# mv zookeeper-3.4.9 /usr/local/zookeeper #修改配置文件 [root@kafka01 src]# cd /usr/local/zookeeper/conf/ [root@kafka01 conf]# cp -p zoo_sample.cfg zoo.cfg [root@kafka01 conf]# sed -i 's/dataDir=\/tmp\/zookeeper/dataDir=\/usr\/local\/zookeeper\/data/g' zoo.cfg #直接群集节点信息，2888和3888端口用于群集内部通信 [root@kafka01 conf]# echo "server.1 192.168.20.2:2888

Apache Mesos是一个集群管理器，可跨分布式应用程序或框架提供有效的资源隔离和共享。它位于应用程序层和操作系统之间，可以更加轻松地在大规模集群环境中更有效地部署和管理应用程序。它可以在动态共享节点池上运行许多应用程序 Apache Mesos将CPU，内存，存储和其他计算资源从机器（物理或虚拟）中抽象出来，使容错和弹性分布式系统能够轻松构建并有效运行。 环境准备 操作系统：CentOS-7-x86_64 内核版本：3.10.0-693.el7.x86_64 mesos的安装要求是内核版本须在3.10以上 uname -r //查看系统内核版本 关闭虚拟机防火墙 setenforce 0 systemctl stop firewalld.service 虚拟机分配 主机名 IP地址 安装软件 master1 172.16.10.28 jdk-8u144、marathon-1.4.6、mesos-1.6.1、zookeeper-3.4.12 master2 172.16.10.44 jdk-8u144、mesos-1.6.1、zookeeper-3.4.12 master3 172.16.10.45 jdk-8u144、mesos-1.6.1、zookeeper-3.4.12 slave1 172.16.10.46 jdk-8u144、mesos-1.6.1、docker

Zookeeper 课程目标 一 、 什么 Zookeeper Zookeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以单机模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个Leader，多个Follower），基于一定的策略来保证ZooKeeper集群的稳定性和可用性，从而实现分布式应用的可靠性。 1、zookeeper是为别的分布式程序服务的 2、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） 3、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统> 一名称服务等 4、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能： 管理 (存储，读取)用户程序提交的数据（类似namenode中存放的metadata）； 并为用户程序提供数据节点监听服务； 1.1 Zookeeper 集群 机制 Zookeeper集群的角色： Leader 和 follower

原文链接 NameNode 高可用整体架构概述 在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组件，包括 MapReduce、Hive、Pig 以及 HBase 等也都无法正常工作，并且重新启动 NameNode 和进行数据恢复的过程也会比较耗时。这些问题在给 Hadoop 的使用者带来困扰的同时，也极大地限制了 Hadoop 的使用场景，使得 Hadoop 在很长的时间内仅能用作离线存储和离线计算，无法应用到对可用性和数据一致性要求很高的在线应用场景中。 所幸的是，在 Hadoop2.0 中，HDFS NameNode 和 YARN ResourceManger(JobTracker 在 2.0 中已经被整合到 YARN ResourceManger 之中) 的单点问题都得到了解决，经过多个版本的迭代和发展，目前已经能用于生产环境。HDFS NameNode 和 YARN ResourceManger 的高可用 (High Availability，HA) 方案基本类似

概述 Apache Mesos是一款基于多资源（内存、磁盘、CPU、端口等）调度的开源集群管理套件，能使容错和分布式系统更加容易。 工作原理 Apache Mesos采用了Master/Slave结构来简化设计，将Master做得尽可能轻量级，仅保存了各种计算框架（Framework）和Mesos Slave的状态信息，这些状态很容易在Mesos出现故障的时候被重构，除此之外Mesos还可以使用Zookeeper解决Master单点故障问题。 Mesos Master充当全局资源调度器角色，采用某种策略算法将某个Slave上的 空闲资源分配给某个Framework，而各种Framework则是通过自己的调度器向Master注册进行接入。Mesos Master则是收集任务状态和启动各个Framework的Executor。工作原理如图所示： Apache Mesos基本术语 Mesos master：负责管理各个Framework和Slave，并将Slave上的资源分配给各个Framework。 Mesos Slave：负责管理本节点上的各个Mesos Task，为各个Executor分配资源。 Framework：计算框架，如：Hadoop、Spark等，可以通过MesosSchedulerDiver接入。 Executor：执行器，在Master Slave上安装

配置多台Mesos-master环境 生产环境中ZooKeeper是以宕机个数过半来让整个集群宕机的。所以Mesos-master一般选择奇数个节点来组成集群，随着部署的Master节点增多可靠性也就增强，但多Mesos-master集群环境只有一个Mesos-master会处于Leader状态对外提供服务，集群中的其他服务器则会成为此Leader的Follower，处于就绪状态。当Leadre发生故障的时候，ZooKeeper就会快速在Follower中投票选举出下一个服务器作为Leader继续对外提供服务。 实验环境表 实验步骤 1.设置四台服务器的名称分别是：master1、master2、master3、slave 。 [root@localhost ~]# hostnamectl set-hostname master1 [root@localhost ~]# hostnamectl set-hostname master2 [root@localhost ~]# hostnamectl set-hostname master3 [root@localhost ~]# vim /etc/hosts #所有主机同步 192.168.126.162 master1 192.168.126.164 master2 192.168.126.161 master3 192.168

Apache Mesos概述 Apache Mesos是一款基于多资源调度的开源集群管理套件，使容错和分布式系统更加容易使用实现，采用Master/Slave结构简化设计，将Master尽可能轻量级，进保存了Mesos Slave的状态信息 常见集群管理工具 工具 特点 优势 Apache Mesos 需要独立部署mesos-slave进程；依赖framework的功能；可管理docker容器；成本较高 应为经过许多互联网公司的大规模实践，稳定性具有保障 Docker Swarm Docker 官方群集工具，需要Docker deamon 启用tcp端口学习；Swarm的命令兼容Docker；学习成本非常低 公有云环境Machine 和 Swarm 搭配使用效率更高 Google Kubernetes 完全DOcker化的管理工具，功能迭代非常快；群集管理能力比mesos稍差 功能模块集成度高 Apache Mesos工作原理 Apache Mesos配置实战 实验环境： 实验环境 IP地址 内核版本3.10以上 master 192.168.10.157 3.10.0-693.el7.x86_64 master1 192.168.10.132 3.10.0-693.el7.x86_64 master2 192.168.10.133 3.10.0-693.el7.x86_64

Yum安装mesos+zookeeper+marathon管理docker集群 Apache-Mesos简介 Apache-Mesos是一款基于多资源(内存、CPU、磁盘、端口等)调度的开源集群管理套件，能使容错和分布式系统更加容易使用。官方网站http://mesos.apache.org/ ,软件能够自由下载使用。 Apache-Mesos工作原理 Apache-Mesos采用Master/Slave结构来简化设计，将Master做得尽可能轻量级，仅保存各种计算框架(Framework)和Mesos Slave的状态信息，这些状态很容易在Mesos出现故障的时候被重构，除此之外Mesos还使用Zookeeper解决Master单点故障的问题。 Apache-Mesos基本术语 Mesos Master:负责管理各个Framework和Slave，并将Slave上的资源分配给各个Framework。 Mesos Slave：负责管理本节点上的各个Mesos Task，为各个Executor分配资源。 Framework：计算机框架，如:Hadoop、Spark等，可以通过MesosSchedulerDiver接入Mesos。 Executor：执行器，在Mesos Slave上安装，用于启动计算框架中的Task。 Zookeeper简介

2019/3/14 星期四 Linux 初始化脚本 （centos6 centos7 通用） Linux 初始化脚本 （centos6 centos7 通用） zookeeper生产环境搭建 zookeeper生产环境搭建 在安装前请务必安装好zookeeper 查看上面2个链接地址！ kafka优化： 有时候系统需要应对突如其来的高峰数据，它可能会拖慢磁盘。（比如说，每个小时开始时进行的批量操作等） 这个时候需要容许更多的脏数据存到内存，让后台进程慢慢地通过异步方式将数据写到磁盘当中。 vm.dirty_background_ratio = 5 vm.dirty_ratio = 80 这个时候，后台进行在脏数据达到5%时就开始异步清理，但在80%之前系统不会强制同步写磁盘。这样可以使IO变得更加平滑。 实际操作： echo "vm.dirty_background_ratio=5" >> /etc/sysctl.conf echo "vm.dirty_ratio=80" >> /etc/sysctl.conf sysctl -p kafka 生产环境搭建 [root@emm-kafka01-10--174 ~]# cd /opt/ins/ [root@emm-kafka01-10--174 ins]# ll total 233044 -rwxr-xr-x 1 root root

Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。 1、软件环境 （3台服务器-我的测试） 192.168.30.204 server1 192.168.30.205 server2 192.168.30.206 server3 1-1、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台超过半数，允许1台挂掉 ，是否可以用偶数，其实没必要。 如果有四台那么挂掉一台还剩下三台服务器，如果在挂掉一个就不行了，这里记住是超过半数。 1-2、zookeeper是用java写的所以他的需要JAVA环境，java是运行在java虚拟机上的 1-3、Zookeeper的稳定版本Zookeeper 3.4.6版本 2、配置&安装Zookeeper 下面的操作是：3台服务器统一操作 2-1、安装Java (可选) 卸载已有的open jdk，安装最新版本的java jdk # rpm -qa | grep jdk java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 # yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 remove java-1.6.0