集群服务器

Ambari 2.7.3架构详情 Ambari简介： Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。 Ambari项目重要类的解析： Resource：Ambari把可以被管理的资源的抽象为一个Resource实例，资源可以包括服务、组件、主机节点等，一个resource实例中包含了一系列该资源的属性； Property：服务组件的指标名称； ResourceProvider和PropertyProvider：分别对应Resource和Property的提供方，获取指标需要先获取Resource，然后获取Property对应的metric； Query：Query是Resource的内部对象，代表了对该资源的操作； Request：一个Request代表了对Resource的操作请求，包含http信息及要操作的Resource的实例，Request按照http的请求方式分为四种

apollo集群部署 1. 准备工作 1.1. 服务器准备(配置根据情况调整) 准备好安装apollo的三台服务器 配置4CPU，4G内存，20GB硬盘 假设三台服务器IP为 172.16.10.208 172.16.10.209 172.16.10.210 修改相应hostname apollo-1 apollo-2 apollo-3 1.2. 安装jdk1.8 rpm -ivh jdk-8u231-linux-x64.rpm 在配置好后，可以通过如下命令检查： java -version 样例输出： java version "1.8.0_231" Java ( TM ) SE Runtime Environment ( build 1.8.0_231-b11 ) Java HotSpot ( TM ) 64-Bit Server VM ( build 25.231-b11, mixed mode ) 创建安装目录 mkdir -p /opt/server/apollo 3. 初始化MySQL数据 版本要求：5.6.5+ SHOW VARIABLES WHERE Variable_name = 'version' ; ±--------------±-----------+ | Variable_name | Value | ±--------------±----------

一.环境准备 当前环境：centos7.3三台 软件版本：zookeeper-3.5.2 部署目录：/usr/local/zookeeper 启动端口：2181 配置文件：/usr/local/zookeeper/conf/zoo.cfg yum依赖（3台同时操作） yum install java-1.8.0-openjdk 二.安装 1.下载安装包（3台同时操作） wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.5.2-alpha/zookeeper-3.5.2-alpha.tar.gz 2.解压并移动，再创建一个数据目录data（3台同时操作） tar zxvf zookeeper-3.5.2-alpha.tar.gz mv zookeeper-3.5.2-alpha /usr/local/zookeeper 3.创建数据目录和日志目录 cd /usr/local/zookeeper mkdir /data mkdir /var/log/zookeeper 3.创建配置文件更改配置（3台同时操作） vim conf/zoo.cfg clientPort = 2181 #监听端口其他服务器保持这个 dataDir = /usr/ local / zookeeper / data #数据目录，要自己创建

Redis 之集群高可用和安全控制 一、 Redis 的主从复制 1.1. 为什么使用主从 单个 Redis 如果因为某种原因宕机的话，可能会导致 Redis 服务不可用，可以使用主从复制实现一主多从，主节点负责写的操作，从节点负责读的操作，主节点会定期将数据同步到从节点中，保证数据一致性的问题。 1.2. 主从的方式 最少需要3个节点。 第一种： 第二种： 优先选择第二种，第一种方式主节点向从节点同步数据压力大。 1.3. 主从复制配置： 将编译之后的 Redis 中的 bin 目录中全部内容 角色 端口 配置文件 主节点 6379 redis_6379.conf 从节点 6380 redis_6380.conf 从节点 6381 redis_6381.conf 从节点 6382 redis_6382.conf 相关目录结构 内存有限，我们只模拟不同端口下的 Redis 主从复制。我模拟了一主三从，采用树状结构： 核心配置：主节点 # ip监控 bind 0.0.0.0 protected-mode no # requirepass 123456 # 端口 port 6379 # 后台运行 daemonize yes # 工作目录 dir ./ # pid pidfile "/var/run/redis_6379.pid" # 日志名 logfile "redis_6379

简介 redis实现高可用的方式通常有三种模式：主从模式，哨兵模式，redis-cluster集群。 主从模式 一台主服务器、多台从服务器 原理 从服务器（slave）起始连接主服务器（master），从服务器（slave）发起数据同步请求（sync命令）； 主服务器（master）接受sync命令，执行BGSAVE命令，把已有的数据生成RDB文件（通过RDB方式持久化），同时这段时间的会把写命令记录到缓存； 主服务器（master）执行完BGSAVE（持久化结束），向从服务器（slave）发送快照文件，并且这段时间写命令一直记录在缓存中，快照文件发送完，开始发送缓存记录； 从服务器（slave）接收到快照文件，丢弃旧数据，载入快照文件； 快照文件载入结束，接受主服务器（master）的缓存记录，并且执行记录中的命令（初始化完毕）； 后续中，主服务器（master）每执行一个写命令都会往从服务器（slave）发送相同的命令，从服务器接受并执行。 缺点 不具备容错机制，主服务器（master）挂了，从服务器（slave）不会自动转为主服务器（从服务器不可以对外提供写服务，因为从服务不具备向主服务器发送数据），需要手动更改客户端IP地址 主服务器（master）发生宕机，会导致从服务器（slave）丢失最近一次同步数据到宕机之间的数据 优点 主从分离可以实现数据读写分离，主服务器

HBase的集群环境搭建 注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行 第一步：下载对应的HBase的安装包： 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz 第二步：压缩包上传并解压: 将我们的压缩包上传到node01服务器的/export/softwares路径下并解压 cd / export / softwares / tar - zxvf hbase - 1 . 2 . 0 - cdh5 . 14 . 0 - bin . tar . gz - C . . / servers / 第三步：修改配置文件： 第一台机器进行修改配置文件 cd / export / servers / hbase - 1.2 .0 - cdh5 . 14.0 / conf 修改第一个配置文件hbase-env.sh 注释掉HBase使用内部zk vim hbase-env.sh export JAVA_HOME = / export / servers /

搭建高可用集群 搭建Zookeeper 准备三台相互免秘钥的虚拟机 上传zookeeper 解压 移动 解压zookeeper的tar包 - - 语法: tar - zxf zookeeper - 3 . 4 . 6 . tar . gz 移动zookper目录 - - 语法: mv zookeeper - 3 . 4 . 6 / opt / sxt / 修改配置文件zoo.cfg 进入zookeeper配置文件目录 - - 语法示例: cd / opt / sxt / zookeeper - 3 . 4 . 6 / conf / 修改配置文件文件名 - - 语法示例: cp zoo_sample . cfg zoo . cfg 编辑配置文件 - - 语法示例: vim zoo . cfg #修改zookeeper数据存放的目录 . #设置服务器内部通信的地址和zk集群的节点 … 创建myid 即是在生成配置文件目录conf中创建3个myid (内容分别是 1 2 3) - - 语法示例: mkdir - p / var / sxt / zookeeper touch / var / sxt / zookeeper / myid echo 1 > / var / sxt / zookeeper / myid echo 2 > / var / sxt / zookeeper /

絮叨 半步神游，神游之下，天下无敌。一梦一游 便是天下。 Redis前面几篇的文章链接： 从零开始学Redis之金刚凡境 从零开始学Redis之自在地境 从零开始学Redis之逍遥天境 上一篇的逍遥天境 讲的是Redis的内存淘汰策略 和持久化方式。那这半步神游就是带你们遨游Redis的主从HA，哨兵，和Lua脚本 Redis主从和哨兵模式 Redis 主从搭建（有兴趣的小伙伴自己用虚拟机搭一个玩玩） 1、环境说明 主机名称 IP地址 redis版本和角色说明 redis-master 192.168.56.11 redis 5.0.3（主） redis-slave01 192.168.56.12 redis 5.0.3（从） redis-slave02 192.168.56.13 redis 5.0.3（从） 2、修改主从的redis配置文件 [root@redis-master ~]# grep -Ev "^$|#" /usr/local/redis/redis.conf bind 192.168.56.11 protected-mode yes port 6379 daemonize yes pidfile /var/run/redis_6379.pid logfile "/var/log/redis.log" dir /var/redis/ [root@redis

集群搭建事项 zk集群，只要大多数（超过半数）的机器准备好了，就可以提供服务了。 容错集群至少三台，建议采用奇数台来搭建集群。 每台服务运行在独立的机器上。 集群搭建 1.集群配置基本参数介绍 在第二章说到zoo.cfg中有两个配置参数和集群有关：initLimit和syncLimit，除此之外还有一些其他的配置。 initLimit：表示集群同步初始化允许容忍的最长时间，是tickTime的倍数，比如initLimit = 10，tickTime = 1000，则表示集群同步初始化最长能容忍10秒钟，如果zk集群确实很大，机器很多，可以适当调高这个参数。 syncLimit：表示客户端和zk集群请求应答的超时时间，同样是tickTime的倍数。 server.id=host:port:port：这个配置也是放在zoo.cfg文件中，集群中有几台机器，就需要配置几个，比如集群中有三台机器需要配置，eg： server.1=localhost:2182:2183 server.2=localhost:2282:2283 server.3=localhost:2382:2383 其中id表示集群中每一台机器的编号，localhost表示机器的ip地址，第一个port用来和Leader进行交互，第二个port用来选举Leader。（zk的leader和选举后面再细讲） myid配置文件

本文将深入剖析rocketmq为什么选择自己开发NameServer，而不是选择类似于ZK这样的开源组件。同时对rocketmq的路由注册、路由发现、路由剔除进行剖析。并通过结合核心源码，对笔者的观点进行验证。同时对不同类型消息的重试机制，以及客户端选择nameserver的策略进行深入讲解。 文章第一部分是name server在rocketmq整体架构中的作用，熟悉的同学可以直接跳过。 1 NameServer的作用 Name Server 是专为 RocketMQ 设计的轻量级名称服务，具有简单、可集群横吐扩展、无状态，节点之间互不通信等特点。整个Rocketmq集群的工作原理如下图所示： 可以看到，Broker集群、Producer集群、Consumer集群都需要与NameServer集群进行通信： Broker集群 Broker用于接收生产者发送消息，或者消费者消费消息的请求。一个Broker集群由多组Master/Slave组成，Master可写可读，Slave只可以读，Master将写入的数据同步给Slave。每个Broker节点，在启动时，都会遍历NameServer列表，与每个NameServer建立长连接，注册自己的信息，之后定时上报。 Producer集群 消息的生产者，通过NameServer集群获得Topic的路由信息，包括Topic下面有哪些Queue