集群服务器

一、简介 Kafka 是一个实现了分布式的、具有分区、以及复制的日志的一个服务。它通过一套独特的设计提供了消息系统中间件的功能。它是一种发布订阅功能的消息系统。 1、名词介绍 Message 消息，就是要发送的内容，一般包装成一个消息对象。 Topic 通俗来讲的话，就是放置“消息”的地方，也就是说消息投递的一个容器。假如把消息看作是信封的话，那么 Topic 就是一个邮箱 Partition && Log Partition 分区，可以理解为一个逻辑上的分区，像是我们电脑的磁盘 C:, D:, E: 盘一样, Kafka 为每个分区维护着一份日志Log文件。 Producers （生产者） 和其他消息队列一样，生产者通常都是消息的产生方。 在 Kafka 中它决定消息发送到指定Topic的哪个分区上。 Consumers （消费者） 消费者就是消息的使用者，在消费者端也有几个名词需要区分一下。 一般消息队列有两种模式的消费方式，分别是 队列模式 和 订阅模式 。 队列模式 ：一对一，就是一个消息只能被一个消费者消费，不能重复消费。一般情况队列支持存在多个消费者，但是对于一个消息，只会有一个消费者可以消费它。 订阅模式 ：一对多，一个消息可能被多次消费，消息生产者将消息发布到Topic中，只要是订阅改Topic的消费者都可以消费。 二、安装zookeeper 1、简介

Kafka初识 Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ Kafka的定义 What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 Kafka和其他主流分布式消息系统的对比 定义解释： Java 和 scala都是运行在JVM上的语言。 erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是 有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议，他也是仿照AMQP（ Advanced Message Queuing Protocol 高级消息队列协议）设计的。 事物的概念：在数据库中

程序运行操作系统版本 Linux系统版本：CentOS release 6.7 Linux内核版本：2.6.32-573.el6.x86_64 程序解释运行环境 　　Ruby 2.5.1（6个节点中，只需要有一个节点安装Ruby环境） 　　 Redis 4.0.10 防火墙策略 　　 关闭防火墙或者添加防火墙策略 6379 和16379 服务运行方式 　　6个节点上分别启动redis-server，并在其中一个安装有Ruby环境的节点上运行redis-trib.rb脚本，创建集群。 部署方式： 　　在每个服务节点上： 　　上传：redis包 　　1. 解压redis-4.0.10压缩文件 　　tar –xf redis-4.0.10.tar.gz 　　2. 进入redis-4.0.10目录，利用该目录下的makefile进行编译安装 　　cd redis-4.0.10 　　make 　　make install 　　完成后，在/usr/local/bin目录下会生成下面5个文件，由于该目录属于环境变量路径，在后面的操作中可以直接使用这些文件而不需要再次指定目录。 文件名 功能 redis-benchmark 性能测试工具 redis-check-aof aof日志文件检测工具 redis-check-dump rdb快照文件检测工具 redis-cli 客户端 redis

要创建Redis集群，我们将要使用亚马逊的ElastiCache服务。ElastiCache允许开发人员使用Redis或Memcached构建内存中的数据缓存。对于EagleEye服务，我们将把在Docker中运行的Redis服务器迁移到ElastiCache。 先回到AWS控制台的主页（点击页面左上角的橙色立方体），然后点击ElastiCache链接。 在ElastiCache控制台中，选择Redis链接（页面的左侧），然后点击页面顶部的蓝色创建按钮。这将启动ElastiCache/Redis创建向导。 图10-6展示了Redis创建界面。 图10-6　只需通过几次点击就可以创建一个Redis集群，该集群的基础设施是由亚马逊管理的 在填完所有数据后，点击“Create”按钮。ElastiCache将开始Redis集群创建过程（这将需要几分钟的时间）。 图10-6创建了名称为spmia-tmx-redis-dev的redis集群。 ElastiCache将在最小的亚马逊服务器实例上构建一个单节点的Redis服务器。一旦点击按钮，就会看到Redis集群正在创建。创建完集群之后，点击集群的名称，进入详情页面，该页面显示集群中使用的端点。图10-7展示了Redis集群创建后的细节。 图10-7　Redis端点是服务连接到Redis所需的关键信息 许可证服务是唯一一个使用Redis的服务

一、环境准备 服务器01：192.168.1.160 服务器02：192.168.1.230 服务器03：192.168.1.177 二、consul安装 1、下载：https://www.consul.io/downloads.html 2、解压 3、配置环境变量 export PATH = $PATH :/opt/consul/consul1.6.2/bin 4、创建consul配置文件（三台均需配置，根据不同服务器调整IP地址） vi /opt/consul/consul1.6.2/conf/consul.json { "datacenter" : "BMS" , "data_dir" : "/opt/consul/consul1.6.2/data/consul" , "log_level" : "INFO" , "node_name" : "BMS201" , "server" : true, "ui" : true, "bootstrap_expect" : 2, "bind_addr" : "192.168.1.160" , "client_addr" : "192.168.1.160" , "retry_join" : [ "192.168.1.230" , "192.168.1.177" ] , "retry_interval" : "10s" ,

集群管理 Zookeeper 能够很容易的实现集群管理的功能，如有多台 Server 组成一个服务集群，那么必须要一个“总管”知道当前集群中每台机器的服务状态，一旦有机器不能提供服务，集群中其它集群必须知道，从而做出调整重新分配服务策略。同样当增加集群的服务能力时，就会增加一台或多台 Server，同样也必须让“总管”知道。 Zookeeper 不仅能够帮你维护当前的集群中机器的服务状态，而且能够帮你选出一个“总管”，让这个总管来管理集群，这就是 Zookeeper 的另一个功能 Leader Election。 它们的实现方式都是在 Zookeeper 上创建一个 EPHEMERAL 类型的目录节点，然后每个 Server 在它们创建目录节点的父目录节点上调用 getChildren ( String path, boolean watch) 方法并设置 watch 为 true，由于是 EPHEMERAL 目录节点，当创建它的 Server 死去，这个目录节点也随之被删除，所以 Children 将会变化，这时 getChildren 上的 Watch 将会被调用，所以其它 Server 就知道已经有某台 Server 死去了。新增 Server 也是同样的原理。 Q：是在server节点的上一层阶段创建EPHEMERAL 类型的目录节点

注意：在启动数据节点后会预分配2G的硬盘空间（preallocate the space for the logs (used for recovery). This is to avoid problems during running of waiting for the OS to allocate disk space or running out of space），在分配成功后再启动服务节点！ 配置过程： http://www.cnblogs.com/jinzhenshui/archive/2009/12/18/1627364.html # 管理节点配置文件 my_cluster.ini ： [NDBD DEFAULT] NoOfReplicas=2 # 默认值是2. DataDir= E:\Program Files\MySQL\MySQL Server 7.0\Data\user_data #如果不存在就创建一个 # Managment Server [NDB_MGMD] nodeid=40 HostName=192.168.1.102 #管理节点服务器db1的IP地址 # Storage Engines [NDBD] nodeid=11 HostName=192.168.1.102 #MySQL集群db1的IP地址 [NDBD] nodeid=12

　VM1：192.168.220.102 管理节点(MGM) VM2：192.168.220.103 数据节点(NDBD1)，SQL节点(SQL1) VM3：192.168.220.104 数据节点(NDBD2)，SQL节点(SQL2) 　　 MySQL Cluster版本：7.4.6 (MSI Installer)　　下载地址： http://dev.mysql.com/downloads/cluster/ 　　测试工具:Navicate for MySQL 三种节点： 管理节点：用于管理集群共它节点； 守护进程ndb_mgmd 数据节点：用于保存集群的数据； 守护进程ndbd SQL节点：用于连接数据节点；守护进程mysqld 解释一下 管理节点是负责管理数据节点和SQL节点的相当于集群的大脑， 数据节点是专门负责集群存储数据的， SQL节点说白了就是给你工具连接用的。 第一步先配置管理节点，把现在下来的安装包安装好以后。 到根目录 C:\Program Files\MySQL\MySQL Cluster 7.4 下面添加一个配置文件 配置如下 [ndbd default] NoOfReplicas=2 MaxNoOfTables=1024 MaxNoOfUniqueHashIndexes=1024 MaxNoOfOrderedIndexes=1024

原文：http://lizhenliang.blog.51cto.com/7876557/1290451 官方下载地址 http://dev.mysql.com/downloads/cluster/ Linux最新版本7.3.2 文件 大小 md5 mysqlcluster-7.3.2-linux-x32.tar.gz 431.0MB 03093541b6416fc93935750d614d875b mysqlcluster-7.3.2-linux-x64.tar.gz 441.8MB 330c71a87fbf8f0468ec9c5e0ad6e794 Window最新版本7.3.2 文件 大小 md5 mysqlcluster-7.3.2-windows-x32.msi 100.2MB 9d25735d7e8af1a2e805f9a1fecc3a1f mysqlcluster-7.3.2-windows-x64.msi 95.5MB 6fe30e2045f074f471761cb17f0c3d1c 基本概念： “NDB” 是一种“内存中”的存储引擎，也是事务型存储引擎，具备ACID属性。 管理(MGM)节点： 负责管理MySQL Cluster内的其他节点，如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置，应在启动其他节点之前首先启动这类节点

GlusterFS概述 GlusterFS简介 开源的分布式文件系统 由存储服务器，客户端以及NFS/Samba存储网关组成 无元数据服务器 GlusterFS的特点 扩展性和高性能 高可用性 全局统一的命名空间 弹性卷管理 基于标准协议 GlusterFS术语 Brick ： 存储节点 Volume ： 卷 FUSE ： 内核模块，用户端的交互模块 VFS ： 虚拟端口 Glusterd ： 服务 模块化堆栈架构 模块化、堆栈式的架构 通过对模块的组合，实现负责的功能 GlusterFS工作模式 GlusterFS工作流程 Application：客户端或应用程序通过GlusterFSync的挂载点访问数据 VFS：linux系统内核通过VFS API收到请求并处理 FUSE ： VFS 将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端 GlusterFS Client ; 通过网络将数据传递至远端的GlusterFS Server，并且写入到服务器存储设备上 弹性HASH算法 通过HASH算法得到一个32位的整数 划分为N个连续的子空间，每个空间对应一个Brick 弹性HASH算法的优点 保证数据平均分布在每一个Brink中 解决了对元数据服务器的依懒，进而解决了单点故障以及访问瓶颈