集群服务器

Zookeeper Zookeeper介绍 Zookeeper 下载安装 将下载文件上传安装 Zookeeper介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooKeeper包含一个简单的原语集,提供Java和C的接口。 ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口，代码在zookeeper-3.4.3\src\recipes。其中分布锁和队列有Java和C两个版本，选举只有Java版本。 总结:Zookeeper负责服务的协调调度.当客户端发起请求时,返回正确的服务器地址 Zookeeper 下载安装 下载地址： http://mirrors.hust.edu.cn/apache/zookeeper/ 3.5.5以后版本下载带 bin 的包 zookeeper 依赖jdk运行 安装jdk 上传解压 配置环境变量 JAVA_HOME = /home/app/jdk JAVA_BIN = /home/app/jdk/bin PATH =

官方文档 集群管理 小说网 https://www.guxs.net/ 理论 在 etc/fefault.ini 文件中有以下部分： [cluster] q=8 n=3 q - 分片的数量 n - 每一份文档的拷贝数量(加上原文档一共几份副本) 创建数据库时可以通过覆盖该值修改为自己的值。 在集群操作中，获取操作中CouchDB返回状态码200或者是写操作返回状态码201即为大多数成员达成一致。大多数成员定义为相关拷贝的数量的一半。对于“读写”操作，“相关副本”的定义稍有不同。 对于读操作，相关副本的数量是保存请求数据的当前可访问分片的数量，这意味着在发生故障或网络分区的情况下，相关副本的数量可能少于集群中的副本数量。 可以使用r参数设置读取份数。 对于写操作，相关副本的数量始终为n，即集群中的副本数量。 对于写操作，可以使用w参数设置份数。 如果少于此数量的可用节点，则返回202。 节点管理 查看所有节点 curl -u admin:adminpw -X GET http://localhost:5984/_membership { "all_nodes":[ # 当前节点所知道的节点 "node1@xxx.xxx.xxx.xxx"], "cluster_nodes":[ #当前节点所连接的节点 "node1@xxx.xxx.xxx.xxx"], } 添加一个节点 curl -u

错误描述： HBase集群启动后，从节点的HRegionServer无法正常启动 错误发生原因： 集群时间不同步 解决步骤： 启动时，查看异常发生节点的HBase的启动日志 发现异常信息为：java.lang.RuntimeException: HRegionServer Aborted 集群时间不同步导致 无异常节点： 异常节点： 同步集群时间 三台节点执行以下命令 nptdate ntp4.aliyun.com 或： 使用crontab定时任务将n台无法联网的服务器与一台可以联网的服务器同步 重启HBase集群 来源： CSDN 作者： 辛Lay 链接： https://blog.csdn.net/weixin_38097878/article/details/103659664

搜索引擎 升级 Elasticsearch 集群数量实战记录 现在线上有一个elasticsearch集群搜索服务有三台elasticsearch实例（es1、es2、es3），打算将其升级为5台（增加es4、es5）。这篇文章主要是对整个操作的过程记录，以及出现的问题总结，包括移动数据量所需要的时间。因为，一开始由于不知道线上数据量全部分配完需要多少时间，如果从凌晨开始操作，到早上8点都还没有同步完，这样会影响到白天线上业务的正常使用。 准备阶段 线上es集群使用的是阿里云服务器，copy其中一个镜像。然后更改其elasticsearch.yml配置文件，检查IK插件是否安装成功。按照这个流程，准备两台新的服务器放入阿里云的隔离组，并安装好elasticsearch，测试elasticsearch实例可以正确启动。也做了将这两台服务器构建一个集群的测试。开始升级操作前30分钟，再次检查elasticsearch.yml 配置。主要的修改是： discovery.zen.minimum_master_nodes:3 discovery.zen.ping.unicast.hosts: ["es1_ip", "es2_ip","es3_ip","es4_ip","es5_ip"] 升级操作 关闭es集群shard分配功能。对es1执行： curl -XPUT es1_ip:9200/

环境准备 基础环境介绍 操作系统 部署应用 应用版本号 IP地址 主机名 CentOS 7.4 Elasticsearch/Logstash 6.4.3 192.168.1.1 elk1 CentOS 7.4 Elasticsearch/Logstash/Redis 6.4.3 192.168.1.2 elk2 CentOS 7.4 Elasticsearch/Kibana 6.4.3 192.168.1.3 elk3 基础环境配置 安装基本软件包以及配置hosts yum -y install vim net-tools epel-release wget cat /etc/hosts 192.168.1.1 elk1 192.168.1.2 elk2 192.168.1.3 elk3 修改文件描述符以及内核参数 vim /etc/sysctl.conf vm.max_map_count = 655360 sysctl -p /etc/sysctl.conf vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096 不需要重启，退出重连即可显示最新配置。使用 ulimit -n 查看。 安装及配置Java环境 yum -y

1：部署redis集群 2：添加服务器 3：移除服务器 配置管理主机(管理机操作) (1)yum -y instal rubygems (2)gem install redis-3.2.1.gem (3)mkdir /root/bin //创建命令检索目录 (5)tar -zxvf redis-4.0.8.tar.gz cp redis-trib.rb /root/bin/ //创建管理集群脚本 创建集群(服务机操作)[所有的服务机同样操作] (1)/etc/init.d/redis_6379 stop //停止redis服务 (2)vim /etc/redis/6379.conf //修改配置文件 bind 192.168.4.51 //修改ip port 6351 //修改端口（可选配置） cluster-enabled yes //启用集群功能 cluster-config-file nodes-6379.conf //存储集群信息的配置文件 cluster-node-timeout 5000 //集群节点通信超时时间 (3)rm -rf /var/lib/redis/6379/* //清空数据 在管理主机(管理机操作),创建集群 用法 : redis-teib.rb create //创建集群 check //检查集群 info //查看集群信息 reshard /

1： 集群简介： 集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。----载自百度百科 redis 集群简介 redis是一个开源的key value存储系统，受到了广大互联网公司的青睐。redis3.0版本之前只支持单例模式，在3.0版本及以后才支持集群，我这里用的是redis3.0.0版本； redis集群采用P2P模式，是完全去中心化的，不存在中心节点或者代理节点； redis集群是没有统一的入口的，客户端（client）连接集群的时候连接集群中的任意节点（node）即可，集群内部的节点是相互通信的（PING-PONG机制），每个节点都是一个redis实例； 为了实现集群的高可用，即判断节点是否健康（能否正常使用），redis-cluster有这么一个投票容错机制：如果集群中超过半数的节点投票认为某个节点挂了，那么这个节点就挂了（fail）。这是判断节点是否挂了的方法； 那么如何判断集群是否挂了呢? -> 如果集群中任意一个节点挂了，而且该节点没有从节点（备份节点）

GlusterFS概述 1、GlusterFS简介 （1）开源的分布式文件系统 （2）由存储服务器、客户端以及NFS/Samba存储网关组成 （3）无元数据服务器（数据传输组件RDMA） （4）GlusterFS特点：扩展性、高性能、高可用性 （5）全局统一命名空间 （6）弹性卷 管理---->云的特性：水平（实例数）、垂直（硬件性能），包括ECS（虚拟）、OSS和RDS（裸金属） （7）基于标准协议 2、GlusterFS术语 （1）Brick（节点） （2）Volume（卷） （3）FUSE（用户端交互模块） （4）VFS（虚拟化文件系统） （5）Glusterd（服务） 3、模块化堆栈式架构 （1）模块化、堆栈式的架构 （2）通过对模块的组合，实现复杂的功能 GlusterFS工作原理 1、GlusterFS工作流程 2、弹性HASH算法 （1）通过HASH算法得到一个32位的整数 （2）划分为N个连续的子空间，每个空间对应一个Brick （3）弹性HASH算法的优点： ☀保证数据平均分布在每一个Brick中 ☀解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈 GlusterFS的卷类型 1、分布式卷 ●没有对文件进行分块处理 ●通过扩展文件属性保存HASH值 ●支持的底层文件系统有ext3、ext4、 ZFS、 XFS等 （1）分布式卷具有如下特点：

文章目录 一、软件版本与系统环境 二、zookeeper 安装 1、xftp上传zookeeper压缩包并解压 2、进入解压好的安装包 在conf文件夹下配置环境 3、配置环境变量 4、启动zookeeper 三、Hbase集群搭建 1、xftp上传Hbase压缩包并解压 2、环境变量配置 3、启动Hbase 一、软件版本与系统环境 ①HBase，1.2.0， 下载链接 ②ZooKeeper，3.4.5， 下载链接 二、zookeeper 安装 1、xftp上传zookeeper压缩包并解压 cd / opt / soft ls tar - zxvf zookeeper - 3.4 .5 - cdh5 . 14.2 . tar . gz mv zookeeper - 3.4 .5 - cdh5 . 14.2 zooker345 2、进入解压好的安装包 在conf文件夹下配置环境 cd zookeeper345 / cd conf ls cp zoo_sample . cfg zoo . cfg vi zoo . cfg 修改存储数据路径、添加zookeeper交换数据端口已经选举端口 dataDir = / opt / soft / zookeeper345 / data server . 1 = 192.168 .56 .122 : 2287 : 3387 添加存储文件夹 [

mongodb的sharding集群由以下3个服务组成： Shards Server : 每个shard由一个或多个mongod进程组成，用于存储数据 Config Server : 用于存储集群的Metadata信息，包括每个Shard的信息和chunks信息 Route Server : 用于提供路由服务，由Client连接，使整个Cluster看起来像单个DB服务器 另外，Chunks是指MongoDB中一段连续的数据块，默认大小是200M，一个Chunk位于其中一台Shard服务器上 下面，搭建一个Cluster，它由4台服务器组成，包括3个Shard，3个Config，1个Route 配置config /usr/local/mongodb/bin/mongod --configsvr --dbpath /usr/local/mongodb/config1 --port 28001 --logpath=/usr/local/mongodb/config1/config.log --replSet configs & /usr/local/mongodb/bin/mongod --configsvr --dbpath /usr/local/mongodb/config2 --port 28002 --logpath=/usr/local/mongodb/config2