集群服务器

前言 　　随着用户的增多，空间和并发量越来越多，会导致一台solr服务器干不过了。这时候，就需要将solr集群以下。 集群架构　　　 　 由多台服务器共同完成索引和搜索任务 实现的思路是将索引数据进行shard(分片) 拆分，每个分片由多台的服务器共同完成。 当一个索引或搜索请求过来时会分别从不同的shard的服务器中操作索引。 solrCloud需要 solr基于zookeeper部署，zookeeper是一个集群管理软件，solrCloud需要由多台服务器组成。由zookeeper来进行协调管理 ,多个分片相加起来才是一个完成的索引库 zookeeper的集群： 　 见　 zookeeper集群 Solr集群搭建 一. 拷贝tomcat和solrhome 新建文件夹 solr-cloud。将之前solr单机版中的tomcat，solrhome拷贝到solr-cloud文件夹中。 二. tomcat修改 1.端口修改 在solr-cloud文件夹中， 执行以下命令： vim ./tomcat1/conf/server.xml 查询并修改其中的三个port： 1). 2). 3). 其他的tomcat分别修改port的第二个数值为相应数值即可, 如：8280/8209/8205，8380/8309/8305，8480/8409/8405。 2. web.xml 修改 分别修改

第一步：准备n台linux服务器 　　 我这里使用的是3台CentOS6.5版本的linux虚拟机，1个namenode节点 + 2个datanode 节点。 第二步：给3台虚拟机分配IP并修改hosts文件　 　　主机名：hdp-01 对应的ip地址：192.168.33.61 　　主机名：hdp-02 对应的ip地址：192.168.33.62 　　主机名：hdp-03 对应的ip地址：192.168.33.63 　　1.修改主机名 (/etc/sysconfig/network) 　　　　 　　　　 　　2.修改IP(/etc/sysconfig/network-scripts/ifcfg-eth0) 　　　　 　　　　 　　3.修改hosts文件（/etc/hosts） 　　　　 　　　　 　 　　4.重启linux虚拟机 　　　　 　　按照以上5步完成3台虚拟机IP分配和hosts文件修改 第三步 配置linux服务器的基础软件环境 　　 1.关闭防火墙以及防火墙自启（学习时会省去不少麻烦） 　　　　 　　 2.添加用户并设置密码 　　　　 　　 3.切换到新添用户test 　　　　 　　4.安装JDK 　　　　上传JDK安装包到当前用户home目录下，并解压至/home/test/apps/目录下 　　　　 　　　　配置JDK环境变量 　　　　 　　　　 　　　

暂时使用ceph-deploy来搭建集群。手动搭建集群会另外找时间补充并说明。 1. 虚拟机安装操作系统，并克隆出4台机器，分配不同的IP地址，IP最好放在同一个网段 准备4台虚拟机做4个节点，虚拟机至少需要准备2个磁盘，一个用来安装操作系统，另外一个用于作为OSD节点（硬盘多多益善） admin-node 客户端，部署 node1 OSD/MDS/MON node2 OSD/MDS/MON node3 OSD/MDS/MON 修改节点名称，修改后要reboot重启 vim /etc/hostname IP地址映射，把所有节点名称和其IP地址写入hosts文件中 vim /etc/hosts 　 2. 关闭所有节点防火墙和关闭selinux setenforce 0 一般来说新安装的服务器版本linux防火墙是没有设置的 3. 在admin节点安装ceph部署工具ceph-deploy apt-get install ceph-deploy 4. 在admin节点建立ceph安装路径，并进入该路径 mkdir /etc/ceph cd /etc/ceph 5. 部署无密码登陆所有ceph节点 生成节点密钥 ssh-keygen 把admin节点密钥复制到所有节点上 ssh-copy-id root@admin-node ssh-copy-id root@node1 ssh-copy

　　 （搭建hadoop集群的前提是服务器已成功安装jdk以及服务器之间已设置免密码登录，服务器之间的免密码登录可参考《 linux服务器间ssh免密码登录 》） 1、下载hadoop安装包 　　wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0-src.tar.gz 2、解压安装包 　　tar zxvf hadoop-3.0.0-src.tar.gz 3、配置hadoop的环境变量 　　 vi /etc/profile（三台机器） 　　增加以下配置 　　 #Hadoop 3.0 export HADOOP_PREFIX=/home/hadoop/hadoop-3.0.0 export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin export HADOOP_COMMON_HOME=$HADOOP_PREFIX export HADOOP_HDFS_HOME=$HADOOP_PREFIX export HADOOP_MAPRED_HOME=$HADOOP_PREFIX export HADOOP_YARN_HOME=$HADOOP_PREFIX export HADOOP_INSTALL=$HADOOP_PREFIX

Redis集群-官方推荐方案RedisCluster 前情提要 理解RedisCluster的原理和容错机制 能够配置RedisCluster并使用 redis使用中遇到的瓶颈 我们日常工作中使用Redis，经常会遇到一些问题： 1、高可用问题，如何保证redis的持续高可用性。　　 2、容量问题，单实例redis内存无法无限扩充，达到32G后就进入了64位世界，性能下降。　　 3、并发性能问题，redis号称单实例10万并发，但也是有尽头的。 RedisCluster的原理和容错机制 redis的集群策略 redis3.0以后推出的redis cluster 集群方案，redis cluster集群保证了高可用、高性能、高可扩展性。 主要有下面三种集群策略，分别为： 推特：twemproxy : 代理式 豌豆荚：codis ：代理式 官方：redis cluster ： 非代理 我们主要来学习官方推出的 redis cluster，这也是生产项目中用的最多的。 redis-cluster的优势 1、官方推荐，毋庸置疑。　　 2、去中心化，集群最大可增加1000个节点，性能随节点增加而线性扩展。　　 3、管理方便，后续可自行增加或摘除节点，移动分槽等等。　　 4、简单，易上手。 redis-cluster名词介绍 1、master　 主节点、　　 2、slave　　 从节点　　 3

转接上一篇博客 服务器提供存储 再添加一台主机server3 安装软件 yum install scsi-* -y server1和2安装 yum install iscsi-* -y 然后在server3对/etc/tgt/targets.conf进行编辑 vim /etc/tgt/targets.conf 然后启动tgtd /etc/init.d/tgtd start server1中寻找 iscsiadm -m discovery -t st -p 172.25.0.3 在server2进行同样的操作 然后同步分区表partprobe 然后进行分区操作 fdisk -cu /dev/sdb 在server1上进行分区操作在server2进行刷新（partprobe）操作发现server2也被分区了 这是server2中的lvs也存在了 然后进行格式化操作 mkfs.ext4 /dev/dangdang/dd 进行挂载操作 mount /dev/dangdang/dd /mnt/ 本地文件系统不支持同时写入 停止server1和server2服务去网页编辑添加文件系统服务 clusvcadm -d apache 然后重新添加server group 然后去server1上测试挂载和 然后去真机测试 如何同时支持挂载和写入 gfs2集群文件系统（使用gfs2时必须使用集群）

企业级负载均衡集群LVS—四种模式的工作原理 1. DR模式 2. TUN模式 3. NAT模式 4. full-nat模式 1. DR模式 Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器｡当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点｡直接路由模式比较特别，很难说和什么方面相似，前种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。 工作原理 ： 如上图所示，Director和REAL SERVER都配置同一个IP（VIP），Director将该IP配置到对外的网卡上，Real server将该IP配置到lo网卡上。配置arp_ignore为1（目的是让数据包发出apr请求时，只有Director会响应该arp请求），所有REAL SERVER对本身这个IP的ARP请求保持静默。而Director收到数据包后根据调度算法，找出对应的 REAL SERVER，把目的MAC地址改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER通过网卡eth0收到这个数据包，由于Real Server上的lo网卡配置的也有VIP,所以RS接收该数据包。处理后直接返回给客户端

一、搭建环境 两台redht6.5的虚拟机。 server1 配置luci集群管理界面，用来配置和管理集群。 server1、server2 集群节点，配置ricci。 server3 配置共享存储，增添一块共享磁盘 二、共享存储搭建步骤(单点挂载) 1.新建一个虚拟机，添加一个虚拟硬盘； [root@rhcs3 ~]# fdisk -l 2.在服务端安装软件 [root@rhcs3 ~]# yum install scsi-* -y 3.在文件里配置共享策略,开启服务，查看 [root@rhcs3 ~]# vim /etc/tgt/targets.conf 38 <target iqn.2020-02.com.example:server.target1> 39 backing-store /dev/vda 40 </target> [root@rhcs3 ~]# /etc/init.d/tgtd start [root@rhcs3 ~]# tgt-admin -s [root@rhcs3 ~]# ps ax 注意：只能有这两个tgtd进程，否则不成功 4.在集群节点端安装iscsi软件,并查看服务端共享出来的存储 [root@rhcs1 ~]# yum install iscsi-* -y [root@rhcs1 ~]# iscsiadm -m discovery -t st

1 Redis-cluster架构图 redis-cluster投票: 容错 （ 至少要三个才可以，才能超过半数 ） 架构细节 : (1) 所有的 redis 节点彼此互联 (PING-PONG 机制 ), 内部使用二进制协议优化传输速度和带宽 . (2) 节点的 fail 是通过集群中超过半数的节点检测失效时才生效 . (3) 客户端与 redis 节点直连 , 不需要 中间 proxy 层 . 客户端不需要连接集群所有节点 , 连接集群中任何一个可用节点即可 。 (4) redis-cluster 把所有的物理节点映射到 [0-16383]slot 上 ,cluster 负责维护 node<->slot<->value Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时， redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数， 这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽， redis 会根据节点数量大致 均等的将哈希槽映射到不同的节点 搭建集群，极限情况也就最多 16384 个节点 。 2 Redis集群的搭建 Redis集群中至少应该有 3 个节点。要保证集群得 高可用 ，需要每个节点有 1 个备份机。 Redis集群需要6台服务器。 搭建伪分布式

redis集群原理： redis-cluster（集群）架构图 redis-cluster投票: 容错 架构细节 : (1) 所有的 redis 节点彼此互联 (PING-PONG 机制 ), 内部使用二进制协议优化传输速度和带宽 . (2) 节点的 fail 是通过集群中超过半数的节点检测失效时才生效 . (3) 客户端与 redis 节点直连 , 不需要中间 proxy 层 . 客户端不需要连接集群所有节点 , 连接集群中任何一个可用节点即可 (4)redis-cluster 把所有的物理节点映射到 [0-16383]slot 上 ,cluster 负责维护 node<->slot<->value Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时， redis 先对 key 使用 crc16 算法算出一个结果，然后把结 果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽， redis 会根据节点数量大致均等的将哈希槽映射到不同的节点 Redis 集群的搭建： redis 集群中至少应该有三个节点。要保证集群的高可用，需要每个节点有一个备份机。 redis 集群至少需要 6 台服务器。 搭建伪分布式。可以使用一台虚拟机运行 6 个 redis 实例。需要修改 redis