集群服务器

目录 环境准备 引子 特点 集群容错 redis.conf 配置 启动6个redis实例 创建集群 检查集群信息 环境准备 引子 前面的章节我们讲了主从复制以及哨兵，他们可以提高读的并发 但是单个master容量有限，数据达到一定程度会有瓶颈，这个时候可以通过水平扩展为多master-slave成为集群。 这个时候就出现了redis-cluster：他可以支撑多个master-slave，支持海量数据，实现高可用与高并发。 哨兵模式其实也是一种集群，他能够提高读请求的并发 但是容错方面可能会有一些问题，比如master同步数据给slave的时候，这其实是异步复制吧 这个时候master挂了，那么slave上的数据就没有master新，数据同步需要时间的，1-2秒的数据会丢失 master恢复并转换成slave后，新数据则丢失。 特点 每个节点知道彼此之间的关系，也会知道自己的角色，当然他们也会知道自己存在与一个集群环境中，他们彼此之间可以交互和通信，比如ping pong。那么这些关系都会保存到某个配置文件中，每个节点都有，这个我们在搭建的时候会做配置的。 客户端要和集群建立连接的话，只需要和其中一个建立关系就行。 某个节点挂了，也是通过超过半数的节点来进行的检测，客观下线后主从切换，和我们之前在哨兵模式中提到的是一个道理。 Redis中存在很多的插槽，又可以称之为槽节点

因为每次启动hadoop都需要登陆密码，在伪分布式中尚可，但是在大型集群中多个服务器不能每次都输入密码 ll -a 显示隐藏文件 touch 创建文件 流程： 1. 配置黑色部分； 2. 实现无密码的密钥登陆； 1.产生密钥对 2.复制公钥到另一个服务器 已显示 3.把此文件追加到.ssh的authorized_keys文件中 4.测试 注意：普通用户需要把authorized_keys设置成600 来源： oschina 链接： https://my.oschina.net/u/4434424/blog/3187935

目录 1、开头说明 2、INCLUDES 3、MODULES 4、NETWORK 5、GENERAL 6、SNAPSHOTTING 7、REPLICATION 8、SECURITY 9、CLIENTS 10、MEMORY MANAGEMENT 11、APPEND ONLY MODE 12、LUA SCRIPTING 13、REDIS CLUSTER 　　上一篇博客我们介绍了如何安装Redis，在Redis的解压目录下有个很重要的配置文件 redis.conf （/opt/redis-4.0.9目录下），关于Redis的很多功能的配置都在此文件中完成的，在上一讲我也说过，一般为了不破坏安装的文件，出厂默认配置最好不要去改，所以我们将此配置文件复制到 /etc/redis/目录下了。 　　通过 vim /etc/redis/redis.conf 命令打开此文件。下面我们将详细介绍此配置文件。 　　ps:大家不懂这些配置意思没关系，后面会在具体实例中进行介绍，先过个眼熟即可。 回到顶部 1、开头说明 　　 　　这里没什么好说的，需要注意的是后面需要使用内存大小时，可以指定单位，通常是以 k,gb,m的形式出现，并且 单位不区分大小写 。 回到顶部 2、INCLUDES 　　 　　我们知道Redis只有一个配置文件，如果多个人进行开发维护，那么就需要多个这样的配置文件

今天有个朋友问了我这么几个概念，我就总结了下。 集群个物理形态，分布式是个工作方式。 分布式是讲一个业务拆分成多个字业务（积分，支付，物流等等）；集群把相同的一个业务部署在多台机器上。 1，分布式是将不同的业务分布在不同的地方，集群多台机器实现同一个业务。 分布式的每一个点都可以做集群，而集群不一定是分布式的 2，好的设计应该是分布式与集群的结合。先分布式再集群，对于没个单体服务都实现集群部署。这样可以保证高可用，每个子任务挂掉也不会影响整个业务的运行。 3，微服务是什么？分布式强掉的是服务化以及服务的分散化。微服务是强调的是服务的专业化和精细分工；微服务的架构通常是分布式，反之不成立。例如，一个大型的系统拆分成五个大应用，但是还是很庞大，虽然分布式了，但是不是微服务。 微服务的核心是要小。 微服务架构是分布式架构的子集。 微服务重在解耦合，使得每个模块独立。 分布式重在资源共享与加快计算速度。 分布式：分散压力；微服务：分散能力。 每个人都被大数据，分布式，微服务冲昏了头脑。过去的单体架构不一定不好，小公司没有那么多的人力去维护单体服务，也没有那么多的钱去买服务器。 来源： CSDN 作者： 冯俊伟 链接： https://blog.csdn.net/zxjgo_to_sky/article/details/104620356

什么是 Redis-Cluster 为何要搭建 Redis 集群。 Redis 是在内存中保存数据的，而我们的电脑一般内存都不大，这也就意味着 Redis 不适合存储大数据，适合存储大数据的是 Hadoop 生态系统的 Hbase 或者是 MogoDB 。 Redis 更适合处理高并发，一台设备的存储能力是很有限的，但是多台设备协同合作，就可以让内存增大很多倍，这就需要用到集群。 Redis 集群搭建的方式有多种，例如使用 客户端分片、 Twemproxy 、 Codis 等，但从 redis 3.0 之后版本支持 redis-cluster 集群 ，它是 Redis 官方提出的解决方案 ， Redis-Cluster 采用无中心结构，每个节点保存数据和整个集群状态 , 每个节点都和其他所有节点连接。其 redis-cluster 架构图如下： 客户端与 redis 节点直连 , 不需要中间 proxy 层 . 客户端不需要连接集群所有节点连接集群中任何一个可用节点即可。 所有的 redis 节点彼此互联 ( PING-PONG 机制 ), 内部使用二进制协议优化传输速度和带宽 . 分布存储机制 - 槽 （ 1 ） redis-cluster 把所有的物理节点映射到 [0-16383]slot 上 ,cluster 负责维护 node<->slot<->value （2）Redis

实验服务器 ：192.168.44.139 192.168.44.138 192.168.44.144 在 192.168.44.139上操作： 将redis的包上传的新建的目录newtouch 解压 tar -zxf redis-3.0.7.tar.gz 安装redis依赖的包 yum -y install gcc gcc-c++ make tcl cd到解压的redis的包里安装 make && make install 在opt下新建/opt/redis/redis-cluster/ mkdir -p /opt/redis/redis-cluster/ 将redis.conf cp到/opt/redis/redis-cluster/ 起名redis-6379.conf redis-6380.conf cp /newtouch/redis-3.0.7/redis.conf /opt/redis/redis-cluster/redis-6379.conf cp /newtouch/redis-3.0.7/redis.conf /opt/redis/redis-cluster/redis-6380.conf 编辑redis-6379.conf redis-6380.conf bind 127.0.0.1 // 修改为当前服务器IP地址 port 6379 // 修改对应的端口

一、集群介绍 1、根据功能划分为两大类：高可用和负载均衡 2、高可用：一台工作，另一台冗余，当一台服务器故障宕机时，另一台服务器提供服务。开源软件有heartbeat，keepalived. 3、负载均衡：有一台服务器做分发器，负责把用户的请求发送给后端处理，其他的服务器给用户提供服务。开源软件有LVS，keepalived,haproxy,nginx.商业的有F5，Netscaler. 二、keepalived介绍 1、keepalived 是采用VRRP协议实现高可用。keepalived 有三个模块，core ，check，vrrp。core模块是keepalived的核心，负责主进程启动，维护和全局模块的加载和解析，check模块负责健康检查，vrrp模块用来实现VRRP协议。 三、用keepalived搭建高可用集群。 1、为两台机器安装keepalived yum install -y keepalived 2、为两台机器安装nginx,其中IP为130的主机已经在之前安装过，只需为另一台安装 yum install -y nginx 3、编辑130主机的keepalived的配置文件 vim /etc/keepalived/keepalived.conf 1)首先清空keepalived.conf > keepalived.conf 2)加入以下内容： global

实现cas ticket基于redis的集群 目的 克服cas单点故障，将cas认证请求分发到多台cas服务器上，降低负载。 实现思路： 采用统一的ticket存取策略，所有ticket的操作都从中央缓存redis中存取。 采用session共享，session的存取都从中央缓存redis中存取。 前提： 这里只讲解如何实现cas ticket的共享，关于session的共享请移步： https://github.com/izerui/tomcat-redis-session-manager 实现步骤： 基于cas源码 新增模块 cas-server-integration-redis pom.xml 文件如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <parent> <artifactId>cas-server</artifactId>

性能测试及集群监控工具 Kafka提供了非常多有用的工具，如 Kafka设计解析（三）- Kafka High Availability （下） 中提到的运维类工具——Partition Reassign Tool，Preferred Replica Leader Election Tool，Replica Verification Tool，State Change Log Merge Tool。本章将介绍Kafka提供的性能测试工具，Metrics报告工具及Yahoo开源的Kafka Manager。 Kafka性能测试脚本 $KAFKA_HOME/bin/kafka-producer-perf-test.sh 该脚本被设计用于测试Kafka Producer的性能，主要输出4项指标，总共发送消息量（以MB为单位），每秒发送消息量（MB/second），发送消息总数，每秒发送消息数（records/second）。除了将测试结果输出到标准输出外，该脚本还提供CSV Reporter，即将结果以CSV文件的形式存储，便于在其它分析工具中使用该测试结果 $KAFKA_HOME/bin/kafka-consumer-perf-test.sh 该脚本用于测试Kafka Consumer的性能，测试指标与Producer性能测试脚本一样。 Kafka Metrics Kafka使用

目录：1）Ceph介绍 2）部署Ceph集群 采用版本【2020最新nautilus (stable)14.2.7】 为什么使用Ceph？ ceph其实早在2004年的时候写的第一行代码，它是到2012年才有的第一个开发版本，到2014年的时候ceph才慢慢有公司在生产上应用了，那时候一般有的版本也不是很稳定，也是进行一些二次的研发，包装成一些自己的东西，不过现在ceph的版本已经很稳定了，已经适合在生产用了，目前用的比较多的，社区影响比较好的是这个luminous版本，这个版本也是比较稳定，也是比较流行，目前也是用的比较多。 另外就是ceph和其他存储有些不一样的地方，它可扩展，有很好的性能，有稳定存储的计算模块，在没用ceph之前用的一般都是一些传统的存储或者就是商业的存储，像商业的成本一般比较高，需要一些设备或者存储到云端，另外就是拿服务器做挂载共享，这种一个是不利于横向扩展，它很难保证数据的稳定性，数据的访问速率，因为用挂载模式的话，它挂载的模式访问是比较差的，所以基于这种原因来采用ceph，目前像腾讯、乐视、新浪、国外的公司雅虎也都是用的ceph，像国内用的比较成功的x-sky这个用的也比较多，所以这个ceph已经很稳定了，目前市面的ceph人员也比较缺少。 GlusterFS和ceph的区别 分布式存储的话无疑就是横向扩展，任何一个节点挂了的话，可以不整体影响一个运行