redis集群搭建

前提:如果要实现redis的高可用,必须先配置主从结构 1-用户通过哨兵之后连接当前集群中的主机 2-哨兵通过心跳检测机制实时向主机发出心跳检测PING-PONG 　　如果连续三次没有收到主机的回执,则发现主机就宕机了 　　　　然后开始进行主机的推选 3-哨兵通过连接主机时,已经获取了主机全部的信息 　　哨兵通过推选的机制选择一台从机成为新的主机 　　　　之后将其他的服务器改为现在的主机的从机 ---1--哨兵高可用的搭建 　　 1-复制目录 [root@localhost redis]# cp -r shards sentinel 来源： https://www.cnblogs.com/B1ackWall/p/11660015.html

1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂) 2.hadoop 的 namenode 宕机,怎么解决 先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了， 重启即可，如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原因修复了。但是最终的解决方案应该是在设计集群的初期 就考虑到这个问题，做namenode的HA。 3.一个datanode 宕机,怎么一个流程恢复 Datanode宕机了后，如果是短暂的宕机，可以实现写好脚本监控，将它启动起来。如果是长时间宕机了，那么datanode上的数据应该已经 被备份到其他机器了，那这台datanode就是一台新的datanode了，删除他的所有数据文件和状态文件，重新启动。 4.Hbase 的特性,以及你怎么去设计 rowkey 和 columnFamily ,怎么去建一个table 因为hbase是列式数据库，列非表schema的一部分，所以在设计初期只需要考虑rowkey 和 columnFamily即可，rowkey有位置相关性，所以 如果数据是练习查询的，最好对同类数据加一个前缀，而每个columnFamily实际上在底层是一个文件，那么文件越小，查询越快，所以讲经

之前介绍的几篇redis的博文都是基于单机的redis基础上进行演示说明的，然而在实际的生产环境中，使用redis集群的可能性应该是大于单机版的redis的，那么集群的redis如何操作呢？它的配置和单机的有什么区别，又有什么需要注意的呢？ 本篇将主要介绍SpringBoot项目整合redis集群，并针对这个过程中出现的问题进行说明，并给出相应的解决方案 I. 环境相关 首先需要安装redis集群环境，可以参考博文： redis-集群搭建手册 然后初始化springboot项目，对应的pom结构如下 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.7</version> <relativePath/> <!-- lookup parent from update --> </parent> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>

之前介绍的几篇redis的博文都是基于单机的redis基础上进行演示说明的，然而在实际的生产环境中，使用redis集群的可能性应该是大于单机版的redis的，那么集群的redis如何操作呢？它的配置和单机的有什么区别，又有什么需要注意的呢？ 本篇将主要介绍SpringBoot项目整合redis集群，并针对这个过程中出现的问题进行说明，并给出相应的解决方案 <!-- more --> I. 环境相关 首先需要安装redis集群环境，可以参考博文： redis-集群搭建手册 然后初始化springboot项目，对应的pom结构如下 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.7</version> <relativePath/> <!-- lookup parent from update --> </parent> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</project.reporting

一. 原生搭建篇Cluster 了解 cluster 的架构 ) 1.redis.conf 配置文件中开启支持 cluster 集群 , 改名字为 redis-cluster-7000.conf( 方便后面集群管理 ) port 7000 daemonize yes pidfile /var/run/redis-7000.pid dir /opt/module/redis-cluster/data logfile "7000.log" dbfilename "dump-7000.rdb" #开启集群 cluster-enabled yes #集群中本节点配置文件名 自动生成 cluster-config-file nodes-7000.conf #当集群中某个节点挂了,整个集群是否停止服务,设置成no 继续提供服务 cluster-require-full-coverage no 2. 用上面的配置文件启动 redis, 确保配置文件没问题 3. 用 sed 命令生成其他节点的配置文件 sed "s/7000/7001/g" redis-cluster-7000.conf >redis-cluster-7001.conf sed "s/7000/7002/g" redis-cluster-7000.conf >redis-cluster-7002.conf sed "s/7000

1.redis集群搭建 　　redis分片和哨兵存在的问题 优点: 分片实现内存数据的动态扩容 分片可以分散的保存数据 哨兵可以实现redis高可用 缺点: 分片中如果有一个节点宕机,则整个分片将不能正常使用 哨兵本身没有实现高可用,如果哨兵宕机,则可能导致整合redis服务宕机. 1.1 redis集群内部通讯原理 搭建原则:一般主节点一般都大于等于3,同时主节点的个数是奇数个. 搭建: 3主6从共9台redis. 内部通信原理: 1.2编辑redis.conf配置文件 （1）注释IP绑定 （2）修改保护模式和端口 （3）开启后台启动 （4）修改PID路径 （5）修改存储路径 （6）修改内存策略 （7）关闭AOP模式 （8）开启集群配置 （9）开启集群配置 （10）设定超时时间 1.2.1批量修改配置文件 说明:将redis.conf中7000改为对应的端口号. 修改命令: 分别修改7001-7008端口号 1.2.2批量启动redis #!/bin/sh redis-server 7000/redis.conf & redis-server 7001/redis.conf & redis-server 7002/redis.conf & redis-server 7003/redis.conf & redis-server 7004/redis.conf & redis

一，redis集群介绍 Redis cluster（redis集群）是在版本3.0后才支持的架构，和其他集群一样，都是为了解决单台服务器不够用的情况，也防止了主服务器宕机无备用服务器，多个节点网络互联数据共享，所有节点都是一主一从（也可以一主多从），其中不提供服务，只做为备份，emmm我就不多说废话了，直接进入主题。 没有多的服务器就只能单机搭建集群了 二，所需软件环境 1,下载redis最新版本（版本必需要3.0以上） 下载地址： https://github.com/MSOpenTech/redis/releases 下载 Redis-x64-3.2.100.zip 安装在C盘中 redis入门教程： redis入门安装教程 2，安装Ruby语言运行环境 http://dl.bintray.com/oneclick/rubyinstaller/rubyinstaller-2.2.4-x64.exe 安装到C盘中 选中3个，然后点击安装 安装好后会弹出一个黑色窗体，随后需要对Ruby进行配置，执行 gem install redis 先不要关闭 三，教程开始 1，在redis目录下创建6个节点的文件夹：7000-7005 2，将redis下面的文件复制到节点文件夹下面（其他的也是这样操作） 3，修改6个文件夹下redis.windows.conf 文件配置 ·先修改节点的端口号

> 原文链接： Kubernetes Dashboard 终结者：KubeSphere 2018 年 7 月份，青云在 Cloud Insight 云计算峰会上推出了一款全新的容器平台—— KubeSphere ，旨在帮助企业快速低成本管理容器。并且 KubeSphere 本身是开源的，它是基于 Kubernetes 构建的分布式、多租户、企业级开源容器平台，具有强大且完善的网络与存储能力，并通过极简的人机交互提供完善的多集群管理、CI / CD 、微服务治理、应用管理等功能，帮助企业在云、虚拟化及物理机等异构基础设施上快速构建、部署及运维容器架构，实现应用的敏捷开发与全生命周期管理。 KubeSphere 目前最新的版本为高级版 2.0.2 ，并且所有版本 100% 开源。它的 Dashboard 是这个样子的： <center><p id="small">KubeSphere 主界面</p></center> <center><p id="small">Istio 微服务治理界面</p></center> <center><p id="small">多维度监控界面</p></center> 这个颜值，比 Kubernetes Dashboard 不知道高到哪里去了，感兴趣的小伙伴可以给一个 Github Star 鼓励一下开发小哥。访问官网请戳这里： kubesphere.io

本篇包含 1、 RabbitMQ 的可靠性消息的发送 2、 RabbitMQ 集群的原理与高可用架构的搭建 3、 RabbitMQ 的实践经验 上篇包含 1、MQ 的本质，MQ 的作用 2、RabbitMQ 的特性，工作模型，交换机详解 3、Java API 编程，UI 管理界面 4、进阶知识：TTL、死信队列、延迟队列，服务端流控和消费端限流 5、Spring AMQP 核心组件 1. RabbitMQ 可靠性投递与高可用架构 1.1. 可靠性投递 在代码里面一定是先操作数据库再发送消息。避免因为数据库回滚导 致的数据不一致。 但是如果先操作数据，后发送消息，发送消息出了问题，那不是一样 会出现业务数据的不一致？ 分析 RabbitMQ 的可靠性投递，也就是在使用 RabbitMQ 实现异步通 信的时候， 消息丢了怎么办，消息重复消费怎么办？ 在 RabbitMQ 里面提供了很多保证消息可靠投递的机制，这个也是 RabbitMQ 的一 个特性。 我们在讲可靠性投递的时候，必须要明确一个问题，因为效率与可靠性是无法兼得 的，如果要保证每一个环节都成功，势必会对消息的收发效率造成影响。所以如果是一 些业务实时一致性要求不是特别高的场合，可以牺牲一些可靠性来换取效率。 比如发送通知或者记录日志的这种场景，如果用户没有收到通知，不会造成业务影 响，只要再次发送就可以了。

一．为什么要用集群 redis3.0 集群采用 P2P 模式，完全去中心化，将 redis 所有的 key 分成了 16384 个槽位，每个 redis 实例负责一部分 slot ，集群中的所有信息通过节点数据交换而更新。 redis 实例集群主要思想是 将 redis 数据的 key 进行散列，通过 hash 函数特定的 key 会映射到指定的 redis 节点上 二． 数据分布理论 分布式数据库首要解决把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每个节点负责整个数据的一个子集。 常见的分区规则有哈希分区和顺序分区。 Redis Cluster 采用哈希分区规则，因此接下来会讨论哈希分区规则。 (1) 节点取余分区 (2) 一致性哈希分区 (3) 虚拟槽分区 (redis-cluster 采用的方式) 顺序分布 那么同样的分 4个节点就是hash(key)%4 节点取余的优点是简单，客户端分片直接是哈希 +取余 一致性哈希 客户端进行分片，哈希 +顺时针取余 三． redis 虚拟槽分区 Redis Cluster 采用虚拟槽分区 虚拟槽分区巧妙地使用了哈希空间，使用分散度良好的哈希函数把所有的数据映射到一个固定范围内的整数集合，整数定义为槽（ slot ）。 Redis Cluster 槽的范围是 0 ～ 16383 。