redis分布式

redis cluster单机伪分布式搭建--- 3主3从3哨兵集群 最近公司引进微服务框架,之前的一台redis的预存60G已经无法满足现在的260G业务需要,经过一番考虑搭建了这套集群 . 为了方便我就用一台服务器演示,生产环境中不建议这么做(没啥用),只为记录一下过程,至于精细化的配置需要在生产中自行研究 演示环境 [root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) redis服务部署过程 我下载的是redis-4.0.14.tar.gz版本的包 解压安装 tar -zxvf redis-4.0.14.tar.gz make install 启动服务 ./redis-server 验证,启动客户端测试 ./redis-cli 127.0.0.1:6379> set ab b OK 127.0.0.1:6379> get ab "b" 127.0.0.1:6379> keys * "ab" "foo" 关闭redis服务 ./redis-cli shutdown 设置redis后台启动,在/usr/local/bin目录下 cp /usr/local/redis/redis-4.0.8/redis.conf ./ 修改redis.conf这个配置文件，找到

1 细说shiro之七：缓存：https://www.cnblogs.com/nuccch/p/8044226.html 2 Shiro缓存使用Redis、Ehcache、自带的MpCache实现的三种方式实例：https://www.cnblogs.com/zfding/p/8536480.html 3 Shiro缓存(十三) - QiaoZhi - 博客园：https://www.cnblogs.com/qlqwjy/p/7257653.html 4 shiro-redis实现session存储到redis - QiaoZhi - 博客园：https://www.cnblogs.com/qlqwjy/p/10392268.html 5 SpringBoot搭建基于Apache Shiro+Redis的分布式Session共享功能 - nbfujx - 博客园：https://www.cnblogs.com/nbfujx/p/7773833.html 来源： https://www.cnblogs.com/xy-ouyang/p/11335400.html

集群的概念 所谓的集群，就是通过添加服务器的数量，提供相同的服务，从而让服务器达到一个稳定、高效的状态（高可用）。 使用 redis 集群的必要性 问题：我们已经部署好了 redis ，并且能启动一个 redis ，实现数据的读写，为什么还要学习 redis 集群？ 答：（ 1 ）单个 redis 存在不稳定性。当 redis 服务宕机了，就没有可用的服务了。 （ 2 ）单个 redis 的读写能力是有限的。 总结： redis 集群是为了强化 redis 的读写能力。 如何学习 redis 集群 -- 说明：（ 1 ） redis 集群中，每一个 redis 称之为一个节点。 （ 2 ） redis 集群中，有两种类型的节点：主节点 (master) 、从节点 (slave) 。 （ 3 ） redis 集群，是基于 redis 主从复制实现。 所以，学习 redis 集群，就是从学习 redis 主从复制模型开始的。 redis 主从复制 概念 主从复制模型中，有多个 redis 节点。 其中， 有且仅有 一个为主节点 Master 。从节点 Slave 可以有多个。 只要网络连接正常， Master 会一直将自己的数据更新同步给 Slaves ，保持主从同步。 特点 （ 1 ）主节点 Master 可读、可写 . （ 2 ）从节点 Slave 只读。（ read-only ）

一。基本概念 Redis和MongoDB是当前使用最广泛的NoSQL，而就Redis技术而言，它的性能十分优越，可以支持每秒十几万此的读/写操作，其性能远超数据库，并且还支持集群、分布式、主从同步等配置，原则上可以无限扩展，让更多的数据存储在内存中，更让人欣慰的是它还支持一定的事务能力，这保证了高并发的场景下数据的安全和一致性。它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型） 二。redis安装 $ wget http://download.redis.io/releases/redis-5.0.4.tar.gz $ tar xzf redis-5.0.4.tar.gz $ cd redis-5.0.4 $ make$ make install在服务器端启动redis-server在内置的客户端启动redis-cli客户端进行测试： 客户端关闭服务器 三。redis常用数据类型和命令 redis中所有的数据都是通过键值对的方式存储的，即key：value。key是字符串类型的，value可以是字符串，hash，list，set，sortedset 1.字符串类型（key：string） 1.添加key：value set key value 2.查看value

岗位职责： 1、日常线上项目的需求处理； 2、新项目上线对接的相关工作； 3、日常运维工具开发、维护、优化； 4、监控业务的运行状态，及时处理项目运行中出现的故障，保障项目服务24x7稳定运行； 5、分析排除系统、数据库、网络、应用等故障及错误； 6、负责服务器的资源调配和系统安全、数据备份。 任职要求： 熟悉linux操作系统， 熟练使用一种或多种脚本语 言（例如 Python/Perl/Shell）； 熟悉至少一种公有云技术，多种运维平台工具（Nagios, Zabbix，Puppet等） 熟悉Nginx,Mysql, Redis, Keepalived, LVS等中间件的配置与调优； 熟悉网络部署，多种数据机房故障的发现和排除的工具，有做个跨机房数据同步的优先； 熟悉mysql、redis、mongoDB的安装、维护、性能优化； 了解反向代理、负载均衡原理. 有责任心，耐心，积极肯学的心态以及良好的沟通表达能力和团队合作精神； 其实这个要求，我在上一篇文章也说到过，大多数公司都写得差不多，很多公司自己懒的写，直接照搬别的公司发出来岗位要求，所以我们只要了解它就可以了，面试的时候不一定会问到这些岗位的要求说明，你看这家公司没有写熟悉TCP/IP，其实面试官这一次有问到TCP/IP这个问题的。这次技术面试后总体面试官还是比较满意，后来猎头通知我一面过了

11 - 手动请求的发送 - yield scrapy.Request(url,callback)/FormRequest(url,callback,formdata) - 深度爬取/全站数据的爬取 - 请求传参： - 使用场景：爬取的数据没有在同一张页面。深度爬取 - yield scrapy.Request(url,callback,meta={})/FormRequest(url,callback,formdata,meta={}) - item = response.meta['item'] - start_requests(self): - 作用：将start_urls列表中的列表元素进行get请求的发送 - 核心组件 - PyExcJs：模拟执行js程序 - 安装好js环境- nodeJs的环境 - js混淆 - js加密 - robots - UA伪装 - 代理 - Cookie - 动态变化的请求参数 - 验证码 - 图片懒加载 - 页面动态加载的数据 下载中间件 - 作用：批量拦截整个工程中发起的所有请求和响应 - 为什么要拦截请求 - UA伪装： - process_request:request.headers['User-Agent']= xxx - 代理ip的设定 - process_exception:request.meta['proxy']=

如果简单地比较Redis与Memcached的区别，大多数都会得到以下观点： 1 Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 2 Redis支持数据的备份，即master-slave模式的数据备份。 3 Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 在Redis中，并不是所有的数据都一直存储在内存中的。这是和Memcached相比一个最大的区别（我个人是这么认为的）。Redis只会缓存所有的key的信息，如果Redis发现内存的使用量超过了某一个阀值，将触发swap的操作，Redis根据 “swappability = age*log(size_in_memory)” 计 算出哪些key对应的value需要swap到磁盘。然后再将这些key对应的value持久化到磁盘中，同时在内存中清除。这种特性使得Redis可以 保持超过其机器本身内存大小的数据。当然，机器本身的内存必须要能够保持所有的key，毕竟这些数据是不会进行swap操作的。同时由于Redis将内存 中的数据swap到磁盘中的时候，提供服务的主线程和进行swap操作的子线程会共享这部分内存，所以如果更新需要swap的数据，Redis将阻塞这个 操作，直到子线程完成swap操作后才可以进行修改。

如果简单地比较Redis与Memcached的区别，大多数都会得到以下观点： 1 Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 2 Redis支持数据的备份，即master-slave模式的数据备份。 3 Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 在Redis中，并不是所有的数据都一直存储在内存中的。这是和Memcached相比一个最大的区别（我个人是这么认为的）。Redis只会缓存所有的key的信息，如果Redis发现内存的使用量超过了某一个阀值，将触发swap的操作，Redis根据“swappability = age*log(size_in_memory)”计 算出哪些key对应的value需要swap到磁盘。然后再将这些key对应的value持久化到磁盘中，同时在内存中清除。这种特性使得Redis可以 保持超过其机器本身内存大小的数据。当然，机器本身的内存必须要能够保持所有的key，毕竟这些数据是不会进行swap操作的。同时由于Redis将内存 中的数据swap到磁盘中的时候，提供服务的主线程和进行swap操作的子线程会共享这部分内存，所以如果更新需要swap的数据，Redis将阻塞这个 操作，直到子线程完成swap操作后才可以进行修改。

关于云数据库 Redis 版详细了解： 云数据库 Redis 版使用教程 （云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务，基于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。） 功能特性 架构灵活 单节点架构 单节点架构适用于纯缓存场景，支持单节点集群弹性变配，满足高 QPS 场景，提供超高性价比。 双机热备架构 系统工作时主节点（Master）和备节点（Slave）数据实时同步，主节点故障时系统自动秒级切换，备节点接管业务，全程自动且对业务无影响，主备架构保障系统服务具有高可用性。 集群架构 集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾切换，故障迁移，多种集群规格可适配不同的业务压力，无限扩展数据库性能。 数据安全 备份及一键恢复 每天自动备份数据，数据容灾能力强，免费支持数据一键恢复，有效防范数据误操作，业务损失降到最低。 多层网络安全防护 VPC 私有网络在 TCP 层直接进行网络隔离保护；DDOS 防护实时监测并清除大流量攻击；支持1000个以上 IP 白名单配置，直接从访问源进行风险控制。 深度内核优化 阿里云专家团队对源码 Redis 进行深度内核优化，有效防止内存溢出，修复安全漏洞，为您保驾护航。 弹性扩展 数据容量扩展 云数据库 Redis

从以下几个维度，对 Redis 、memcache、 MongoDB 做了对比。 1、性能 都比较高，性能对我们来说应该都不是瓶颈。 总体来讲，TPS 方面 redis 和 memcache 差不多，要大于 mongodb 。 2、操作的便利性 memcache 数据结构 单一。（key-value） redis 丰富一些，数据操作方面，redis 更好一些，较少的网络 IO 次数，同时还提供 list，set， hash 等数据结构的存储。 mongodb 支持丰富的数据表达，索引，最类似关系型 数据库 ，支持的查询语言非常丰富。 3、内存空间的大小和数据量的大小 redis 在 2.0 版本后增加了自己的 VM 特性，突破物理内存的限制；可以对 key value 设置过 期时间（类似 memcache） memcache 可以修改最大可用内存,采用 LRU 算法 。Memcached 代理软件 magent，比如建立 10 台 4G 的 Memcache 集群，就相当于有了 40G。 magent -s 10.1.2.1 -s 10.1.2.2:11211 -b 10.1.2.3:14000 mongoDB 适合 大数据 量的存储，依赖 操作系统 VM 做内存管理，吃内存也比较厉害，服务 不要和别的服务在一起。 4、可用性（单点问题） 对于单点问题， redis