redis-cli

https://zhuanlan.zhihu.com/p/106605652 Redis Cluster 呼唤集群 为什么呼唤？ 1.并发量 redis 官方提供数据并发数10万/每秒 如果需要更高的并发量就需要另外方案了，集群 2.数据量 分布式的简单理解：加机器 应对：大并发量，大数据量 数据分布 顺序分区： 对数据集均分存储到各个节点 哈希分区 计算hash值然后取余数 hash(key)/节点数（例如节点取模的方式） 节点取余 如果节点需要增加，在进行迁移的时候比较耗空间，建议采取翻倍扩容的方式。 比如3个节点迁移，可以通过扩容到6个节点，扩容之后的数据只有50%进行了迁移。 一致性哈希 将token(0-2^32)顺时间对节点进行均分。 如果有节点插入，只会影响到相邻的节点，其他的节点不受影响。 虚拟槽分区 Redis Cluster的分区方式 两者的对比 搭建集群 节点之间是互相通信的 Redis Cluster架构 节点 cluster-enable:yes meet 节点之间消息共享 指派槽 redis指定槽的数据为16384。 key访问的时候，会做hash计算，然后取余数，找到对应在哪个范围的槽 找到对应的节点。 复制 安装 下面的安装方式代码不是很严谨，主要是为了了解Redis Cluster的结构。需要注意节点的端口和一些参数的设置。 1.配置开启节点

redis5.0集群部署 一、集群介绍 Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。 Redis 集群不支持那些需要同时处理多个键的 Redis 命令， 因为执行这些命令需要在多个 Redis 节点之间移动数据， 并且在高负载的情况下， 这些命令将降低 Redis 集群的性能， 并导致不可预测的行为。 Redis 集群通过分区（partition）来提供一定程度的可用性（availability）： 即使集群中有一部分节点失效或者无法进行通讯， 集群也可以继续处理命令请求。 Redis 集群提供了以下两个好处： 将数据自动切分（split）到多个节点的能力。 当集群中的一部分节点失效或者无法进行通讯时， 仍然可以继续处理命令请求的能力。 二、Redis 集群数据共享 Redis 集群使用数据分片（sharding）而非一致性哈希（consistency hashing）来实现： 一个 Redis 集群包含 16384 个哈希槽（hash slot）， 数据库中的每个键都属于这 16384 个哈希槽的其中一个， 集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽， 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。 集群中的每个节点负责处理一部分哈希槽。 举个例子，

可视化工具推荐：http://database.51cto.com/art/201505/477692.htm 1.连接redis服务端 　　 1.1 设置连接密码 ：在redis根目录下，双击redis-cli.exe， 输入命令：redis-cli.exe -h 127.0.0.1 -p 6379 -n 1 1就是密码 1.2 使用redisClient连接redis 连接后如图： 2.使用RedisClient 2.1 2.2:使用控制台 在控制台输入redis命令 来源： oschina 链接： https://my.oschina.net/u/4262399/blog/3969451

一、 Window 下安装 下载地址： https://github.com/MSOpenTech/redis/releases 。 Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包到 C 盘，解压后，将文件夹重新命名为 redis。 运行服务端 这时候另启一个cmd窗口，原来的不要关闭，不然就无法访问服务端了。 切换到redis目录下运行 redis-cli.exe 。 C:\redis>redis-cli.exe 127.0.0.1:6379> ping PONG 以上说明我们已经成功安装了redis。 二、重启 考虑到redis有可能正在将内存中的数据同步到硬盘中，强行终止redis进程有可能导致数据丢失，正确停止redis的方式应该是向redis发送shutdown命令，通过客户端来关闭redis服务端。方法为： C:\redis>redis-cli.exe 127.0.0.1:6379> shutdown Not connected 当redis收到shutdown命令后，会断开所有的客户端连接，然后根据配置执行持久化，最后退出。 [17796] 15 May 14:53:18.771 # User requested shutdown... [17796] 15 May 14:53:18

1.安装完成的Redis: 　　linux安装的应用默认会在：usr/local/bin。 　　　　 　　1.redis-benchmark:性能测试工具，是redis提供的一个高并发程序，可以在自己本机运行，看看自己本机性能如何。 　　2.redis-check-aof：修复有问题的AOF文件(【后续在Redis持久化】会详细讲解该用法)。 　　3.redis-check-rdb：修复有问题的RDB文件(【后续在Redis持久化】会详细讲解该用法)。 　　4.redis-cli：客户端，操作入口。 　　5.redis-sentinel：redis集群使用。 　　6.redis-server：redis服务器启动命令。 　　 注:使用这些前必须先开启redis服务。 2.开启服务并测试HelloWorld: 　　1.将redis目录默认的【redis.conf】拷贝到自己定义好的一个路径下，比如【/myconf/redis.conf】(玩linux前，不管什么东西建议先备份一份 出厂的默认设置在去修改)。 　　2.修改redis.conf文件将里面的【daemonize no】 改成 yes，让服务在后台启动开启守护进程，输入【:wq!】保存并退出。 　　　　 　　3.执行【ps -ef|grep redis】命令查看redis服务是否启动。当前是未启动状态。 　　　　　 　　4

Windows下搭建redis集群教程 一，redis集群介绍 Redis cluster（redis集群）是在版本3.0后才支持的架构，和其他集群一样，都是为了解决单台服务器不够用的情况，也防止了主服务器宕机无备用服务器，多个节点网络互联数据共享，所有节点都是一主一从（也可以一主多从），其中不提供服务，只做为备份，emmm我就不多说废话了，直接进入主题。 没有多的服务器就只能单机搭建集群了 二，所需软件环境 1,下载redis最新版本（版本必需要3.0以上） 下载地址： https://github.com/MSOpenTech/redis/releases 下载 Redis-x64-3.2.100.zip 安装在C盘中 redis入门教程： redis入门安装教程 2，安装Ruby语言运行环境 http://dl.bintray.com/oneclick/rubyinstaller/rubyinstaller-2.2.4-x64.exe 安装到C盘中 选中3个，然后点击安装 安装好后会弹出一个黑色窗体，随后需要对Ruby进行配置，执行 gem install redis 先不要关闭 三，教程开始 1，在redis目录下创建6个节点的文件夹：7000-7005 2，将redis下面的文件复制到节点文件夹下面（其他的也是这样操作） 3，修改6个文件夹下redis.windows

基于redis的分布式爬虫 问题： （1）为什么原生的scrapy框架不可以自己实现分布式爬虫？ 原因有两个： （1）因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url（调度器不能被共享） （2）多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（管道不能被共享） (2)scrapy-redis组件的作用是什么？ 它提供了可以被共享的调度器和管道 (3)如何使用scrapy-redis组件来实现分布式爬虫？ 其一：基于该组件的RedisSpider类 其二：基于该组件的RedisCrawlSpider类 但是这两种实现分布式爬虫的实现流程是一致的 分布式的实现流程： ####1 下载scrapy-redis组件： pip install scrapy_redis ####2 创建工程 ####3 创建爬虫文件：RedisSpider RedisCrawlSpider - scrapy genspider -t crawl xxx www.xxx.com ####4 对爬虫文件中的相关属性进行修改： 导入：from scrapy_redis.spiders import RedisCrawlSpider 将爬虫类的父类修改成基于RedisSpider或者RedisCrawlSpider。注意

背景说明 我们经常要导入大批量的数据进redis以供查询。这里举例要导入2亿个手机号码到Redis服务器。数据类型为Set。 比如177字头的手机号码，理论上是1亿个号码，即众17700000000至17799999999。我们这里再将1亿个号码平均分成5等份，即每份2000万个号码。key和它相对应的成员分配如下 key：177:1 成员从1770000000至17719999999共2000万个号码 key：177:2 成员从1772000000至17739999999共2000万个号码 key：177:3 成员从1774000000至17759999999共2000万个号码 key：177:4 成员从1776000000至17779999999共2000万个号码 key：177:5 成员从1778000000至17799999999共2000万个号码 资源准备 准备一台可用内存足够的Linux主机。安装好Redis服务器并正常开启，IP是192.168.7.214 执行步骤 1.准备好指令文件 分别生成177_1.txt、177_2.txt、177_3.txt、177_4.txt、177_5.txt。这里列出177_1.txt文件的部分内容，其他的类似 sadd 177:1 17700000000 sadd 177:1 17700000001 sadd 177:1

绪论 redis 集群需要至少要三个 master 节点，下面将搭建三个 master 节点，并且给每个 master 再搭建一个 slave 节点，总共 6 个 redis 节点，这里用三台机器部署 6 个 redis 实例，每台机器一主一从。设备为 192.168.137.11、192.168.137.12和192.168.137.13 1. 下载redis http://www.redis.cn/download.html 2.上传并解压 tar -zxvf /redis-5.0.4.tar.gz 需要将redis分别上传到三台设备上执行编译安装，下面以192.168.137.11设备上的编译 、安装和配置为例 3.编译并安装redis 需要安装gcc，如果没有安装gcc，使用yum -y install gcc 安装即可 进入到redis-5.0.4目录，make & make install 即可执行编译和安装，安装后会在/usr/local/bin目录下生成命令文件 4.拷贝并修改配置 在/opt/module目录下创建 redis文件夹，用以保存日志文件、dump文件和配置文件 mkdir -p /opt/module/redis/63{79,80}/logs　　 拷贝redis-5.0.4/redis.conf文件到 /opt/module/redis/目录下

Redis3.0之后，Redis官方提供了完整的集群解决方案。该方案采用去中心化的方式，包括：sharding（分区）、replication（复制）、failover（故障转移），称为RedisCluster。Redis5.0前采用redis-trib进行集群的创建和管理，需要ruby支持。Redis5.0可以直接使用Redis-cli进行集群的创建和管理。这里主要介绍使用Redis5.0.10搭建RedisCluster集群 1.环境准备 1.1 集群规划 Maste1 - 192.168.1.161:6379 Slave1 - 192.168.1.161:6380 Maste2 - 192.168.1.162:6379 Slave2 - 192.168.1.162:6380 Maste3 - 192.168.1.163:6379 Slave3 - 192.168.1.163:6380 Maste4(扩容) - 192.168.1.165:6379 Slave4(扩容) - 192.168.1.165:6380 Redis集群最少需要6个节点，可以分布在一台或者多台主机上。本次使用4台虚拟机，先161,162,163上搭建一个三主三从的集群，每台虚拟机上安装6379和6380两个节点。集群搭建成功后，在165上新建两个节点（一主一从），将两个新的节点加入集群，来验证集群扩容。