redis-cli

距离上次定Gc.Db框架，好久没有更新博客了，今日没什么事，就打算就Redis写点东西。 Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持 字符串 、 哈希表 、 列表 、 集合 、 有序集合 ， 位图 ， hyperloglogs 等数据类型。 关于Redis，大家都不会陌生，网上关于Redis在Window和Linux系统安装教程也不少，但是我发现许多安装教程，有些过于简单，也不是很全面，故今天会从就Window下Redis临时服务、Redis默认服务安装、Redis自定义服务安装、Redis主从服务安装四个部分作下系统和详细讲解。 本章只涉及到Window，后续会对Linux系统上关于Redis各种安装教程进行讲解。 本文Redis下载地址: https://github.com/MSOpenTech/redis/releases ，今天介绍，Redis版本用的是Redis3.2.100 下载之后，进行解压，可以根据自己需要拷贝到相应系统盘目录。我这里是win7 是64位系统，拷贝到D:\Program Files (x86)目录。 下面开始讲解上面提到4种安装和使用。 一．Redis临时服务。 进入Redis安装包目录，启动临时服务：redis-server.exe redis.windows.conf 备注

edis　在Linux 和 在Windows 下的安装是有很大的不同的，和通常的软件安装是一样的． 一 下载 Redis 安装包 去redis　官网下载reids 安装包, redis 官网默认只提供Linux 的安装包，所以不用担心下载到windows 的安装包．笔者下载的是 redis-3.2.1.tar.gz. 下载的为redis 源码，应该使用源码安装方式安装redis. 二　安装redis 1. 解压： tar -zxvf redis-3.2.1.tar.gz 2. 进入解压后的目录,并执行编译操作: make test 3. 编译测试结束后，出现以下信息，证明没有问题：编译的命令放在src目录下 4. 编译成功之后，执行install操作即可：sudo make install 5. 目前redis 已经安装成功了redis 的相关命令都存放在../redis-3.2.1/src 目录下,同时在/usr/local/bin/ 目录下生成了如下文件： 二　redis 的卸载 1. 查看reids 是否在运行，如果在运行的话，先关闭 从图上可以看出,redis-server 目前正在6379 端口运行 2. 如果redis-server 服务正在后台运行,那么需停止redis-server 服务： 正常停止redis-server　服务，使用reids 客户端命令:

转自https://blog.csdn.net/zgf19930504/article/details/51850594 Redis　在Linux 和 在Windows 下的安装是有很大的不同的，和通常的软件安装是一样的． 一 下载 Redis 安装包 　　去redis　官网下载reids 安装包, redis 官网默认只提供Linux 的安装包，所以不用担心下载到windows 的安装包．笔者下载的是 redis-3.2.1.tar.gz. 下载的为redis 源码，应该使用源码安装方式安装redis. 二　安装redis 1. 解压： tar -zxvf redis-3.2.1.tar.gz 2. 进入解压后的目录,并执行编译操作: make test 3. 编译测试结束后，出现以下信息，证明没有问题：编译的命令放在src目录下 　　　 　　 　4. 编译成功之后，执行install操作即可：sudo make install 5. 目前redis 已经安装成功了redis 的相关命令都存放在../redis-3.2.1/src 目录下,同时在/usr/local/bin/ 目录下生成了如下文件： 　 二　redis 的卸载 　1. 查看reids 是否在运行，如果在运行的话，先关闭 　　从图上可以看出,redis-server 目前正在6379 端口运行 　2.

1. 下载 redis官网支持Linux版本，微软维护windows版本 redis官网，可以下载linux版本 https://redis.io/ windows版本 https://github.com/MicrosoftArchive/redis/releases 百度网盘有已经下载好的。可视化工具也在里面 链接：https://pan.baidu.com/s/152zzZDo9EFCQNBRaeuMxwg 提取码：2ip1 2. 安装 将 “redis-2.8.9.zip” 解压到指定位置即可，我在虚拟机上弄的，根据自己的来。 3. 目录结构 目录或文件 作用 redis-benchmark 性能检测工具 redis-check-aof AOF文件修复工具 redis-check-dump RDB文件检查工具（快照持久化文件） redis-cli 命令行客户端 redis-server redis服务器启动命令 redis.windows.conf redis核心配置文件 4. 启动redis服务 双击redis-server即可，默认端口号：6379 5. 客户端连接redis 双击redis-cli即可。然后指定ping命令，返回PONG，表示redis已经连同 6. 注册成window服务 双击 redis-server.exe 文件打开黑窗口，表示服务运行中。

下载安装 官网下载文件 redis-5.0.8.tar.gz 解压 tar -zxvf redis-5.0.8.tar.gz 进入解压文件夹 cd redis-5.0.8 执行 make 启动 默认配置文件启动：./508/src/redis-server 指定配置文件启动：./508/src/redis-server 6379.conf 关闭 ./508/src/redis-cli -h 127.0.0.1 -p 6379 如果启用了密码认证，需要先执行auth。例如： auth 123456 shutdown 配置 主从复制 将master IP 地址（或者主机名）和端口等信息加进 slave 的配置文件即可：如下 slaveof 192.168.11.101 6379 masterauth <password> # master的密码 slave-read-only #设置slave为只读模式 注意：关闭持久化，一定要同时关闭自动重启 高可用 来源： oschina 链接： https://my.oschina.net/u/4198095/blog/4254102

scrapy-redis分布式爬取tencent社招信息 什么是scrapy-redis 目标任务 安装爬虫 创建爬虫 编写 items.py 编写 spiders/tencent.py 编写 pipelines.py 编写 middlewares.py 编写 settings.py 搭建 redis 运行爬虫 什么是scrapy-redis 虽然 scrapy 框架是异步加多线程的，但是我们只能在一台主机上运行，爬取效率还是有限的， scrapy-redis 库是基于 scrapy 修改，为我们提供了 scrapy 分布式的队列，调度器，去重等等功能，并且原有的 scrapy 单机版爬虫代码只需做很小的改动。有了它，就可以将多台主机组合起来，共同完成一个爬取任务，抓取的效率又提高了。再配合 Scrapyd 与 Gerapy 可以很方便的实现爬虫的分布式部署与运行。 目标任务 使用scrapy-redis爬取 https://hr.tencent.com/position.php?&start= 招聘信息，爬取的内容包括：职位名、详情连接 、职位类别、招聘人数、工作地点、发布时间、具体要求信息。 安装爬虫 pip install scrapy pip install scrapy-redis python 版本 3.7 ， scrapy 版本 1.6.0 ， scrapy

redis分布式部署 1.scrapy框架是否可以自己实现分布式？ 　　　　- 不可以。原因有二。 　　　　　　其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 　　　　　　其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法共享同一个管道） 2.基于scrapy-redis组件的分布式爬虫 - scrapy-redis组件中为我们封装好了可以被多台机器共享的调度器和管道，我们可以直接使用并实现分布式数据爬取。 - 实现方式： 1.基于该组件的RedisSpider类 2.基于该组件的RedisCrawlSpider类 3.分布式实现流程：上述两种不同方式的分布式实现流程是统一的 - 3.1 下载scrapy-redis组件：pip install scrapy-redis - 3.2 redis配置文件的配置： - 注释该行： bind 127.0 . 0 . 1 ，表示可以让其他ip访问redis - 将yes该为 no ：protected-mode no ，表示可以让其他ip操作redis 3.3 修改爬虫文件中的相关代码： - 将爬虫类的父类修改成基于RedisSpider或者RedisCrawlSpider。注意

什么叫做分布式爬虫？ 　　分布式爬虫，就是多台机器共用一个scrapy—redis程序高效爬取数据， 　　为啥要用分布式爬虫？ 　　　　其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 　　　　其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法共享同一个管道） scrapy-redis组件分布式爬虫： 　　scrapy-redis为我们封装好了多台机器共用的管道以及调度器，导入包调用链接即可实现分布式爬虫。 　分布式实现的方式：1、基于该组件的RedisSpider类 　　　　　　　　　　2、基于该组件的RedisCrawlSpider类 分布式实现流程：上述两种不同方式的分布式实现流程是统一的。 　　1、下载scrapy-redis组件： pip3 install scrapy-redis 　　2、导包： from scrapy_redis.spiders import RedisCrawlSpider 　　3、修改爬虫文件的代码 　　　　1）将当前爬虫类的父类修改成RedisCrawlSpider 　　　　2)将start_urls删除 　　　　3）添加一个新属性redis_key = "ts":可以被共享调度器中的队列名称 # -

redis分布式部署 1.scrapy框架是否可以自己实现分布式？ 　　　　- 不可以。原因有二。 　　　　　　其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 　　　　　　其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法共享同一个管道） 2.基于scrapy-redis组件的分布式爬虫 - scrapy-redis组件中为我们封装好了可以被多台机器共享的调度器和管道，我们可以直接使用并实现分布式数据爬取。 - 实现方式： 1.基于该组件的RedisSpider类 2.基于该组件的RedisCrawlSpider类 3.分布式实现流程：上述两种不同方式的分布式实现流程是统一的 - 3.1 下载scrapy-redis组件：pip install scrapy-redis - 3.2 redis配置文件的配置： - 注释该行：bind 127.0.0.1，表示可以让其他ip访问redis - 将yes该为no：protected-mode no，表示可以让其他ip操作redis 3.3 修改爬虫文件中的相关代码： - 将爬虫类的父类修改成基于RedisSpider或者RedisCrawlSpider。注意

Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个服务器的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。 而Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。 说白了，就是使用redis来维护一个url队列,然后scrapy爬虫都连接这一个redis获取url,且当爬虫在redis处拿走了一个url后,redis会将这个url从队列中清除,保证不会被2个爬虫拿到同一个url,即使可能2个爬虫同时请求拿到同一个url,在返回结果的时候redis还会再做一次去重处理,所以这样就能达到分布式效果,我们拿一台主机做redis 队列,然后在其他主机上运行爬虫.且scrapy-redis会一直保持与redis的连接,所以即使当redis 队列中没有了url,爬虫会定时刷新请求,一旦当队列中有新的url后,爬虫就立即开始继续爬 首先分别在主机和从机上安装需要的爬虫库 pip3