Redis Desktop Manager

Scrapy-redis 分布式爬虫

落爺英雄遲暮 提交于 2021-02-08 05:31:44
###Scrapy-redis 分布式爬虫 Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件。scrapy-redis 的解决是把这个Scrapy queue换成redis数据库(也是指redis队列),从同一个redis-server存放要爬取的request,便能让多个spider去同一个数据库里读取。 ###Scrapy-Redis分布式策略: Master端(核心服务器) :搭建一个Redis数据库,不负责爬取,只负责url指纹判重、Request的分配,以及数据的存储; Slaver端(爬虫程序执行端) :负责执行爬虫程序,运行过程中提交新的Request给Master 首先Slaver端从Master端拿任务(Request、url)进行数据抓取,Slaver抓取数据的同时,产生新任务的Request便提交给 Master 处理; Master端只有一个Redis数据库,负责将未处理的Request去重和任务分配,将处理后的Request加入待爬队列,并且存储爬取的数据。 ####Master 安装Redis 1.下载及安装 wget http://download.redis.io/releases/redis-3.2.6.tar.gz tar xzf

小D课堂

懵懂的女人 提交于 2021-01-24 12:46:41
笔记 4、Redis工具类封装讲解和实战 简介:高效开发方式 Redis工具类封装讲解和实战 1、常用客户端 https://redisdesktop.com/download 2、封装redis工具类并操作 开始 主要讲开发中的技巧 Redis 桌面管理工具 RedisDesktopManager 2019.2 发布 https://www.oschina.net/news/108331/redis-desktop-manager-2019-2-released?p=2 redis默认有16个库 我们默认操作的是第一个库。这是我们刚才放进去的值 封装redis工具类并操作 JsonUtils工具类,对象要转换为字符串。 主要是通过Jsckson这个包去操作的 封装RedisClient类 注入StringRedisTemplate,添加set方法 在家一个获取的方法 controller里面使用 启动应用进行测试 调用add方法 获取值 对象放到redis 可以的命名规则,用冒号分隔开。用冒号分开后,通过工具查看redis里面会有一层层的文件夹格式 再加一个获取值的方法 启动应用 每个冒号前面形成一个文件夹 查找效率会比 所有的key都放在一起更快 取值 单元测试 直接运行测试方法 来源: oschina 链接: https://my.oschina.net/u/4386338

CentOS7 Linux yml安装 Redis

…衆ロ難τιáo~ 提交于 2020-12-21 14:52:12
CentOS7 Linux yml安装 Redis 1. 安装redis 检查是否有redis yum 源 ​yum install redis 下载fedora的epel仓库 yum install epel-release 安装redis数据库 yum install redis 安装完毕后,使用下面的命令启动redis服务 # 启动redis service redis start # 停止redis service redis stop # 查看redis运行状态 service redis status # 查看redis进程 ps -ef | grep redis 设置redis为开机自动启动 chkconfig redis on 进入redis服务 # 进入本机redis redis-cli # 列出所有key keys * 防火墙开放相应端口 # 开启6379 /sbin/iptables -I INPUT -p tcp --dport 6379 -j ACCEPT # 保存 /etc/rc.d/init.d/iptables save # centos 7下执行 service iptables save 2.修改redis默认端口和密码 打开配置文件 vi /etc/redis.conf 修改默认端口,查找 port 6379 修改为相应端口即可 修改默认密码

redis里通过命名空间存储缓存,根据结构生成树型

你说的曾经没有我的故事 提交于 2020-12-19 06:40:48
一般为了方便管理 redis 缓存,我们通过 : 来分隔不同的 key 来进行存储缓存,这样方便查看。 例如: game:upload_role:1000 game:member_info:2000 game:member_info:state_info:3000 上面的这种结构在 Redis Desktop Manager 中就会显示如下: 我们可以通过 keys 命令来获取 redis 里的所有 key。但这些 key 是没有层次的,如何生成? 只能通过 : 分隔符来处理各 key 的上下层关系。 代码如下: function relationCache($keys, &$index, &$index_tree) { $result = []; if ($keys) { foreach ($keys as $key) { $arr = explode(':', $key); $len = count($arr); for ($ix = 0; $ix < $len; $ix++) { $cur_key = implode(':', array_slice($arr, 0, $ix + 1)); if (!isset($index_tree[$cur_key])) { $index_tree[$cur_key] = $index++; $pid = 0; if ($ix >= 1)

使用RedisDesktopManager客户端无法连接Redis服务器问题解决办法

馋奶兔 提交于 2020-11-23 20:32:51
使用RedisDesktopManager客户端无法连接Redis服务器问题解决办法 参考文章: (1)使用RedisDesktopManager客户端无法连接Redis服务器问题解决办法 (2)https://www.cnblogs.com/xikui/p/12038222.html 备忘一下。 来源: oschina 链接: https://my.oschina.net/u/4432649/blog/4739967

国人开源了一款超好用的 Redis 客户端,真香!!

我们两清 提交于 2020-08-19 12:47:49
大家都知道,Redis Desktop Manager 是一款非常好用的 Redis 可视化客户端工具,但可惜的是 v0.9.4 版本之后需要收费了: 这个工具不再免费提供安装包了,要对所有安装包收费,收费还不便宜啊,但是源码依旧是公开的,要使用就必须要自行编译。 市面上也有一些破解版本或是别人编译好的版本,但安全性难以保证,不付费,整天折腾安装和更新,始终是下策,有免费开源的好工具为啥不用。 今天我就要推荐一个免费、开源、好用的。 另一个 Redis 桌面管理工具 之前也有粉丝问我有什么好用的免费开源的 Redis 客户端,今天栈长就介绍一款,一款由国人开源的 Redis 客户端: AnotherRedisDesktopManager ,这也是我目前在使用的。 开源地址: https://github.com/qishibo/AnotherRedisDesktopManager 现在已经 6.8K+ Star 了,牛逼! AnotherRedisDesktopManager :即 “ 另外 ” 一个 Redis DeskTop Manager,从名字上看,这就是要代替前者的节奏。它是一款更快、更好、更稳定的 Redis 桌面管理工具,兼容 Linux, windows, mac。 更重要的是,在加载大量的键时它不会崩溃!! 栈长之前也分享了许多好用的开发工具

PHP操作Redis

别等时光非礼了梦想. 提交于 2020-08-12 08:47:35
目录 基本指令 获取所有的key(keys) 判断键对应值的类型(type) 删除缓存项(del) 设置有效期(expire,expireAt) 获取有效期(ttl) 检测缓存项是否存在(exists) 查看当前数据库key的数量(dbSize) 清空当前数据库(flushDB) 清空所有数据库(flushAll) 字符串(string)类型 设置(set) 设置并指定过期时间(setex) 获取(get) 增加(incr, incrBy) 减少(decr, decrBy) 追加(append) 获取长度(strLen) 字符串截取(getRange) 列表(list)类型 将元素压入链表(lPush) 在某个位置插入新元素(lInsert) 设置某个元素的值(lSet) 获取列表元素个数(lLen) 获取下标对应的元素(lIndex) 获取某个选定范围元素集(lRange) 从列表左侧弹出数据(lPop) 根据值移除元素(lRem) 集合(set)类型 添加元素到集合(sAdd) 随机获取一个元素(sPop) 删除集合里指定的值(sRem) 遍历集合(sScan) 获取所有成员(sMembers) 获取集合元素个数(sCard) 并集(sUnion),差集(sDiff),交集(sInter) 有序集合(zset)类型 添加元素(zAdd) 元素分值增减(zIncrBy)

ubuntu18 Docker 安装 redis

喜欢而已 提交于 2020-08-04 20:56:55
#0. 访问 hub.docker.com 主要是获得安装软件的信息及文档 #1. docker search 软件名称 docker search redis #2. docker pull 软件名:版本号 docker pull redis:5.0 #3. docker run 主要是通过hub.docker.com提供的文档设置 docker run --name redis0 -p6379:6379 -d redis:5.0 #4.docker ps -a # 查看docker的运行状态 docker ps -a #5.通过第三方软件连接软件 #RedisDesktopManager 进行测试连接 #服务器端连接redis-cli docker exec -it redis0 redis-cli 来源: oschina 链接: https://my.oschina.net/u/2255699/blog/4303866

Redis的安装与idea中的使用

不打扰是莪最后的温柔 提交于 2020-08-04 11:44:46
一、Redis的安装 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。从2013年5月开始,Redis的开发由Pivotal赞助。 官方下载地址: http://redis.io/download ,不过官方没有64位的Windows下的可执行程序。 目前有个开源的托管在github上, 地址: https://github.com/ServiceStack/redis-windows 点击这个地方,下载文件并解压到自己的电脑目录下。 本文使用版本: redis64-3.0.501.zip 解压后目录如下: 文件名 简要 redis-benchmark.exe 基准测试 redis-check-aof.exe aof redischeck-dump.exe dump redis-cli.exe 客户端 redis-server.exe 服务器 redis.windows.conf 配置文件 然后编辑 redis.windows.conf 文件,我看网上有的教程说编辑里边 maxheap <bytes> ,但是3.x版本以后,修改的是 maxmemory <bytes> , bytes是字节,请自行换算,我这里改成