redis分布式

hello world 个人运维技能必备 语言： Python、Shell 系统： Linux、Windows 数据库： Mysql、Redis、MongoDB MySQL代理： Mycat、Altas、Cobar 版本管理： Git 高可用/负载均衡 LVS、Nginx、HAProxy、Keepalived 批量管理： Ansible、Saltstack 装机： Kickstart、Cobbler 容器/虚拟化： Docker、KVM、VM 持续集成： Jenkins 日志： ELK Stack 监控： Zabbix、Promentheus、Grafana、告警平台、Drools监控 分布式： Ceph、GlusterFS、FastDFS web： Nginx、Tomcat、Apache 抓包分析： Tcpdump、Wireshark 同步备份： Rsync 来源： https://www.cnblogs.com/small-wei/p/10825972.html

引言 Redis可视化工具之前使用过 RedisDesktopManager ，还写过相关的博客来记录： 《Redis图形化工具安装教程》 《RedisDesktopManager使用教程》 分布式Redis缓存(简介&安装&基础) - 5.2 Mac版 但是在Mac下， RedisDesktopManager 要使用命令来启动，使用十分不方便，所以本文推荐 Medis ： 01. 下载与安装 安装包已经上传到了我的百度网盘： 链接: https://pan.baidu.com/s/1KHqzKk9WL9zfJSIluUNFzg 密码:q2nr 安装很简单，直接双击， 会提示要输入密码，直接输入： xxmac.com ，然后拖入 Applicatons 即可。 02. 使用 输入redis的服务器地址以及密码： 连接成功： 03. 可能会遇到的问题 初次连接的时候可能会报各种错，无非就以下几种，可以逐步去排查： 保证Redis服务已经启动 允许Redis外网访问（注释redis.conf文件里的 # bind 127.0.0.1 ） 禁用protect模式（设置redis.conf文件 protected-mode no ） 可能还有其它的问题可以参考博客： https://blog.csdn.net/Agly_Clarlie/article/details/52251746 来源

Redis的使用方法 ( 命令行安装redis 1 wget http://download.redis.id/releases/redis-5.0.7.tar.gz 2 tar xf redis-5.0.7.tar.gx 3 cd redis-5.0.7 4 vi README.md 5 make 6 yum install gcc -y (安装后遇到cc command not found 时) 7 make distclean 8 make (接下来就是安装) 9 make PREFEX =/opt/bigdata/redis5 install 10 vi /etc/profile …export REDIS HOME=/opt/bigdata/redis5 …export PATH=$PATH:$REDIS_HOME/bin source /etc/profile (启动) cd utils ./install_service.sh service redis_6379 status ) 1.首先redis有五种类型(String ,List,hash,set,zset)，它是二进制安全的 Redis中 String是可以修改的，称为动态字符串(Simple Dynamic String SDS ) 字符串内部更像是ArrayList 。 Redis 内存分配机制

1.Redis是什么？ Redis（REmote DIctionary Server）远程字典服务器 是一个高性能的（Key/Value）分布式内存数据库，基于内存运行，并支持持久化的NoSQL数据库，当前最热门的NoSQL数据库之一。 redis不仅仅支持key-value类型的数据，还提供list,set,zset,hash等数据结构的存储，且支持数据的备份（master-slave模式的数据备份），数据的持久化 2.能做什么？ 内存存储和持久化:redis支持异步将内存中的数据写到硬盘上，同时不影响继续服务 取最新N个数据的操作，如：可以将最新的10条评论的ID放在Redis的List集合里面 模拟类似于HttpSession这种需要设定过期时间的功能 发布、订阅消息系统 定时器、计数器 来源： CSDN 作者： 灵魂coder-- 链接： https://blog.csdn.net/qq_41211642/article/details/104339652

Redis使用的Demo样例建议可以参考下这个课程 《基于Dubbo的分布式系统架构实战》 IP ：192.168.4.111 环境：CentOS 6.6 Redis 版本：redis-3.0 （考虑到Redis3.0在集群和性能提升方面的特性，rc版为正式版的候选版，而且很快就出正式版） 安装目录：/usr/local/redis 用户：root 编译和安装所需的包: # yum install gcc tcl 下载3.0版Redis（当前最新版redis-3.0.0-rc5.tar.gz，请学员们在安装时自行选用最新版） # cd /usr/local/src # wget https://github.com/antirez/redis/archive/3.0.0-rc5.tar.gz 创建安装目录： # mkdir /usr/local/redis 解压: # tar -zxvf 3.0.0-rc5.tar.gz # mv redis-3.0.0-rc5 redis3.0 # cd redis3.0 安装(使用PREFIX指定安装目录)： # make PREFIX=/usr/local/redis install 安装完成后，可以看到/usr/local/redis目录下有一个bin目录，bin目录里就是redis的命令脚本： redis-benchmark redis

http://blog.csdn.net/guchuanyun111/article/category/6335900 ; https://www.cnblogs.com/Survivalist/p/8119891.html（更全） （1）什么是redis? Redis 是一个基于内存的高性能key-value 数据库 。 (有空再补充，有理解错误或不足欢迎指正) （2）Reids的特点 Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。 Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种 数据结构 ，此外单个value的最大限制是1GB，不像 memcached只能保存1MB的数据，因此Redis可以用来实现很多有用的功能，比方说用他的List来做FIFO双向链表，实现一个轻量级的高性 能消息队列服务，用他的Set可以做高性能的tag系统等等。另外Redis也可以对存入的Key-Value设置expire时间，因此也可以被当作一 个功能加强版的memcached来用。 Redis的主要缺点是数据库容量受到物理内存的限制

Redis提供的持久化机制 　 　　Redis是一种面向“key-value”类型数据的分布式NoSQL数据库系统，具有高性能、持久存储、适应高并发应用场景等优势。它虽然起步较晚，但发展却十分迅速。 近日，Redis的作者在博客中写到， 他看到的所有针对Redis的讨论中，对Redis持久化的误解是最大的 ，于是他写了一篇长文来对Redis的持久化进行了系统性的论述。 文章主要包含三个方面： Redis持久化是如何工作的、这一性能是否可靠以及和其它类型的数据库比较 。以下为文章内容： 一、Redis持久化是如何工作的？ 　　什么是持久化？简单来讲就是将数据放到断电后数据不会丢失的设备中，也就是我们通常理解的硬盘上。 首先我们来看一下数据库在进行写操作时到底做了哪些事，主要有下面五个过程 ： 客户端向服务端发送写操作（数据在客户端的内存中）。 数据库服务端接收到写请求的数据（数据在服务端的内存中）。 服务端调用write这个系统调用，将数据往磁盘上写（数据在系统内存的缓冲区中）。 操作系统将缓冲区中的数据转移到磁盘控制器上（数据在磁盘缓存中）。 磁盘控制器将数据写到磁盘的物理介质中（数据真正落到磁盘上）。 故障分析 写操作大致有上面5个流程， 下面我们结合上面的5个流程看一下各种级别的故障 ： 当数据库系统故障时，这时候系统内核还是完好的。那么此时只要我们执行完了第3步

　　Java能力和面试能力，这是两个方面的技能，可以这样说，如果不准备，一些大神或许也能通过面试，但能力和工资有可能被低估。再仔细分析下原因，面试中问的问题，虽然在职位介绍里已经给出了范围，但针对每个点，面试官的问题是随机想的，甚至同一个面试官在两场相似的面试里，提的问题也未必一样。 　　也就是说，如果让面试官自由提问，那么一旦问到你不熟悉的点，你可能就答不上，如果运气不好，再外加上不知道面试引导技巧等因素，真有可能面试官的提问全落在你不熟悉的范围内，这样就非常可惜了。与其这样，还不如事先准备外带面试引导，这样或许你的能力未必行，但你可以尽可能地通过引导展示你的亮点，从而提升面试通过的可能性。在本文里，就将讲述事先准备Java亮点和面试中引导面试官提问的技巧。 　　根据职位介绍微调简历，这关系到能否有面试机会 　　虽然这点和本文的主题无关，但如果没有面试机会，那甚至无法展示引导技能，所以还是来啰嗦一下。筛选简历的人，除了会看学历专业等硬条件外，更会看相关经验的商业项目经验，这在职位介绍上一定能体现出来，比如初级开发，一般需要SSM等框架的1年经验，高级开发一般需要3年，再外带些诸如Netty，数据库调优等方面的技能。 　　如果看到一份简历上，没有明显的相关商业项目经验(学习项目不算)，那么这份简历甚至没面试机会，这就是为什么很多初级开发简历大多石沉大海的原因

1、Redis简介 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。它通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。 大家都知道了redis是基于key-value的no sql数据库，因此，先来了解一下关于key相关的知识点 1、任何二进制的序列都可以作为key使用 2、Redis有统一的规则来设计key 3、对key-value允许的最大长度是512MB 2、支持的语言: ActionScript Bash C C# C++ Clojure Common Lisp Crystal D Dart Elixir emacs lisp Erlang Fancy gawk GNU Prolog Go Haskell Haxe Io Java Javascript Julia Lua Matlab mruby Nim Node.js Objective-C OCaml Pascal Perl PHP Pure

Scrapy-Redis代码实战 Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 scrapy-redis在scrapy的架构上增加了redis，基于redis的特性拓展了如下四种组件： Scheduler Duplication Filter Item Pipeline Base Spider scrapy-redis架构 Scheduler Scrapy原本的queue是不支持多个spider共享一个队列的，scrapy-redis通过将queue改为redis实现队列共享。 Duplication Filter Scrapy中通过Python中的集合实现request指纹去重，在scrapy-redis中去重是由Duplication Filter组件来实现的，它通过redis的set不重复的特性，巧妙的实现了DuplicationFilter去重。 Item Pipeline 引擎将(Spider返回的)爬取到的Item给Item Pipeline，scrapy-redis 的Item Pipeline将爬取到的 Item 存入redis的 items queue。修改过Item Pipeline可以很方便的根据 key 从 items