rdb

　　redis_rdb_tools工具的介绍: 解析 redis 的dump.rdb文件，分析内存，以JSON格式导出数据。| 提供的功能有： 　　1. 生成内存报告 　　2. 转储文件到JSON 　　3. 使用标准的diff工具比较两个dump文件 Rdbtools是以 python 语言开发的。 一)安装 　　1, pypi安装(推荐) pip3 install rdbtools 　　2,源码安装 # wget https: // github.com/sripathikrishnan/redis-rdb-tools/archive/master.zip # unzip master # cd redis -rdb-tools-master/ # python3 setup.py install Downloading / unpacking rdbtools Downloading rdbtools - 0.1 . 5 .tar.gz Running setup.py egg_info for package rdbtools warning: no files found matching ' README.textile ' Installing collected packages: rdbtools Running setup.py install for

转载自：https://mp.weixin.qq.com/s?__biz=MzA3NDcyMTQyNQ==&mid=2649263292&idx=1&sn=b1703906840e177f854f543ca68e0f00&chksm=87675d42b010d454fed8ddcaa27a2f0a925e6d1db90596f25bef4d10dbe481e60af8d0390907&scene=0&xtrack=1&key=64880cbd3f974b3bfca947a6bbd0dc7de4371c1404947282463667d1fb05469c07e0e306f26cdd5919b8cdf7104c035d81f210dbd76cd38eaa5a7706365c7e6dfaf00d85f90df438dd0f27ce4c15fa34&ascene=1&uin=MTIxNjI3MjUwMg%3D%3D&devicetype=Windows+10&version=62070158&lang=zh_CN&pass_ticket=SfUM%2F5LwQwAMP7uwpn87NnU4UNBVUjA718uL3PfcgjaDszq3%2FyH5JCrCFuqbdfLG 前言 本文主要介绍了 Qunar Redis 高可用架构设计原理、安全机制及集群自动化运维方面的内容。 Qunar

目标（本文达成的结果，配对关系可能会变）： 先在131上进行操作 1.下载redis http://download.redis.io/releases/redis-5.0.2.tar.gz 2.解压 [testapp@k8s-node2 ~]$ mkdir redis [testapp@k8s-node2 ~]$ cd redis 上传文件 [testapp@k8s-node2 ~/redis]$ tar -zxvf redis-5.0.2.tar.gz 3.修改/usr/local/bin/权限 su - root chmod 777 /usr/local/bin/ su - testapap 建立文件夹 [testapp@k8s-node2 ~/redis]$ mkdir redis_cluster [testapp@k8s -node2 ~/redis]$ mkdir logs [testapp@k8s -node2 ~/redis]$ touch logs/ redis_run.logs [testapp@k8s -node2 ~/redis]$ cp /redis- 5.0 . 2 /redis.conf . [testapp@k8s -node1 ~/ redis]$ ll 总用量 1908 drwxrwxr -x 2 testapp testapp 77 8月 14

注意：Linux系统使用redis需要更改系统的内存分配策略，执行sysctl vm.overcommit_memory=1命令，0-2分别代表不加载、加载、允许超额加载 一、RDB RDB持久化是把当前数据生成二进制快照保存到硬盘的过程。 配置项： dir：保存路径 dbfilename：保存文件名 rdbcompression：是否开启压缩，默认开启，可以方便保存到硬盘和发送给从节点 触发时机： save：阻塞当前Redis服务器，直到RDB过程完成，线上不建议使用 bgsave：Redis主进程执行fork操作创建子进程，RDB持久化过程由子进程完成，阻塞只发生在fork阶段。 配置save频率自动触发：save m n表示m秒内发生n次修改后自动触发bgsave 从节点执行全量复制，主节点自动执行bgsave生成RDB文件并发送给从节点 执行debug reload命令重新加载Redis时执行save 如果没有开启aof，执行shutdown时回执行bgsave 触发流程： 执行bgsave命令，如果正在执行bgsave命令则直接返回 父进程执行fork操作创建子进程，fork操作时会阻塞主进程 父进程fork完后主进程不再阻塞，可执行其它命令 子进程创建RDB文件，写入完成后替换旧文件 子进程发送信号通知父进程表示完成，父进程更新统计信息 相关统计信息：

Redis的配置文件位于redis的安装目录下，一般不要直接操作出厂设置的配置文件，需要对其进行备份。 # Redis的配置文件样例： # Redis configuration file example.# # 请注意，为了读取到配置文件，Redis必须文件路径作为第一个参数来启动： # # . /redis-server /path/to/ redis.conf # 关于单位的一些注意事项： # 对大小写不敏感 # Note on units: when memory size is needed, it is possible to specify # it in the usual form of 1k 5GB 4M and so forth: # # 1k => 1000 bytes # 1kb => 1024 bytes # 1m => 1000000 bytes # 1mb => 1024*1024 bytes # 1g => 1000000000 bytes # 1gb => 1024*1024*1024 bytes # # units are case insensitive so 1GB 1Gb 1gB are all the same. 1.INCLUDE部分： ################################## INCLUDES #####

Redis为持久化提供了两种方式： RDB：在指定的时间间隔能对你的数据进行快照存储。 AOF：记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据。 本文将通过下面内容的介绍，希望能够让大家更全面、清晰的认识这两种持久化方式，同时理解这种保存数据的思路，应用于自己的系统设计中。 持久化的配置 RDB与AOF持久化的工作原理 如何从持久化中恢复数据 关于性能与实践建议 持久化的配置 为了使用持久化的功能，我们需要先知道该如何开启持久化的功能。 RDB的持久化配置 # 时间策略 save 900 1 save 300 10 save 60 10000 # 文件名称 dbfilename dump.rdb # 文件保存路径 dir /home/work/app/redis/data/ # 如果持久化出错，主进程是否停止写入 stop-writes-on-bgsave-error yes # 是否压缩 rdbcompression yes # 导入时是否检查 rdbchecksum yes 配置其实非常简单，这里说一下持久化的时间策略具体是什么意思。 save 900 1 表示900s内如果有1条是写入命令，就触发产生一次快照，可以理解为就进行一次备份 save 300 10 表示300s内有10条写入，就产生快照 下面的类似，那么为什么需要配置这么多条规则呢

Redis 是支持 RDB 和 AOF 两种持久化的机制，持久化的功能可以有效的避免当进程崩溃。退出时造成的数据损失。当进程退出后，我们下次启动的时候，利用之前持久化的文件马上就可以恢复原有的数据。我们先大致理解一下官方的介绍： RDB 持久化的方式，是在指定条件下，能对数据库进行快照存储。比如手动触发或者自动按照时间间隔。 AOF 持久化是以记录命令为条件来完成的。 AOF 打开的时候，对Redis的所有写操作全部按照 Redis 的协议格式进行保存，把新的命令追加到文件末尾来完成 AOF 文件的保存。前边也介绍过可以通过 BGREWRITAOF 这个命令完成 AOF 文件的重写，不至于 AOF 文件过大，成为磁盘或者恢复时的负担。 Redis 还可以同时打开 RDB 和 AOF 持久化，重启的时候优先使用 AOF 文件，因为 AOF 文件更完整。 RDB详解 AOF详解 toc RDB详解 RDB 是 Redis 一种持久化方案。在指定的时间间隔内，执行指定次数的写操作，则会将内存中的数据写入到磁盘中 在 Redis 配置文件 SNAPSHOTTING 板块内容中 ## 前面常用配置提到过，忘记的可以出门左转看一下 ## 分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。 save 900 1 save 300 10

1.Redis文件目录 （1）全局搜索配置文件 redis.conf 所在目录，和Redis相关的参数配置都在此目录下设置。 [root@bigdata1 ~]# find / -name redis.conf （2）命令所在目录 在Redis安装目录下的bin目录，例如：/opt/redis-5.0.7/bin 2.Redis配置字段解析 [root@bigdata1 config]# cat redis.conf 1 #是否在后台执行，yes：后台运行；no：不是后台运行 2 daemonize yes 3 4 #是否开启保护模式，默认开启。要是配置里没有指定bind和密码。开启该参数后，redis只会本地进行访问，拒绝外部访问。 5 protected-mode yes 6 7 #redis的进程文件 8 pidfile /var/run/redis/redis-server.pid 9 10 #redis监听的端口号。 11 port 6379 12 13 #此参数确定了TCP连接中已完成队列(完成三次握手之后)的长度， 当然此值必须不大于Linux系统定义的/proc/sys/net/core/somaxconn值，默认是511，而Linux的默认参数值是128。当系统并发量大并且客户端速度缓慢的时候，可以将这二个参数一起参考设定。该内核参数默认值一般是128

模仿的过程中，加入自己的思考和理解，也会有进步和收获。 在这个互联网时代，在高并发和高流量可能随时爆发的情况下，单机版的系统或者单机版的应用已经无法生存，越来越多的应用开始支持集群，支持分布式部署了。而Redis作为缓存服务器的比较出色的一员，它在出生的时候就被设置支持集群，本篇就是介绍Redis集群的介绍和搭建过程！使用的平台是Windows，搭建的思路和Linux上基本一致！ Redis创建集群简单介绍 Redis 集群由多个运行在集群模式（cluster mode）下的 Redis 实例组成， 实例的集群模式需要通过配置来开启， 开启集群模式的实例将可以使用集群特有的功能和命令。 <font color='red'>要让集群正常运作至少需要三个主节点，</font> 本篇是简单的学习集群搭建，所以选择使用六个节点： 其中三个为主节点， 而其余三个则是各个主节点的从节点。 Redis创建集群搭建过程 因为linux安装官网都有详细介绍和说明， Linux环境Redis下载和安装 。 这里介绍Windows环境的安装！ 环境介绍 1.win10 64位 2.Redis-x64-3.2.100 # redis windows版下载地址 # https://github.com/MicrosoftArchive/redis/releases 3.ruby 环境 1. ruby环境准备

一、背景介绍 随着360公司业务发展，业务使用kv存储的需求越来越大。为了应对kv存储需求爆发式的增长和多使用场景的需求，360web平台部致力于打造一个全方位，适用于多场景需求的kv解决方案。目前，我们线上大规模使用的kv存储有Redis，Redis cluster以及Pika。 为什么说是爆发式的需求增长呢？早在2015年9月份，公司Redis的日访问量还处于800亿，到了2016年第三季度日访问量已经突破2500亿，2017年第一季度日访问量已经接近4000亿。短短的一年半时间，日访问量增长了5倍。下面给大家分别简单介绍一下Redis，Redis Cluster以及Pika的特点和使用场景。 二、kv存储之Redis 1、Redis介绍 Redis做为大家熟知的开源内存数据库，在很多项目中被广泛的使用。它支持String、Hash、List、Set、Zset、Geo、Hyperloglogs等多数据结构。同时也支持主从复制、Lua脚本、事务、数据持久化、高可用和集群化等等 2、Redis特性 1）高性能：Redis虽然是单线程的，但是它同样拥有着超高的性能。我们线上的普通PC Server上，经过测试，每秒请求数OPS能够达到10w左右。 2）多样化数据结构：Redis支持String、Hash、List、Set、Zset、Geo等多数据结构。 3）持久化：RDB持久化