分布式缓存

一、缓存在系统中用来做什么 1. 少量数据存储，高速读写访问。通过数据全部in-momery 的方式来保证高速访问，同时提供数据落地的功能，实际这正是Redis最主要的适用场景。 2. 海量数据存储，分布式系统支持，数据一致性保证，方便的集群节点添加/删除。Redis3.0以后开始支持集群，实现了半自动化的数据分片，不过需要smart-client的支持。 二、从不同的角度来详细介绍redis 网络模型：Redis使用单线程的IO复用模型，自己封装了一个简单的AeEvent事件处理框架，主要实现了epoll、kqueue和select，对于单纯只有IO操作来说，单线程可以将速度优势发挥到最大，但是Redis也提供了一些简单的计算功能，比如排序、聚合等，对于这些操作，单线程模型实际会严重影响整体吞吐量，CPU计算过程中，整个IO调度都是被阻塞住的。 内存管理：Redis使用现场申请内存的方式来存储数据，并且很少使用free-list等方式来优化内存分配，会在一定程度上存在内存碎片，Redis跟据存储命令参数，会把带过期时间的数据单独存放在一起，并把它们称为临时数据，非临时数据是永远不会被剔除的，即便物理内存不够，导致swap也不会剔除任何非临时数据（但会尝试剔除部分临时数据），这点上Redis更适合作为存储而不是cache。 数据一致性问题：在一致性问题上

一、前言 　　在上一篇文章中，已经介绍了基于Redis实现分布式锁的正确姿势，但是上篇文章存在一定的缺陷——它加锁只作用在一个Redis节点上，如果通过sentinel保证高可用，如果master节点由于某些原因发生了主从切换，那么就会出现锁丢失的情况： 客户端1在Redis的master节点上拿到了锁 Master宕机了，存储锁的key还没有来得及同步到Slave上 master故障，发生故障转移，slave节点升级为master节点 客户端2从新的Master获取到了对应同一个资源的锁 　　于是，客户端1和客户端2同时持有了同一个资源的锁。锁的安全性被打破了。针对这个问题。Redis作者antirez提出了RedLock算法来解决这个问题 二、RedLock算法的实现思路 　　antirez提出的redlock算法实现思路大概是这样的。 　　客户端按照下面的步骤来获取锁： 获取当前时间的毫秒数T1。 按顺序依次向N个Redis节点执行获取锁的操作。这个获取锁的操作和上一篇中基于单Redis节点获取锁的过程相同。包括唯一UUID作为Value以及锁的过期时间(expireTime)。为了保证在某个在某个Redis节点不可用的时候算法能够继续运行，这个获取锁的操作还需要一个超时时间。它应该远小于锁的过期时间。客户端向某个Redis节点获取锁失败后，应立即尝试下一个Redis节点

文章目录 一、Redis 集群结构以及设计理念 1. Redis 集群架构模式有哪几种？ 2. Redis 集群最大节点个数是多少？ 3. Redis 集群的主从复制模型是怎样的？ 4. 请介绍一下 Redis 集群实现方案 5. Redis 集群会有写操作丢失吗？为什么？ 6. Redis 慢查询是什么？通过什么配置？ 7. Redis 的慢查询修复经验有哪些？怎么修复的？ 8. 如何优化 Redis 服务的性能？ 9. Redis 的主从复制模式有什么优缺点? 10. Redis sentinel（哨兵）模式优缺点有哪些？ 11. 如何设置 Redis 的最大连接数？查看 Redis 的最大连接数？查看 Redis 的当前连接数？ 12. 介绍一些 Redis 常用的安全设置？ 二、Redis 缓存管理与持久化机制 1. Redis 持久化机制有哪些？ 2. Redis 持久化机制 AOF 和 RDB 有哪些不同之处？ 3. 请介绍一下 RDB 持久化机制的优缺点 4. 请介绍一下 AOF 持久化机制的优缺点 5. 如果 AOF 文件的数据出现异常， Redis 服务怎么处理？ 6. 常见的淘汰算法有哪些？ 7. Redis 淘汰策略有哪些？ 8. Redis 缓存失效策略有哪些？ 9. Redis 如何做内存优化？ 10. 什么是 bigkey？ 有什么影响？ 11.

目前几乎很多大型网站及应用都是分布式部署的，分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。”所以，很多系统在设计之初就要对这三者做出取舍。在互联网领域的绝大多数的场景中，都需要牺牲强一致性来换取系统的高可用性，系统往往只需要保证“最终一致性”，只要这个最终时间是在用户可以接受的范围内即可。 在很多场景中，我们为了保证数据的最终一致性，需要很多的技术方案来支持，比如分布式事务、分布式锁等。有的时候，我们需要保证一个方法在同一时间内只能被同一个线程执行。在单机环境中， Java 中其实提供了很多并发处理相关的API，但是这些API在分布式场景中就无能为力了。也就是说单纯的 Java Api并不能提供分布式锁的能力。所以针对分布式锁的实现目前有多种方案。 针对分布式锁的实现，目前比较常用的有以下几种方案： 基于 数据库 实现分布式锁 基于缓存（ Redis ，memcached，tair）实现分布式锁 基于Zookeeper实现分布式锁 在分析这几种实现方案之前我们先来想一下，我们需要的分布式锁应该是怎么样的？（这里以方法锁为例，资源锁同理） 可以保证在分布式部署的应用集群中

一、pom依赖 <dependency> <groupId>tf56.redis</groupId> <artifactId>redis-client</artifactId> <version>1.0.0</version> <exclusions> <exclusion> <artifactId>servlet-api</artifactId> <groupId>javax.servlet</groupId> </exclusion> <exclusion> <artifactId>gson</artifactId> <groupId>com.google.code.gson</groupId> </exclusion> </exclusions> </dependency> <!-- 其他redis依赖 --> 二、MyCacheCloudRedisFactory工具类 package tf56.payOnlineService.util.redis; ​ import com.sohu.tv.builder.ClientBuilder; import com.sohu.tv.cachecloud.client.basic.enums.RedisTypeEnum; ​ import org.apache.commons.lang.StringUtils; import org

老套路 1、什么是Redis 2、为什么要用Redis 3、怎么用Redis 4、使用Redis过程中遇到的问题 1、什么是Redis 　　介绍Redis之前先了解一下Nosql（非关系型数据库） 　　我们都知道MySql是一种关系型数据库，那什么是非关系型数据库呢？它又是做什么呢？ 　　为了解决高并发、高可用、高可扩展，大数据存储等一系列问题而产生的数据库解决方案，就是NoSql。它不能替代关系型数据库，只能作为关系型数据库的一个良好补充。 　　Redis是使用c语言开发的一个高性能 键值数据库 。Redis通过 键值类型 存储数据。 　　 Redis使用场景 ：缓存（数据查询、短连接、新闻内容、商品内容等等） 　　（最多使用） 分布式集群架构中的session分离 　　聊天室的在线好友列表 　　任务队列 　　（秒杀、抢购、12306等等） 应用排行榜 　　网站访问统计 　　数据过期处理（可以精确到毫秒） 2、为什么要用Redis 　　为了解决高并发、高可用、高可扩展，大数据存储等一系列问题，MySql不能很好为我们提供服务，引入了Redis。 　　那么为什么要用Redis呢？ 　　1、速度快：首先Redis由C语言编写，纯内存操作，第二个 核心是基于非阻塞的IO多路复用机制，单线程避免了多线程的频繁上下文切换问题 　　2、支持多种数据类型，5种数据类型： String、Hash

为什么在分布式Java应用程序中使用缓存？今天学习了两节优锐课讲解分布式缓存的内容，收获颇多，分享给大家。 在提高应用程序的速度和性能时，每毫秒都是至关重要的。例如，根据Google的一项研究，如果网站在3秒或更短时间内无法加载，则有53％的移动用户会离开该网站。 缓存是使你的分布式应用程序更快的最重要的技术之一。你可以将信息存储到计算机的CPU中越近，访问信息的速度就越快。从CPU缓存中加载数据要比从RAM中加载数据快得多，这也比从硬盘或通过网络加载数据快得多。 为了存储经常访问的数据，分布式应用程序在多台计算机上维护高速缓存。分布式缓存通常是减少分布式应用程序的延迟并提高其并发性和可伸缩性的基本策略。 Redis是一种流行的开源内存中数据结构存储，可以用作数据库，缓存或消息代理。因为Redis从内存而不是从磁盘加载数据，所以Redis比许多传统的数据库解决方案要快。 但是，使分布式缓存在Redis中正常工作对于开发人员可能是一个挑战。例如，本地缓存失效是替换或删除缓存条目的过程，必须谨慎处理。每次更新或删除一台计算机上本地缓存中存储的信息时，都必须更新作为分布式缓存一部分的所有计算机上的内存中缓存。 好消息是，有Redis框架（例如Redisson）可以帮助你构建应用程序所需的分布式缓存。在下一部分中，我们将讨论Redisson中三种重要的分布式缓存实现：Maps，Spring

=======开篇吐槽：最近一段时间刚好碰上中秋国庆双节，而且工作任务繁重，基本很难保证有时间来写文章了======= 《可伸缩服务架构 框架与中间件》与《分布式服务架构 原理、设计与实战》是要配套捆绑着看，这营销手段，服。 这书主要介绍了在分布式系统中常规用到的一些框架组件，比如分布式ID、消息队列、缓存、RPC框架、ES等。书中大部分内容的作用更多的是整体介绍、知识点扩展、初步入门，书中贴的源代码其中很难让人认真一行一行去阅读学习。想要更深入的学习，需要在平时工作多积累丰富的项目经验，或者多看看开源项目，从而去总结和提取。 每一章介绍一个组件，摘抄一些自己觉得有用的内容，归纳整理，然后加以理解。（主要还是强迫自己形成总结成文的习惯，看的书很多，都总是很容易忘记，效果甚微） 第1章 如何设计一款永不重复的高性能分布式发号器 1. 为什么不直接采用UUID？ 虽然UUID能够保证唯一性，但无法满足业务系统需要的很多其他特性，比如时间粗略有序性、可反解和可制造性（说人话，就是分布式ID需要体现根据时间递增的特点，并且从ID串中能解析出一定的业务含义），同时UUID比较长，占空间大，性能较差。 2. 那基于数据库来实现呢？ 即通过调整自增字段或者数据库sequence的步长来确保跨数据库的ID的唯一性，但这种方案强依赖于数据库。 实现方案，可见我：重构 - 分布式ID设计方案 3.

1.1Hazelcast概述 Hazelcast是基于内存的数据网格开源项目，同时也是该公司的名称。Hazelcast提供弹性可扩展的分布式内存计算，Hazelcast被公认是提高应用程序性能和扩展性最好的方案。Hazelcast通过开放源码的方式提供以上服务。更重要的是，Hazelcast通过提供对开发者友好的Map、Queue、ExecutorService、Lock和JCache接口使分布式计算变得更加简单。例如，Map接口提供了内存中的键值存储，这在开发人员友好性和开发人员生产力方面提供了NoSQL的许多优点。 除了在内存中存储数据外，Hazelcast还提供了一组方便的api来访问集群中的cpu，以获得最大的处理速度。轻量化和简单易用是Hazelcast的设计目标。Hazelcast以Jar包的方式发布，因此除Java语言外Hazelcast没有任何依赖。Hazelcast可以轻松地内嵌已有的项目或应用中，并提供分布式数据结构和分布式计算工具。 Hazelcast 具有高可扩展性和高可用性（100%可用，从不失败）。分布式应用程序可以使用Hazelcast进行分布式缓存、同步、集群、处理、发布/订阅消息等。Hazelcast基于Java实现，并提供C/C++，.NET，REST，Python、Go和Node.js客户端。Hazelcast遵守内存缓存协议

终极手撕之架构大全：分布式+开源框架+微服务+性能优化，够不够？ 一只Tom猫4小时前 我要分享 之前有零零散散整理过一些专题给大家参考学习，这次一次性来个终极手撕之架构大全，包含开源框架、分布式、微服务、性能优化等四个大专题共17个小专题，全部一锅端，送给大家一起学习~ 注意：需要全部完整版架构大全答案的可以 【“点击我”免费领取】 《终极手撕之架构大全：分布式+开源框架+微服务+性能优化，够不够？》 01 开源框架（Spring +SpringMVC+Mybatis） 开源框架答案解析如下： 1.1 手撕开源框架之Spring 什么是 Spring 框架？Spring 框架有哪些主要模块？ 使用 Spring 框架能带来哪些好处？ 什么是控制反转(IOC) 请解释下 Spring 框架中的 IoC BeanFactory 和 和 ApplicationContext 有什么区别？ Spring 有几种配置方式？ 如何用基于 XML 配置的方式配置 Spring 如何用基于 Java 配置的方式配置 Spring 怎样用注解的方式配置 Spring 请解释 Spring Bean 的生命周期？ Spring Bean 的作用域之间有什么区别？ Spring 框架中的单例 Beans 是线程安全的么？ 请举例说明如何在 Spring 中注入一个 Java Collection