分布式锁

原创声明 本文作者：黄小斜 转载请务必在文章开头注明出处和作者。 本文思维导图 什么是缓存 计算机中的缓存 做后端开发的同学，想必对缓存都不会陌生了，平时我们可能会使用Redis，MemCache这类缓存组件，或者是本地缓存，来实现一些后端的应用。 那么，严格来说，到底什么才是缓存呢，先来看看百度百科的定义。 缓存（cache），原始意义是指访问速度比一般随机存取存储器（RAM）快的一种高速存储器，通常它不像系统主存那样使用DRAM技术，而使用昂贵但较快速的SRAM技术。缓存的设置是所有现代计算机系统发挥高性能的重要因素之一。 最早，“缓存”一词是用来指代计算机硬件中的高速缓存，因为CPU和内存的运算速度差距过大，如果CPU直接和内存交互的话，会浪费掉CPU的大量运算时间，于是有了高速缓存，来为这两个速度差距甚远的组件做中介。 具体的工作原理是，CPU要取数据的时候，先找高速缓存要，由于它们俩的速度差距并不大，所以CPU不会损失掉太多性能，如果数据就在缓存中，那么就直接在缓存里取，否则则到内存去取，取完之后还要留在高速缓存中，以便于下次CPU要使用时无需再到内存中去取。 其实，高速缓存还可以分为一级缓存，二级缓存和三级缓存等，每往下一级，速度也就越慢，价格也越低，毕竟，成本是我们不得不考虑的因素，要不然一切硬件都上顶配，就不需要讨论软件的优化了。 除了高速缓存外，其实还有硬盘缓存

3 月，跳不动了？>>> 原创声明 本文作者：黄小斜 转载请务必在文章开头注明出处和作者。 本文思维导图 什么是缓存 计算机中的缓存 做后端开发的同学，想必对缓存都不会陌生了，平时我们可能会使用Redis，MemCache这类缓存组件，或者是本地缓存，来实现一些后端的应用。 那么，严格来说，到底什么才是缓存呢，先来看看百度百科的定义。 缓存（cache），原始意义是指访问速度比一般随机存取存储器（RAM）快的一种高速存储器，通常它不像系统主存那样使用DRAM技术，而使用昂贵但较快速的SRAM技术。缓存的设置是所有现代计算机系统发挥高性能的重要因素之一。 最早，“缓存”一词是用来指代计算机硬件中的高速缓存，因为CPU和内存的运算速度差距过大，如果CPU直接和内存交互的话，会浪费掉CPU的大量运算时间，于是有了高速缓存，来为这两个速度差距甚远的组件做中介。 具体的工作原理是，CPU要取数据的时候，先找高速缓存要，由于它们俩的速度差距并不大，所以CPU不会损失掉太多性能，如果数据就在缓存中，那么就直接在缓存里取，否则则到内存去取，取完之后还要留在高速缓存中，以便于下次CPU要使用时无需再到内存中去取。 其实，高速缓存还可以分为一级缓存，二级缓存和三级缓存等，每往下一级，速度也就越慢，价格也越低，毕竟，成本是我们不得不考虑的因素，要不然一切硬件都上顶配，就不需要讨论软件的优化了。

179. Redis 是什么？都有哪些使用场景？ Redis 是一个使用 C 语言开发的高速缓存数据库。 Redis 使用场景： 记录帖子点赞数、点击数、评论数； 缓存近期热帖； 缓存文章详情信息； 记录用户会话信息。 数据缓存功能 分布式锁的功能 支持数据持久化 支持事务 支持消息队列 存储方式不同：memcache 把数据全部存在内存之中，断电后会挂掉，数据不能超过内存大小；Redis 有部份存在硬盘上，这样能保证数据的持久性。 数据支持类型：memcache 对数据类型支持相对简单；Redis 有复杂的数据类型。 使用底层模型不同：它们之间底层实现方式，以及与客户端之间通信的应用协议不一样，Redis 自己构建了 vm 机制，因为一般的系统调用系统函数的话，会浪费一定的时间去移动和请求。 value 值大小不同：Redis 最大可以达到 512mb；memcache 只有 1mb。 180. Redis 有哪些功能？ 181. Redis 和 memcache 有什么区别？ 182. Redis 为什么是单线程的？ 因为 cpu 不是 Redis 的瓶颈，Redis 的瓶颈最有可能是机器内存或者网络带宽。既然单线程容易实现，而且 cpu 又不会成为瓶颈，那就顺理成章地采用单线程的方案了。 关于 Redis 的性能，官方网站也有，普通笔记本轻松处理每秒几十万的请求。

3 月，跳不动了？>>> 传统MySQL+ Memcached架构遇到的问题 　　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 　　1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。 　　2.Memcached与MySQL数据库数据一致性问题。 　　3.Memcached数据命中率低或down机，大量访问直接穿透到DB，MySQL无法支撑。 　　4.跨机房cache同步问题。 　　众多NoSQL百花齐放，如何选择 　 　最近几年，业界不断涌现出很多各种各样的NoSQL产品，那么如何才能正确地使用好这些产品，最大化地发挥其长处，是我们需要深入研究和思考的问题，实 际归根结底最重要的是了解这些产品的定位，并且了解到每款产品的tradeoffs，在实际应用中做到扬长避短，总体上这些NoSQL主要用于解决以下几 种问题 　　1.少量数据存储，高速读写访问。此类产品通过数据全部in-momery 的方式来保证高速访问，同时提供数据落地的功能，实际这正是Redis最主要的适用场景。 　　2.海量数据存储，分布式系统支持，数据一致性保证，方便的集群节点添加/删除。 　　3

在进行大型网站技术架构设计以及业务实现的过程中，多少都会遇到需要使用分布式锁的情况。那么问题也就接踵而至。分布式锁zk和memcached以及redis三者都能实现，同样是分布式锁，三者的区别何在？各自适用什么场景？ 一、Zookeeper 实现原理： 基于zookeeper瞬时有序节点实现的分布式锁，其主要逻辑如下（该图来自于IBM网站）。大致思想即为：每个客户端对某个功能加锁时，在zookeeper上的与该功能对应的指定节点的目录下，生成一个唯一的瞬时有序节点。判断是否获取锁的方式很简单，只需要判断有序节点中序号最小的一个。当释放锁的时候，只需将这个瞬时节点删除即可。同时，其可以避免服务宕机导致的锁无法释放，而产生的死锁问题。 优点：锁安全性高，zk可持久化，且能实时监听获取锁的客户端状态。一旦客户端宕机，则瞬时节点随之消失，zk因而能第一时间释放锁。这也省去了用分布式缓存实现锁的过程中需要加入超时时间判断的这一逻辑； 缺点：性能开销比较高。因为其需要动态产生、销毁瞬时节点来实现锁功能。所以不太适合直接提供给高并发的场景使用 实现：可以直接采用zookeeper第三方库curator即可方便地实现分布式锁 适用场景: 对可靠性要求非常高，且并发程度不高的场景下使用。如核心数据的定时全量/增量同步等 二、memcached分布式锁 实现原理： memcached带有add函数

3 月，跳不动了？>>> Redis实现分布式锁相关注意事项 查看了不少关于redis实现分布式锁的文章，无疑要设计一个靠谱的分布式并不太容易，总会出现各种鬼畜的问题；现在就来小述一下，在设计一个分布式锁的过程中，会遇到一些什么问题 I. 背景知识 借助redis来实现分布式锁（我们先考虑单机redis的模式），首先有必要了解下以下几点： 单线程模式 setnx : 当不存在时，设置value，并返回1； 否则返回0 getset : 设置并获取原来的值 expire : 设置失效时间 get : 获取对应的值 del : 删除 ttl : 获取key对应的剩余时间，若key没有设置过超时时间，或者压根没有这个key则返回负数（可能是-1，-2） watch/unwatch : 事务相关 II. 方案设计 1. 设计思路 获取锁： 调用 setnx 尝试获取锁，如果设置成功，表示获取到了锁 设置失败，此时需要判断锁是否过期 未过期，则表示获取失败；循环等待，并再次尝试获取锁 已过期，getset再次设置锁，判断是否获取了锁（根据返回的值进行判断，后面给出具体的方案） 若失败，则重新进入获取锁的逻辑 释放锁： 一个原则就是确保每个业务方释放的是自己的锁 2. getset的实现方案 网上一种常见的case，主要思路如下 setnx 尝试获取锁 失败，则 get 获取锁的value

redis 缓存雪崩 redis 缓存穿透 redis 缓存击穿 redis缓存机制 redis分布式锁 redis数据类型 redis主从模式 redis缓存架构问题 DB读写分离架构问题 来源： https://www.cnblogs.com/weigy/p/12556864.html

引言 在开发中，往往会遇到一些关于延时任务的需求。例如 生成订单30分钟未支付，则自动取消 生成订单60秒后,给用户发短信 对上述的任务，我们给一个专业的名字来形容，那就是 延时任务 。那么这里就会产生一个问题，这个 延时任务 和 定时任务 的区别究竟在哪里呢？一共有如下几点区别 定时任务有明确的触发时间，延时任务没有 定时任务有执行周期，而延时任务在某事件触发后一段时间内执行，没有执行周期 定时任务一般执行的是批处理操作是多个任务，而延时任务一般是单个任务 下面，我们以判断订单是否超时为例，进行方案分析 方案分析 (1)数据库轮询 思路 该方案通常是在小型项目中使用，即通过一个线程定时的去扫描数据库，通过订单时间来判断是否有超时的订单，然后进行update或delete等操作 实现 博主当年早期是用 quartz 来实现的(实习那会的事)，简单介绍一下 maven项目引入一个依赖如下所示 <dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz</artifactId> <version>2.2.2</version> </dependency> 调用Demo类MyJob如下所示 package com.rjzheng.delay1; import org.quartz.JobBuilder;

上一篇 写了使用RabbitMQ来实现延迟任务的实现，其实实现延迟任务的方式有很多，各有利弊，有单机和分布式的。在这里做一个总结，在遇到这类问题的时候希望给大家一个参考和思路。 延迟任务有别于定式任务，定式任务往往是固定周期的，有明确的触发时间。而延迟任务一般没有固定的开始时间，它常常是由一个事件触发的，而在这个事件触发之后的一段时间内触发另一个事件。延迟任务相关的业务场景如下： 场景一：物联网系统经常会遇到向终端下发命令，如果命令一段时间没有应答，就需要设置成超时。 场景二：订单下单之后30分钟后，如果用户没有付钱，则系统自动取消订单。 下面我们来探讨一些方案，其实这些方案没有好坏之分，和系统架构一样，只有最适合。对于数据量较小的情况下，任意一种方案都可行，考虑的是简单明了和开发速度，尽量避免把系统搞复杂了。而对于数据量较大的情况下，就需要有一些选择，并不是所有的方案都适合了。 1. 数据库轮询 这是比较常见的一种方式，所有的订单或者所有的命令一般都会存储在数据库中。我们会起一个线程去扫数据库或者一个数据库定时Job，找到那些超时的数据，直接更新状态，或者拿出来执行一些操作。这种方式很简单，不会引入其他的技术，开发周期短。 如果数据量比较大，千万级甚至更多，插入频率很高的话，上面的方式在性能上会出现一些问题，查找和更新对会占用很多时间，轮询频率高的话甚至会影响数据入库

什么是缓存击穿 在谈论缓存击穿之前，我们先来回忆下从缓存中加载数据的逻辑，如下图所示 因此，如果黑客每次故意查询一个在缓存内必然不存在的数据，导致每次请求都要去存储层去查询，这样缓存就失去了意义。如果在大流量下数据库可能挂掉。这就是缓存击穿。 场景如下图所示: 我们正常人在登录首页的时候，都是根据userID来命中数据，然而黑客的目的是破坏你的系统，黑客可以随机生成一堆userID,然后将这些请求怼到你的服务器上，这些请求在缓存中不存在，就会穿过缓存，直接怼到数据库上,从而造成数据库连接异常。 解决方案 在这里我们给出三套解决方案，大家根据项目中的实际情况，选择使用. 讲下述三种方案前，我们先回忆下redis的setnx方法 SETNX key value 将 key 的值设为 value ，当且仅当 key 不存在。 若给定的 key 已经存在，则 SETNX 不做任何动作。 SETNX 是『SET if Not eXists』(如果不存在，则 SET)的简写。 可用版本 ：>= 1.0.0 时间复杂度 ： O(1) 返回值 ： 设置成功，返回 1。设置失败，返回 0 。 效果如下 redis > EXISTS job # job 不存在 ( integer ) 0 redis > SETNX job "programmer" # job 设置成功 ( integer ) 1