【面试必备】聊聊高性能延时队列应用

元气小坏坏 提交于 2020-02-27 08:14:26

延时队列的应用场景:

下单后,30分钟内未付款就自动取消订单等;
支付后,24小时未评论自动好评;
在我们实际开发过程中,应用场景很多...

基于Redis Zset 实现

实现原理

Redis由于其自身的Zset数据结构,也同样可以实现延时的操作。
Zset本质就是Set结构上加了个排序的功能,除了添加数据value之外,还提供另一属性score,这一属性在添加元素时候可以指定,每次指定score后,Zset会自动重新按新的值调整顺序

  1. 如果score代表的是想要执行时间的时间戳,在某个时间将它插入Zset集合中,它会按照时间戳大小进行排序,也就是对执行时间前后进行排序。
> ZADD delay_queue 1581309229  taskId_1
(integer) 1
> ZADD delay_queue 1581309129  taskId_2
(integer) 1
> ZADD delay_queue 1581309329  taskId_3
(integer) 1
  1. 不断地进行取第一个key值,如果当前时间戳大于等于该key值的socre就将它取出来进行消费删除,就可以达到延时执行的目的。 注意不需要遍历整个Zset集合,以免造成性能浪费。
> ZRANGE delay_queue 0 -1 withscores
1) "taskId_2"
2) "1581309129"
3) "taskId_1"
4) "1581309229"
5) "taskId_3"
6) "1581309329"

使用注意

  • 遍历逻辑,删除逻辑,注意使用 Redis Lua 封装,确保原子性操作。更要注意 Redis Lua 在 Redis Cluster 的伪集群问题。
  • 若是JAVA 语言可以直接使用 redisson,封装了 DelayedQueue 的实现。

源码逻辑 org/redisson/RedissonDelayedQueue.java

Beanstalkd 消息队列

Beanstalkd,一个高性能、轻量级的分布式内存队列系统。支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有PostRank大规模部署和使用,每天处理百万级任务。

部署使用

  • Linux 安装 || docker 部署
yum install beanstalkd

||

docker run -d -p 11300:11300 pig4cloud/beanstalkd
  • 客户端使用,pom 依赖
<!--封装了 官方的 java sdk,只支持 springboot 2.X-->
<dependency>
    <groupid>com.pig4cloud.beanstalk</groupid>
    <artifactid>beanstalkd-client-spring-boot-starter</artifactid>
    <version>0.0.1</version>
</dependency>
  • 默认配置

  • 代码使用
@Autowired
private JobProducer producer;

/**
 * @param delay    是一个整形数,表示将job放入ready队列需要等待的秒数
 * @param ttr      time to run—是一个整形数,表示允许一个worker执行该job的秒数。这个时间将从一个worker 获取一个job开始计算。
 *                 如果该worker没能在<ttr> 秒内删除、释放或休眠该job,这个job就会超时,服务端会主动释放该job。
 *                 最小ttr为1。如果客户端设置了0,服务端会默认将其增加到1。
 * @param priority 优先级 0~2**32的整数,最高优先级是0
 */
@Test
public void testSend() {
	String taskId = "1";// 业务对象信息
    producer.putJob(0, 10, 10, taskId.getBytes());
}
@Component
public class DemoJobConsumer extends AbstractTubeConsumerListener {

    @Override
    public void work(JobConsumer consumer) {
        // 阻塞多少秒获取一次 Job
        Job job = consumer.reserveJob(1000L);

        // 消费此Job
        consumer.deleteJob(job.getId());

        // 执行延时的业务逻辑
        String biz = new String(job.getData());
    }
}

扩展

  • 数据库,利用定时任务轮询实现,业务量大会性能瓶颈。
  • 延时队列的其他实现,比如 rabbitmq 利用ttl特性可以实现。无法取消已放入队列里面的数据,使用时特别注意死信队列的配置等。
  • 还可以自己根据 时间轮片的算法 自行实现 。
  • 总之一切,都要有补偿的逻辑,无论是业务人员手动触发还是自动补偿。

> 项目推荐: Spring Cloud 、Spring Security OAuth2的RBAC权限管理系统 欢迎关注 </ttr>

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!