一.场景
项目中为了对dao(data access object)层数据做缓存,设计了一层das(data access service),在das上采用了aop的方式作统一缓存处理。这里做的是缓存删除操作。
二.问题
数据库和缓存的一致性问题。
三.定义
A: 删除缓存
B: 提交数据库事务
C: 读取缓存(如果缓存数据为空,会从数据库读取旧数据)
A-B: A和B同步
A–B: A和B异步
四.分析
1.顺序异常分析
1.1 先A后B
注意:删除缓存的操作在数据库事务中执行的情况也属于先A后B
(1)A失败了,B不会执行,不影响一致性。
(2)A成功了,B失败了。因为是删除缓存操作(读请求会从数据库读取旧数据),所以不影响一致性。
(3)先A,后B,存在时间间隙,如果在这段间隙中有其它读请求C,那么就会出现数据不一致。
1.2 先B后A
(1)B失败,A不会执行,不影响一致性。
(2)B成功,A失败,会出现数据不一致。
1.3小结
从上面分析可以发现,两种顺序的执行都会存在导致数据不一致的问题。
2.方案分析
2.1先A后B
解决问题(3)
(1)阻塞加锁的方式,A-B。优点:保证强一致,缺点:性能不高,高并发情况不适合,缓存读写阻塞不好实现。
(2)在B操作中加入数据库持久化日志,使用定时任务补偿,A-B–A,A-B同步(并发不高情况下,可以降低C执行的概率),B–A异步(补偿)。优点:基本不影响缓存性能,缺点:增加日志数据和定时任务的开销。
2.2先B后A
解决问题(2)
(1)在B操作中加入数据库持久化日志,使用定时任务补偿,B-A–A,原理跟上面第(2)点一样。
(2)事务消息,生产者事务生产和消费者事务消费,B操作中需要加入数据库持久化日志,异步A操作,定时任务做MQ补偿,B–A。优点:异步队列处理性能高,操作解耦,适合A操作量大的情况,缺点:转移到解决MQ一致性的问题上,而且还增加日志数据、定时任务和MQ的开销。
1.3小结
考虑用户体验的话,A-B–A方案比较合适;A操作复杂耗时的情况下,B–A的方案比较合适。
1.4方案改进
(1)B–A方案可以通过失败重试的方式来提高一致性的效率,即B-A(n)–A,意思是在A同步重试n次失败后再发出消息作补偿,优点:提高同步成功率,避免异步开销,缺点:业务线程操作耗时,需要适当设置重试时间策略。
(2)B–A的方案不一定要用分布式MQ,还可以用本地消息队列,优点:不需要处理MQ一致性问题,提升效率,缺点:业务应用程序需要增加本地消息队列的开销。
五.总结
在分布式场景下,解决一致性的问题往往需要耗费很多资源。需要根据业务场景适当取舍。
来源:https://blog.csdn.net/Ant_Shen/article/details/99696677