RabbitMQ

Java基于队列和数据库批量维护用户在线离线状态和位置信息

生来就可爱ヽ(ⅴ<●) 提交于 2020-09-30 07:39:22
目录 前言介绍 用户数据迁移 用户状态数据批量处理 队列数据批量消费 前言介绍 系统用户实时位置都保存在redis中,我们采用redis过期方式来监听用户位置离线,离线的用户key会放入对应的队列进行消费(这里的队列可以是Java队列也可以是RabbitMQ之类的消息中间件,我们采用的是ConcurrentLinkedQueue)。项目中对用户实时位置有两个要求(特殊行业对人员位置安全规范的要求): a.用户最后一次经纬度实时位置更新到数据库 b.用户离线后更新用户在线状态 为了解决每次用户位置心跳更新导致数据库连接不足问题,我采用了批量更新的方式来解决大批量的用户上线和离线更新。解决了如下问题: a.解决用户状态表统计数据不一致问题 b.解决数据库更新占用数据库连接过多问题(可实现批量更新上线状态位置和离线状态,最后一次位置保存更新降低数据库压力) c.解决redis和database在线状态延迟过大问题 用户数据迁移 针对需要维护最后用户在线位置数据的这类用户,我们有单独用户角色加以限定。这种用户只需要简单将数据做个分表保存起来就可以了。首次初始化这类数据是根据已有用户数据直接采用SQL 支持的SELECT [A,B,....] INTO TABLE_SUB FROM TABLE_MAIN 示例脚本如下: -- 注意:======依赖触发器更新用户信息===== -- 修改目的

分布式事务解决方案常见误区与实用建议

ぐ巨炮叔叔 提交于 2020-09-30 06:41:34
前言 ​ 最近,工作中要为现在的老系统做拆分和升级,刚好遇到了分布式事务、幂等控制、异步消息乱序和补偿方案等问题,刚好基于实践结合个人的看法记录一下一些方案和思路。 分布式事务 首先,做系统拆分的时候几乎都会遇到分布式事务的问题,一个仿真的案例如下: 项目初期,由于用户体量不大,订单模块和钱包模块共库共应用(大war包时代),模块调用可以简化为本地事务操作,这样做只要不是程序本身的BUG,基本可以避免数据不一致。 后面因为用户体量越发增大,基于容错、性能、功能共享等考虑,把原来的应用拆分为订单微服务和钱包微服务,两个服务之间通过非本地事务操(这里可以是HTTP或者消息队列等)作进行数据同步,这个时候就很有可能由于异常场景出现数据不一致的情况。 事务中直接RPC调用达到强一致性 以上面的订单微服务请求钱包微服务进行扣款并更新订单状态为扣款这个调用过程为例,假设采用HTTP同步调用,项目如果由经验不足的开发者开发这个逻辑,可能会出现下面的伪代码: [订单微服务请求钱包微服务进行扣款并更新订单状态] 处理订单微服务请求钱包微服务进行扣款并更新订单状态方法(){ [开启事务] 1、查询订单 2、HTTP调用钱包微服务扣款 3、更新订单状态为扣款成功 [提交事务] } 这是一个从肉眼上看起来没有什么问题的解决方法,HTTP调用直接嵌入到事务代码块内部,猜想最初开发者的想法是

MassTransit Get Started->

半腔热情 提交于 2020-09-29 15:47:04
MassTransit:是一款.NET的分布式应用程序框架(开源、免费)。通过MassTransit,可以轻松创建利用基于消息的、松耦合异步通信的应用程序和服务,以提高可用性,可靠性和可伸缩性。 MassTransit本身定位轻量级的服务总线,并支持多种传输方式如:RabbitMQ、Azure Service Bus、ActiveMQ、Amazon SQS、Kafka、Azure Event Hub。消息异常处理:重试配置、重新交付、erro管道、死信管道。分布式事务处理:sagas、Courier。容器支持:.NETcore自身的、autofac、castle windsor等、调度支持:Quartz 、hangfire。更多功能参考官网文档。 MassTransit目前已经发布到了第7个版本了,7.0版本新增了对Kafka 的支持,构建仅支持.NET Standard 2.0...其他改动不大。MassTransit社区使用也是很活跃的,对于首次接触的,通过本篇文章(基于rabbitmq)帮你快速入门! 一个应用程序或服务可以使用两种不同的方法来生产消息,主要区别是sent需要指定具体的端点地址,而pub不需要,下面的代码会演示这两种方式。 发布事件(多个接收者) 发送命令(一个接收者) 发布事件(事件消息) 场景假设:在xx项目中,需要与第三方进行交互。比如:订单发货之后

一套的SpringCloud版聚合支付项目,资料文档教程齐全

纵然是瞬间 提交于 2020-09-28 19:59:39
做公号很久了,听到粉丝问的最多的问题就是:有没有新的完整的项目,因为现在很多流传的项目都太老了,实战意义不是很强。很多程序员每项技术单独拿出来有可能很厉害,例如:springcloud、springboot、redis、nginx、mysql、rabbitMq等,但是普遍缺乏将所有的这些技术整合到一起,从前端到后端,从开发到部署上线,从每个知识点到整体的设计。本次分享不是分享项目而是教你如何开发一个项目细节流程。 第一套:电商项目 课程简介 项目技术栈 基于springBoot2.x、springCloud采用前后端分离的架构;利用FastDFS作为分布式文件存储系统,利用Canal实现数据同步,监控数据变化,数据变化后;Elasticsearch+IK+Kibana实现商品搜索功能;Spring Security Oauth2 JWT实现微服务统一认证和资源授权;利用RabbitMq实现异步解耦;Seata实现分布式事务等,从而打造一个高可用的分布式电商系统。 技术架构 系统架构 功能教程 模块说明 项目截图 资料介绍 项目源码 视频教程 项目教程 已经整理到“看云”在线文档 开发工具清单 如何领取 识别并关注公众号「 程序员闪充宝 」; 在下面公众号后台回复关键字「 mall 」 长按上方二维码 2 秒 回复「mall」即可获取上面所有资料 第二套:聚合支付 课程简介

思维导图初体验——openstack

China☆狼群 提交于 2020-09-28 19:54:13
            RABBITMQ              memcache               keystone                glance                nova               neutron             horizon             cinder               ceph 来源: oschina 链接: https://my.oschina.net/u/4305979/blog/4524842

2020年5月中旬面试总结,至今最全的Java程序员高频面试知识点解析笔记

旧时模样 提交于 2020-09-27 13:56:30
就目前大环境来看,跳槽成功的难度比往年高很多。总结一下面试的感受:无论一面还是二面,都很考验Java程序员的技术功底!! 最近我整理了一份复习用的面试题及面试高频的考点题及技术点梳理成一份“Java程序员高频面试解析及知识点体系笔记.pdf(实际上比预期多花了不少精力),包含 集合,JVM,并发编程、Spring,MyBatis,微服务,Redis,Dubbo,设计模式,数据结构,分布式等!,由于篇幅有限,为了方便大家观看,这里以图片的形式给大家展示每部分的目录和答案截图,完整学习文档在文末有免费领取方式! 这份Java面试解析和知识点体系文档内容包括: Java 篇主要包含 Java集合 Hashmap、JVM、GC、锁、多线程、并发、代理、NIO 等。 MySQL数据库主要包含索引、B+ 树、SQL 优化相关。 分布式存储篇主要包含 Redis 架构相关、MongDB 分布式中间件主要包含 Kafka,RabbitMQ相关面试题 微服务Spring Boot、Spring Cloud、Dubbo 篇。 系统架构设计篇,根据几个开放性题目来设计系统。 框架篇主要包含 Spring MyBatis、SpringMVC,netty与RPC 设计模式篇 数据结构与算法篇 相信它会给大家带来很多收获。 Java程序员高频面试解析及知识点体系笔记 JVM篇——JVM知识点体系笔记 JVM篇

RabbitMQ的六种工作模式

守給你的承諾、 提交于 2020-09-27 03:02:00
一.基于erlang语言: 是一种支持高并发的语言 RabbitMQ的六种工作模式: 1.1 simple简单模式 消息产生着§将消息放入队列 消息的消费者(consumer) 监听(while) 消息队列,如果队列中有消息,就消费掉,消息被拿走后,自动从队列中删除(隐患 消息可能没有被消费者正确处理,已经从队列中消失了,造成消息的丢失)应用场景:聊天(中间有一个过度的服务器;p端,c端) 1.2 work工作模式(资源的竞争) 消息产生者将消息放入队列消费者可以有多个,消费者1,消费者2,同时监听同一个队列,消息被消费?C1 C2共同争抢当前的消息队列内容,谁先拿到谁负责消费消息(隐患,高并发情况下,默认会产生某一个消息被多个消费者共同使用,可以设置一个开关(syncronize,与同步锁的性能不一样) 保证一条消息只能被一个消费者使用) 应用场景:红包;大项目中的资源调度(任务分配系统不需知道哪一个任务执行系统在空闲,直接将任务扔到消息队列中,空闲的系统自动争抢) 1.3 publish/subscribe发布订阅(共享资源) X代表交换机rabbitMQ内部组件,erlang 消息产生者是代码完成,代码的执行效率不高,消息产生者将消息放入交换机,交换机发布订阅把消息发送到所有消息队列中,对应消息队列的消费者拿到消息进行消费 相关场景:邮件群发,群聊天,广播(广告) 1.4

绝了!秒杀全场的SpringCloud微服务电商项目(附源码),文档贼全!

风流意气都作罢 提交于 2020-09-24 08:56:25
做公号很久了,听到粉丝问的最多的问题就是:有没有新的完整的项目,因为现在很多流传的项目都太老了,实战意义不是很强。很多程序员每项技术单独拿出来有可能很厉害,例如:springcloud、springboot、redis、nginx、mysql、rabbitMq等,但是普遍缺乏将所有的这些技术整合到一起,从前端到后端,从开发到部署上线,从每个知识点到整体的设计。 本次分享不是分享项目而是教你如何开发一个项目细节流程。 项目介绍 项目技术栈 基于springBoot2.x、springCloud采用前后端分离的架构; 利用FastDFS作为分布式文件存储系统,Canal实现数据同步,监控数据变化; Elasticsearch+IK+Kibana实现商品搜索功能; Spring Security Oauth2 JWT实现微服务统一认证和资源授权; 利用RabbitMq实现异步解耦; Seata实现分布式事务等,从而打造一个高可用的分布式电商系统。 技术架构 系统架构 功能教程 模块说明 项目截图 资料介绍 项目源码 视频教程 项目教程文档(500页) 工具清单 如何领取? 识别并关注公众号「 Java最全面试题库 」; 在下面公众号后台回复关键字「 mall 」 长按上方二维码 2 秒 回复「mall」即可获取上面所有资料 就在前两天,阿里发布了最新的《阿里巴巴Java开发手册》嵩山版