Apache RocketMQ

一、选择消息队列产品的基本标准 在消息队列的技术选型上，并不存在说哪个消息队列就是“最好的”。常用的几个消息队列，每个产品都有自己的优势和劣势，需要根据现有系统的情况，选择最适合的那款产品。 技术产品的及格标准： 必须是 开源产品 ：如果遇到Bug至少有机会通过修改源代码迅速修复或规避，解决燃眉之急。 必须是近年来 比较流行 并且有一定 社区活跃度 的产品：流行的好处是，只要使用的场景不太冷门，遇到的Bug都可以找到解决办法。 流行的产品与 周边生态系统 会有一个比较好的集成和兼容：比如kafka和Flink就有比较好的兼容性，Flink内置了kafka的Data Sourse，使得你不用自己开发一个Flink的Data Source。 消息队列产品的及格标准： 消息的可靠传递：确保 不丢消息 。 Cluster：支持 集群 ，确保不会因为某个节点宕机导致服务不可用，当然也不能丢消息。 性能：具备足够好的性能，能 满足绝大多数场景 的性能要求。 二、可供选择的消息队列产品 1、RabbitMQ 介绍： 使用 Erlang语言编写 ，最早是为电信行业系统之间的可靠通讯性设计的，也是少数几个 支持AMQP 协议的消息队列。 轻量级 、迅速，开箱即用，非常容易部署和使用。 有一个特色的功能是支持非常 灵活的路由配置 。它在生产者和队列之间增加了一个 Exchange模块

在高并发业务场景下，消息队列在流量削峰、解耦上有不可替代的作用。当前使用较多的消息队列有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、Pulsar 等。 消息队列这么多，到底该选择哪款消息队列呢？ 选择消息队列的基本标准 虽然这些消息队列在功能和特性方面各有优劣，但我们在选择的时候要有一个基本标准。 首先，必须是开源的产品。开源意味着，如果有一天你使用的消息队列遇到了一个影响你系统业务的 Bug，至少还有机会通过修改源代码来迅速修复或规避这个 Bug，解决你的系统的问题，而不是等待开发者发布的下一个版本来解决。 其次，这个产品必须是近年来比较流行并且有一定社区活跃度的产品。流行的好处是，只要使用场景不太冷门，遇到 Bug 的概率会非常低，因为大部分遇到的 Bug，其他人早就遇到并且修复了。在使用过程中遇到的一些问题，也比较容易在网上搜索到类似的问题，然后很快的找到解决方案。还有一个优势就是，流行的产品与周边生态系统会有一个比较好的集成和兼容。 最后，作为一款及格的消息队列，必须具备的几个特性包括： 消息的可靠传递：确保不丢消息； Cluster：支持集群，确保不会因为某个节点宕机导致服务不可用，当然也不能丢消息； 性能：具备足够好的性能，能满足绝大多数场景的性能要求。 接下来看一下有哪些符合上面这些条件，可供选择的开源消息队列。 RabbitMQ

分布式消息中间件实践笔记 首先，这份分布式消息中间件实践笔记是以Java语言编写。 消息中间件是分布式系统中的重要组件，在实际工作中常用消息中间件进行系统间数据交换，从而解决应用解耦、异步消息、流量削峰等问题，实现高性能、高可用、可伸缩和最终一致性架构。 目前市面上可供选择的消息中间件有RabbitMQ、ActiveMQ、 Kafka、 RocketMQ、 ZeroMQ、 MetaMQ 等。 这份笔记结合作者近年来在实际项目中使用消息中间件的经历和踩过的一些坑总结整理而成，主要介绍消息中间件使用的背景、基本概念，以及常用的四种消息中间件产品在各个业务场景中的使用案例。作为案例介绍，虽然不能对各种消息中间件产品的所有特性做详细说明，但是希望读者可以通过每章中的案例讨论和实践建议得到启发，为在实际工作中进行产品选型、业务场景方案制定、性能调整等提供思路。 下面会为大家分享分布式消息中间件实践笔记+分布式核心原理解析笔记，为了不影响大家的阅读体验，免费的获取方式放在了文末！ 消息队列 系统间通信技术介绍 为何要用消息队列 消息队列的功能特点 设计一个简单的消息队列 消息处理中心 客户端访问 消息协议 AMQP MQTT STOMP XMPP JMS RabbitMQ 简介 工程实例 Java 访问RabbitMQ实例 Spring 整合RabbitMQ 基于RabbitMQ的异步处理

1、安装RocketMQ，忽略； 2、创建springboot项目，pom添加 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional> </dependency> <dependency> <groupId>io.netty</groupId> <artifactId>netty-all</artifactId> <version>4.1.53.Final</version> </dependency> <dependency> <groupId>io.netty</groupId> <artifactId>netty-all</artifactId> <version>4.1.53.Final</version> </dependency> <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq

最近打包的时候，遇到一个问题。 打完包后，没有依赖jar 怎么看都没发现问题。 在进行依赖分析的时候，发现包失效了 mvn -X dependency:tree [WARNING] The POM for com.topnet:top-quick-platform:jar:0.0.1-SNAPSHO T is invalid , transitive dependencies (if any) will not be available: 1 problem was encountered while building the effective model for com.topnet:top-quick-platform:0.0.1-SNAPSHOT [ERROR] 'dependencies.dependency.version' for org.apache.rocketmq:rocketmq-client:jar is missing. 然后从新编译依赖包，进行安装 mvn clean install -Dmaven.test.skip=true 从新打包 mvn package -DskipTests 来源： oschina 链接： https://my.oschina.net/internetafei/blog/4702227

你知道的越多，你不知道的越多 前言 消息队列在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。 作为一个在互联网公司面一次拿一次Offer的面霸，打败了无数竞争对手，每次都只能看到无数落寞的身影失望的离开，略感愧疚（请允许我使用一下夸张的修辞手法）。 于是在一个寂寞难耐的夜晚，暖男我痛定思痛，决定开始写《吊打面试官》系列，希望能帮助各位读者以后面试势如破竹，对面试官进行360°的反击，吊打问你的面试官，让一同面试的同僚瞠目结舌，疯狂收割大厂Offer！ 絮叨 这期本来是准备大家投票出来的哈，然后在Java基础和消息队列选一个写的，但是我一想，Java基础光是集合每种集合我都可以写好几篇了，基础都得写几个月了，那是不是可以先把短的这个消息队列写了？ 我脑子灵光一闪，拍了下桌子，那就这么决定了吧！ 所以就有这期了哈哈。 重要！在开始之前我想问一下，大家是喜欢我直接怼知识点用自己的语言组织的方式讲，还是这样面试场景的方式讲？ 因为我发现一个很严肃的问题，我的开场和结尾要是几百篇都差不多，最后你们会不会厌倦呀？ 总之这个建议对我很有用，或者你有什么写作的建议都可以加我微信悄悄跟我说。 面试开始 一个风度翩翩，穿着格子衬衣的中年男子，拿着一个满是划痕的mac向你走来，看着铮亮的头，心想着肯定是尼玛顶级架构师吧

一个复杂的分布式系统，必然会考虑使用MQ来解决通讯解耦等问题，市面上开源的MQ越来越多，也让选择变得越来越难，比如Kafka，RabbitMQ，RocketMQ，让人看得眼花缭乱，好像每个MQ都很强大，究竟使用哪个真是无从下手；而在一次技术选型中，我们落地了RocketMQ，而不是Kafka或者其他，以下也对这次选择做一次总结，讲述以下RocketMQ和Kafka的比较。 性能 在性能方面，Kafka是优于RocketMQ的，可以达到几十万的TPS，而RocketMQ很难超过10W TPS，但是这是有提前的，提前就是Kafka的Topic或者Partition不能过多（最好不要超过64个），这是因为Kafka之所以可以高性能是因为采用了顺序写，但如果一旦Topic或者Partition变多，则变成不断的写多个文件相当于随机写，所以性能开始大幅度下降；而RocketMQ则几乎没有这个问题，及时在Topic很多的（官方说可以支持5W），也不会出现明显的性能下降，所以在需要使用很多Topic的场景下，可以选择RocketMQ，且上万的TPS也是不错的性能表现。 可靠性 可靠性方面，RocketMQ由于支持主从双同步刷盘机制，所以要强于Kafka的异步刷盘机制，虽然性能会下降，但是如果你对可靠性要求很高，推荐使用；当然如果你只是发送一些不可靠消息，如给用户发个通知，发个短信等

爱学习教育集团的前身为高思教育，成立于2009年，以中小学课外培训起家，曾经的定位是K12培训机构；2014年，爱学习教育集团发力B端市场，目前在2B领域获得了全国各地办学机构的广泛认可，由K12培训机构升级为K12教育供给平台。 2019年4月份，爱学习教育集团完成由华平投资领投的1.4亿美元D轮融资。2014年以前，作为一家“教育产品研发”企业，爱学习教育集团为3-18岁年龄层的孩子提供个性化的教育产品方案及所有与教育相关的服务，旗下拥有“思泉语文”、“高思数学”、“高思VIP一对一”、“中学理科”等互联网教育产品：“乐乐课堂”、“爱学习”、“爱上古诗”“爱尖子”、“爱提分”等多个全国著名的学习子品牌，这些产品目前已经被大量的中小学辅导机构及公立学校引进，普遍提升了孩子的学习体验和学习效果。 2014年，在不断发展进化当中，爱学习教育集团（当时还叫高思教育）毅然决然的转型2B领域。据了解，到2029年，爱学习教育集团希望服务全球1亿学生和500万老师，助力50万所学校，以引领行业的内容和科技给学生带来美好的学习体验。 在线教育市场竞争激烈，爱学习是如何脱颖而出？ 丰富的互动场景提升用户体验，稳定性如何实现？ 近些年，在线教育行业飞速发展，为整个社会的知识传播提供了前所未有的便利性。通过多种形式的在线教育平台，学员与教师即使相隔万里也可以开展教学活动，真正打破了时间和空间的限制

docker-compose.yml 注意：启动 RocketMQ Server + Broker + Console 至少需要 2G 内存 version: '3.5' services: rmqnamesrv: image: foxiswho/rocketmq:server container_name: rmqnamesrv ports: - 9876:9876 volumes: - ./data/logs:/opt/logs - ./data/store:/opt/store networks: rmq: aliases: - rmqnamesrv rmqbroker: image: foxiswho/rocketmq:broker container_name: rmqbroker ports: - 10909:10909 - 10911:10911 volumes: - ./data/logs:/opt/logs - ./data/store:/opt/store - ./data/brokerconf/broker.conf:/etc/rocketmq/broker.conf environment: NAMESRV_ADDR: "rmqnamesrv:9876" JAVA_OPTS: " -Duser.home=/opt" JAVA_OPT_EXT: "

​ 写在前面：全文12000多 字，从为什么需要用消息队列，到rabbitMQ安装使用，如何使用 JavaAPI生产消费消息，以及使用消息队列带来的一些常见问题。绝对很适合新手入门学习。 为什么需要消息队列 异步处理 削峰限流 秒杀活动，一般会因为流量过大，导致应用挂掉。加入消息队列可控制活动人数，缓解短时间的高流量。 应用解耦 双十一购物节，订单系统需要通知库存系统，传统做法是订单系统直接调用库存系统的接口，库存系统出现故障时订单就会失败。可在订单系统和库存系统中间加一个MQ，达到应用解耦的需求。 A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃...... 日志处理 消息队列有哪些 Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？ 特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万级，比 RocketMQ、Kafka 低一个数量级 同 ActiveMQ 10 万级，支撑高吞吐 10 万级，高吞吐，一般配合大数据类的系统来进行实时数据计算、日志采集等场景 topic 数量对吞吐量的影响 topic 可以达到几百/几千的级别，吞吐量会有较小幅度的下降，这是 RocketMQ 的一大优势，在同等机器下，可以支撑大量的