Apache RocketMQ

1、Kafka和RabbitMQ在吞吐量的区别是什么？ 一般情况下，RabbitMQ单机的吞吐率在万级别之内，而Kafka单机则比RabbitMQ高出一两个量级，可以达到十万级别，甚至可以达到百万级别。（/但吞吐率是受到硬件层面的限制的。比如网卡的宽带，如果宽带为1gb，要达到百万的吞吐量就相当于1gb / 8 / 100w = 134b,相当于每次的消息体大小不能超过13b，否则就不算是百万的吞吐量了/) 这是RabbitMQ和Kafka在吞吐量之间的区别。 2、Kafka和RabbitMQ在消息可靠性的区别是什么？ （/消息的可靠性：是指对消息不丢失的保障程度；消息的可用性：是指无故障运行时间的百分比，通常用几个9来衡量。/） 使用消息中间件在传输消息的过程中会导致消息的丢失，也就是可靠性是每个中间件都会面临的问题；同时又会涉及到消息的可用性。 从微观方面来说，分布式系统结构是一致性协议理论的应用实现，对于消息中间件的可靠性和可用性吧区别的话可以根据它们的一致性协议来看； -Kafka采用的是类似PacificA的一致性协议，通过ISR （In-Sync-Replica） 来保证多副本之间的同步，并且支持强一致性语义（通过acks实现）。（/类似Pacific的一致性协议和ZAB都是基于实用主义，把 log replication日志赋值 和 Leader election

1、下载MQ ，下载ZIP压缩包即可。 http://rocketmq.apache.org/release_notes/ 2、修改配置文件。 如果不修改可能导致获取的IP是内网IP,外部网络访问不了，如果是纯内网交互可以不进行配置。 conf/broker.conf brokerIP1：配置broker所在服务器的ip地址，以便Name Server连接 3、 修改 runserver.sh 、 runbroker.sh 因为rocketMQ默认的启动参数内存占用非常大，如果环境没有这么多内存就必需修改 JAVA_OPT 参数 runserver.sh JAVA_OPT= " ${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" runbroker.sh JAVA_OPT= " ${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" 4、启动服务 nohup sh bin/mqnamesrv >/data/software/rocketmq-4.7.0/logs/mqnamesrv.log 2>&1 &

Pulsar-Consumer “Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.” Pulsar是pub-sub模式的分布式消息平台，拥有灵活的消息模型和直观的客户端API。 Pulsar由雅虎开发并开源的下一代消息系统，目前是Apache软件基金会的孵化器项目。 本片文章简单介绍Pulsar的Consumer，包含以下内容： Consumer的体系 消费逻辑的实现 1. Consumer体系 A consumer is a process that attaches to a topic via a subscription and then receives messages. Consumer通过订阅关系绑定到Topic（和Producer类似，都是绑定到一个Topic上），并接收消息。 Consumer支持： 同步接收消息：阻塞用户线程等待消息 异步接收消息：异步等待消息（通过Future返回消息） 通过MessageListener返回消息：接收消息后回调用户的MessageListener Consumer提供了三类获取消息的方式

2020 Linux云计算运维课程 2020-06-14 10:28:56 编程教程 阅读全文>> 2019千锋Python全套视频教程 2020-06-13 14:04:33 编程教程 阅读全文>> 某计算机大神教程含各方面编程教程 2020-06-12 00:33:25 编程教程 阅读全文>> 小码哥Flutter从入门到实战 2020-06-08 08:51:22 编程教程 阅读全文>> 从0带你掌握计算机与编程基础 2020-06-07 14:56:21 编程教程 阅读全文>> 大数据常用组件总结 2020-06-07 00:20:51 编程教程 阅读全文>> 消息队列Kafka、RocketMQ、RabbitMQ的优劣势比较 2020-06-07 00:14:54 编程教程 阅读全文>> 阿里RocketMQ消息队列原理&最佳实践 2020-06-07 00:00:27 编程教程 阅读全文>> JAVA分布式事务解决方案2PC与TCC教程内附视频教程 2020-06-06 23:40:23 编程教程 阅读全文>> 这可能是你见过“最牛逼”的C++课程 2020-06-05 09:00:29 编程教程 阅读全文>> JAVA面试题PDF 面试必看 2020-06-04 00:51:09 编程教程 阅读全文>> Y4er由浅入深学习网络安全 2020-06-03 23:10

　　 　　消息中间件作为分布式系统的重要成员，各大公司及开源均有许多解决方案。目前主流的开源解决方案包括RabbitMQ、RocketMQ、Kafka、ActiveMQ等。消息这个东西说简单也简单，说难也难。简单之处在于好用方便，接入简单使用简单，异步操作能够解耦系统间的依赖，同时失败后也能够追溯重试。难的地方在于，设计一套可以支撑业务的消息机制，并提供高可用架构，解决消息存储、消息重试、消息队列的负载均衡等一系列问题。然而难也不代表没有方法或者“套路”，熟悉一下原理与实现，多看几个框架的源码后多总结势必能找出一些共性。 　　消息框架大同小异，熟练掌握其原理、工作机制是必要的。就拿用的比较多的RocketMQ为引，来说说消息引擎的设计与实现。阿里的消息引擎经过了从Notify到Napoli、再到MetaQ三代的发展，现在已经非常成熟，在不同部门的代码中现在没准都还可以从代码里看到这一系列演进过程。当前的Apache RocketMQ 就是阿里将MetaQ项目捐赠给了Apache基金会，而内部还是沿用MetaQ的名称。 首先诠释几个消息相关的基本概念。 每个消息队列都必须建立一个Topic。 消息可以分组，每个消息队列都至少需要一个生产者Producer和一个消费者Consumer。生产者生产发送消息，消费者接收消费消息。 每个消费者和生产者都会分批提个ID。 RocketMQ

RocketMQ 在线扩容队列 通过 updateTopic 命令 扩容队列，原来老数据不动 kafka 扩容 partition reassigment工具。数据迁移 pulsar 全自动无感知 来源： oschina 链接： https://my.oschina.net/xiaominmin/blog/4286342

《一》kafka的工作原理介绍 《二》zk搭载kafka分布式消息队列浅析 一、简介 消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。 二、消息中间件的组成 2.1 Broker 消息服务器，作为server提供消息核心服务 2.2 Producer 消息生产者，业务的发起方，负责生产消息传输给broker， 2.3 Consumer 消息消费者，业务的处理方，负责从broker获取消息并进行业务逻辑处理 2.4 Topic 主题，发布订阅模式下的消息统一汇集地，不同生产者向topic发送消息，由MQ服务器分发到不同的订阅者，实现消息的 广播 2.5 Queue 队列，PTP模式下，特定生产者向特定queue发送消息，消费者订阅特定的queue完成指定消息的接收 2.6 Message 消息体，根据不同通信协议定义的固定格式进行编码的数据包，来封装业务数据，实现消息的传输。 三、主流消息中间节分类 kafka 1、不完全符合jms规范，注重吞吐量，类似udp 和 tcp 2、一般做大数据吞吐的管道 我们现在的用途就是负责在各个idc之间通信 3、量大对数据不是百分之百保证的，会有数据丢失，不是百分百送达（amq和rmq等有重发机制，而kafka没有）；在吞吐量有提升

消息中间件ActiveMQ使用详解 一、消息中间件的介绍 介绍 ​ 消息队列 是指利用 高效可靠 的 消息传递机制 进行与平台无关的 数据交流 ，并基于 数据通信 来进行分布式系统的集成。 特点(作用) 应用解耦 异步通信 流量削峰 (海量)日志处理 消息通讯 …... 应用场景 根据消息队列的特点，可以衍生出很多场景，或者说很多场景都能用到。下面举几个例子： 1）异步通信 ​ 注册时的短信、邮件通知，减少响应时间； 2）应用解耦 ​ 信息发送者和消息接受者无需耦合，比如调用第三方； 3）流量削峰 ​ 例如秒杀系统； 二、消息中间件的对比 1.ActiveMQ 官网： activemq.apache.org/ 简介： ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的事情了,但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。 特点： 支持来自Java，C，C ++，C＃，Ruby，Perl，Python，PHP的各种跨语言客户端和协议 完全支持JMS客户端和Message Broker中的企业集成模式 支持许多高级功能，如消息组，虚拟目标，通配符和复合目标 完全支持 JMS 1.1 和J2EE 1.4，支持瞬态，持久

在6月9日2020阿里云线上峰会上，云原生应用平台产品总监赵林（丹臣）发表了《云原生2020新产品发布 传统应用架构往现代应用架构快速演进的基础设施》的主题演讲，详细介绍了阿里云全新发布的容器、中间件、Serverless等产品。随着数字经济的快速发展和扩张，越来越多的企业开始采用云原生计算的思想和技术，以主导企业的数字化转型架构。 新产品发布和解决方案升级，助力企业从传统IT架构向现代应用架构演进 云原生的技术和产品，可以帮助用户轻松地从原有的 IT 架构向现代应用架构演进。从底层应用托管平台来看，阿里云提供了容器服务ACK/ASK。在应用PaaS层，阿里云提供了SAE、EDAS、Web+三款产品。在上层，阿里云提供了函数FaaS服务，可以满足不同的业务需求。不仅如此，阿里云还提供了各种各样的中间件服务，包括业界最为完整丰富的消息队列服务，覆盖了所有常见的消息协议，如国内著名的开源消息中间件产品RocketMQ、业界流行的Kafka，AMQP/MQTT 消息队列都可以在阿里云上找到对应的商业化服务。在其它中间件领域，如微服务引擎MSE、应用配置管理ACM、云服务总线CSB，以及针对事务服务的GTS等，都可以帮助企业用户快速构建现代化的应用架构。 阿里云之所以提供如此丰富全面的云原生技术和产品，核心还是要满足客户多样化的需求。 除了应用托管平台以及常见的中间件之外

本文首先引出消息中间件通常需要解决哪些问题，在解决这些问题当中会遇到什么困难，Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件否可以解决，规范中如何定义这些问题。然后本文将介绍RocketMQ的架构设计，以期让读者快速了解RocketMQ。 消息中间件需要解决哪些问题？ Publish/Subscribe 发布订阅是消息中间件的最基本功能，也是相对于传统RPC通信而言。在此不再详述。 Message Priority 规范中描述的优先级是指在一个消息队列中，每条消息都有不同的优先级，一般用整数来描述，优先级高的消息先投递，如果消息完全在一个内存队列中，那么在投递前可以按照优先级排序，令优先级高的先投递。 由于RocketMQ所有消息都是持久化的，所以如果按照优先级来排序，开销会非常大，因此RocketMQ没有特意支持消息优先级，但是可以通过变通的方式实现类似功能，即单独配置一个优先级高的队列，和一个普通优先级的队列， 将不同优先级发送到不同队列即可。 对于优先级问题，可以归纳为2类： 只要达到优先级目的即可，不是严格意义上的优先级，通常将优先级划分为高、中、低，或者再多几个级别。每个优先级可以用不同的topic表示，发消息时，指定不同的topic来表示优先级，这种方式可以解决绝大部分的优先级问题，但是对业务的优先级精确性做了妥协。 严格的优先级