RabbitMQ

丑话说在前头：（可选） 1.OpenSSL库的编译教程资源： 链接：https://pan.baidu.com/s/1TswsUfMQ782pJoAKG7rppQ 提取码：5r8m 2.编译Boost库：（这里编译64位） 1）bootstrap.bat 2）b2 stage --toolset=msvc-14.0 --without-python --stagedir="E:\boost_1_72_0\vc14" --link=static runtime-link=shared threading=multi address-model=64 debug release 3）把源码下的boost文件夹放到，E:\boost_1_72_0\include\下。 4）可以选择配置环境变量BOOST_ROOT，E:\boost_1_72_0。 3.编译rabbitmq-c库： rabbitmq-c库编译: https://my.oschina.net/feistel/blog/3156337 ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// 1

【推荐】2020年最新Java电子书集合.pdf(吐血整理) >>> 前言 在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。 概念 MQ简介 MQ,Message queue,消息队列，就是指保存消息的一个容器。具体的定义这里就不类似于数据库、缓存等，用来保存数据的。当然，与数据库、缓存等产品比较，也有自己一些特点，具体的特点后文会做详细的介绍。 现在常用的MQ组件有ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ、MetaMQ，当然近年来火热的kafka,从某些场景来说，也是MQ，当然kafka的功能更加强大，虽然不同的MQ都有自己的特点和优势，但是，不管是哪种MQ，都有MQ本身自带的一些特点，下面，介绍MQ的特点。 MQ特点 1、先进先出 不能先进先出，都不能说是队列了。消息队列的顺序在入队的时候就基本已经确定了，一般是不需人工干预的。而且，最重要的是，数据是只有一条数据在使用中。 这也是MQ在诸多场景被使用的原因。 2、发布订阅 发布订阅是一种很高效的处理方式，如果不发生阻塞，基本可以当做是同步操作。这种处理方式能非常有效的提升服务器利用率，这样的应用场景非常广泛。 3、持久化

简介 MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。 概念介绍 RabbitMQ 是目前流行的开源消息队列系统，用Erlang语言开发。RabbitMQ 是AMQP（高级消息队列）的标准实现。下面是它的几个关键概念： Broker： 简单来说就是消息队列服务器实体。 Exchange： 消息交换机，它指定消息按什么规则，路由到哪个队列。 Queue： 消息队列载体，每个消息都会被投入到一个或多个队列。 Binding： 绑定，它的作用就是把exchange和queue按照路由规则绑定起来。 Routing Key： 路由关键字，exchange根据这个关键字进行消息投递。 vhost： 虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。 producer： 消息生产者，就是投递消息的程序。 consumer： 消息消费者，就是接受消息的程序。 channel： 消息通道，在客户端的每个连接里，可建立多个channel

1.什么是rabbitMQ 采用AMQP高级消息队列协议的一种消息队列技术，最大的特点就是消费并不需要确保提供方存在，实现了服务之间的高度解耦合； 2.为什么要使用rabbitMQ 在分布式系统下具备异步，削峰，负载均衡等一系列高级功能； 拥有持久化的机制，进程消息，队列中的信息也可以保存下来； 实现消费者和生产者之间的解耦； 对于高并发场景下，利用消息队列可以使得同步访问变为串行访问达到一定量的限流，利于数据库的操作； 可以使用消息队列达到异步下单的效果，排队中，后台进行逻辑下单； 3.使用rabbitmq的场景 服务间异步通信； 顺序消费； 定时任务； 请求削峰； 4.如何确保消息正确的发送至rabbitMQ？如何确保消息接收方消费了消息？ 发送方确认模式 将信道设值成confirm模式（发送方确认模式），则所有在信道上发布的消息都会被指派一个唯一的ID。一旦消息被投递到目的队列后，或者消息被写入磁盘后（可持久化消息），信道会发送一个确认给生产者（包含消息唯一ID）。如果rabbitMQ发生内部错误从而导致消息丢失，会发送一条nack(notacknowledged，未确认)消息。发送方确认模式是异步的，生产者应用程序在等待确认的同时，可以继续发送消息。当确认消息到达生产者应用程序，生产者应用程序的回调方法就会被触发来处理确认消息； 接收方确认机制

前提 之前有个打算在学习RabbitMQ之前，把AMQP详细阅读一次，挑出里面的重点内容。后来找了下RabbitMQ的官方文档，发现了有一篇文档专门介绍了RabbitMQ中实现的AMQP模型部分，于是直接基于此文档和个人理解写下这篇文章。 AMQP协议 AMQP 全称是Advanced Message Queuing Protocol，它是一个(分布式)消息传递协议，使用和符合此协议的客户端能够基于使用和符合此协议的消息传递中间件代理(Broker，也就是经纪人，个人感觉叫代理合口一些)进行通信。AMQP目前已经推出协议1.0，实现此协议的比较知名的产品有StormMQ、RabbitMQ、Apache Qpid等。RabbitMQ实现的AMQP版本是0.9.1，官方文档中也提供了该协议pdf文本下载，有兴趣可以翻阅一下。 消息中间件代理的职责 Messaging Broker，这里称为消息中间件代理。它的职责是从发布者(Publisher，或者有些时候称为Producer，生产者)接收消息，然后把消息路由到消费者(Consumer，或者有些时候称为Listener，监听者)。 因为消息中间件代理、发布者客户端和消费者客户端都是基于AMQP这一网络消息协议，所以消息中间件代理、发布者客户端和消费者客户端可以在不同的机器上，从而实现分布式通讯和服务解耦。

1.背景 RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现。 2.应用场景 2.1异步处理 场景说明：用户注册后，需要发注册邮件和注册短信,传统的做法有两种1.串行的方式;2.并行的方式 (1)串行方式:将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成后才返回给客户端。 这有一个问题是,邮件,短信并不是必须的,它只是一个通知,而这种做法让客户端等待没有必要等待的东西. (2)并行方式:将注册信息写入数据库后,发送邮件的同时,发送短信,以上三个任务完成后,返回给客户端,并行的方式能提高处理的时间。 假设三个业务节点分别使用50ms,串行方式使用时间150ms,并行使用时间100ms。虽然并性已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响，客户端没有必要等着其发送完成才显示注册成功,英爱是写入数据库后就返回. (3)消息队列 引入消息队列后，把发送邮件,短信不是必须的业务逻辑异步处理 由此可以看出,引入消息队列后，用户的响应时间就等于写入数据库的时间+写入消息队列的时间(可以忽略不计),引入消息队列后处理后,响应时间是串行的3倍,是并行的2倍。 2.2 应用解耦 场景：双11是购物狂节,用户下单后,订单系统需要通知库存系统,传统的做法就是订单系统调用库存系统的接口.

延迟队列的需求各位应该在日常开发的场景中经常碰到。比如： 用户登录之后5分钟给用户做分类推送； 用户多少天未登录给用户做召回推送； 定期检查用户当前退款账单是否被商家处理等等场景。 一般这种场景和定时任务还是有很大的区别，定时任务是你知道任务多久该跑一次或者什么时候只跑一次，这个时间是确定的。延迟队列是当某个事件发生的时候需要延迟多久触发配套事件，引子事件发生的时间不是固定的。 业界目前也有很多实现方案，单机版的方案就不说了，现在也没有哪个公司还是单机版的服务，今天我们一一探讨各种方案的大致实现。 1. Redis zset 这个方案比较常用，简单有效。利用 Redis 的 sorted set 结构，使用 timeStamp 作为 score，比如你的任务是要延迟5分钟，那么就在当前时间上加5分钟作为 score ，轮询任务每秒只轮询 score 大于当前时间的 key即可，如果任务支持有误差，那么当没有扫描到有效数据的时候可以休眠对应时间再继续轮询。 方案优劣 ： 优点： 简单实用，一针见血。 缺点： 单个 zset 肯定支持不了太大的数据量，如果你有几百万的延迟任务需求，大哥我还是劝你换一个方案； 定时器轮询方案可能会有异常终止的情况需要自己处理，同时消息处理失败的回滚方案，您也要自己处理。 所以，sorted set 的方案并不是一个成熟的方案，他只是一个快速可供落地的方案

RabbitMQ 解决方案 1、生产者将消息传输给mq时丢失 A：可以使用 RabbitMQ 提供的事务功能； 生产者 发送数据之前 开启 RabbitMQ 事务 channel.txSelect ，再发送消息，如果消息没有成功被 RabbitMQ 接收到，那么生产者会收到异常报错，此时就可以回滚事务 channel.txRollback ，然后重试发送消息；如果收到了消息，那么可以提交事务 channel.txCommit 。 // 开启事务 channel.txSelect try { // 这里发送消息 } catch (Exception e) { channel.txRollback // 这里再次重发这条消息 } // 提交事务 channel.txCommit 这样会降低吞吐量，降低性能。 B： 开启 confirm 模式； 生产者开启 confirm 模式之后，每次写的消息都会分配一个唯一的 id，如果写入了 RabbitMQ 中，RabbitMQ 会回传一个 ack 消息，表示这个消息 ok 了。如果 RabbitMQ 没能处理这个消息，会回调生产者 nack 接口表示消息接收失败，生产者可以重试。而且生产者可以结合这个机制自己在内存里维护每个消息 id 的状态，如果超过一定时间还没接收到这个消息的回调，那么可以重发。 事务机制和 cnofirm

MQ全称为Message Queue, 是一种分布式应用程序的的通信方法，它是消费-生产者模型的一个典型的代表，producer往消息队列中不断写入消息，而另一端consumer则可以读取或者订阅队列中的消息。RabbitMQ是MQ产品的典型代表，是一款基于AMQP协议可复用的企业消息系统。业务上，可以实现服务提供者和消费者之间的数据解耦，提供高可用性的消息传输机制，在实际生产中应用相当广泛。本文意在介绍Rabbitmq的基本原理，包括rabbitmq基本框架，概念，通信过程等。 系统架构 Rabbitmq系统最核心的组件是Exchange和Queue，下图是系统简单的示意图。Exchange和Queue是在rabbitmq server（又叫做broker）端，producer和consumer在应用端。 producer&Consumer producer指的是消息生产者，consumer消息的消费者。 Queue 消息队列，提供了FIFO的处理机制，具有缓存消息的能力。rabbitmq中，队列消息可以设置为持久化，临时或者自动删除。 设置为持久化的队列，queue中的消息会在server本地硬盘存储一份，防止系统crash，数据丢失 设置为临时队列，queue中的数据在系统重启之后就会丢失 设置为自动删除的队列，当不存在用户连接到server，队列中的数据会被自动删除