消息队列

目标 ： RabbitMQ整合 SpringCloud实战 RabbitMQ整合 SpringCloud实战 ： 注意一点，在发送消息的时候对template进行配置mandatory=true保证监听有效 生产端还可以配置其他属性，比如发送重试，超时时间、次数、间隔等 消费端核心配置 首先配置手工确认模式，用于ACK的手工处理，这样我们可以保证消息的可靠性送达，或者在消费端消费失败的时候可以做到重回队列、根据业务记录日志等处理 可以设置消费端的监听个数和最大个数，用于控制消费端的并发情况 @RabbitListener注解的使用 消费端监听@RabbitListener注解，这个对于在实际工作中非常的好用 @RabbitListener是一个组合注解，里面可以注解配置（@QueueBinding、@Queue、@Exchange）直接通过这个组合注解一次性搞定消费端交换机、队列、绑定、路由、并且配置监听功能等 注：由于类配置写在代码里非常不友好，所以强烈建议大家使用配置文件配置 相关代码 rabbitmq-common子项目 package com . superjava . rabbitmqcommon . entity ; import java . io . Serializable ; public class Order implements

1，新建spring boot项目，过程百度 2，引入maven依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> <version>1.5.2.RELEASE</version> </dependency> 3，修改rabbitmq配置文件 4,新建direct配置类 import org.springframework.amqp.core.*; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; @Configuration public class DirectConfig { @Bean public Queue directQueue(){ return new Queue("direct",false); //队列名字，是否持久化 } @Bean public DirectExchange directExchange(){ return new DirectExchange("direct",false,false);//交换器名称

ELK搭建起来。采集日志，展示。但是这个架构还有一些问题。 可用性的问题 ，springboot的应用，随着业务的增长会越来越多。logstash压力就会越来越大。大到一定的程度可能就会吧logstash压崩掉，日志就丢失。 日志信息的传播分享 问题。走了ELK的架构，别的系统是不知道你写了什么日志的。比如说我有一个大数据实时分析的应用，spark之类的。他们需要实时的分析你在线的所有日志。比如说日志出现某个关键字的时候，我就报警，比如登陆日志发现有风险的用户登陆的时候，我要观察有风险的用户做了什么。 就是需要别的系统也知道整个应用这边发生的日志信息是什么。现在这个架构没法把日志信息传播出去提供给别人的。 中间价一个kafka。kafka是一个消息队列。我们所有的springboot的应用把日志发到kafka上。logstash从kafka读日志。就算你的日志再多，也指挥子在kafka这里堆积。logstash根据自己的处理能力，最大的处理能力有多少，一次就处理多少日志。这样引用不管怎么增长 都不会把kafka压死。kafka的性能好 吞吐量大。 有了kafka，日志在消息队列里面，有其他的应用，比如说在线分析或者是监控报警。我们可以接到kafka上去订阅那个日志的topic。其他系统也都能拿到日志的消息。他们就可以根据这些消息做其他的业务。这样日志处理的链路

RabbitMQ相关概念 RabbitMQ是一个Erlang开发的AMQP（Advanced Message Queuing Protocol,高级消息队列协议）的开源实现。是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在。 主要特征 可靠性：持久化、传输确认、发布确认等机制来保证可靠性。 扩展性：支持动态扩展集群中的节点 高可用：队列可在集群中设置镜像，部分节点出现问题仍然可用 多协议：AMQP协议、STOMP、MOTT等多种消息中间件协议 多语言：java、Python、Ruby、PHP、C#、JavaScript、Go、Object-C等 支持插件：如web管理端。 消息队列有三个基本概念： 发送方、消息队列、消费方。RabbitMQ 在这个基本概念之上, 多做了一层抽象, 在发消息者和队列之间, 加入了交换器 (Exchange)。这样发消息者和消息队列就没有直接联系，转而变成发消息者把消息发给交换器，交换器根据调度策略再把消息转发给消息队列。消息生产者并没有直接将消息发送给消息队列，而是通过建立与Exchange的Channel，将消息发送给Exchange。Exchange根据路由规则，将消息转发给指定的消息队列。消息队列储存消息，等待消费者取出消息。消费者通过建立与消息队列相连的Channel

RabbitMQ整合 SpringCloud实战 注意一点，在发送消息的时候对template进行配置mandatory=true保证监听有效 生产端还可以配置其他属性，比如发送重试，超时时间、次数、间隔等 消费端核心配置 首先配置手工确认模式，用于ACK的手工处理，这样我们可以保证消息的可靠性送达，或者在消费端消费失败的时候可以做到重回队列、根据业务记录日志等处理 可以设置消费端的监听个数和最大个数，用于控制消费端的并发情况 @RabbitListener注解的使用 消费端监听@RabbitListener注解，这个对于在实际工作中非常的好用 @RabbitListener是一个组合注解，里面可以注解配置（@QueueBinding、@Queue、@Exchange）直接通过这个组合注解一次性搞定消费端交换机、队列、绑定、路由、并且配置监听功能等 注：由于类配置写在代码里非常不友好，所以强烈建议大家使用配置文件配置 springBoot的 rabbitmq-common子项目 实体类Order package com . tzp . rabbitmqcommon . entity ; import java . io . Serializable ; /** * @author 心如止水 * @site www.tzp.com * @company * @create

MQ框架非常之多，比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个？要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。 TPS 比较 ZeroMq 最好， RabbitMq 次之， ActiveMq 最差。这个结论来自于一下这篇文章。 http://www.cnblogs.com/amityat/archive/2011/08/31/2160293.html 3 、持久化消息比较 zeroMq 不支持 ， activeMq 和 rabbitMq 都 支持 。 持久化消息主要是指： MQ down 或者 MQ 所在的服务器 down 了，消息不会丢失的机制。 4 、技术点：可靠性、灵活的路由、集群、事务、高可用的队列、消息排序、问题追踪、可视化管理工具、插件系统、社区 RabbitMq最好，ActiveMq次之，ZeroMq最差。当然ZeroMq也可以做到，不过自己必须手动写代码实现，代码量不小。尤其是可靠性中的： 持久性 、 投递确认 、 发布者证实 和 高可用性 。 所以在可靠性和可用性上， RabbitMQ 是首选，虽然 ActiveMQ 也具备，但是它性能不及 RabbitMQ 。 5 、高并发 从实现语言来看，RabbitMQ最高，原因是它的实现语言是天生具备高并发高可用的 erlang 语言。 总结

目前业界有很多MQ产品，我们作如下对比： RabbitMQ 是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。同时实现了一个经纪人(Broker)构架，这意味着消息在发送给客户端时先在中心队列排队。对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很好的支持。 Redis 是一个Key-Value的NoSQL数据库，开发维护很活跃，虽然它是一个Key-Value数据库存储系统，但它本身支持MQ功能，所以完全可以当做一个轻量级的队列服务来使用。对于RabbitMQ和Redis的入队和出队操作，各执行100万次，每10万次记录一次执行时间。测试数据分为128Bytes、512Bytes、1K和10K四个不同大小的数据。实验表明：入队时，当数据比较小时Redis的性能要高于RabbitMQ，而如果数据大小超过了10K，Redis则慢的无法忍受；出队时，无论数据大小，Redis都表现出非常好的性能，而RabbitMQ的出队性能则远低于Redis。 ZeroMQ 号称最快的消息队列系统，尤其针对大吞吐量的需求场景。ZMQ能够实现RabbitMQ不擅长的高级/复杂的队列，但是开发人员需要自己组合多种技术框架，技术上的复杂度是对这MQ能够应用成功的挑战

今天就来康康spring怎么整合RabbitMQ 　　 注意一点，在发送消息的时候对template进行配置mandatory=true保证监听有效 　 生产端还可以配置其他属性，比如发送重试，超时时间、次数、间隔等 消费端核心配置 首先配置手工确认模式，用于ACK的手工处理，这样我们可以保证消息的可靠性送达，或者在消费端消费失败的时候可以做到重回队列、根据业务记录日志等处理 可以设置消费端的监听个数和最大个数，用于控制消费端的并发情况 @RabbitListener注解的使用 消费端监听@RabbitListener注解，这个对于在实际工作中非常的好用 @RabbitListener是一个组合注解，里面可以注 解配置（@QueueBinding、@Queue、@Exchange）直接通过这个组合注解一次性搞定消费端交换机、队列、绑定、路由、并且配置监听功能等 注：由于类配置写在代码里非常不友好，所以强烈建议大家使用配置文件配置 创建一个 rabbitmq-common通用模板项目 放公用实体类 package com.javaxh.rabbitmqcommon.entity; import java.io.Serializable; public class Order implements Serializable { private String id; private

linux进程通讯之CD程序 CD数据库程序 现在我们可以使用我们在这一章所了解的IPC工具来修改我们的CD数据库程序。 我们可以使用三种IPC工具的多种不同组，但是因为我们需要传送的信息很少，直接使用消息队列实现请求的传递是一个很明显的选择。 如果我们需要传递的数据量很大，我们可以考虑使用共享内存传递实际的数据，并且使用信号量或是消息来传递一个标记通知其他的进程在共享内存中有数据可用。 消息队列接口解决我们了在第11章所遇到的问题，即当数据传递时我们需要两个进程使得管道打开。使用消息队列可以使得一个进程将消息放入队列，尽管这个进程是当前队列的唯一用户。 我们需要考虑的一个重要决定就是将答案返回给客户。一个简单的选择就是使得一个队列用于服务器而且每个客户有一个队列。如果有大量的并发客户，由于需要大量的消息队列就会引起问题。通过使用消息中的消息ID域，我们可以使得所有的用户使用一个队列，并且通过在消息中使用客户端进程ID来将响应发送给指定的客户端进程。从而每一个客户可以接收只属于他自己的消息，而将其他客户的消息留在队列中。 要转换我们的CD程序来使用IPC工具，我们只需要替换pipe_imp.c文件。在下面的部分，我们将会描述替换文件ipc_imp.c的原则部分。 试验－－修改服务器函数 1 首先，我们包含正确的头文件，声明消息队列键值，并且定义一个保存我们消息数据的结构： 1 2

我的上一篇RabbitMQ初识文章： RabbitMQ实战之初识篇 RabbitMQ官方讲解教程（推荐学习）： RabbitMQ Tutorials RabbitMQ-Tutorials官方GitHub代码仓库(多种语言均有)： rabbitmq-tutorials =》RabbitMQ常用的几种Queue(消息队列)教程 我的实验是基于 [ JDK1.8 + Maven + IDEA ] ，所以基于Maven的基础上以下队列项目的workspace需要引入如下的 pom.xml 中的依赖： < ? xml version = "1.0" encoding = "UTF-8" ? > < project xmlns = "http://maven.apache.org/POM/4.0.0" xmlns : xsi = "http://www.w3.org/2001/XMLSchema-instance" xsi : schemaLocation = "http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd" > < modelVersion > 4.0 .0 < / modelVersion > < groupId > com . xxx < / groupId > <