消息队列

Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离线应用（数据文件，日志）Kafka就出现了。Kafka可以起到两个作用： 降低系统组网复杂度。 降低编程复杂度，各个子系统不在是相互协商接口，各个子系统类似插口插在插座上，Kafka承担高速数据总线的作用。 1、Kafka主要特点： 同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。 可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失。 分布式系统，易于向外扩展。所有的producer、broker和consumer都会有多个，均为分布式的。无需停机即可扩展机器。 消息被处理的状态是在consumer端维护，而不是由server端维护。当失败时能自动平衡。 支持online和offline的场景。 2、Kafka的架构

随着业务不断完善与发展，日志的重要性稳步上升。我们需要从日志中排查错误，以及分析用户行为，为业务发展提供参考意见。因此，需要一套专门的日志系统帮助我们收集、分析、处理日志。 以前我曾经写过一个logstash的blog: http://my.oschina.net/abcfy2/blog/372138 ，版本比较低，但是logstash的配置没变过。此篇blog将比上述blog更详尽一些，扩展到产品环境搭建完整的日志系统，但是logstash本身的配置不多做介绍，因为旧Blog已经介绍的比较详细了。 本篇Blog主要介绍我们目前使用的日志系统的总体架构和部分配置。Kibana的使用暂时不在本篇Blog的覆盖范围之内，以后也许会单独写一篇kibana的使用，读者也可以参考饶琛琳的《ELK stack权威指南》一书的 相关章节 。 本篇Blog的内容也并非自己独自完成，关于log4j 1.2部分的配置和使用是开发同事共同探究实现的。 最后要说的一点是，日志系统的实现并不只是运维的工作，开发也需要配合，规范日志格式，规范项目埋点，便于排查问题。最后归结与一点，要有执行力，要有人推动，不能随随便便的打日志，更不允许产品环境有乱七八糟的 println 这种调试方式的日志输出。 关于ELK ELK Stack指代三个独立的组件: Elasticsearch，Logstash，Kibana

1、消息如何保证100%的投递？ 2、幂等性概念 3、Confirm确认消息 4、Return返回消息 5、自定义消费者 消息 100% 的投递 消息如何保障 100%的投递成功？ 什么是生产端的可靠性投递？ u 保障消息的成功发出 u 保障MQ节点的成功接收 u 发送端收到MQ节点（Broker）确认应答 u 完善的消息进行补偿机制 BAT/TMD互联网大厂的解决方案： u 消息落库，对消息状态进行打标 u 消息的延迟投递，做二次确认，回调检查 幂等性概念 幂等性是什么？ u 我们可以借鉴数据库的乐观锁机制 u 比如我们执行一条更新库存的SQL语句 u Update t_repository set count = count -1,version = version + 1 where version = 1 u Elasticsearch也是严格遵循幂等性概念，每次数据更新，version+1（博主博客前面有提到） 消费端-幂等性保障 在海量订单产生的业务高峰期，如何避免消息的重复消费问题？ 消费实现幂等性，就意味着，我们的消息永远不会消费多次，即使我们收到了多条一样的消息 业界主流的幂等性操作 唯一ID+指纹码机制，利用数据库主键去重 利用Redis的原子性去实现 唯一ID+指纹码 机制 唯一ID+指纹码机制，利用数据库主键去重 Select count(1) from T

摘自： https://www.cnblogs.com/Java3y/p/11982381.html 全网最通俗易懂的Kafka入门！ 前言 只有光头才能变强。 文本已收录至我的GitHub仓库，欢迎Star： https://github.com/ZhongFuCheng3y/3y 在这篇之前已经写过两篇基础文章了， 强烈建议 先去阅读： 什么是ZooKeeper？ 什么是消息队列？ 众所周知，消息队列的产品有好几种，这里我选择学习Kafka的原因，无他，公司在用。 我司使用的是Kafka和自研的消息队列(Kafka和RocketMQ)改版，于是我就想学学Kafka这款消息队列啦。本篇文章对Kafka入门，希望对大家有所帮助。 本文知识点提前预览： 这篇文章花了我很长时间画图，目的是希望以最通俗易懂的方式带大家入门，如果觉得不错， 希望能给我点个赞 ！ 一、什么是Kafka？ 首先我们得去官网看看是怎么介绍Kafka的： https://kafka.apache.org/intro 在收集资料学习的时候，已经发现有不少的前辈对官网的介绍进行翻译和总结了，所以我这里就不重复了，贴下地址大家自行去学习啦： https://scala.cool/2018/03/learning-kafka-1/ https://colobu.com/2014/08/06/kafka

什么是消息队列 消息队列（Message Queue，简称MQ），指保存消息的一个容器，本质是个队列。 消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在。 Producer：消息生产者，负责产生和发送消息到 Broker； Broker：消息处理中心。负责消息存储、确认、重试等，一般其中会包含多个 queue； Consumer：消息消费者，负责从 Broker 中获取消息，并进行相应处理； 现在常用的MQ组件有ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ,当然近年来火热的Kafka,从某些场景来说，也是MQ，当然kafka的功能更加强大。 虽然不同的MQ都有自己的特点和优势，但是，不管是哪种MQ，都有MQ本身自带的一些特点，下面，咱们谈谈消息队列的的特点、优势、选型、以及应用场景。 为什么需要消息队列 在高并发分布式环境下，由于来不及同步处理，通过使用消息队列，可以异步处理请求，从而缓解系统的压力。 举一个订单系统的例子：用户点击下订单

目前主流的MQ产品 1.ZeroMQ 号称最快的消息队列系统，尤其针对大吞吐量的需求场景。 扩展性好，开发比较灵活，采用C语言实现，实际上只是一个socket库的重新封装，如果做为消息队列使用，需要开发大量的代码。ZeroMQ仅提供非持久性的队列，也就是说如果down机，数据将会丢失。其中，Twitter的Storm中使用ZeroMQ作为数据流的传输。 2.RabbitMQ 结合erlang语言本身的并发优势，支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。 性能较好，但是不利于做二次开发和维护。 3.ActiveMQ 历史悠久的开源项目，是Apache下的一个子项目。已经在很多产品中得到应用，实现了JMS1.1规范，可以和spring-jms轻松融合，实现了多种协议，不够轻巧（源代码比RocketMQ多），支持持久化到数据库，对队列数较多的情况支持不好。 4.Redis 做为一个基于内存的K-V数据库，其提供了消息订阅的服务，可以当作MQ来使用，目前应用案例较少，且不方便扩展。对于RabbitMQ和Redis的入队和出队操作，各执行100万次，每10万次记录一次执行时间。 测试数据分为 128Bytes、512Bytes、1K和10K四个不同大小的数据。 实验表明：入队时

一、发送消息到队列（生产者） 新建一个maven项目，在pom.xml文件加入以下依赖 <dependencies> <dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-client</artifactId> <version>3.6.5</version> </dependency> </dependencies><br> 新建一个P1类 package com.rabbitMQ.test; import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; import java.io.IOException; import java.util.concurrent.TimeoutException; /** * @author mowen * @create 2019/11/20-11:23 */ public class P1 { public static void main(String[] args) throws IOException, TimeoutException { //消息队列名字 String

1. 架构 ，架构与业务紧密相关，是有业务驱动的。 2.APP后台演进原则。 App后台的架构是由业务规模驱动而演进的，App后台是为业务服务的，App后台的价值在于能为业务提供其所需要的功能，不应过度设计。 从项目的角度， 当App访问量不大时，应该快速搭建App后台，让App尽快上线给用户提供服务，验证商业模式的正确性，同时快速迭代产品。 当App访问量不断上升，这时要在保证快速迭代的前提下，同时兼顾高性能和高可用。 当App访问量达到一定阶段后，增长曲线就会放缓，但业务变得更加复杂，对高性能和高可用的要求也更高，性能问题、模块间的耦合、代码的复杂性会更加突出和明显，这时要使用业务拆分、分布式服务调用，甚至是技术转型等问题。 　　 1. 项目启动时，单机部署。 app后台一个极简化的架构： 一开始就使用Redis的好处： 既能用作缓存，又能充当队列服务，而且并发性能高，能在长时间内应对业务压力，非常适合初期的项目。 这里使用Redis验证用户信息，充当消息队列。 而文件服务初期可以选择 文件云存储服务，或者自己搭建一个资源服务器。 　　 2.项目一定规模时，分布式部署： 看一个百万到千万级的架构： 这里新增了专门用于连接内部服务器的SSH服务的外网通道，保证SSH操作随时可用，同时加入了服务器集群，提供负载能力。 随着业务的发展，某些数据表的规模会以几何级增长

目的： 　 　 RabbitMQ 简介 　　 RabbitMQ 安装及使用 　　　　　 Centos安装 　　　　　 Docker安装 （今天选择Docker安装方法） 　　 RabbitMQ 快速入门 　　 交换机 RabbitMQ简介 各大主流中间件对比 　　 ActiveMQ 是 Apache 出品，最流行的，能力强劲的开源消息总线，并且它一 个完全支持 J M S 规范的消息中间件。 其丰富的 API 、多种集群构建模式使得他成为业界老牌消息中间件，在中 小型企业中应用广泛！ MQ 衡量指标：服务性能、数据存储、集群架构 Kafka： RocketMQ 是阿里开源的消息中间件，目前也已经孵化为 Apache 顶级项目， 它是纯 java 开发，具有高吞吐量、高可用性、适合大规模分布式系统 应用的特点。 RocketMQ 思路起源于 Kafka, 它对消息的可靠传输及事务 性做了优化， 目前在阿里集团被广泛应用于交易、充值、流计算、消息推 送、日志流式处理、 binglog 分发等场景 RabbitMQ 是使用 Erlang 语言开发的开源消息队列系统，基于 AMQP 协议 来实现。 AMQP 的主要特征是面向消息、队列、路由（包括点对点和发布 / 订阅）、可靠性、安全。 AMQP 协议更多用在企业系统内， 对数据 _ 致 性、稳定性和可靠性要求很髙的场景

本来想用websocket做一个消息推送 可是分布式环境下不支持session共享因为服务器不同 所以采用 rabbitMQ+webSocket实现分布式消息推送 生产者将消息 发送给 rabbitMQ 的 virtual-host:/(顶极路由) 再由它路由到交换机 最终由交换机通过路由键指定具体的管道 消费者监听指定的管道获取消息 最终将获取的消息 交给 webSocket 被@OnMessage注解标识的方法 每次消费一条消息交给　被@OnMessage注解标识的方法 返回给前台 实现分布式实时推送 1.配置rabbitMQ 消息生产者 1.1pom.xml 1 <!--引入rabbitmq依赖--> 2 <dependency> 3 <groupId>org.springframework.boot</groupId> 4 <artifactId>spring-boot-starter-amqp</artifactId> 5 </dependency> 1 server: 2 port: 5002 3 4 spring: 5 rabbitmq: 6 host: localhost 7 #账号密码 默认有的 8 username: guest 9 password: guest 10 #rbbitmq虚拟主机路径 11 virtual-host: / 12