apache bookkeeper

云原生消息系统 Pulsar

主宰稳场 提交于 2020-05-07 11:45:01
1.pulsar概述   Apache Pulsar 是灵活的发布-订阅消息系统(Flexible Pub/Sub messaging),采用分层分片架构(backed by durable log/stream storage)。   Apache Pulsar 是一个开源的分布式 pub-sub 消息系统,最初是在雅虎创建的,现在是 Apache Software Foundation 的一部分, 是下一代云原生分布式流数据平台。    Apache Pulsar 是服务和存储分离的消息系统,主要分为 Broker 和 BookKeeper 两大模块, Broker 提供服务能力, BookKeeper 提供存储能力。    2.pulsar之于kafka    1. 流式处理和队列的合体   Pulsar 就像是一个合二为一的产品,不仅可以像 Kafka 那样处理高速率的实时场景,还能支持标准的消息队列模式,比如多消费者、失效备援订阅和消息扇出,等等。Pulsar 会自动跟踪客户端的读取位置,并把这些信息保存在高性能的分布式 ledger(BookKeeper)当中。   与 Kafka 不一样的是,Pulsar 具备传统消息队列(如 RabbitMQ)那样的功能,因此,只需要运行一个 Pulsar 系统就可以同时处理实时流和消息队列。 2. 支持分区,但不是必需的