OpenMessaging

EventMesh:微众银行开源的新型云原生事件驱动架构实践

二次信任 提交于 2021-01-28 09:18:42
前言 2020 年微众银行在 GitHub 上正式开源了 EventMesh。 EventMesh 和 DeFiBus一起作为微众银行已经开源的项目,目前支撑了微众银行每天亿级的金融交易。 作为一个动态插件式云原生基础服务,EventMesh 提供了灵活,可靠和快速的事件分发与处理,并且可进行管理。本篇文章将围绕 EventMesh 起源及原理等方面进行介绍,并结合微众银行的实践经验带领大家一起探索事件驱动架构。 01 什么是事件驱动架构 近年来,随着微服务、云原生和 Serverless 概念的普及以及容器化技术的发展,事件驱动也再次成为热点,引起IT界广泛的关注。事件驱动架构是一种用于设计应用的软件架构和模型。对于事件驱动系统而言,事件的捕获、通信、处理和持久保留是解决方案的核心结构。事件驱动架构可以最大程度减少耦合度,很好地扩展与适配不同类型的服务组件,因此是现代化分布式应用架构的理想之选。 解耦 基于这种松耦合,微服务可以用不同的语言实现。解耦后的微服务能够轻松地在网络上相互独立地扩展,通过动态添加或删除事件生产者和消费者来修改他们的系统,而不需要更改任何微服务中的任何逻辑。 基于推送通知的消息传输机制 事件驱动的体系结构中,客户端无需轮询就可以接收更新,事件在到达事件存储后就会通知给客户端,客户端可以随时接收更新,这对于动态数据转换、分析和数据科学处理非常有用。

再见 2020!Apache RocketMQ 发布 4.8.0,DLedger 模式全面提升!

偶尔善良 提交于 2021-01-07 22:22:40
作者 | RocketMQ社区 来源| 阿里巴巴云原生公众号 “童年的雨天最是泥泞,却是记忆里最干净的曾经。凛冬散尽,星河长明,新的一年,万事顺遂,再见,2020!” 走过这个岁末,万众期待的 Apache RocketMQ 4.8.0 终于发布 了,在这个版本中社区对 RocketMQ 完成大量的优化和问题修复。更重要的是,该版本从性能、稳定性、功能三个方面大幅度提升 DLedger 模式能力。 DLedger 是 OpenMessaging 中一个基于 Raft 的 CommitLog 存储库实现,从 RocketMQ 4.5.0 版本开始,RocketMQ 引入 DLedger 模式来解决了 Broker 组内自动故障转移的问题,而在 4.8.0 版本中社区也对 RocketMQ DLedger 模式进行了全面升级。 性能升级 异步化 pipeline 模式 RocketMQ 4.7.0 重新升级了同步双写的架构,利用异步化 pipeline 模式大幅提升了同步双写的性能。在 RocketMQ 4.8.0 中,社区将这一改进应用到 DLedger 模式中, 下图展示了 DLedger 模式下 broker 处理发送消息的过程。在原本的架构中, SendMessageProcessor 线程对每一个消息的处理,都需要等待多数派复制成功确认,才会返回给客户端,而在新版本中,利用

分享27个阿里 Java 开源项目,值得收藏!

梦想的初衷 提交于 2020-11-26 02:53:30
点击上方 Java学习指南 关注公众号 每天阅读Java干货文章 来源:http://t.cn/E6hvQw5 大家好,这里为大家整理了阿里的Java开源项目,希望对大家有所帮助 1.分布式应用服务开发的一站式解决方案 Spring Cloud Alibaba Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。 依托 Spring Cloud Alibaba,您只需要添加一些注解和少量配置,就可以将 Spring Cloud 应用接入阿里分布式应用解决方案,通过阿里中间件来迅速搭建分布式应用系统。 地址:https://github.com/spring-cloud-incubator/spring-cloud-alibaba 2. JDBC 连接池、监控组件 Druid Druid是一个 JDBC 组件。 1.监控数据库访问性能。 2.提供了一个高效、功能强大、可扩展性好的数据库连接池。 3.数据库密码加密。 4.SQL执行日志。 地址:https://github.com/alibaba/druid 3. Java 的 JSON 处理器 fastjson fastjson 是一个性能很好的 Java 语言实现的

27个阿里 Java 开源项目,值得收藏!

拟墨画扇 提交于 2020-11-26 01:38:20
来源:http://t.cn/E6hvQw5 大家好,这里为大家整理了阿里的Java开源项目,希望对大家有所帮助 1.分布式应用服务开发的一站式解决方案 Spring Cloud Alibaba Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。 依托 Spring Cloud Alibaba,您只需要添加一些注解和少量配置,就可以将 Spring Cloud 应用接入阿里分布式应用解决方案,通过阿里中间件来迅速搭建分布式应用系统。 地址:https://github.com/spring-cloud-incubator/spring-cloud-alibaba 2. JDBC 连接池、监控组件 Druid Druid是一个 JDBC 组件。 1.监控数据库访问性能。 2.提供了一个高效、功能强大、可扩展性好的数据库连接池。 3.数据库密码加密。 4.SQL执行日志。 地址:https://github.com/alibaba/druid 3. Java 的 JSON 处理器 fastjson fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器,来自阿里巴巴的工程师开发。 主要特点

27个阿里 Java 开源项目,值得收藏!

让人想犯罪 __ 提交于 2020-11-26 01:35:18
来源:http://t.cn/E6hvQw5 大家好,这里为大家整理了阿里的Java开源项目,希望对大家有所帮助 1.分布式应用服务开发的一站式解决方案 Spring Cloud Alibaba Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。 依托 Spring Cloud Alibaba,您只需要添加一些注解和少量配置,就可以将 Spring Cloud 应用接入阿里分布式应用解决方案,通过阿里中间件来迅速搭建分布式应用系统。 地址:https://github.com/spring-cloud-incubator/spring-cloud-alibaba 2. JDBC 连接池、监控组件 Druid Druid是一个 JDBC 组件。 1.监控数据库访问性能。 2.提供了一个高效、功能强大、可扩展性好的数据库连接池。 3.数据库密码加密。 4.SQL执行日志。 地址:https://github.com/alibaba/druid 3. Java 的 JSON 处理器 fastjson fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器,来自阿里巴巴的工程师开发。 主要特点

27个阿里 Java 开源项目,值得收藏!

二次信任 提交于 2020-11-26 01:27:49
点击上方“ 掌上编程 ”,选择“ 置顶或者星标 ” 优质文章第一时间送达! 来源:http://t.cn/E6hvQw5 大家好,这里为大家整理了阿里的Java开源项目,希望对大家有所帮助 1.分布式应用服务开发的一站式解决方案 Spring Cloud Alibaba Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。 依托 Spring Cloud Alibaba,您只需要添加一些注解和少量配置,就可以将 Spring Cloud 应用接入阿里分布式应用解决方案,通过阿里中间件来迅速搭建分布式应用系统。 地址:https://github.com/spring-cloud-incubator/spring-cloud-alibaba 2. JDBC 连接池、监控组件 Druid Druid是一个 JDBC 组件。 1.监控数据库访问性能。 2.提供了一个高效、功能强大、可扩展性好的数据库连接池。 3.数据库密码加密。 4.SQL执行日志。 地址:https://github.com/alibaba/druid 3. Java 的 JSON 处理器 fastjson fastjson 是一个性能很好的 Java

27个阿里 Java 开源项目,值得收藏!

淺唱寂寞╮ 提交于 2020-11-26 00:39:27
大家好,这里为大家整理了阿里的Java开源项目,希望对大家有所帮助 1.分布式应用服务开发的一站式解决方案 Spring Cloud Alibaba Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。 依托 Spring Cloud Alibaba,您只需要添加一些注解和少量配置,就可以将 Spring Cloud 应用接入阿里分布式应用解决方案,通过阿里中间件来迅速搭建分布式应用系统。 地址:https://github.com/spring-cloud-incubator/spring-cloud-alibaba 2. JDBC 连接池、监控组件 Druid Druid是一个 JDBC 组件。 1.监控数据库访问性能。 2.提供了一个高效、功能强大、可扩展性好的数据库连接池。 3.数据库密码加密。 4.SQL执行日志。 地址:https://github.com/alibaba/druid 3. Java 的 JSON 处理器 fastjson fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器,来自阿里巴巴的工程师开发。 主要特点:快速FAST

选择 Pulsar 而不是 Kafka 的 7 大理由

流过昼夜 提交于 2020-08-10 00:06:12
凡泰极客导读: 金融界IT同侪们对Kafka应该都很熟悉了,但是也许没有怎么听过Pulsar —— 一个Apache基金会管理下的顶级开源项目。个人一直非常关注这个有趣的技术,首先是出于一定的“感情” , 它的核心技术之一BookKeeper自从2011年即以ZooKeeper的子项目存在、由Yahoo研发、并有雅虎北京研究院团队良多贡献;Pulsar的核心技术大拿也是雅虎北研的队友,我们算知彼知己吧。 Pulsar一些对金融业务场景非常有价值的地方,个人认为是(1)实时、可靠、持久化的数据跨域复制 – 跨网段、跨机房的实时同步一直是证券业的刚需;(2)Broker无状态 – 弹性伸缩水平扩容这些对于交易应用最难实现的能力,也许有一个更可靠的机制去实现。Kafka诞生在“云原生”概念还没有形成的年代,Pulsar在这方面有后发优势。对于容器化及容器编排技术的友好,也是吸引我们的一个地方。 在凡泰极客,我们的中间件采用NATS和Kafka,但是我们在积极寻找适合Pulsar的场景,相信在证券业中我们会找到它的有趣应用,推荐同业一起研究。 —— 梁启鸿,凡泰极客 Co-Founder 下面列出了选择 PULSAR 而不是 KAFKA 的 7 大理由。 流式处理和队列的合体 Pulsar 就像一个合二为一的产品,不仅可以像 Kafka 那样处理高速率的实时场景,还支持标准的消息队列模式

5 项大奖,70 项满分!阿里云全方位引领云原生技术升级

时光怂恿深爱的人放手 提交于 2020-08-08 12:50:06
跟大家分享几个好消息: 在今天“2020 可信云线上峰会”上,中国信通院公布了多项可信云认证的评估结果。 阿里云原生在容器平台安全能力、函数及服务、分布式消息队列服务、可信云服务最佳实践(服务云)、可信云技术最佳实践(容器及管理)等评选中获得可信云认证! 多年来,阿里巴巴作为云原生领域的先行者、实践者,基于自身累积多年的最佳实践,对社区赋能,为企业提供普惠的云原生产品服务。在这次可信云评选中,阿里云原生更是拿到5项大奖,从技术到实践,以最全面的技术影响力推动云原生进入新的阶段! 下面我们来一一揭开这些奖项! NO.1:阿里云 49 个满分,获得可信云容器安全能力先进级认证 今天,信通院发布了国内云厂商的容器安全评估结果: 阿里云容器服务 ACK 和容器镜像服务 ACR 荣获最高级别先进级可信云安全能力认证,特别是在最小化***面,二进制镜像验签名,密文的 BYOK 加密等能力上国内领先,达到国际先进水平。 早在 2018 年,阿里云容器服务团队率先提出了“端到端的企业级安全能力”概念,并推出立体式的端到端云原生安全架构,从三个层面来解决安全问题: 最底层依托于阿里云平台已有的安全能力,包括物理安全,硬件安全,虚拟化安全和云产品安全能力; 中间是容器基础设施安全层,基于最小化***面原则,提供了包括访问控制,权限收敛,配置加固和身份管理等重要的底座安全能力;同时针对凭证下发,证书

5 项大奖,70 项满分!阿里云全方位引领云原生技术升级

妖精的绣舞 提交于 2020-08-06 12:12:24
跟大家分享几个好消息: 在今天“2020 可信云线上峰会”上,中国信通院公布了多项可信云认证的评估结果。 阿里云原生在容器平台安全能力、函数及服务、分布式消息队列服务、可信云服务最佳实践(服务云)、可信云技术最佳实践(容器及管理)等评选中获得可信云认证! 多年来,阿里巴巴作为云原生领域的先行者、实践者,基于自身累积多年的最佳实践,对社区赋能,为企业提供普惠的云原生产品服务。在这次可信云评选中,阿里云原生更是拿到5项大奖,从技术到实践,以最全面的技术影响力推动云原生进入新的阶段! 下面我们来一一揭开这些奖项! NO.1:阿里云 49 个满分,获得可信云容器安全能力先进级认证 今天,信通院发布了国内云厂商的容器安全评估结果: 阿里云容器服务 ACK 和容器镜像服务 ACR 荣获最高级别先进级可信云安全能力认证,特别是在最小化攻击面,二进制镜像验签名,密文的 BYOK 加密等能力上国内领先,达到国际先进水平。 早在 2018 年,阿里云容器服务团队率先提出了“端到端的企业级安全能力”概念,并推出立体式的端到端云原生安全架构,从三个层面来解决安全问题: 最底层依托于阿里云平台已有的安全能力,包括物理安全,硬件安全,虚拟化安全和云产品安全能力; 中间是容器基础设施安全层,基于最小化攻击面原则,提供了包括访问控制,权限收敛,配置加固和身份管理等重要的底座安全能力;同时针对凭证下发,证书、密钥