ZooKeeper

福哥答案2020-07-24： 同步算法基于 ZAB 协议，一种快速 Paxos 算法。 快速Paxos算法 Paxos算法可能出现死循环，就是在两个Proposer总是在交替prepare。并且，Paxos算法在出现竞争的情况下，其收敛速度很慢，甚至可能出现活锁的情况，例如当有三个及三个以上的proposer在发送prepare请求后，很难有一个proposer收到半数以上的回复而不断地执行prepare。因此，为了避免竞争，加快收敛的速度，在算法中引入了一个Leader这个角色，在正常情况下同时应该最多只能有一个参与者扮演Leader角色，而其它的参与者则扮演Acceptor的角色，同时所有的人又都扮演Learner的角色。 在这种优化算法中，只有Leader可以提出议案，从而避免了竞争使得算法能够快速地收敛而趋于一致，此时的paxos算法在本质上就退变为两阶段提交协议。但在异常情况下，系统可能会出现多Leader的情况，但这并不会破坏算法对一致性的保证，此时多个Leader都可以提出自己的提案，优化的算法就退化成了原始的paxos算法。 一个Leader的工作流程主要有分为三个阶段： (1)学习阶段 向其它的参与者学习自己不知道的数据(决议);当一个参与者成为了Leader之后，它应该需要知道绝大多数的paxos实例，因此就会马上启动一个主动学习的过程

什么是Spring Cloud Eureka Eureka是Netflix公司开发的开源服务注册发现组件，服务发现可以说是微服务开发的核心功能了，微服务部署后一定要有服务注册和发现的能力，Eureka就是担任这个角色。如果你用过Dubbo的话，Dubbo里服务注册和发现就是通过Zookeeper框架完成的。 Eureka 目前是2.2.x版本，目前官方已经宣布不再维护和更新了，不过Eureka 做注册中心已经在生产环境中大规模使用了，可以说很稳定了。从我个人的角度看，目前大家使用的更多的是阿里的 Nacos 和 Consul 这两个组件实现了不止服务发现和注册，微服务开发不用再去依赖更多的组件和框架。这篇文章模拟一下Eureka Server集群和服务提供者集群和服务消费。 版本说明 SpringCloud + SpringBoot开发微服务并不是版本越新越好，Spring Cloud官方提供了一个版本对应关系。目前最新的就是Hoxton， 对应SpringBoot 2.2.x版本。 准备工作 新建父工程, 主要约定SpringCloud, SpringBoot版本号，我使用的是Hoxton.SR1, SpringBoot2.2。 新建5个子Module，这里两个Eureka Server，两个Service，一个consumer， 两个Eureka

前面我们已经学习过 Spring Cloud Config 了： Spring Cloud 系列之 Config 配置中心（一） Spring Cloud 系列之 Config 配置中心（二） Spring Cloud 系列之 Config 配置中心（三） 它提供了配置中心的功能，但是需要配合 git、svn 或外部存储（例如各种数据库），且需要配合 Spring Cloud Bus 《Spring Cloud 系列之 Bus 消息总线》 实现配置刷新。 前面的课程中我们也学习了 Spring Cloud Consul，当时讲解了它作为注册中心的使用方案，且作为 Spring Cloud 官方推荐替换 Eureka 注册中心的方案。既然使用了 Consul，就可以使用 Consul 提供的配置中心功能，并且不需要额外的 git 、svn、数据库等配合，且无需配合 Bus 即可实现配置刷新。 Spring Cloud 官方声明 Consul 可以作为 Spring Cloud Config 配置中心的替代方案。 官方文档：https://cloud.spring.io/spring-cloud-static/spring-cloud-consul/2.2.2.RELEASE/reference/html/#spring-cloud-consul-config 关于 Consul

一、Celery 核心模块 1. Brokers brokers 中文意思为中间人，在这里就是指 任务队列本身 ，接收生产者发来的消息即Task，将任务存入队列。任务的消费者是Worker，Brokers 就是生产者和消费者存放/拿取产品的地方(队列)。Celery 扮演生产者和消费者的角色。 常见的 brokers 有 rabbitmq、redis、Zookeeper 等。推荐用Redis或RabbitMQ实现队列服务。 2. Workers 就是 Celery 中的 工作者 ，执行任务的单元，类似与生产/消费模型中的消费者。它实时监控消息队列，如果有任务就从队列中取出任务并执行它。 3. Backend / Result Stores 用于存储任务的执行结果 。队列中的任务运行完后的结果或者状态需要被任务发送者知道，那么就需要一个地方储存这些结果，就是 Result Stores 了。 常见的 backend 有 redis、Memcached 甚至常用的数据库都可以。 4. Tasks 就是 想在队列中进行的任务 ，有异步任务和定时任务。一般由用户、触发器或其他操作将任务入队，然后交由 workers 进行处理。 5. Beat 定时任务调度器 ，根据配置定时将任务发送给Brokers。 二、Celery 基本使用 1.创建一个celery application

桔妹导读：滴滴HBase团队日前完成了0.98版本 -> 1.4.8版本滚动升级，用户无感知。新版本为我们带来了丰富的新特性，在性能、稳定性与易用性方便也均有很大提升。我们将整个升级过程中面临的挑战、进行的思考以及解决的问题总结成文，希望对大家有所帮助。 1. 背景 目前HBase服务在我司共有国内、海外共计11个集群，总吞吐超过1kw+/s，服务着地图、普惠、车服、引擎、金融等几乎全部部门与业务线。 然而有一个问题持续困扰着我们：版本较社区落后较多——HBase线上集群使用0.98版本，而社区目前最新的release版本为2.3。这为我们的工作带来了很多额外的掣肘与负担，主要包括以下几点： 新特性引入成本极高： 0.98版本可以算是HBase第一个稳定版本，但过于老旧，社区已经不再维护。想要backport新特性难度越来越大。 自研patch维护成本较高： 我们基于0.98版本有数十个大大小小的自研patch，涵盖了从label分组、ACL鉴权等大的feature到监控体系建设、审计日志优化等Improvement以及各种bug fix。这些patch或是新版本中已支持但和我们实现有差异，或是由于版本差异过大无法合入社区，而且随着时间线的拉长，这种问题只会进一步恶化。 上层组件对于HBase存在一定需求： 得益于活跃的HBase生态圈，目前我们的用户使用形态也比较丰富，OLAP

Kafka 是什么？主要应用场景有哪些？ Kafka 是一个分布式流式处理平台。这到底是什么意思呢？ 流平台具有三个关键功能： 消息队列 ：发布和订阅消息流，这个功能类似于消息队列，这也是 Kafka 也被归类为消息队列的原因。 容错的持久方式存储记录消息流 ： Kafka 会把消息持久化到磁盘，有效避免了消息丢失的风险·。 流式处理平台： 在消息发布的时候进行处理，Kafka 提供了一个完整的流式处理类库。 Kafka 主要有两大应用场景： 消息队列 ：建立实时流数据管道，以可靠地在系统或应用程序之间获取数据。 数据处理： 构建实时的流数据处理程序来转换或处理数据流。 和其他消息队列相比,Kafka的优势在哪里？ 我们现在经常提到 Kafka 的时候就已经默认它是一个非常优秀的消息队列了，我们也会经常拿它给 RocketMQ、RabbitMQ 对比。我觉得 Kafka 相比其他消息队列主要的优势如下： 极致的性能 ：基于 Scala 和 Java 语言开发，设计中大量使用了批量处理和异步的思想，最高可以每秒处理千万级别的消息。 生态系统兼容性无可匹敌 ：Kafka 与周边生态系统的兼容性是最好的没有之一，尤其在大数据和流计算领域。 实际上在早期的时候 Kafka 并不是一个合格的消息队列，早期的 Kafka 在消息队列领域就像是一个衣衫褴褛的孩子一样

最近花了很长的时间去搜罗整理Java核心技术好文，我把每个Java核心技术的优选文章都整理成了一个又一个的文档。 今天就把这些东西免费分享给老铁们，文末直接领取。 也能为老铁们省去不少麻烦，想学什么技能了，遇到哪方面的问题了 直接打开文档学一学就好了。不多说，直接上干货！ 一、Redis技术好文精选整理（共11篇） Redis实战 Redis设计与实现_扫描版_12.7M Redis入门指南 Redis缓存和MySQL数据一致性方案详解 Redis哨兵、复制、集群的设计原理，以及区别 Spring Boot 整合 Redis 新浪微博开放平台中的 redis 实践 一文梳理 Redis 基础 分布式锁的由来、及Redis分布式锁的实现详解 Redis为什么是单线程、及高并发快的3大原因详解 如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题 二、Nginx技术好文精选整理（共6篇） 《Netty权威指南(第2版)》 Nginx 反向代理、负载均衡图文教程 ！ Nginx 搭建图片服务器 Nginx 配置参数中文说明 全面了解 Nginx 主要应用场景 后端实践：Nginx日志配置（超详细） 三、设计模式技术好文精选整理（共6篇） JAVA多线程设计模式 《Head First设计模式(高清版)》 设计模式：Java语言中的应用 设计模式-可复用面向对象软件的基础

今天这篇文章主要想跟大家分享：工作 1-5 年的 Java 工程师们，如何变得更值钱？ 如果你现在已经是一个 Java 工程师，但是经验积累的还不够，那这个阶段就是你成长极快的时候。 前提是，你认同我之前经常说那句话： 从你入行那一刻起，你就要不停地学习。 对于 Java 工程师来说，想在业务能力上更进一步、让自己更值钱，最大的捷径就是用正确的方法来学习，好的方法能让你事半功倍。 我面试过多人，之前也在大厂待过，深知一个道理： 作为一个程序员，你的知识体系，和企业的用人需求，是不一样的。 Java 工程师尤其是。 我也见过一些读者朋友，觉得自己的 Java 技术过关，但是一到面试就被 pass 了，问题就出在这，无法将 Java 技术应用到实际开发中。 这里我建议 Java 经验 1-5 年的读者，可以对标阿里 P7 的标准。 给大家分享一份《对标阿里P7Java架构师学习路线图》，刚开始参加工作及已经工作五六年的朋友都可以参考参考，梳理一下自己的技术栈，这些东西可能你们平时在工作中接触过，但是缺少的全面系统的学习，所以掌握的都不深，希望看了路线图以后大家知道从哪里开始入手学习。 这是通往架构师的必经之路，由浅入深地沉稳扎根基础。 需要完整版《对标阿里P7Java架构师学习路线图》的朋友，请转发+关注，然后私信回复 “666” 获取免费领取方式。 一、扎实基础、深入底层

作者：我恰芙蓉王 原文： https://www.cnblogs.com/-tang/p/13283216.html 业务场景 在很多项目中，都有类似数据汇总的业务场景，查询今日注册会员数，在线会员数，订单总金额，支出总金额等。。。这些业务通常都不是存在同一张表中，我们需要依次查询出来然后封装成所需要的对象返回给前端。那么在此过程中，就可以把这个接口中“大任务”拆分成N个小任务，异步执行这些小任务，等到最后一个小任务执行完，把所有任务的执行结果封装到返回结果中，统一返回到前端展示。 同步执行 首先看看同步执行的代码 public class Test { @Data @NoArgsConstructor @AllArgsConstructor @ToString class Result { /** * 在线人数 */ Integer onlineUser; /** * 注册人数 */ Integer registered; /** * 订单总额 */ BigDecimal orderAmount; /** * 支出总额 */ BigDecimal outlayAmount; } @org.junit.Test public void collect() { System.out.println("数据汇总开始"); long startTime = System

今天这篇文章主要想跟大家分享：工作 1-5 年的 Java 工程师们，如何变得更值钱？ 如果你现在已经是一个 Java 工程师，但是经验积累的还不够，那这个阶段就是你成长极快的时候。 前提是，你认同我之前经常说那句话： 从你入行那一刻起，你就要不停地学习。 对于 Java 工程师来说，想在业务能力上更进一步、让自己更值钱，最大的捷径就是用正确的方法来学习，好的方法能让你事半功倍。 我面试过多人，之前也在大厂待过，深知一个道理： 作为一个程序员，你的知识体系，和企业的用人需求，是不一样的。 Java 工程师尤其是。 我也见过一些读者朋友，觉得自己的 Java 技术过关，但是一到面试就被 pass 了，问题就出在这，无法将 Java 技术应用到实际开发中。 这里我建议 Java 经验 1-5 年的读者，可以对标阿里 P7 的标准。 给大家分享一份《对标阿里P7Java架构师学习路线图》，刚开始参加工作及已经工作五六年的朋友都可以参考参考，梳理一下自己的技术栈，这些东西可能你们平时在工作中接触过，但是缺少的全面系统的学习，所以掌握的都不深，希望看了路线图以后大家知道从哪里开始入手学习。 这是通往架构师的必经之路，由浅入深地沉稳扎根基础。 需要完整版《对标阿里P7Java架构师学习路线图》的朋友，请转发+关注，然后私信回复 “提升” 或者 “666” 获取免费领取方式。 一、扎实基础