ZooKeeper

目录 为什么写这篇文章 一些重要概念 部署架构 数据写入 数据查询 负载均衡 数据合并策略 宕机恢复 为什么写这篇文章   可能有些童鞋已经发现：1.阿里云上的Hbase服务，基于Hbase深度定制和扩展，能比较好的支持时序场景和全文检索场景，其增强版Lindorm，已经作为单独的云服务售卖，单独演进。2.腾讯云上，基于ES构建了CTSDB时序数据库单独售卖，同时也推出了增强版的ES云服务。可以看出，在这两个服务所在团队中，一边选择基于ES来支持时序和全文检索场景，一边则选择基于Hbase来支持时序和全文检索场景。基于ES来支持时序和全文检索场景是比较好理解的，因为它本身的功能就支持这些，但是Hbase如何比较好支持全文检索场景呢？实际上，阿里云的Hbase服务借助了Solr这个搜索引擎来构建这块的能力，因为Solr和ES一样，都是基于Lucene构建的搜索服务。那为什么阿里不和腾讯一样，直接基于ES来构建这块的能力呢？Hbase和ES又究竟有哪些共同点，有哪些差异点呢？   总的来说，在数据量不是非常大的时候，使用ES更加简单，单纯使用ES就能解决各种查询场景的需求，但是当数据量非常大的时候，现有的社区版本ES则存在不少问题，这个时候往往需要进行一些内核级别的改进（否则就需要更多的业务层干预，并且成本消耗会比较高），类似阿里云和腾讯云上提供的ES服务，实际上都对ES内核做过改进

一、下载匹配hadoop-3.x.y 版本的hive 3.1.2 下载地址 ： http://mirror.bit.edu.cn/apache/hive/ 二、上传至安装目录 /home/apache-hive-3.1.2-bin.tar.gz 解压：tar -zxvf apache-hive-3.1.2-bin.tar.gz 后重命名目录：/home/hive-3.1.2 三、编辑 /etc/profile 文件 ...... if [ -n "${BASH_VERSION-}" ] ; then if [ -f /etc/bashrc ] ; then # Bash login shells run only /etc/profile # Bash non-login shells run only /etc/bashrc # Check for double sourcing is done in /etc/bashrc. . /etc/bashrc fi fi export JAVA_HOME =/usr/java/jdk1.8.0_131 export JRE_HOME = ${JAVA_HOME}/jre export HADOOP_HOME =/home/hadoop-3.3.0 export HIVE_HOME=/home/hive-3.1.2 export

配置 hadoop 高可用集群的原因：如果集群只有一个 NameNode，若NameNode 节点出现故障，那么整个集群都无法使用，也就是存在单点故障的隐患，hadoop 高可用集群能够实现 standby NameNode 自动切换为 active。 HA 的架构，节点个数一般为奇数个，有两个 NameNode，一台为 active 状态，一台为 standby 状态，active NameNode 对外提供服务，standby Namenode 实时同步了 active NameNode 的元数据，当 active NameNode 节点出现故障，standby NameNode 节点可立即切换为active状态并对外提供服务，ResourceManager 同理。所以，在实际生产中一般采用 HA 架构来提高集群的可靠性。 我这里用三台机器来搭建 Hadoop 高可用集群，hadoop 版本3.2.0 集群可以自己规划，节点最好为奇数，最少为3个节点 用Hadoop用户需要相关设置，也可以直接用root用户(我这里用的是root) 集群环境下配置SSH免密码登录 注意：配置SSH免密码登录，使用hadoop身份登录虚拟机服务器，进行相关的操作。 分别在每台机器上安装 设置好hosts 192.168.217.128 hadoop301 192.168.217.129

本文源码： GitHub·点这里 || GitEE·点这里 一、幂等性概念 1、幂等简介 编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。就是说，一次和多次请求某一个资源会产生同样的作用影响。 2、HTTP请求 遵循Http协议的请求，越来越强调Rest请求风格，可以更好的规范和理解接口的设计。 GET：用于获取资源，不应有副作用，所以是幂等的； POST：用于创建资源，重复提交POST请求可能产生两个不同的资源，有副作用不满足幂等性； PUT：用于更新操作，重复提交PUT请求只会对其URL中指定的资源有副作用，满足幂等性； DELETE：用于删除资源，有副作用，但它应该满足幂等性； HEAD：和GET本质是一样的，但HEAD不含有呈现数据，仅是HTTP头信息，没有副作用，满足幂等性； OPTIONS：用于获取当前URL所支持的请求方法，满足幂等性； 二、场景业务分析 1、订单支付 实际开发中，经常会面对订单支付问题，基本流程如下： 客户端发起订单支付请求 ； 支付前系统本地相关业务处理 ； 请求第三方支付服务执行扣款； 第三方支付返回处理结果； 本地服务基于支付结果响应客户端； 该业务流程中要处理相当复杂的问题，比如事务，分布式事务，接口延迟超时，客户端重复提交等等，这里只基于幂等接口角度来看该流程，其他问题后续再聊。 2、幂等接口

玩个zookeeper把所有的坑全部踩了一遍 从Windows到Linux，从配置文件到脚本，从环境变量到日志 BUG之王当之无愧 但是不能白白浪费经历的坑,分享一下给大家填坑 ZooKeeper介绍 　　ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooKeeper包含一个简单的原语集， 提供Java和C的接口。 官网： https://zookeeper.apache.org 进入下载入口： 选择任意下载地址： 下载版本 踩坑 版本建议下载3.5以下的,较为稳定,如果你下载了最新版的,准备跟着我踩坑 下载后直接解压即可 进入到apache-zookeeper-3.5.6\conf文件夹，找到zoo_sample.cfg,复制一份到当前文件夹，重命名为zoo.cfg 为什么修改呢？在zkEnv.cmd中是默认叫zoo的 至于里面的配置信息,可以根据个人需求修改 附加 zoo.cfg参数说明 tickTime：这个时间是作为 Zookeeper

文章目录 1.zookeeper是怎么去实现分布式锁？ 来源： oschina 链接： https://my.oschina.net/u/4408222/blog/4391753

1、什么是 Spring Cloud？ Spring cloud 流应用程序启动器是 于 Spring Boot 的 Spring 集成应用程序，提供与外部系统的集成。Spring cloud Task，一个生命周期短暂的微服务框架，用于快速构建执行有限数据处理的应用程序。 2、使用 Spring Cloud 有什么优势？ 使用 Spring Boot 开发分布式微服务时，我们面临以下问题 （1）与分布式系统相关的复杂性-这种开销包括网络问题，延迟开销，带宽问题，安全问题。 （2）服务发现-服务发现工具管理群集中的流程和服务如何查找和互相交谈。它涉及一个服务目录，在该目录中注册服务，然后能够查找并连接到该目录中的服务。 （3）冗余-分布式系统中的冗余问题。 （4）负载平衡 --负载平衡改善跨多个计算资源的工作负荷，诸如计算机，计算机集群，网络链路，中央处理单元，或磁盘驱动器的分布。 （5）性能-问题 于各种运营开销导致的性能问题。 （6）部署复杂性 evops 技能的要求。 3、服务注册和发现是什么意思？Spring Cloud 如何实现？ 当我们开始一个项目时，我们通常在属性文件中进行所有的配置。随着越来越多的服务开发和部署，添加和修改这些属性变得更加复杂。有些服务可能会下降，而某些位置可能 会发生变化。手动更改属性可能会产生问题。Eureka

SpringCloud的Hoxton版本，和之前的版本相比，用新的组件替换掉了原来大部分的组件，老的组件现在处于 停更不停用 的状况。 详情见下图（ × 的表示之前的组件，现在停更了的； √ 的表示新的替换后的组件）： 描述： 服务注册中心： Eureka：官方停止更新，并且已经有更好的替代产品了，可以使用，但是官方已经不建议使用了（重度患者）。 Zookeeper：某些老系统，以前是用的Zookeeper + Dubbo，后来做技术升级，结果发现SpringCloud的Eureka停更了，然后就用了最少的技术切换，那么就用了Zookeeper做注册中心。 Consul：go语言开发的，也是一个优秀的服务注册框架，但是使用量较少，风头都被Nacos抢了。 Nacos：来自于SpringCloudAlibaba，在企业中经过了百万级注册考验的，不但可以完美替换Eureka，还能做其他组件的替换，所以强烈建议使用，是学习的重点。 服务调用： Ribbon：也进入了维护状态，停止更新了，但是Spring官方还在使用（轻度患者）。 LoadBalancer：Spring官方推出的一个新的组件，打算逐渐取代掉Ribbon，但是现在还处于萌芽状态。 服务调用2： Feign：Netflix 公司产品，也停止更新了。 OpenFeign：Spring社区等不了Netflix更新了

前言 笔者最近解决了一个困扰了业务系统很久的问题。这个问题只在发布时出现，每次只影响一两次调用，相较于其它的问题来说，这个问题有点不够受重视。由于种种原因，使得这个问题到了业务必须解决的程度，于是就到了笔者的手上。 问题现场 我们采用的是dubbo服务，这是个稳定成熟的RPC框架。但是我们在某些应用中会发现，只要这个应用一发布(或者重启),就会出现请求超时的问题，如下图所示: 而且都是第一笔请求会报错，之后就再也没有问题了。 排查日志 好了，现象我们知道了，于是开始排查那个时间点的日志。Server端没有任何日志，而Client(App1)端报错超时。报错如下所示: 2019-08-22 20:33:50.798 com.alibaba.dubbo.rpc.RpcException: Failed to invoke the method set in the servce XXXFacade, tries 1 times ...... start time: 2019-08-22 20:32:50.474 end time: 2019-08-22 30:33:50.767 timeout=60000,channel:/1.1.1.1:44502->2.2.2.2:20880 看日志报错是这个tcp五元组(1.1.1.1:44502->2.2.2.2:20880)有问题

摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位移的那些事，包括： 概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区位移：生产者向分区写入消息，每条消息在分区中的位置信息由一个叫offset的数据来表征。假设一个生产者向一个空分区写入了 10 条消息，那么这 10 条消息的位移依次是 0、1、…、9； 消费位移：消费者需要记录消费进度，即消费到了哪个分区的哪个位置上，这是消费者位移（Consumer Offset）。 注意，这和上面所说的消息在分区上的位移完全不是一个概念。上面的“位移”表征的是分区内的消息位置，它是不变的，即一旦消息被成功写入到一个分区上，它的位移值就是固定的了。而消费者位移则不同，它可能是随时变化的，毕竟它是消费者消费进度的指示器。 消费位移 消费位移，记录的是 Consumer 要消费的下一条消息的位移， 切记，是下一条消息的位移！ 而不是目前最新消费消息的位移 假设一个分区中有 10 条消息，位移分别是 0 到 9。某个 Consumer 应用已消费了 5 条消息，这就说明该 Consumer 消费了位移为 0 到 4 的 5 条消息，此时 Consumer 的位移是 5