ZooKeeper

一、概述 　　 1.什么是Hbase 　　　　 根据官网： https://hbase.apache.org/ 　　 Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. 　　 HBASE是一个高可靠性、高性能、 面向列 、可伸缩的分布式存储系统 　　　　 中文简明介绍： 　　Hbase是 分布式、面向列 的开源数据库（其实准确的说是 面向列族 ）。HDFS为Hbase提供可靠的底层数据存储服务，MapReduce为Hbase提供高性能的计算能力，Zookeeper为Hbase提供稳定服务和Failover机制，因此我们说Hbase是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。 　　 2.什么是列式存储 　　　　 　　 使用网友的图就是： 　　　　 　　 其中更加深入的内部原理讲解，参考： http://blog.csdn.net/lifuxiangcaohui/article/details/39891099 　　　　　　　　　　　　　　　　　　　　　 http://lib.csdn.net/article/datastructure/8951 　　 3.为什么需要Hbase 　　　　以下介绍了一种Hbase出现的场景： 　　　　 　　

1. kafka的定义 　　kafka是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 2. kafka 和其他主流分布式消息系统的对比 定义解释： 　　1. Java 和 scala都是运行在JVM上的语言。 　　2. erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议，他也是仿照AMQP（ Advanced Message Queuing Protocol 高级消息队列协议）设计的。 　　3. 事务的概念：在数据库中，多个操作一起提交，要么操作全部成功，要么全部失败。举个例子， 在转账的时候付款和收款，就是一个事物的例子，你给一个人转账，你转成功，并且对方正常行收到款项后，这个操作才算成功，有一方失败，那么这个操作就是失败的。 对应消在息队列中，就是多条消息一起发送，要么全部成功，要么全部失败。3个中只有ActiveMQ支持，这个是因为，RabbitMQ和Kafka为了更高的性能，而放弃了对事物的支持 。 　　4. 集群

简介： 作为微服务框架的核心引擎--注册中心，是必不可缺少的组件，市面已经有多款注册中心支持 Go 语言，应该如何选择呢？我们可以对目前主流的支持 Go 语言的注册中心做个对比。 作者 | 李志鹏 近几年，随着 Go 语言社区逐渐发展和壮大，越来越多的公司开始尝试采用 Go 搭建微服务体系，也涌现了一批 Go 的微服务框架，如 go-micro、go-kit、Dubbo-go 等，跟微服务治理相关的组件也逐渐开始在 Go 生态发力，如 Sentinel、Hystrix 等都推出了 Go 语言版本，而作为微服务框架的核心引擎--注册中心，也是必不可缺少的组件，市面已经有多款注册中心支持 Go 语言，应该如何选择呢？我们可以对目前主流的支持 Go 语言的注册中心做个对比。 图 1 根据上表的对比我们可以从以下几个维度得出结论： 生态 ：各注册中心对 Go 语言都有支持，但是 Nacos、 Consul、Etcd 社区活跃，zookeeper 和 Eureka 社区活跃度较低； 易用性 ：Nacos、Eureka、Consul 都有现成的管控平台，Etcd、zookeeper 本身作为 kv 存储，没有相应的管控平台，Nacos 支持中文界面，比较符合国人使用习惯； 场景支持 ：CP 模型主要针对强一致场景，如金融类，AP 模型适用于高可用场景，Nacos 可以同时满足两种场景

作者：李志鹏， Github账号：Lzp0412,开源社区爱好者，Nacos Committer，Nacos-SDK-go作者，现就职于阿里云云原生应用平台，主要参与服务发现、CoreDNS、ServiceMesh相关工作，负责推动Nacos Go微服务生态建设。 近几年，随着Go语言社区逐渐发展和壮大，越来越多的公司开始尝试采用Go搭建微服务体系，也涌现了一批Go的微服务框架，如go-micro、go-kit、Dubbo-go等，跟微服务治理相关的组件也逐渐开始在Go生态发力，如Sentinel、Hystrix等都推出了Go语言版本，而作为微服务框架的核心引擎--注册中心，也是必不可缺少的组件，市面已经有多款注册中心支持Go语言，应该如何选择呢？我们可以对目前主流的支持Go语言的注册中心做个对比。 根据上表的对比我们可以从以下几个维度得出结论： 生态: 各注册中心对Go语言都有支持，但是Nacos、 Consul、Etcd 社区活跃，zookeeper和Eureka社区活跃度较低； 易用性： Nacos、Eureka、Consul都有现成的管控平台，Etcd、zookeeper本身作为kv存储，没有相应的管控平台，Nacos支持中文界面，比较符合国人使用习惯； 场景支持： CP模型主要针对强一致场景，如金融类，AP模型适用于高可用场景，Nacos可以同时满足两种场景，Eureka

为了方便起见安装zk集群和kafka集群我就不详细说明了，以下摘自https://www.cnblogs.com/lentoo/p/7785004.html，文章部分内容我做了修改，因为版本或者命令改变 kafka集群搭建（windows环境下） 一、简介 Kafka 是一个实现了分布式的、具有分区、以及复制的日志的一个服务。它通过一套独特的设计提供了消息系统中间件的功能。它是一种发布订阅功能的消息系统。 1、名词介绍 Message 消息，就是要发送的内容，一般包装成一个消息对象。 Topic 通俗来讲的话，就是放置“消息”的地方，也就是说消息投递的一个容器。假如把消息看作是信封的话，那么 Topic 就是一个邮箱 Partition && Log Partition 分区，可以理解为一个逻辑上的分区，像是我们电脑的磁盘 C:, D:, E: 盘一样, Kafka 为每个分区维护着一份日志Log文件。 Producers （生产者） 和其他消息队列一样，生产者通常都是消息的产生方。 在 Kafka 中它决定消息发送到指定Topic的哪个分区上。 Consumers （消费者） 消费者就是消息的使用者，在消费者端也有几个名词需要区分一下。 一般消息队列有两种模式的消费方式，分别是 队列模式 和 订阅模式 。 队列模式 ：一对一，就是一个消息只能被一个消费者消费，不能重复消费

1.场景描述 因kafka以前用的不多，只往topic中写入和读取过数据，这次刚好又要用到，记录下kafka集群搭建及结合springboot使用。 2. 解决方案 2.1 简单介绍 （一）关于kafka，网上的介绍有很多，简单说就是消息中间件，大数据项目中经常使用，我们项目是用于接收日志流水数据。 （二）关于消息中间件，主要有四个： （1）ActiveMQ：历史悠久，以前项目中使用多，现在更新慢，性能相对不高。 （2）RabbitMQ：可靠性高、安全，模式比较多，java使用比较多，每秒十万级别 （3）Kafka：分布式、高性能、跨语言，性能超高，每秒百万级别，模式简单。 （4）RocketMQ：阿里开源的消息中间件，纯Java实现，有商业版，收费，导致推广一般。 （三）kafka与其他三个相比，优势在于： （1）性能高，每秒百万级别； （2）分布式，高可用，水平扩展。 （四） kafka官网图 有中文官网，可以详细看看。 地址： http://kafka.apachecn.org/intro.html 2.2 软件下载 2.2.1 kakfa下载 地址： http://kafka.apache.org/downloads ，下载最新的2.4.1。 2.2.2 zookeeper下载 （1）因为kafka要依赖于zookeeper做调度，kafka中实际自带的有kafka

http://blog.csdn.net/ychenfeng/article/details/74980531（还没有转全） Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 1.前言 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。 1.1 Kafka的特性: - 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 - 容错性：允许集群中节点失败（若副本数量为n,则允许n

https://blog.csdn.net/ychenfeng/article/details/74980531 Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 1.前言 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。 1.1 Kafka的特性: - 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 - 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 1.前言 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。 1.1 Kafka的特性: - 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 - 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） - 高并发：支持数千个客户端同时读写 1.2 Kafka的使用场景： - 日志收集

dubbo简单示例 2019-09-06 1 Zookeeper注册中心的搭建（windows单机） 下载zookeeper压缩包并解压到 D:\zookeeper\apache-zookeeper-3.5.5-bin ，官网地址： http://www.apache.org/dyn/closer.cgi/zookeeper/ 进入conf目录将 zoo_sample.cfg 改名为 zoo.cfg。 默认配置如下： # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=5 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=2 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=D:\\zookeeper\\data