zookeeper集群

一、安装docker yum install -y docker 二、启动docker镜像 sudo service docker start 三、查找zookeeper镜像 sudo docker search zookeeper 四、下载zookeeper镜像 sudo docker pull docker.io/zookeeper 五、下载完后可检查镜像 sudo docker images 六、创建 /usr/local/docker/zookeeper/docker.compose.yml,并给文件添加如下内容： version: '2' services: zoo1: image: zookeeper restart: always container_name: zoo1 ports: - "2181:2181" environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 zoo2: image: zookeeper restart: always container_name: zoo2 ports: - "2182:2181" environment: ZOO_MY_ID: 2 ZOO_SERVERS:

zookeeper 的客户端目前主要有三种，一种是原生的方式来操作来操作zookeeper( zookeeper实战04-Java操作zookeeper )、第二种采用开源的zkclient、第三种及本篇所讲的apache官方开源的Curator. Curator的优点 1、封装ZooKeeper client与ZooKeeper server之间的连接处理 2、提供了一套Fluent风格的操作API 3、提供ZooKeeper各种应用场景(recipe, 比如共享锁服务, 集群领导选举机制)的抽象封装 使用方式 <dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-framework</artifactId> <version>4.0.0</version> </dependency> <dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-recipes</artifactId> <version>4.0.0</version> </dependency> 基本的curd的使用方式 增加节点 String nodePath = "/super/kkcl"; byte [] data = "kkcl"

/*--> */ /*--> */ 1. zookeeper的简介 　　zookeeper由文件系统和通知机制构成 　　 1）文件系统 　　　　Zookeeper使用树形结构管理数据。而且以“/”作为树形结构的根节点。树形结构中的每一个节点都是一个“znode”。文件系统中的目录可以存放其他目录和文件，znode中可以存放其他znode，也可以对应一个具体的值，znode和它对应的值之间是键值对的关系。 　　树形结构 　　　　①树形结构的主体由znode组成 　　　　②每一个节点包含下面两部分 　　　　　　I. 值：节点的路径和当前节点上保存的值构成一个“键值对（key-value）”关系 　　　　　　II. 状态 stat 　　 2）通知机制 　　　　在分布式项目中随着业务功能越来越多，具体的功能模块也会越来越多，一个大型的电商项目能达到几十个模块甚至更多。这么多模块的工程由可能需要共享一些信息，这些信息一但发生变化，各个相关模块工程中手动逐一修改会非常的麻烦，甚至可能发生遗漏。 　　　　使用ZooKeeper的通知机制后，各个模块工程在特定的znode上设置Watcher（观察者）来监控当前节点上值的变化，一旦Watcher检测到了数据变化就会立即通知模块，从而实现“ 一处修改，处处生效 ”的效果。 　　　　 ①目的：一处修改处处更新 　　　　②机制：观察者模式 　　　　 2.

时效性要求很高的数据，库存，采取的是数据库+缓存双写的技术方案，也解决了双写的一致性的问题 缓存数据生产服务，监听一个消息队列，然后数据源服务（商品信息管理服务）发生了数据变更之后，就将数据变更的消息推送到消息队列中 缓存数据生产服务可以去消费到这个数据变更的消息，然后根据消息的指示提取一些参数，然后调用对应的数据源服务的接口，拉去数据，这个时候一般是从mysql库中拉去的 1、zookeeper集群搭建 zookeeper-3.4.5.tar.gz使用WinSCP拷贝到/usr/local目录下。 对zookeeper-3.4.5.tar.gz进行解压缩：tar -zxvf zookeeper-3.4.5.tar.gz。 对zookeeper目录进行重命名：mv zookeeper-3.4.5 zk 配置zookeeper相关的环境变量 vi ~/.bashrc export ZOOKEEPER_HOME=/usr/local/zk export PATH=$ZOOKEEPER_HOME/bin source ~/.bashrc cd zk/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg 　　修改： dataDir=/usr/local/zk/data 　　新增： server.0=eshop-cache01:2888:3888 server

# 搜索引擎 搜索引擎，Search Engine是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，再对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎和免费链接列表等。 一个搜索引擎由搜索器、索引器、检索器和用户接口四个部分组成： 1. **搜索器** 的功能是在互联网中漫游，发现和搜集信息。 2. **索引器**的功能是理解搜索器搜索到的信息，从中抽取出索引项，用过表示文档以及生成文档库的索引表。 3. **检索器**的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。 4. **用户接口**的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。 搜索引擎现在主要为全文索引和目录索引，垂直搜索引擎由于其在特定领域的更高的用户体验，以及更小的硬件成本，也开始逐渐兴起。 ## 分类 ### 全文搜索引擎 搜索引擎的自动信息搜集功能分两种。 一种是*定期搜索*，即每隔一段时间搜索引擎主动派出爬虫程序，对一定IP地址范围内的互联网网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是*提交网站搜索*，即网站拥有者主动向搜索引擎提交网址

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 1.前言 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。 1.1 Kafka的特性: - 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 - 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） - 高并发：支持数千个客户端同时读写 1.2 Kafka的使用场景： - 日志收集

Web基础配置篇（十一）: Zookeeper的安装配置及使用 一、概述 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 在JavaWeb的开发中，我们用到Zookeeper的地方大概就是注册中心和配置中心了，比如dubbo工具、Springcloud都支持Zookeeper。当然，Zookeeper是hadoop项目的基础工具；Zookeeper也可以作为分布式锁实现的重要桥梁。由此观之，Zookeeper扮演着一个很重要的角色。 重要不重要不是说出来的，你用的上，它就是重要的。我们这篇只讲安装。 首发地址：    品茗IT-同步发布 品茗IT提供在线支持：    一键快速构建Spring项目工具    一键快速构建SpringBoot项目工具    一键快速构建SpringCloud项目工具    一站式Springboot项目生成    Mysql一键生成Mybatis注解Mapper    Mysql一键生成SpringDataRest项目

一、Zookeeper简介 Zookeeper 是一个开源的分布式协调服务，目前由 Apache 进行维护。Zookeeper 可以用于实现分布式系统中常见的发布/订阅、负载均衡、命令服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。它具有以下特性： 顺序一致性 ：从一个客户端发起的事务请求，最终都会严格按照其发起顺序被应用到 Zookeeper 中； 原子性 ：所有事务请求的处理结果在整个集群中所有机器上都是一致的；不存在部分机器应用了该事务，而另一部分没有应用的情况； 单一视图 ：所有客户端看到的服务端数据模型都是一致的； 可靠性 ：一旦服务端成功应用了一个事务，则其引起的改变会一直保留，直到被另外一个事务所更改； 实时性 ：一旦一个事务被成功应用后，Zookeeper 可以保证客户端立即可以读取到这个事务变更后的最新状态的数据。 二、Zookeeper设计目标 Zookeeper 致力于为那些高吞吐的大型分布式系统提供一个高性能、高可用、且具有严格顺序访问控制能力的分布式协调服务。它具有以下四个目标： 2.1 目标一：简单的数据模型 Zookeeper 通过树形结构来存储数据，它由一系列被称为 ZNode 的数据节点组成，类似于常见的文件系统。不过和常见的文件系统不同，Zookeeper 将数据全量存储在内存中，以此来实现高吞吐，减少访问延迟。

这一节主要讲kafka 集群环境部署， kafka 基础概念介绍与强化 1）Producer：消息生产者，就是向kafkabroker发消息的客户端； 2）Consumer：消息消费者，向kafkabroker取消息的客户端； 3）Topic：可以理解为一个队列； 4）Consumer Group（CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer） 和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制 （不是真的复制，是概念上的）到所有的CG，但每个partion只会把消息发给该CG中的一 个consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现 单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需 要多次发送消息到不同的topic； 5）Broker：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker 可以容纳多个topic； 6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上， 一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息 都会被分配一个有序的id

0x00 问题描述 使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。 0x01 问题复现 1. 登录Kafka集群所在的服务器，创建一个test的topic [root@cdh1 ~]# kafka-topics --create --zookeeper 192.168.2.13:2181 --replication-factor 1 --partitions 1 --topic test 2.查看新创建的topic [root@cdh1 ~]# kafka-topics --list --zookeeper 192.168.2.13:2181 3.通过如下命令删除新建的topic [root@cdh1 ~]# kafka-topics --delete --zookeeper 192.168.2.13:2181 --topic test 此处显示“Topic test is marked for deletion” 4.尝试重新创建一个test的Topic [root@cdh1 ~]# kafka-topics --create --zookeeper 192.168.2.13:2181 -