ZooKeeper

下载地址： 百度网盘 章节目录： 1-1 摒弃千篇一律项目，选我：前后端一体化微服务网关项目试看 第2章 扫盲网关前置技术：必备网络基础【夯实基础，所向披靡！】 扫盲网关前置技术，掌握必备网络基础，以【原理插图+脑图+示例代理】相结合的方式，主 要讲解OSI七层网络协议、经典协议与数据包、tcp粘包拆包及udp、tcp、http等代码编写。 轻松领略到网络编程快感。 2-1 跬步千里 - 为什么要学习网络基础【有目的学习，事半功倍】 2-2 天下无双 - 经典协议与数据包 2-3 眉目传情 - tcpdump抓包分析三次握手和四次挥手 2-4 依依惜别-为啥time_wait需要等待2msl 2-5 节流开源 - 图解为啥需要流量控制 2-6 一人荷戟 - 如何调整网络负载 2-7 比屋连甍 - 解开粘包、拆包谜团 2-8 各行其是 - 自定义消息格式实现装包与拆包 2-9 刀枪剑戟 - udp实现原来如此简单 2-10 刀枪剑戟 - 玩转tcp服务器 2-11 刀枪剑戟-忘记关闭连接会怎么样 2-12 刀枪剑戟 - http Server与 Client【常用必学!!! 】 2-13 知其所以 - 脑图精讲http Server源码 2-14 知其所以 - 脑图精讲http Client源码 2-15 刀枪剑戟 - RoundTripper连接上下游的纽带 2-16 刀枪剑戟 -

什么是Prometheus? Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。 Prometheus的特点 · 多维度数据模型。 · 灵活的查询语言。 · 不依赖分布式存储，单个服务器节点是自主的。 · 通过基于HTTP的pull方式采集时序数据。 · 可以通过中间网关进行时序列数据推送。 · 通过服务发现或者静态配置来发现目标服务对象。 · 支持多种多样的图表和界面展示，比如Grafana等 Prometheus的组件 Prometheus生态系统由多个组件组成，它们中的一些是可选的。多数Prometheus组件是Go语言写的，这使得这些组件很容易编译和部署。 · Prometheus Server 主要负责数据采集和存储，提供PromQL查询语言的支持。 · 客户端SDK 官方提供的客户端类库有go、java、scala、python、ruby，其他还有很多第三方开发的类库，支持nodejs、php、erlang等。 · Push Gateway 支持临时性Job主动推送指标的中间网关。 · Exporter Exporter是Prometheus的一类数据采集组件的总称。它负责从目标处搜集数据，并将其转化为Prometheus支持的格式

在上一篇文章中，我们和您一起了解了 vRouter的内部结构和进程 ，今天继续Tungsten Fabric其它组件的内部探秘旅程。 作者：Tatsuya Naganawa 译者：TF编译组 - control内部 - IFMAP-SERVER弃用 在R4.0之后，不建议使用ifmap-server，当前控制节点直接从cassandra接收配置信息。 https://github.com/tungstenfabric/tf-specs/blob/master/deprecating-discovery-4.0.md 话虽如此，但是在内部，它仍然使用ifmap结构来存储vrf、interface、logical-router等的拓扑数据。 为了直接从cassandra中拾取数据，对ifmap客户端进行了一些更改，这些更改由control使用。 https://bugs.launchpad.net/juniperopenstack/+bug/1632470 最初，ifmap客户端包含很多逻辑来从ifmap-server提取数据，但是目前它仅包含一种逻辑，从cassandra获取json文件，并用该数据填充ifmap结构。 https://github.com/Juniper/contrail-controller/tree/R2002/src/ifmap/client https:/

下载地址： 百度网盘 章节目录： 1-1 摒弃千篇一律项目，选我：前后端一体化微服务网关项目试看 第2章 扫盲网关前置技术：必备网络基础【夯实基础，所向披靡！】 扫盲网关前置技术，掌握必备网络基础，以【原理插图+脑图+示例代理】相结合的方式，主 要讲解OSI七层网络协议、经典协议与数据包、tcp粘包拆包及udp、tcp、http等代码编写。 轻松领略到网络编程快感。 2-1 跬步千里 - 为什么要学习网络基础【有目的学习，事半功倍】 2-2 天下无双 - 经典协议与数据包 2-3 眉目传情 - tcpdump抓包分析三次握手和四次挥手 2-4 依依惜别-为啥time_wait需要等待2msl 2-5 节流开源 - 图解为啥需要流量控制 2-6 一人荷戟 - 如何调整网络负载 2-7 比屋连甍 - 解开粘包、拆包谜团 2-8 各行其是 - 自定义消息格式实现装包与拆包 2-9 刀枪剑戟 - udp实现原来如此简单 2-10 刀枪剑戟 - 玩转tcp服务器 2-11 刀枪剑戟-忘记关闭连接会怎么样 2-12 刀枪剑戟 - http Server与 Client【常用必学!!! 】 2-13 知其所以 - 脑图精讲http Server源码 2-14 知其所以 - 脑图精讲http Client源码 2-15 刀枪剑戟 - RoundTripper连接上下游的纽带 2-16 刀枪剑戟 -

教学视频 本文用到的源码 Kafka学习资料 链接： https://pan.baidu.com/s/1oHYCvHZ4Uanll1Bj3v-3Hw 提取码：5afq - - - 01.Kafka入门_课程介绍 02.Kafka入门_定义 03.Kafka入门_消息队列 04.Kafka入门_消费模式 05.Kafka入门_基础架构 06.Kafka入门_安装&启动&关闭 07.Kafka入门_命令行操作Topic增删查 08.Kafka入门_命令行控制台生产者消费者测试 09.Kafka入门_数据日志分离 10.Kafka入门_回顾 11.Kafka高级_工作流程 12.Kafka高级_文件存储 13.Kafka高级_生产者分区策略 14.Kafka高级_生产者ISR 15.Kafka高级_生产者ACk机制 16.Kafka高级_数据一致性问题 17.Kafka高级_ExactlyOnce 18.Kafka高级_生产者总结 19.Kafka高级_消费者分区分配策略 20.Kafka高级_消费者offset的存储 21.Kafka高级_消费者组案例 22.Kafka高级_高效读写&ZK作用 23.Kafka高级_Ranger分区再分析 24.Kafka高级_事务 25.Kafka高级_API生产者流程 26.Kafka高级_异步发送API普通生产者 27.Kafka高级_回顾 28

文章目录 一、前言 二、 RocketMQ简介 2.1 RocketMQ是阿里的开源消息中间件，现为Apache顶级开源项目 2.2 RocketMQ处理高并发做了两件事情 2.3 RocketMQ：优点 + 缺点 + 业务用途(可以作为一个面试问题) 2.4 RocketMQ项目结构 三、RocketMQ面试知识 3.1 Rocket的分布式架构（高并发、高效率、高可用的保证） 3.2 详细四个部分 3.2.1 第一，NameServer 3.2.2 第二，Producer 3.2.3 第三，Broker 3.2.4 第四，Consumer 四、RocketMQ消息领域模型 五、其他问题 六、面试金手指 七、小结 一、前言 二、 RocketMQ简介 2.1 RocketMQ是阿里的开源消息中间件，现为Apache顶级开源项目 RocketMQ是一个纯Java、分布式、队列模型的开源消息中间件，前身是MetaQ，是阿里参考Kafka特点研发的一个队列模型的消息中间件（RocketMQ是阿里开源其自研的第三代分布式消息中间件），后开源给apache基金会成为了apache的顶级开源项目，具有高性能、高可靠、高实时、分布式特点。 RocketMQ英文直译：Rocket火箭、MQ message queue 消息队列 Apache基金会中的342个项目中，暂时还只有Kylin

前言 本文致力于从架构原理、集群部署、性能优化与使用技巧等方面，阐述在如何基于HBase构建容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统 。 一、架构原理 1.1 基本架构 从上层往下可以看到HBase架构中的角色分配为： Client——>Zookeeper——>HMaster——>RegionServer——>HDFS Client Client是执行查询、写入等对HBase表数据进行增删改查的 使用方 ，可以是使用HBase Client API编写的程序， 也可以是其他开发好的HBase客户端应用。 Zookeeper Zookeeper同HDFS一样， HBase使用Zookeeper作为集群协调与管理系统 。 在HBase中其主要的功能与职责为： 存储整个集群 HMaster 与 RegionServer 的运行状态 实现 HMaster的故障恢复 与 自动切换 为Client提供 元数据表 的 存储信息 HMaster、RegionServer启动之后，将会在Zookeeper上注册并创建节点（ /hbasae/master 与 /hbase/rs/* ），同时 Zookeeper 通过 Heartbeat的心跳机制 来 维护与监控节点状态 ，一旦节点 丢失心跳 ，则认为 该节点宕机 或者下线，将 清除该 节点 在Zookeeper中的注册信息。

我们了解了2PC和3PC之后，我们可以发现，无论是二阶段提交还是三阶段提交都无法彻底解决分布式的一致性问题以及无法解决太过保守及容错性不好。Google Chubby的作者Mike Burrows说过，世上只有一种一致性算法，那就是Paxos，所有其他一致性算法都是Paxos算法的不完整版。Paxos算法是公认的晦涩，很难可能能将清楚，但是工程上也很难实现，所以有很多Paxos算法的工程实现，如Chubby， Raft，ZAB，微信的PhxPaxos等。这一篇会介绍这个公认为难于理解但是行之有效的Paxos算法。Paxos算法是莱斯利·兰伯特(Leslie Lamport)1990年提出的一种基于消息传递的一致性算法，它曾就此发表了《The Part-Time Parliament》，《Paxos Made Simple》，由于采用故事的方式来解释此算法，感觉还是很难理解。 Paxos算法产生的背景 Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一，其解决的问题就是在分布式系统中如何就某个值（决议）达成一致。 面试的时候：不要把这个Paxos算法达到的目的和分布式事务联系起来，而是针对Zookeeper这样的master-slave集群对某个决议达成一致，也就是副本之间写或者leader选举达成一致

目录 为什么需要消息队列 1.异步 ：一个下单流程，你需要扣积分，扣优惠卷，发短信等，有些耗时又不需要立即处理的事，可以丢到队列里异步处理。 2.削峰 ：按平常的流量，服务器刚好可以正常负载。偶尔推出一个优惠活动时，请求量极速上升。由于服务器 Redis，MySQL 承受能力不一样，如果请求全部接收，服务器负载不了会导致宕机。加机器嘛，需要去调整配置，活动结束后用不到了，即麻烦又浪费。这时可以将请求放到队列里，按照服务器的能力去消费。 3.解耦 ：一个订单流程，需要扣积分，优惠券，发短信等调用多个接口，出现问题时不好排查。像发短信有很多地方需要用到， 如果哪天修改了短信接口参数，用到的地方都得修改。这时可以将要发送的内容放到队列里，起一个服务去消费， 统一发送短信。 高吞吐、高可用 MQ 对比分析 看了几个招聘网站，提到较多的消息队列有：RabbitMQ、RocketMQ、Kafka 以及 Redis 的消息队列和发布订阅模式。 Redis 队列是用 List 数据结构模拟的，指定一端 Push，另一端 Pop，一条消息只能被一个程序所消费。如果要一对多消费的，可以用 Redis 的发布订阅模式。Redis 发布订阅是实时消费的，服务端不会保存生产的消息，也不会记录客户端消费到哪一条。在消费的时候如果客户端宕机了，消息就会丢失。这时就需要用到高级的消息队列，如 RocketMQ

日志采集项目（二）Etcd的使用 ETCD 介绍 概念： 高可用的分布式key-value存储，实现配置共享和服务发现 类似项目： zookeeper和consul 开发语言： Go 接口： 提供restful的http接口，使用简单 实现算法： 基于raft算法的强一致性，高可用的服务存储目录 ETCD的应用场景 服务发现和注册 配置中心 分布式锁 master选举 ETCD环境搭建 下载地址： https://github.com/etcd-io/etcd/releases/download/v3.4.7/etcd-v3.4.7-linux-amd64.tar.gz 启动方式： bin/etcd 可以直接启动 [root@centos7-node1 etcd]# nohup ./etcd --listen-client-urls http://0.0.0.0:2379 --advertise-client-urls http://0.0.0.0:2379 --listen-peer-urls http://0.0.0.0:2380 --initial-advertise-peer-urls http://0.0.0.0:2380 & #启动etcd etcdctl使用 [root@centos7-node1 ~]# cd /opt/application/etcd/ [root