节点服务器

目录： （一）了解什么是共享存储及共享存储的必要性 （二）配置iSCSI服务器端 （三）配置iSCSI客户端 iSCSI（Internet Small Computer System Interface），Internet小型计算机系统接口，又称为IP-SAN，是一种基于因特网及SCSI-3协议下的存储技术，由IETF提出，提出，并于2003年2月11如成为正式的标准。与传统的SCSI技术比较起来，iSCSI技术有以下三个革命性的变化：1.把原来只用于本机的SCSI协议透过TCP/IP网络发送，使连接距离可作无限的地域延伸；2.连接的服务器数量无限（原来的SCSI-3的上限是15）；3.由于是服务器架构，因此也可以实现在线扩容以至动态部署。 （一）了解什么是共享存储及共享存储的必要性 (1.1)现在我们想要搭建一个集群，在我们的集群中有节点node1和节点node2，我们搭建的是高可用的集群，所以如果当node1节点出现问题的时候，会快速的切换到由node2节点提供服务。此时我们遇到的问题是如何保证node1节点和node2节点数据同步且保持一致性。我们的解决方案是配置共享存储，例如我们配置一个NFS服务器，node1节点和node2节点都挂载到NFS服务器提供的目录中，用户正常是使用node1节点访问nfs服务器中的数据，当node1节点宕机时

常见的Web集群调度器 目前常见的Web集群调度器分为软件和硬件，软件通常使用开源的LVS、Haproxy、Nginx，硬件一般使用比较多的时F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等 Haproxy应用分析 LVS在企业应用中抗负载能力强，但存在不足 LVS不支持正则处理，不能实现动静分离 对于大型网站，LVS的实施配置复杂，维护成本相对较高 Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件 特别适用于负载特别大的Web站点 运行在当前的硬件上可支持数以万计的并发连接请求 Haproxy调度算法原理 Haproxy支持多种调度算法，最常用的有三种 RR (Round Robin) RR算法是最简单最常用的一种算法，即轮询调度 理解举例 有三个节点A、B、C,第一个用户访问会被指派到节点A，第二个用户访问会被指派到节点B，第三个用户访问会被指派到节点 第四个用户访问继续指派到节点A,轮询分配访问请求实现负载均衡效果 LC (Least Connections) LC算法即最小连接数算法，根据后端的节点连接数大小动态分配前端请求 理解举例 有三个节点A、B、C,各节点的连接数分别为A:4、B:5、 C:6, 此时如果有第一个用户连接请求，会被指派到A上,连接数变为A:5、B:5、 C:6 第二个用户请求会继续分配到A上，连接数变为A:6

参考地址： https://www.cnblogs.com/ultranms/p/9585191.html 在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. 这大概描述了Zookeeper主要可以干哪些事情：配置管理，名字服务，提供分布式同步以及集群管理。那这些服务又到底是什么呢？我们为什么需要这样的服务？我们又为什么要使用Zookeeper来实现呢，使用Zookeeper有什么优势？接下来我会挨个介绍这些到底是什么，以及有哪些开源系统中使用了。 配置管理 在我们的应用中除了代码外，还有一些就是各种配置。比如数据库连接等。一般我们都是使用配置文件的方式，在代码中引入这些配置文件。但是当我们只有一种配置，只有一台服务器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。这个时候往往需要寻找一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更

前言 文本已收录至我的GitHub仓库，欢迎Star：https://github.com/bin392328206/six-finger 种一棵树最好的时间是十年前，其次是现在 我知道很多人不玩 qq 了,但是怀旧一下,欢迎加入六脉神剑Java菜鸟学习群，群聊号码： 549684836 鼓励大家在技术的路上写博客 絮叨 半步神游，神游之下，天下无敌。一梦一游 便是天下。 Redis前面几篇的文章链接： 🔥从零开始学Redis之金刚凡境 🔥从零开始学Redis之自在地境 🔥从零开始学Redis之逍遥天境 上一篇的逍遥天境 讲的是Redis的内存淘汰策略 和持久化方式。那这半步神游就是带你们遨游Redis的主从HA，哨兵，和Lua脚本 Redis主从和哨兵模式 Redis 主从搭建（有兴趣的小伙伴自己用虚拟机搭一个玩玩） 1、环境说明 主机名称 IP地址 redis版本和角色说明 redis-master 192.168.56.11 redis 5.0.3（主） redis-slave01 192.168.56.12 redis 5.0.3（从） redis-slave02 192.168.56.13 redis 5.0.3（从） 2、修改主从的redis配置文件 [root@redis-master ~]# grep -Ev "^$|#" /usr/local/redis

博文目录 一、Haproxy概述 1、HTTP请求 2、负载均衡常用调度算法 3、常见的Web群集调度器 二、Haproxy配置项介绍 1、global配置项通常有下面配置参数： 2、defaults配置项配置默认参数，一般会被应用组件继承，如果在应用组件中没有特别的声明，将安装默认配置参数： 3、listen配置项一般配置应用模块参数： 三、Haproxy的参数优化 一、Haproxy概述 Haproxy是目前比较流行的一种群集调度工具，同类群集调度工具有很多，如LVS和Nginx。相比较而言，LVS性能最好，但是搭建相对复杂；Nginx的upstream模块支持群集功能，但是对群集节点健康检查功能不强，性能没有Haproxy好。Haproxy官方网站是 http://www.haproxy.org/ 。 1、HTTP请求 通过URL访问网站使用的协议是HTTP协议，此类请求一般称为HTTP请求。HTTP请求的方式分为GET方式和POST方式。 当使用浏览器访问某一个URL，会根据请求URL返回状态码，通常正常的状态码为2 X X、3 X X（如200、301），如果出现异常会返回4 X X、5 X X（如400、500）。例如：访问http://www.test.com/a.php?ld=123 ，就是一个GET请求，如果访问正常，会从服务器的日志中获取200状态码

LVS负载均衡群集 理解负载均衡群集的原理 掌握LVS-NAT的部署 企业群集应用概述 群集的含义： 1.Cluster,集群、群集 2.由多台主机构成，但对外只表现为一个整体 在互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器力不从心 解决方法： 1.使用价格昂贵的小型机、大型机 2.使用普通服务器构建服务群集 企业群集分类 根据群集所针对的目标差异，可分为三种类型： 1.负载均衡群集（轮询，最小连接的加权重） 2.高可用群集（访问的速度，可靠性） 3.高性能运算群集（并发处理任务） 负载均衡群集(Load Balance Cluster)： 1.以提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、负载(LB) 的整体性能 2.LB的负载分配依赖于主节点的分流算法 高可用群集(High Availability Cluster)： 1.以提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA) 的容错效果 2.HA的工作方式包括双工和主从两种模式 高性能运算群集(High Performance Computer Cluster)： 1.以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算(HPC)能力 2

参考: Zookeeper面试题 参考: zookeeper数据同步 参考: 如果有人问你ZooKeeper是什么，就把这篇文章发给他 参考: 理解zookeeper选举机制 参考: 【zookeeper】事件 watch 机制 原理 参考: ZooKeeper Watch机制 参考: 利用Zookeeper实现 - 分布式锁 文章目录 1.是什么 2.特性 1.读写请求处理 2.全局有序性 3.通知机制 3.节点类型 4.集群角色 1.Leader 2.Follower 3.Observer 5.工作原理 1.ZAB协议 1.恢复模式（选主）-leader选举 2.广播模式（同步） 2.Server工作状态 3.原子广播 5.watch机制 1.概述 2.特性 6.宕机处理 7.实际应用 1.命名服务 2.配置管理 3.集群管理 4.队列管理 5.数据复制 6.分布式锁 1.大致思想 2.实现排他锁 3.实现共享锁 4.羊群效应与共享锁改进 5.优点 6.缺点 1.是什么 ZooKeeper是一个分布式的，开放源码的 分布式应用程序协调服务 ，是 集群的管理者 ， 监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作 。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 Zookeeper提供一个多层级的节点命名空间（节点称为znode）。与文件系统不同的是

高级操作 2.1. 聚合 aggregate 2.1.1. $group 2.1.2. $match 2.1.3. $project 2.1.4. $sort 2.1.5. l i m i t 、 limit、 l i m i t 、 skip 2.1.6. $unwind 2.2. 安全 2.3. 复制（副本集） 2.4. 备份与恢复 2.5. 与python交互 2.6. 总结 高级操作 讲解关于mongodb的高级操作，包括聚合、主从复制、分片、备份与恢复、MR 完成python与mongodb的交互 聚合 aggregate 聚合(aggregate)主要用于计算数据，类似sql中的sum()、avg() 语法 db.集合名称.aggregate([{管道:{表达式}}]) 管道 管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的输入 ps ajx | grep mongo 在mongodb中，管道具有同样的作用，文档处理完毕后，通过管道进行下一次处理 常用管道 $group：将集合中的文档分组，可用于统计结果 $match：过滤数据，只输出符合条件的文档 $project：修改输入文档的结构，如重命名、增加、删除字段、创建计算结果 $sort：将输入文档排序后输出 $limit：限制聚合管道返回的文档数 $skip：跳过指定数量的文档

絮叨 半步神游，神游之下，天下无敌。一梦一游 便是天下。 Redis前面几篇的文章链接： 从零开始学Redis之金刚凡境 从零开始学Redis之自在地境 从零开始学Redis之逍遥天境 上一篇的逍遥天境 讲的是Redis的内存淘汰策略 和持久化方式。那这半步神游就是带你们遨游Redis的主从HA，哨兵，和Lua脚本 Redis主从和哨兵模式 Redis 主从搭建（有兴趣的小伙伴自己用虚拟机搭一个玩玩） 1、环境说明 主机名称 IP地址 redis版本和角色说明 redis-master 192.168.56.11 redis 5.0.3（主） redis-slave01 192.168.56.12 redis 5.0.3（从） redis-slave02 192.168.56.13 redis 5.0.3（从） 2、修改主从的redis配置文件 [root@redis-master ~]# grep -Ev "^$|#" /usr/local/redis/redis.conf bind 192.168.56.11 protected-mode yes port 6379 daemonize yes pidfile /var/run/redis_6379.pid logfile "/var/log/redis.log" dir /var/redis/ [root@redis

1、Zookeeper基本知识 1.1、ZooKeeper集群搭建 Zookeeper 集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台servers组成。这是因为为了保证Leader选举（基于Paxos算法的实现）能得到多数的支持，所以ZooKeeper集群的数量一般为奇数。 Zookeeper运行需要java环境，所以需要提前安装jdk.对于安装leader+follower模式的集群，大致过程如下： 配置主机名到IP地址映射配置 修改ZooKeeper配置文件费 远程复制分发安装文件 设置myid 启动ZooKeeper集群 如果要想使用Observer模式，可在对应节点的配置文件添加如下配置： peerType=observer 其次，必须在配置文件指定哪些节点被指定为Observer，如： server.1:node-1:2181:3181:observer 1.2、ZooKeeper概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。 ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以到达基于数据的集群管理。 1.3、ZooKeeper特性 1