集群服务器

单节点集群 多节点集群 注意node通过连接loadbalancer 转发到mateter 的apiserver来进行运作的 集群规划： 角色 ip 组件 K8S-master1 192.168.0.101 kube-apiserver kube-controller-manager kube-scheduleretcd K8S-master2 192.168.0.102 kube-apiserver kube-controller-manager kube-scheduleretcd K8S-node1 192.168.0.103 kubelet kube-proxy docker etcd K8S-node2 192.168.0.104 kubelet kube-proxy docker etcd K8S-load-balancer 192.168.0.106(vip）实际IP105 Nginx L4 1,系统初始化 ##关闭防火墙： systemctl stop firewalld systemctl disable firewalld ##关闭selinux： setenforce 0 ## 临时 sed -i 's/enforcing/disabled/' /etc/selinux/config ## 永久 ##关闭swap： swapoff -a ## 临时 vim

概述 接上一篇 Docker实战之MySQL主从复制 , 这里是Docker实战系列的第二篇，主要进行Redis-Cluster集群环境的快速搭建。Redis作为基于键值对的NoSQL数据库，具有高性能、丰富的数据结构、持久化、高可用、分布式等特性，同时Redis本身非常稳定，已经得到业界的广泛认可和使用。 在Redis中，集群的解决方案有三种 主从复制 哨兵机制 Cluster Redis Cluster是Redis的分布式解决方案，在 3.0 版本正式推出。 集群方案的对比 1. 主从复制 同Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，读写分离。一个Master可以有多个Slaves。 优点 数据备份 读写分离，提高服务器性能 缺点 不能自动故障恢复,RedisHA系统（需要开发） 无法实现动态扩容 2. 哨兵机制 Redis Sentinel是社区版本推出的原生 高可用 解决方案，其部署架构主要包括两部分：Redis Sentinel集群和Redis数据集群。 其中Redis Sentinel集群是由若干Sentinel节点组成的分布式集群，可以实现故障发现、故障自动转移、配置中心和客户端通知。Redis Sentinel的节点数量要满足2n+1（n>=1）的奇数个。 优点

转载 https://segmentfault.com/a/1190000019153491 java zookeeper 更新于 2019-10-15 约 9 分钟 前言 同道们，好久不见，上一章中，我主要讲了Zookeeper的一些基础的知识点。数据模型 + 原语集 + Watches机制。本章内容主要讲的是集群搭建相关的知识。 本篇的内容主要包含以下几点： Zookeeper 运行模式 Zookeeper 搭建 一、Zookeeper 运行模式 Zookeeper 有两种运行模式，单点模式和集群模式。 单点模式（standalone mode）- Zookeeper 只运行在单个服务器上，常用于开发测试阶段，这种模式比较简单，但是不能保证Zookeeper服务的<font color= 'red'>高可用性</font>和<font color= 'red'>恢复性</font>。 集群模式（replicated mode）- 英文原文这种模式叫做“复制模式”；这个模式下，Zookeeper运行于一个集群上，适合生产环境。 同一个集群下的server节点被称为 quorum ，翻译过来就是“一个正式会议的法定人数”，如果你看完下一章介绍的ZAB协议的两种模式之后，应该会觉得这个比喻实际上很形象。 NOTE: 在集群模式下，最少需要三个server节点

搭建 Kubernetes 高可用集群 https://www.cnblogs.com/dudu/p/12168433.html挺好的资料。 使用 3 台阿里云服务器（k8s-master0, k8s-master1, k8s-master2）作为 master 节点搭建高可用集群，负载均衡用的是阿里云 SLB ，需要注意的是由于阿里云负载均衡不支持后端服务器自己转发给自己，所以 master 节点的 control-plane-endpoint 不能走负载均衡。 先在 k8s-master0 上安装好 k8s ，安装步骤见 Ubuntu 安装 k8s 三驾马车 kubelet kubeadm kubectl ，然后打快照创建阿里云 ecs 镜像。 确定 control-plane-endpoint 主机名，这里假设是 k8s-api ，在 k8s-master0 的 hosts 中添加 k8s-api 的解析。 10.0.1.81 k8s-api 在 k8s-master0 上创建集群， kubeadm init \ --control-plane-endpoint "k8s-api:6443" --upload-certs \ --image-repository registry.aliyuncs.com/google_containers \ --pod-network

写在前面 在当今信息爆炸的时代，单台计算机已经无法负载日益增长的业务发展，虽然也有性能强大的超级计算机，但是这种高端机不仅费用高昂，也不灵活，一般的企业是负担不起的，而且也损失不起，那么将一群廉价的普通计算机组合起来，让它们协同工作就像一台超级计算机一样地对外提供服务，就成了顺其自然的设想，但是这又增加了软件的复杂度，要求开发的软件需要具备横向扩展能力，比如：Kafka、Elasticsearch、Zookeeper等就属于这一类软件，它们天生都是"分布式的"，即可以通过添加机器节点来共同地分摊数据存储和负载压力。 为什么需要集群？ 分布在不同区域的计算机，彼此之间通过网络建立通信，相互协作作为一个整体对外提供服务，这就是集群，如果我们开发的系统具备这样的能力，那么理论上就具备无限横向扩容的能力，系统的吞吐量就会随着机器数增加而增长，那么未来当系统出现高负载的时候，就可以很好地应对这种情况。 为什么CAP不能同时满足？ 通过上面分析，我们知道实现集群，其实就是采用多台计算机来共同承担和负载系统压力，那么就涉及到多台计算机需要参与一起处理数据，为了保证可用性，一般都会在每台计算机上备份一份数据，这样只要有一个节点保持同步状态，那么数据就不会丢失，比如kafka分区多副本、Elasticsearch的副本分片，由于同一数据块及其副本位于不用的机器，随着时间的推移，再加上不可靠的网络通信

J2EE集群不太了解的人首先可以看看附件里面的《解开J2EE集群的神秘面纱》， 讲的挺好的。 J2EE的服务器集群主要的就是 负载均衡 和 失败转移 这些。 负载均衡这个话题都烂大街了，随处可以找到相关的帖子或博文，我也就不谈了。 但是这些帖子中大部分都只谈了负载均衡，顶多再说一下 Tomcat 的 HttpSession 复制（失败转移的一种解决方案吧）。更有甚者，直接决定“集群中服务器节点宕机丢失的部分 HttpSession 不碍事”。。。 我的感觉就是， 像 Tomcat 的 HttpSession 交叉复制，如果集群中服务器过多对性能的影响肯定非常之大。 像 JBoss、WebLogic 等的服务器链式 HttpSession 复制，如果一个服务器节点宕机，此节点的下一个服务器节点就得负责两个服务器的用户请求。是不是有点怕人奥。 至于“集群中某个节点宕机就宕机， HttpSession 丢失无所谓”这样的观点也是挺匪夷所思的，毕竟后台中2000个 HttpSession 同时丢失的后果不是那么容易承担的。 为了解决上面这些问题，我自己琢磨了一套方案，感觉挺不错的（不知道网上是不是有类似“轮子”，反正我是没有搜索到）。 就发出来共享一下，嘿嘿 我想到的是 缓存服务器和Web服务器双向备份HttpSession ，这个。。。。咱语文挺烂的，表达的不好。

博文大纲： 一、PXC介绍 二、部署PXC集群 一、PXC介绍 参考： Percona官方 PXC是一个开源的MySQL高可用解决方案，它将Percona Server和Xtrabackup与Galera库集成，以实现同步多主复制。基于Galera的高可用方案主要有MariaDB Galera Cluster（MGC）和Percona XtraDB Cluster（PXC），目前PXC架构在生产环境中用的更多而且更成熟些，PXC相比那些传统的基于主从模式的集群架构MHA和双主，PXC最突出的特点就是解决了诟病已久的复制延迟问题，基本上可以达到实时同步。而且节点与节点之间，它们互相的关系是对等的。本身Galera Cluster也是一种多主架构。PXC是在存储引擎层实现的同步复制，而非异步复制，所以其数据的一致性是相当高的。 其工作原理如下： 要搭建PXC架构至少需要三台MySQL实例来组成一个集群，三个实例之间不是主从模式，而是各自为主，所以三者之间的关系是对等的，不分主从，这也叫multi-master架构，客户端读写时，连接哪个实例都是一样的，读取到的数据是相同的，写入任意一个实例后，集群会将自己新写入的数据同步到其他实例上，这种架构不共享任何数据，是一种高冗余的MySQL集群架构。 1、PXC优缺点 优点： 实现了MySQL集群的高可用性和数据的强一致性。

集群介绍： Galera是一个MySQL(也支持MariaDB，Percona)的同步多主集群软件，目前只支持InnoDB引擎。 主要功能： 同步复制 真正的multi-master，即所有节点可以同时读写数据库 自动的节点成员控制，失效节点自动被清除 新节点加入数据自动复制 真正的并行复制，行级 用户可以直接连接集群，使用感受上与MySQL完全一致 优势: 因为是多主，所以不存在Slave lag(延迟) 不存在丢失交易的情况 同时具有读和写的扩展能力 更小的客户端延迟 节点间数据是同步的,而Master/Slave模式是异步的,不同slave上的binlog可能是不同的 实现技术: Galera集群的复制功能基于Galera library实现,为了让MySQL与Galera library通讯，特别针对MySQL开发了wsrep API。 实践操作：负载均衡集群搭建 1 .下载mariadb集群 wget http://mirrors.opencas.cn/mariadb/mariadb-galera-10.0.17/bintar-linux-x86_64/mariadb-galera-10.0.17-linux-x86_64.tar.gz 2. 添加mariadb用户和组 groupadd mariadb useradd -g mariadb mariadb 3.

—更新2017年3月1日19:38:49—- 以下是Nat 网络设置，如果你想要同一局域网内的主机可以远程连接上你的集群环境，建议使用桥接模式，具体原因可看文末三种网络连接模式的区别。 由于之前设置集群的网络连接方式是NAT ,而IP是动态的。我采用的是自己的电脑搭建的环境，换了个连接网络的地方，ip就变了。因此决定设置下静态IP。 首先检查一下当前虚拟机的网卡配置是否NAT模式。右击你的虚拟机，选择“设置”，查看你的网络链接模式是否是NAT模式。 虚拟机配置完成后，接着配置虚拟网卡vmware8。首先查看你的电脑下的cmd指令ipconfig下的vmnet8的ip地址是多少： vmnet8的ip要与虚拟机的网关IP在同一网段下。 接着，进入虚拟网络编辑器： 你会看到下面这幅图，选择VMnet8(我们需要的是NAT，所以需要配置这个网卡)。 点击NAT设置，可以看到一些有用的信息： 需要设置一下，这里子网掩码为255.255.255.0；网关为192.168.75.2。同时令子网ip为192.168.75.0。点击确定即可。 设置完虚拟网卡，虚拟网卡还不能访问外部的网络，如果是NAT内部集群，其实可以不用连外网的。但是如果你的机器有需要上网，则需要将虚拟网卡放入共享网络列表中去。 打开你的网卡配置。如果你是有线或者宽带直连，请将你用来上网的网卡共享给虚拟网卡。无线的，选无线网卡

Spark 0.9 1 部署Spark集群 这种是运维人员在生产环境下，搭建起一个Spark集群。 （可选）创建新用户 Spark 一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。 创建一个新的group, $ sudo groupadd spark 创建一个新的用户，并加入group, $ sudo useradd -g spark spark 给新用户设置密码， $ sudo passwd spark 在每台机器上创建 spark 新用户，并配置好SSH无密码，参考我的另一篇博客， SSH无密码登录的配置 假设有三台机器，hostname分别是 master, worker01, worker02。 1.1 下载 Spark 预编译好的二进制包 如果你需要用到HDFS，则要针对Hadoop 1.x 和Hadoop 2.x 选择不同的版本。这里我选择 Hadoop 2.x 版。 spark@master $ wget http://d3kbcqa49mib13.cloudfront.net/spark-0.9.0-incubating-bin-hadoop1.tgz spark@master $ tar zxf spark-0.9.0-incubating-bin-hadoop1