集群服务器

PXC简介 PXC是 Percona XtraDB Cluster 的缩写，是 Percona 公司出品的免费MySQL集群产品。PXC的作用是通过mysql自带的Galera集群技术，将不同的mysql实例连接起来，实现多主集群。在PXC集群中每个mysql节点都是可读可写的，也就是主从概念中的主节点，不存在只读的节点。 PXC实际上是基于Galera的面向OLTP的多主同步复制插件，PXC主要用于解决MySQL集群中数据同步强一性问题。PXC可以集群任何mysql的衍生版本，例如MariaDB和Percona Server。由于Percona Server的性能最接近于mysql企业版，性能相对于标准版的mysql有显著的提升，并且对mysql基本兼容。所以在搭建PXC集群时，通常建议基于Percona Server进行搭建。 关于数据库集群方案的选择可以参考： 浅谈数据库集群方案 PXC的特点 同步复制，事务在所有集群节点要么全部提交完成，要么全部失败 多主复制，不存在主从角色的划分，可以在任意一个节点进行读/写操作 数据同步的强一致性，所有节点的数据是实时一致的 PXC集群节点越多，数据同步的速度就越慢，所以PXC集群的规模不能太大 PXC集群数据同步的速度取决于配置最低的节点，所以PXC集群中所有节点的硬件配置尽量保持一致 PXC集群只支持InnoDB引擎

** 分布式和集群有区别吗？ ** 概念理解： 分布式：一个业务分拆多个子业务，部署在不同的服务器上 集群：同一个业务，部署在多个服务器上。 怎么理解：网上很好的例子： 小饭店原来只有一个厨师，切菜洗菜备料炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师的关系是集群。 为了让厨师专心炒菜，把菜做到极致，又请了个配菜师负责切菜，备菜，备料，厨师和配菜师的关系是分布式，一个配菜师也忙不过来了，又请了个配菜师，两个配菜师关系是集群。 单机结构 我想大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就是单机结构。 那么，单机结构有啥缺点呢？我想缺点是显而易见的，单机的处理能力毕竟是有限的，当你的业务增长到一定程度的时候，单机的硬件资源将无法满足你的业务需求。此时便出现了集群模式，往下接着看。 集群结构 集群模式在程序猿界有各种装逼解释，有的让你根本无法理解，其实就是一个很简单的玩意儿，且听我一一道来。 单机处理到达瓶颈的时候，你就把单机复制几份，这样就构成了一个“集群”。集群中每台服务器就叫做这个集群的一个“节点”，所有节点构成了一个集群。每个节点都提供相同的服务，那么这样系统的处理能力就相当于提升了好几倍

简介 openshift是基于k8s的开源容器云。 要求 系统环境：CentOS 7.5 搭建一个master节点，两个node节点 注意： openshift3 依赖docker的版本为1.13.1 openshift3.10支持的是ansible2.4.3.0以上2.8.X以下 保证各节点时间统一，可以统一向阿里云时间服务器同步 准备工作 所有节点创建工作目录：在根目录下创建家目录 mkdir /home && cd /home # 先关闭防火墙，后续为了安全再重新配置防火墙 # 查看防火墙的状态 systemctl status firewalld # 关闭防火墙 systemctl stop firewalld # 关闭防火墙的自启动 systemctl disable firewalld 配置说明 修改主机名 #master: #192.168.2.180 hostnamectl set-hostname master.example.com #node1: #192.168.2.181 hostnamectl set-hostname node1.example.com #node2: #192.168.2.182 hostnamectl set-hostname node2.example.com 域名映射 这3台主机(master,node1,node2)都需要在

ZooKeeper 是一个开源的分布式协调服务，由雅虎公司创建，是Google Chubby的开源实现，ZooKeeper的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集。 ZooKeeper 是什么 ZooKeeper是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布、数据订阅、负载均衡、命名服务、分布式协调、分布式通知、集群管理、master选举、分布式锁和分布式队列等功能。ZooKeeper可以保证如下分布式一致性特性。 （1）顺序一致性 从同一个客户端发起的请求，最终将会严格地按照其发起顺序被应ZooKeeper中去。 （2）原子性 所有事务请求的处理结果是在整个集群中所有机器上应用情况是一致的，也就是说，要么整个集群所有机器都成功应用了某一个事务，要么都没有应用，一定不会出现集群中部分机器应用了该事务，而另外一部分没有应用的情况。 （3）单一试图 无论客户端连接的是那个ZooKeeper服务器，其看到的服务端数据模型都是一致的。 （4）可靠性 一旦服务端成功地应用了一个事务，并完成对客户端的响应，那么该事务所引起的服务端状态变更将会被一直保留下来，除非有另一个事务又对其进行了变更。 （5）实时性 通常人们看到实时性的第一反应是，一旦一个事务被成功应用

今天记录下图片的分布式存储和负载均衡实现原理。 对于Web服务器而言，用户对图片信息的访问是很消耗服务器资源的。当一个网页被浏览时,Web服务器与浏览器建立连接,每个连接表示一个并发。当页面包含多个图片时,Web服务器与浏览器会产生多个连接,同时发送文字和图片以提高浏览速度。因此,页面中图片越多Web服务器受到的压力也就越大。 一般小型网站是把所有页面和图片统一存放在一个主目录下,这样的网站对系统架构、性能要求都很简单。下面是原理图 一些稍有规模的网站都保存有大量图片资源。用户在访问这些站点网页时,网页中图片信息占到页面数据流量的大部分。由于受客户端浏览器限制,无法从一台服务器上同时下载页面中所有图片信息,因此即使服务器有很高带宽,用户的访问速度还是会受到很大影响。由于图片保存在物理硬盘上,访问图片需要频繁进行I/O 操作,因此当并发用户数越来越多时,I/O操作就会成为整个系统的性能瓶颈。这个时候我们就要考虑把这些图片信息进行分布式存储了。 下面说一个适用于中等规模商务网站的图片数据分布式动态存储及负载均衡的解决方案的思路。这种思想只需增加很少的硬件成本,即可提升网站的访问速度,并且可以根据需要动态调整图片服务器的数量及图片的存储目录,确保系统具有可扩展性和伸缩性。但对于大型的网站系统来说，他们可能会有更好的技术来实现数据的分布式存储。 增加了图片服务器后,对于客户端而言

分布式和集群的区别 分布式和集群的区别 分布式是以缩短单个任务的执行时间来提高效率的，分布式是指在多个不同的服务器上部署不同的服务模块，通过远程协同工作，对外提供服务。 集群是以提高单位时间内执行的任务书来提高效率的，集群是指在多个不同的服务器上部署相同的服务模块，构成一个集群，通过负载均衡设备对外提供服务。 高并发指的是同一时间有很多个不同的用户访问系统。分布式和集群都是实现高并发的手段 来源： CSDN 作者： fw150104010012 链接： https://blog.csdn.net/fw150104010012/article/details/104055810

1. 简介 1.1. 官方网站： https://www.consul.io 1.2. Consul的功能： 服务发现：通过DNS或HTTP接口使得消费者发现服务，应用程序可以轻松找到所依赖的服务。 健康检查：防止将请发转发不健康的主机。 键值存储：可以使用分层键/值存储，比如功能标记、动态配置等。 多数据中心：开箱即用，不需要复杂的配置。这就意味着不用建立抽象的逻辑来扩展多个地区。 1.3. Consul集群介绍： -- Consul agent是Consul核心工作，分为client和server两种工作模式。默认以client模式运行，提供服务注册、健康检查、转发查询给server leader。server模式启动时使用-server选项指定，用于维护Consul集群状态、Raft协议进行选举。 -- agent必须在每个Consul节点运行，所有运行Consul agent节点构成Consul集群。 -- 官方建议Consul集群至少3或5个节点运行Consul agent server模式，client节点不限。 -- 通过join或rejoin加入集群。一旦加入，集群信息使用gossip算法同步到整个集群节点。 2. 环境 2.1. 机器列表 2.2. 版本： 3. 安装与配置 3.1. Nginx yum安装 yum -y install nginx

Serverless Kubernetes概述： 阿里云Serverless Kubernetes容器服务最新开放香港、新加坡、悉尼区域，同时全面开放2.0架构，帮助用户更加便捷、轻松地步入“以应用为中心”的全新架构。通过Serverless Kubernetes，用户50秒内可从零启动500应用容器，而无需关心底层服务器资源。 Serverless Kubernetes 2.0新架构 Serverless Kubernetes 2.0对后台架构进行了彻底升级，从之前的基于Namespace的多租户隔离，升级为租户独占k8s master，极大的增强了安全性和隔离型。每个租户拥有独立的apiserver，避免了共享Apiserver导致的租户干扰问题，同时一个集群中apiserver的安全风险也不会扩散到其他集群。 因为租户拥有完整的k8s master，所以天然支持更完整的原生kubernetes能力，包括多命名空间、CRD、RBAC等，详细对比如下： 通过CRD/RBAC的支持，我们可以在Serverless集群中部署Istio/knative/Argo/Spark/Kubeflow等多种controller，极大扩展了Serverless Kubernetes面向的应用场景，支撑更多云原生应用的Serverless化部署，充分享受Serverless带来的简单、敏捷和弹性能力

Serverless Kubernetes概述： 阿里云Serverless Kubernetes容器服务最新开放香港、新加坡、悉尼区域，同时全面开放2.0架构，帮助用户更加便捷、轻松地步入“以应用为中心”的全新架构。通过Serverless Kubernetes，用户50秒内可从零启动500应用容器，而无需关心底层服务器资源。 Serverless Kubernetes 2.0新架构 Serverless Kubernetes 2.0对后台架构进行了彻底升级，从之前的基于Namespace的多租户隔离，升级为租户独占k8s master，极大的增强了安全性和隔离型。每个租户拥有独立的apiserver，避免了共享Apiserver导致的租户干扰问题，同时一个集群中apiserver的安全风险也不会扩散到其他集群。 因为租户拥有完整的k8s master，所以天然支持更完整的原生kubernetes能力，包括多命名空间、CRD、RBAC等，详细对比如下： 通过CRD/RBAC的支持，我们可以在Serverless集群中部署Istio/knative/Argo/Spark/Kubeflow等多种controller，极大扩展了Serverless Kubernetes面向的应用场景，支撑更多云原生应用的Serverless化部署，充分享受Serverless带来的简单、敏捷和弹性能力

1，jdk安装，配置环境变量 vi /etc/profile 2，ssh免密钥（本机） ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 3，上传hadoop.tar.gz到服务器 解压tar zxvf，mv hadoop-2.6.5 /opt/sxt vi /etc/profile 4，/opt/hadoop-2.6.5/etc/hadoop *hadoop-env.sh JAVA_HOME=/usr/java/jdk1.8.0_141 REFIX/sbin (搭建hdfs集群) fxb1 slaves fxb1 fxb2 fxb3 这个配置文件是datanode所在的节点 分发部署包到其他节点 cd /opt/sxt scp -r hadoop-2.6.5 node02:/opt/sxt/ scp -r hadoop-2.6.5 node03:/opt/sxt/ hdfs namenode -format 初始化namenode start-dfs.sh 开启hdfs集群 （搭建yarn集群） yarn集群中有两个角色： 主节点：Resource Manager 1台 从节点：Node Manager N台 Resource