集群服务器

Redis集群 集群就是 很多服务器组成的一个网络 指的是将多台服务器集中在一起,实现同一业务 集群的特性 可扩展性 动态添加服务器 高可用性 集群提供的从一个出错的服务实体恢复到另一个服务实体的功能增强了应用的可用性当访问的服务器挂了时,集群要有能力找可以正常使用额服务器继续提供服务器。 能力 负载均衡 负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源 错误恢复 当访问的服务器挂了时，集群要有能力找可以正常使用额服务器继续提供服务器 心跳检查 判断是否故障,每过几秒访问,时间段频率 分布式是指将不同的业务分布在不同的地方 多模块,拆分业务 分布式 分布式集群 大型企业架构，有钱就搞 集群环境搭建 要求 Redis 3.2 · 需要6台redis服务器,搭建伪集群 · 需要运行在不同的端口6379-6384 · 安装Ruby语言运行环境 配置 打开每个Redis目录下的文件 redis.windows.conf，修改里面的端口号分别对应相对应的文件夹名：6379、6380、6381、6382、6383、6384 cluster-enabled yes cluster-config-file nodes-6379.conf cluster-node-timeout 15000 appendonly yes 贴心的我已经全部给大家配置好了,里面还有Ruby的安装包 下载地址

1、消息中间件 1、简介 消息中间件也可以称消息队列，是指用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息队列模型，可以在分布式环境下扩展进程的通信。 当下主流的消息中间件有RabbitMQ、Kafka、ActiveMQ、RocketMQ等。其能在不同平台之间进行通信，常用来屏蔽各种平台协议之间的特性，实现应用程序之间的协同。优点在于能够在客户端和服务器之间进行同步和异步的连接，并且在任何时刻都可以将消息进行传送和转发，是分布式系统中非常重要的组件，主要用来解决应用耦合、异步通信、流量削峰等问题。 2、作用 1、消息中间件主要作用 解耦 冗余(存储) 扩展性 削峰 可恢复性 顺序保证 缓冲 异步通信 2、消息中间件的两种模式 1、P2P模式 P2P模式包含三个角色：消息队列（Queue）、发送者(Sender)、接收者(Receiver)。每个消息都被发送到一个特定的队列，接收者从队列中获取消息。队列保留着消息，直到它们被消费或超时。 P2P的特点： 每个消息只有一个消费者（Consumer），即一旦被消费，消息就不再在消息队列中 发送者和接收者之间在时间上没有依赖性，也就是说当发送者发送了消息之后，不管接收者有没有正在运行它不会影响到消息被发送到队列 接收者在成功接收消息之后需向队列应答成功

一、Kafka 概述 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于 大数据实时处理领域。 二、消息队列的两种模式 （1）点对点模式（一对一 ，消费者主动拉取数据，消息收到后消息清除） 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。 Queue 支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。 （2）发布/订阅模式（一对多 ，消费者消费数据之后不会清除消息） 消息生产者（发布）将消息发布到 topic 中，同时有多个消息消费者（订阅）消费该消 息。和点对点方式不同，发布到 topic 的消息会被所有订阅者消费。 三、kafka下载和环境准备 kafaka下载地址： http://kafka.apache.org/downloads.html 选择自己需要对应的scala版本进行下载。 3.1 集群规划 准备三台虚拟机这三台虚拟机也完成了zookeeper的集群规划，没有完成的可以参考这一篇 Zookeeper集群部署 。 四、配置环境 4.1 解压安装包，并修改解压后的文件名称 tar - zxvf kafka_2 . 12 - 2.3 .0 . tgz mv kafka_2 . 12 -

博文大纲： 一、MQ简介 二、什么是RabbitMQ? 三、安装RabbitMQ 四、部署Rabbitmq集群 1）部署环境 2）安装rabbitmq服务 3）配置host文件，并将上述两个节点加入集群 4）rabbitmq01配置群集并将rabbitmq02、03加入01群集 5）访问web界面 6）web页面添加vhost 五、单台节点加入或退出群集 1）单节点加入集群 2）单节点退出集群 一、MQ简介 MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。 二、什么是RabbitMQ? RabbitMQ是由Erlang语言编写的实现了高级消息队列协议（AMQP）的开源消息代理软件（也可称为 面向消息的中间件）。支持Windows、Linux/Unix、MAC OS X操作系统和包括JAVA在内的多种编程语言。 AMQP，即Advanced Message Queuing Protocol，一个提供统一消息服务的应用层标准高级消息队列协议

一、LVS简介 LVS全称Linux Virtual Server，即Linux虚拟服务器。它是我国章文嵩博士的一个开源项目。在linux内核2.6中，已经成为了内核的一部分，在此之前的内核需要重新编译内核。 主要用于服务器的负载均衡，它工作在网络4层，开源实现高性能，搞可用的服务器集群技术。它廉价，可把许多低性能的服务器组合在一起形成一个超级服务器。它易用，配置简单，且有多种负载均衡方法。它稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果。另外扩展性非常好。 针对高伸缩、高可用网络服务的需求，我们给出了基于IP层和基于内容请求分发的负载平衡调度解决方法，并在linux内核中实现了这些方法，将一组服务器构成一个实现可伸缩的、高可用网络服务的虚拟服务器。 虚拟服务器的体系结构如上图所示，一组服务器通过高速的局域网或地理分布的广域网相互连接，在它们的前端有一个负载均衡调度器（Load Balancer）。负载均衡调度器能无缝地将网络请求调度到真实服务器上，从而使得服务器集群的结构对客户是透明的，客户访问集群系统提供的网络服务就像访问一台高性能、高可用的服务器一样。由于我们的负载调度技术是在linux内核中实现的，我们称之为linux虚拟服务器。 项目目标：使用集群技术和Linux操作系统实现一个高性能、高可用的服务器，它具有很好的伸缩性、可靠性和可管理性。 目前

Kafka集群升级（2.11-0.10.1.0）升级（2.11-0.10.2.2） 官网升级说明： 一、系统环境 Zookeeper集群： 172.16.2.10 172.16.2.11 172.16.2.12 Kafka集群： 172.16.2.10 172.16.2.11 172.16.2.12 现Kafka版本： 2.11-0.10.1.0，安装目录：/usr/local/kafka 计划升级至版本：2.11-0.10.2.2，安装目录：/usr/local/kafka_2.11-0.10.2.2 二、创建测试topic 1.创建测试topic /usr/local/kafka/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181 --create --replication-factor 3 --partitions 2 --topic first /usr/local/kafka/bin/kafka-topics.sh --zookeeper 172.16.2.10:2181,172.16.2.11:2181,172.16.2.12:2181 --create --replication-factor 2 --partitions 1 --topic

当设计一个分布式系统或微服务架构系统时，一般需要设计和开发一些协调服务。Apache ZooKeeper是一个分布式、开源的分布式应用协调服务，也可理解成一个为分布式应用提供一致性服务的应用程序，主要作用可简化分布式系统搭建及缩短开发周期。ZooKeeper是目前常用的开源解决方案之一。 本文主要针对ZooKeeper的安装部署、应用场景、开发对接API等，作简单入门级整理介绍，方便开发人员后续深入研究。 ZooKeeper是什么？ ZooKeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题。提供基于类似于文件系统的目录节点树方式的数据存储，ZooKeeper的作用主要是用来维护和监控存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。 ZooKeeper 虽然是一个针对分布式系统的协调服务，但它本身也是一个分布式应用程序。ZooKeeper 遵循一个简单的客户端-服务器模型。 ▲ ZooKeeper 的客户端-服务器架构 ZooKeeper 有一个类似于文件系统的数据模型，由 znodes 组成。 每个 ZooKeeper 服务器还在磁盘上维护了一个事务日志，记录所有的写入请求。 在启动 ZooKeeper 服务时，集合体中的某个节点被选举为领导者；节点数量应该是奇数。 Zookeeper 从设计模式角度来看

1. Kubernetes 简介 1.1. 什么是 Kubernetes kubernetes 简称 k8s(因为k和s之间有8个字母), 是 Google 旗下的开源容器编排平台, k8s 的诞生深受 Google 内部容器编排系统 Borg 的影响, k8s 实现了如下功能 自动装箱 建构于容器之上, 基于资源依赖及其他约束条件自动完成容器部署 自我修复 支持容器故障后自动重启、节点故障后重新调度容器, 以及节点健康状态检查失败后关闭容器并重新创建等自我修复机制 水平扩展 支持通过命令或 UI 手动水平扩展, 以及基于 CPU 等资源负载率的自动水平扩展机制 服务发现和负载均衡 k8s 通过 CoreDNS 附件为系统内置了服务发现功能, 为每个 Service 配置 DNS 名称, 并允许集群内的客户端直接使用此名称发出访问请求, Service 通过 iptables 或 ipvs 内建负载均衡机制 自动发布和回滚 k8s 支持 灰度 更新应用程序或其配置信息, 在更新过程中 k8s 将会监控更新过程中应用程序的健康状态, 以确保 k8s 不会在同一时刻杀掉所有实例, 而此过程中一旦有故障发生, 将会立即自动执行回滚操作 秘钥和配置管理 k8s 的 ConfigMap 实现了配置数据与 Docker 镜像解耦, 需要时仅对配置做出变更而无须重新构建 Docker 镜像,

1. 架构设计和环境设计 1.1. 架构设计 部署 Haproxy 为 Kubernetes 提供 Endpoint 访问入口 使用 Keepalived 将 Endpoint 入口地址设置为 Virtual IP 并通过部署多台节点的方式实现冗余 使用 kubeadm 部署高可用 Kubernetes 集群, 指定 Endpoint IP 为 Keepalived 生成的 Virtual IP 使用 prometheus 作为 Kubernetes 的集群监控系统, 使用 grafana 作为图表监控图表展示系统, 使用 alertmanager 作为报警系统 使用 jenkins + gitlab + harbor 构建 CI/CD 系统 使用单独的域名在 Kubernetes 集群内进行通信, 在内网搭建 DNS 服务用于解析域名 1.2. 环境设计 主机名 IP 角色 kube-master-01.sk8s.io-01.sk8s.io 192.168.0.201 k8s master, haprxoy + keepalived(虚拟IP: 192.168.0.250) kube-master-01.sk8s.io-02.sk8s.io 192.168.0.202 k8s master, haprxoy + keepalived(虚拟IP: 192.168.0.250)

Kafka 创建背景 Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。 活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page View）、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件，然后周期性地对这些文件进行统计分析。运营数据指的是服务器的性能数据（CPU、IO 使用率、请求时间、服务日志等等数据)。运营数据的统计方法种类繁多。 近年来，活动和运营数据处理已经成为了网站软件产品特性中一个至关重要的组成部分，这就需要一套稍微更加复杂的基础设施对其提供支持。 Kafka 简介 Kafka 是一种分布式的，基于发布 / 订阅的消息系统。 主要设计目标如下： 以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对 TB 级以上数据也能保证常数时间复杂度的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。 支持 Kafka Server 间的消息分区，及分布式消费，同时保证每个 Partition 内的消息顺序传输。