集群服务器

出处： https://cizixs.com/2018/08/26/what-is-istio 创作不易，在满足创作共用版权协议的基础上可以转载，但请以超链接形式注明出处。 前言 随着微服务架构的流行，服务网格技术获得了业界的广泛关注，作为实现云原生的重要积木，各大厂商也纷纷开始布局，Amazon在2019年4月份推出了App Mesh；Google、IBM、Lyft联合开发了Istio。 Istio作为下一代服务网格的整体解决方案，得到了业界的普遍认可，站在kubernetes巨人的肩膀上，极大地提升了分布式微服务应用的研发和运维效率。 2020是云原生普及的一年，如何部署、使用、运维Istio将是必须要学习的知识。 什么是 istio？ 官方对 istio 的介绍浓缩成了一句话： An open platform to connect, secure, control and observe services. 翻译过来，就是”连接、安全加固、控制和观察服务的开放平台“。开放平台就是指它本身是开源的，服务对应的是微服务，也可以粗略地理解为单个应用。中间的四个动词就是 istio 的主要功能，官方也各有一句话的说明。这里再阐释一下： 连接（Connect）：智能控制服务之间的调用流量，能够实现灰度升级、AB 测试和红黑部署等功能 安全加固（Secure）

一.集群与分布式概述 1.1什么是集群 集群就是很多服务器组成的一个网络。指的是将多台服务器集中在一起，实现同一业务 1.2为什么要集群 一台服务器不能满足开发需要的时候，需要多台服务器来支持。这个时候就需要做集群，但是集群往往伴随着分布式 1.3什么是分布式 分布式是指将不同的业务分布在不同的地方. web应用和数据库服务分开，将不同业务分布到不同集群 1.4集群优化 两大关键特性 1.可扩展性－－集群的性能不限于单一的服务实体，新的服务实体可以动态地加入到集群，从而增强集群的性能。动态添加服务器 2.高可用性－－集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中，同样的服务可以由多个服务实体提供。如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。集群提供的从一个出错的服务实体恢复到另一个服务实体的功能增强了应用的可用性 1.5分布式和集群相同点和不同点 相同点: 都是处理高并发,而且都需要多台服务器协同.一般在一个系统中同时存在分布式和集群. 不同点: 分布式中不同服务器处理是不同业务.而集群处理时同一业务. 二.集群得几种方案 2.1主从复制 优点： 支持主从复制，主机会自动将数据同步到从机，可以进行读写分离 2.2哨兵模式 当主服务器中断服务后，可以将一个从服务器升级为主服务器，以便继续提供服务，但是这个过程需要人工手动来操作。

官网文档地址： https://zookeeper.apache.org/doc/r3.5.4-beta/zookeeperOver.html 概述 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架， 它负责存储和管理大家都关心的数据， 然后接受观察者的注册， 一旦这些数据的状态发生变化， Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应 ， 从而实现集群中类似Master/Slave管理模式。 Zookeeper 是一个分布式的服务框架，主要用来 解决分布式集群中应用系统的协调和一致性问题 ，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。如：统一命名服务、状态同步服务、集群管理、分布式应用配置管理等。 它能够为分布式应用提供高性能和可靠地协调服务，使用ZooKeeper可以大大简化分布式协调服务的实现，为开发分布式应用极大地降低了成本。协同服务很难正确运行，经常出现竞争危害和死锁。ZooKeeper 的目的就是降低协同服务实现与维护的成本。 架构及原理 集群架构 Zookeeper集群是由一组Server节点组成，这一组Server节点中存在一个角色为Leader的节点

1 Redis Cluster集群 redis3.0以后推出的redis cluster 集群方案，redis cluster集群保证了高可用、高性能、高可扩展性。 1.1 redis-cluster架构图 架构细节 : (1) 所有的 redis 节点彼此互联 ( PING-PONG 机制 ), 内部使用二进制协议优化传输速度和带宽 . (2) 节点的 fail 是通过集群中超过半数的节点检测失效时才生效 . (3) 客户端与 redis 节点直连 , 不需要中间 proxy 层 . 客户端不需要连接集群所有节点 , 连接集群中任何一个可用节点即可 (4)redis-cluster 把所有的物理节点映射到 [0-16383] slot 上 ,cluster 负责维护 node<->slot<->value Redis 集群中内置了 16384 个哈希槽 ，当需要在 Redis 集群中放置一个 key-value 时， redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽， redis 会根据节点数量大致均等的将哈希槽映射到不同的节点 示例如下： 1.2 redis-cluster 投票 : 容错 最小节点数： 3 台 (1) 节点失效判断 ：集群中所有 master

1 hadoop搭建无论是伪分布式还是集群，都要关闭防火墙，关闭原因是什么？ 集群其实现在没什么安全性考虑的 因为都是内网搭建的，对外还有一个服务器的，那个服务器有防火墙，由它来访问内网集群，如果内网内开启防火墙，内网集群通讯会出现很多问题。 在部署hadoop时，好多资料上都写了要关闭防火墙，如果不关闭可能出现节点间无法通信的情况，于是大家也都这样做了，因此集群通信正常。当然集群一般是处于局域网中的，因此关闭防火墙一般也不会存在安全隐患 来源： 51CTO 作者： wxbo1 链接： https://blog.51cto.com/9153232/2318194

1. 主从配置 Redis主从主要用来实现数据的复制，避免数据丢失以及实现读写分离 Redis主从概念：主服务(master)、从服务(slave) - ⼀个master可以配置多个slave，⼀个slave可以拥有多个slave - 通过主从配置可以实现读写分离 - master和slave都是一个redis实例(redis服务) 1. 主服务器配置 - 修改Redis配置文件绑定IP为本地IP：192.168.31.199 端口：6379 - 重启Redis服务：brew services start restart / sudo service redis restart 2. 从服务器配置 - 复制主服务器配置文件为redis_slave.conf（从服务器配置文件） - 修改配置文件内容： 绑定IP：本地IP 192.168.31.199（本地主从） 端口：6378 连接的主服务器信息：replicaof 192.168.31.199 6379（连接的主服务器IP和端口） 低版本：slaveof 192.168.31.199 6379（连接的主服务器IP和端口） - 启动从服务器： sudo /usr/local/opt/redis/bin/redis-server /usr/local/etc/redis_slave.conf 3. 查看主从关系：redis-cli

大数据的热度在持续的升温，继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的公司或组织，至少在互联网上已经被吹嘘成无所不能的超级战舰。好像一夜之间我们就从互联网时代跳跃进了大数据时代!关于到底什么是大数据，说真的，到目前为止就和云计算一样，让我总觉得像是在看电影《云图》——云里雾里的感觉。或许那些正在向你推销大数据产品的公司会对您描绘一幅乌托邦似的美丽画面，但是您至少要保持清醒的头脑，认真仔细的慎问一下自己，我们公司真的需要大数据吗? 做为一家第三方支付公司，数据的确是公司最最重要的核心资产。由于公司成立不久，随着业务的迅速发展，交易数据呈几何级增加，随之而来的是系统的不堪重负。业务部门、领导、甚至是集团老总整天嚷嚷的要报表、要分析、要提升竞争力。而研发部门能做的唯一事情就是执行一条一条复杂到自己都难以想象的SQL语句，紧接着系统开始罢工，内存溢出，宕机........简直就是噩梦。OMG!please release me!!! 其实数据部门的压力可以说是常人难以想象的，为了把所有离散的数据汇总成有价值的报告，可能会需要几个星期的时间或是更长。这显然和业务部门要求的快速响应理念是格格不入的。俗话说，工欲善其事，必先利其器。我们也该鸟枪换炮了......。 网上有一大堆文章描述着大数据的种种好处，也有一大群人不厌其烦的说着自己对大数据的种种体验

1.1、 cloudera manager的概念 简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。 1.2、 cloudera manager的功能 （1)管理：对集群进行管理，如添加、删除节点等操作。 （2)监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。 （3)诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。 4)集成：多组件进行整合。 1.3、 cloudera manager的架构 （1)Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。 （2)Agent：安装在每台主机上。负责启动和停止的过程，配置，监控主机。 （3)Management Service：由一组执行各种监控，警报和报告功能角色的服务。 （4)Database：存储配置和监视信息。 （5)Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库） （6)Clients：是用于与服务器进行交互的接口（API和Admin Console） 来源： CSDN 作者： 江湖侠客 链接： https://blog.csdn.net

环境说明： ip 服务 主机名 备注 172.20.101.5 ceph、ceph-deploy、mon admin-node mon节点 集群节点 172.20.101.13 ceph ceph1 osd 172.20.101.15 ceph ceph2 osd ######### 环境准备： 1 关闭 selinux 和 iptables systemctl stop firewalld systemctl disable firewalld setenforce 0 sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config setenforce 0 2 设置时间同步 yum -y install ntp systemctl enable ntpd systemctl start ntpd ntpdate -u cn.pool.ntp.org hwclock --systohc timedatectl set-timezone Asia/Shanghai 3 修改主机名和 host hostnamectl set-hostname admin-node hostnamectl set-hostname ceph1 hostnamectl set-hostname ceph2 vim /etc/hosts 172.20

1. ceph 简介 　　Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统()。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。 　　官网：https://ceph.com/ 　　官方文档：http://docs.ceph.com/docs/master/# 2. Ceph特点 高性能 ： 　　1) 摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。 　　2) 考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。 　　3) 能够支持上千个存储节点的规模，支持TB到PB级的数据。 高可用性： 　　1) 副本数可以灵活控制。 　　2) 支持故障域分隔，数据强一致性。 　　3) 多种故障场景自动进行修复自愈。 　　4) 没有单点故障，自动管理。 高可扩展性： 　　1) 去中心化。 　　2) 扩展灵活。 　　3)