集群服务器

Redis主从和集群

主宰稳场 提交于 2019-12-10 08:36:19
主从概念 一个master可以拥有多个slave,一个slave又可以拥有多个slave。如此下去,形成了强大的多级服务器集群架构。 master用写数据,经统计:网站的读写比率是10:1 通过主从分离可以实现读写分离 master和slave都是一个redis实例(redis服务) 主从配置 Redis: 安装 sudo apt-get install redis-server 卸载 sudo apt-get purge --auto-remove redis-server 启动 sudo service redis-server start 停止 sudo service redis-server stop ## master ## #1. 修改 master配置 vim /etc/redis/redis.conf #2.修改bind为本机ip bind your_ip ## slave配置 ## #1.复制redis.conf 名为slave.conf cp redis.conf slave.conf # 2.修改配置 修改bind为本机ip bind your_ip #3.更改端口 例如 port 6378 #4. 更改slaveof slaveof your_ip 6379 redis-server /etc/redis/slave.conf 查看主从关系 redis

Zookeeper系列之基础篇

孤人 提交于 2019-12-10 07:33:44
Zookeeper系列之基础篇 1. Zookeeper概述 2. Zookeeper必知必会 3. 集群介绍 ==================================== 一. Zookeeper概述 是一个开源的分布式应用的服务,提供了更高级别的服务,包括:同步、配置维护、分组和命名。 主要目标:通过与标准文件系统一致的组织结果的命名空间,允许分布式进程之间可以进行同步。 功能:提供了优质的高性能、高可用性、和严格有序的访问 二. Zookeeper必知必会 节点类型 持久节点:所谓持久节点,是指持久节点,是指在节点创建后,就一直存在,直到有删除操作来主动清除这个节点。 临时节点:和持久节点不同的是,临时节点的生命周期和客户端会话绑定。也就是说,如果客户端会话失效,那么这个节点就会自动被清除掉。注意,这里提到的会话失效,而非连接断开。另外,在临时节点下面不能创建子节点。 持久顺序节点:这类节点的基本特性和持久节点是一致的。额外的特性是,在ZK中,每个父节点会为他的第一级子节点维护一份时序,会记录每个子节点创建的先后顺序。基于这个特性,在创建子节点的时候,可以设置这个属性,那么在创建节点过程中,ZK会自动为给定节点名加上一个数字后缀,作为新的节点名。这个数字后缀的范围是整型的最大值。 临时顺序节点:类似临时节点和顺序节点

阿里飞天云平台架构简介

╄→尐↘猪︶ㄣ 提交于 2019-12-10 03:26:02
原贴在这里:http://blog.csdn.net/yangcs2009/article/details/39292097。我做了部分修改。 飞天是由阿里云开发的一个大规模分布式计算系统,其中包括 飞天内核 和 飞天开放服务 。 飞天内核负责管理 数据中心 Linux 集群 的 物理 资源,控制分布式程序运行, 隐藏下层 故障恢复 和 数据冗余 等细节,有效提供弹性计算和负载均衡。如图所示,飞天体系 架构 主要包含四大块: 1、资源管理、安全、远程过程调用等构建分布式系统常用的底层服务; 2、分布式文件系统; 3、任务调度; 4、集群部署和监控。 飞天开放服务为用户应用程序提供了 计算 和 存储 两方面的接口和服务,包括: 弹性计算服务(Elastic ComputeService,简称ECS) 开放存储服务(Open Storage Service,简称OSS) 开放结构化数据服务(Open Table Service,简称OTS) 关系型 数据库 服务(Relational Database Service,简称RDS) 开放数据处理服务(Open Data Processing Service,简称ODPS) 并基于弹性计算服务提供了云服务引擎(Aliyun Cloud Engine,简称ACE) 作为第三方应用开发和Web 应用运行和托管的平台 。反正左右的这些服务

elastic search 部署时候必需要配置:scovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes

落花浮王杯 提交于 2019-12-10 03:25:05
这个问题发生在更新ES版本的时候。 我之前部署的ES是5.5版本的,后来发生了一次被挖矿的经历之后,就下决心部署7.5版本ES到服务器上,替换掉5.5版本。 中间一些坑是之前5.5部署的时候就发现的,例如: 1.提示不能用root账号启动 2.jvm线程最大数限制, 解决方式:修改目录 。 vim /etc/sysctl.conf 添加vm.max_map_count = 262144 执行sysctl -p 但有意思的是 出现了一个新的坑,之前部署5.5的时候没有发现的。 ERROR: [1] bootstrap checks failed [1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured 在启动的时候check配置文件发现,这三个参数不能全量为空。尝试改了一个配置启动发现真的没有问题了。 我的改动为:cluster.initial_master_nodes: ["node-1"] 然后去官网找原因: 默认情况下,当Elasticsearch首次启动时

LVS简介及使用

廉价感情. 提交于 2019-12-09 21:49:10
一.LVS是什么? LVS的英文全称是Linux Virtual Server,即Linux虚拟服务器。它是我们国家的章文嵩博士的一个开源项目。在linux内存2.6中,它已经成为内核的一部分,在此之前的内核版本则需要重新编译内核。 二.LVS能干什么? LVS主要用于多服务器的负载均衡。它工作在网络层,可以实现高性能,高可用的服务器集群技术。它廉价,可把许多低性能的服务器组合在一起形成一个超级服务器。它易用,配置非常简单,且有多种负载均衡的方法。它稳定可靠,即使在集群的服务器中某台服务器无法正常工作,也不影响整体效果。另外可扩展性也非常好。 三.工作原理 如上图,LVS可分为三部分: 1.Load Balancer:这是LVS的核心部分,它好比我们网站MVC模型的Controller。它负责将客户的请求按照一定的算法分发到下一层不同的服务器进行处理,自己本身不做具体业务的处理。另外该层还可用监控下一层的状态,如果下一层的某台服务器不能正常工作了,它会自动把其剔除,恢复后又可用加上。该层由一台或者几台Director Server组成。 2.Server Array:该层负责具体业务。可有WEB Server、mail Server、FTP Server、DNS Server等组成。注意,其实上层的Director Server也可以当Real server用的。 3.Shared

【集群实战】NFS服务常见故障排查和解决方法

自古美人都是妖i 提交于 2019-12-09 20:20:17
NFS,全名叫Network File System,中文叫网络文件系统,是Linux、UNIX系统的分布式文件系统的一个组成部分,可实现在不同网络上共享远程文件系统。 NFS由Sun公司开发,目前已经成为文件服务的一种标准之一(RFC1904,RFC1813)。 其最大的功能就是可以通过网络,让不同操作系统的计算机可以共享数据,所以可以把NFS看做是一个文件服务器。NFS缺点是其读写性能比本地硬盘要差一些。 一、NFS服务常见故障排查: NFS服务出现了故障,主要从以下几个方面检查原因: (1)检查NFS客户机和服务器的负荷是否太高,Server和Client之间的网络是否正常; (2)检查/etc/exports文件的正确性; (3)必要时重启NFS和rpcbind服务; (4)运行下列命令重新启动rpcbind和NFS: /etc/init.d/nfs restart/etc/init.d/rpcbind restart chkconfig nfs onchkconfig rpcbind on 注意:在RHEL/CentOS 6.x里面,portmap服务改名为rpcbind服务了;顺便说一下,rpcbind服务也是图形界面的关键基础服务,不启动此服务,不能启动图形桌面。 (5) 检查Client上的mount命令或/etc/fstab的语法是否正确; (6)

nacos安装

妖精的绣舞 提交于 2019-12-09 17:34:40
nacos的安装 下载: 官网地址 https://nacos.io/zh-cn/ 安装 将下载好的文件解压后,上传至服务器。 启动 在服务器有对应版本JDK的情况下,无需更改任何配置,运行文件中bin/startup.sh cd到…/nacos/bin/目录下,命令为sh startup.sh 稍等一会,此时不要shutdown,可能会引起nacos服务崩溃。 如果一切顺利,访问#ip:8848/nacos 可以进入登陆界面 默认账户、密码都是 nacos 集群部署 数据库及相关部署 • 1.安装数据库,版本要求:5.6.5+ • 2.初始化mysql数据库 • 3.数据库运行sql文件建表:sql文件位置在/nacos/conf/nacos-mysql.sql • 4.修改nacos/conf/application.properties文件,增加支持mysql数据源配置(目前只支持mysql),添加mysql数据源的url、用户名和密码。 在文末添加 spring.datasource.platform=mysql db.num=1 db.url.0=jdbc:mysql://127.0.0.1:3306/nacos?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true

ZooKeeper

梦想与她 提交于 2019-12-09 16:40:59
ZooKeeper ZooKeeper概念 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。 ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。 ZooKeeper特性 1.全局数据一致:集群中每个服务器保存一份相同的数据副本,client无论连接到哪个服务器,展示的数据都是一致的,这是最重要的特征; 2.可靠性:如果消息被其中一台服务器接受,那么将被所有的服务器接受。 3.顺序性:包括全局有序和偏序两种:全局有序是指如果在一台服务器上消息a在消息b前发布,则在所有Server上消息a都将在消息b前被发布;偏序是指如果一个消息b在消息a后被同一个发送者发布,a必将排在b前面。 4.数据更新原子性:一次数据更新要么成功(半数以上节点成功),要么失败,不存在中间状态; 5.实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。 ZooKeeper集群角色 Leader: Zookeeper集群工作的核心 事务请求(写操作)的唯一调度和处理者,保证集群事务处理的顺序性; 集群内部各个服务器的调度者。

Sealos安装Kubernetes v1.16.0 HA集群

安稳与你 提交于 2019-12-09 16:03:08
Sealos安装Kubernetes v1.16.0 HA集群 github项目链接 https://github.com/fanux/sealos 初始化master节点与worker节点 初始化脚本 init.sh #!/bin/bash # 在 master 节点和 worker 节点都要执行 # 安装 docker # 参考文档如下 # https://docs.docker.com/install/linux/docker-ce/centos/ # https://docs.docker.com/install/linux/linux-postinstall/ # 卸载旧版本 yum remove -y docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-selinux \ docker-engine-selinux \ docker-engine # 设置 yum repository yum install -y yum-utils \ device-mapper-persistent-data \ lvm2 yum-config-manager --add

学习Zookeeper

旧时模样 提交于 2019-12-09 15:15:19
第1章 Zookeeper入门 1.1 概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。 1.2 特点 1.3 数据结构 1.4 应用场景 提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。 1.5 下载地址 1 .官网首页: https://zookeeper.apache.org/ 2.下载截图,如图5-5,5-6,5-7所示 图5-5 Zookeeper下载(一) 图5-6 Zookeeper下载(二) 图5-7 Zookeeper下载(三) 第2章 Zookeeper安装 2.1 本地模式安装部署 1.安装前准备 (1)安装Jdk (2)拷贝Zookeeper安装包到Linux系统下 (3)解压到指定目录 tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 2.配置修改 (1)将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg; mv zoo_sample.cfg zoo.cfg (2)打开zoo.cfg文件,修改dataDir路径: vim zoo.cfg 修改如下内容: dataDir=/opt/module/zookeeper-3.4.10/zkData (3