集群服务器

在前文介绍的k8s master高可用实践方案中，需要对kube-apiserver的证书进行更新，加入VIP和从节点的IP，然后重新下发证书。回顾K8S集群整个搭建过程中，最容易让人懵圈的也就是配置证书环节，因此本文对K8S集群所用到的证书进行梳理一下。 一、根证书 ca.pem 根证书公钥文件 ca-key.pem 根证书私钥文件 ca.csr 证书签名请求，用于交叉签名或重新签名 ca-config.json 使用cfssl工具生成其他类型证书需要引用的配置文件 ca.pem用于签发后续其他的证书文件，因此ca.pem文件需要分发到集群中的每台服务器上去。 证书生成命令，默认生成的证书有效期5年 # echo '{"CN":"CA","key":{"algo":"rsa","size":2048}}' | cfssl gencert -initca - | cfssljson -bare ca - # echo '{"signing":{"default":{"expiry":"43800h","usages":["signing","key encipherment","server auth","client auth"]}}}' > ca-config.json 二、flannel证书 证书生成命令，默认生成的证书有效期5年 # cfssl gencert -ca=

选编:悟道方案网 www.518doc.com 大数据分析包含检索数据库和海量视频文件资料，检索数据库主要用来关联带标签的分类主题资料和具体视频文件，使用户能快速检索到对应分类的存储位置；云计算虚拟化集群：物理服务器组建成统一的集群计算虚拟机资源池，实现虚拟机的故障转移高可用、负载自动分配资源、对存储高IOPS需求。（简版阅读） 来源： CSDN 作者： www518doccom 链接： https://blog.csdn.net/www518doccom/article/details/103537692

Redis Cluster 需求：1、请求量过大 100w/s 2、数据量大 1、数据分布 哈希分布特点： 数据分散度高 键值分布业务无关 无法顺序访问 支持批量操作 顺序分布特点： 数据分散度易倾斜 键值业务相关 可顺序访问 支持批量操作 2、数据分区 节点取余分区特点： 客户端分片：哈希 + 取余 节点伸缩数据迁移率过大 节点伸缩采用翻倍扩展 一致性哈希特点： 使用token环，顺时针定位节点 节点伸缩时影响临近节点，存在数据迁移 翻倍伸缩，保证最小迁移数据和负债均衡 虚拟哈希分区特点： 预设虚拟槽，每个槽映射一个数据子集，一般比节点数大 良好的哈希函数 服务端管理槽 3、集群架构 多个主节点，从节点 meet：完成节点通信 指派槽： 复制：高可用 4、安装配置 原生安装： 1、配置节点 port ${port} daemonize yes dir "" dbfilename "dump-${port}.rdb" logfile "${port}.log" # 代表当前节点为cluster节点 cluster-enabled yes # 指定当前cluster节点的配置 cluster-config-file nodes-${port}.conf 2、配置开启Redis 3、cluster meet ip port redis-cli -h 127.0.0.1 -p 7000

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> ceph部署环境： 硬件环境。4台4U的服务器，服务器配置信息如下： 1）CPU是Intel Xeon E5-2650(32核心)； 2）内存大小是128GB； 3）服务器内共有35块HDD，其中一块HDD用于安装操作系统，另外34块HDD用于ceph存储； 4）网络采用public/cluster类型的网络； 软件环境。 1）操作系统：4台服务器都采用ubuntu-14.04.1； 2）ceph软件版本：Firefly最新版（0.80.11）； 出现的问题： 当启动集群时，ceph集群中出现大量的非active+clean的PGs并且osdmap也不稳定，osd的状态在up和doan之间来回的切换。这样导致ceph集群迟迟不能处于可用状态。 问题原因： 由于在一个host上启动的osd数量太多了（34个OSDs），导致在ceph集群启动时以及ceph集群在recovery和rebalance时，由于产生大量的线程，该线程数量已经远远超越了linux内核默认配置的系统最大线程数。 解决方案： linux内核默认的最大线程数是32768，可以通过命令#sysctl kernel.pid_max来查看。该最大线程数是针对桌面系统的，而对于服务器以及集群的系统来说，这个值是不够的。因此最好将该值设置成最大值，即：

1配置节点 hostnamectl set-hostname master01 hostnamectl set-hostname node01 hostnamectl set-hostname node02 vi /etc/hosts 192.168.198.154 master01 192.168.198.155 node01 192.168.198.156 node02 scp /etc/hosts root@node01:/etc/hosts scp /etc/hosts root@node02:/etc/hosts 时间同步 yum install -y ntpdate ntpdate ntp.api.bz 关闭防火墙 iptables -F systemctl stop firewalld systemctl disable firewalld 配置内核 # 开启路由转发功能以及iptables的过滤策略。 cat <<EOF > /etc/sysctl.d/k8s.conf #开启iptables中ipv6的过滤规则 net.bridge.bridge-nf-call-ip6tables = 1 #开启ipv4的过滤规则 net.bridge.bridge-nf-call-iptables = 1 #开启服务器的路由转发功能 net.ipv4.ip_forward =

文章目录 安装使用ELK6.0 1. Elasticsearch安装准备工作 配置三台机器的hosts文件内容如下： 三台主机安装es 配置es 配置完成后，回到到主节点上，启动es服务。9300端口是集群通信用的，9200则是数据传输时用的： curl查看es集群情况 启动报错： 2. 搭建kibana和logstash服务器 master上安装kibana 安装完成后，对kibana进行配置： 然后在浏览器里进行访问测试 在数据节点上安装logstash,并测试收集系统日志(实践Rsyslog) kibana上查看日志 获取指定索引详细信息： 如果日后需要删除索引的话，使用以下命令可以删除指定索引： es与logstash能够正常通信后就可以去配置kibana了，浏览器访问192.168.1.17:5601，到kibana页面上配置索引： logstash收集nginx日志实战 和收集syslog一样，首先需要编辑配置文件，这一步在logstash服务器上完成 检测配置文件是否有错 进入nginx虚拟主机配置文件所在的目录中，新建一个虚拟主机配置文件： 重启logstash服务，生成nginx日志的索引： 那么这时就可以到kibana上配置该索引 使用beats采集日志 安装完成之后编辑配置文件： 测试可以正常收集日志数据，再次修改配置文件，将filebeat作为一个服务启动：

导读 在上一章节我们介绍 Elasticsearch前世今生 ，今天我们继续进行本章内容，Elasticsearch的核心概念。从一开始就理解这些概念将极大地帮助简化学习过程。 近实时（NRT） Elasticsearch是一个近乎实时的搜索平台。 这意味着从索引文档到可搜索文档的时间有一点延迟（通常是一秒）。 群集 集群是一个或多个节点（服务器）的集合，它们共同保存您的整个数据，并提供跨所有节点的联合索引和搜索功能。 群集由唯一名称标识，默认情况下为“elasticsearch”。 此名称很重要，因为如果节点设置为按名称加入群集，则该节点只能是群集的一部分。 确保不要在不同的环境中重用相同的群集名称，否则最终会导致节点加入错误的群集。 例如，您可以使用 logging-dev ， logging-test 以及 logging-prod 用于开发，测试和生产集群。 请注意，如果群集中只有一个节点，那么它是完全正常的。 此外，您还可以拥有多个独立的集群，每个集群都有自己唯一的集群名称。 节点 节点是作为群集一部分的单个服务器，存储数据并参与群集的索引和搜索功能。 就像集群一样，节点由名称标识，默认情况下，该名称是在启动时分配给节点的随机通用唯一标识符（UUID）。 如果不需要默认值，可以定义所需的任何节点名称。 此名称对于管理目的非常重要

Docker搭建RabbitMQ集群 Docker安装 见 官网 RabbitMQ镜像下载及配置 见 此博文 集群搭建 首先,我们需要启动运行RabbitMQ docker run -d --hostname my-rabbit -p 5671:5671 -p 5672:5672 -p 15671:15671 -p 15672:15672 -p 25672:25672 -p 4369:4369 -v $PWD/rabbitmq-data:/var/rabbitmq/lib --name my_rabbitmq rabbitmq:latest 参数说明: ​ -d:后台进程运行 ​ --hostname:主机名称 ​ -p:端口映射 ​ 15672:http访问端口 ​ 5672:AMQP访问端口 ​ -v:文件映射 ​ --name:容器名称 启动多个RabbitMQ docker run -d --hostname my-rabbit -p 5671:5671 -p 5672:5672 -p 15671:15671 -p 15672:15672 -p 25672:25672 -p 4369:4369 -v $PWD/rabbitmq-data:/var/rabbitmq/lib --name my_rabbitmq1 rabbitmq:latest docker run -d -

在之前的一篇文章已经介绍了 Redis Cluster及其部署 ，下面说下Redis Cluster日常操作命令： 一、以下命令是Redis Cluster集群所独有的，执行下面命令需要先登录redis： [root@manage redis]# redis-cli -c -p 6382 -h 192.168.10.12 （客户端命令：redis-cli -c -p port -h ip） 192.168.10.12:6382> 登录redis后，在里面可以进行下面命令操作 集群 cluster info ：打印集群的信息 cluster nodes ：列出集群当前已知的所有节点（ node），以及这些节点的相关信息。 节点 cluster meet <ip> <port> ：将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。 cluster forget <node_id> ：从集群中移除 node_id 指定的节点。 cluster replicate <master_node_id> ：将当前从节点设置为 node_id 指定的master节点的slave节点。只能针对slave节点操作。 cluster saveconfig ：将节点的配置文件保存到硬盘里面。 槽(slot) cluster addslots <slot> [slot ...]

初始需求 元数据的存储（小数据） 分布式、高可用 读多写少、高性能读 有序访问 设计 单机层面 节点数据结构的选取 树结构，每个节点是一个ZNode 数据保存在内存中 优点：高效读写 为什么ZK不擅长存储大的数据？ 单机高效写磁盘 高效写磁盘的两种方式： 顺序写磁盘 预分配磁盘空间 ZK每次写磁盘，先申请固定大小的磁盘空间，之后再写磁盘，大大提升写入性能。 顺序写数据 每次写入操作，ZooKeeper会附加一个数字标签，表明ZooKeeper中的事务顺序 高可用、宕机可恢复 快照+事务日志 什么时候记录事务日志？ 如何快照？新起线程，不影响主流程 分布式层面 顺序写数据 一主多从结构，只有一台master服务器对外提供写服务，每次写记录ZXID事务Id。原子写，保证mei yo 如何保证数据强一致 写的策略，半数以上机器写成功后返回。 写数据流程，非Leader节点会把请求转发给leader，写成功后leader再通知该节点。 ZAB协议：初始阶段/宕机恢复（原子广播） 如何提高读的性能 follower节点，observer节点都可以对外提供读数据能力 怎么保证读取的强一致？ 客户端在调用前，可以先申请连接的主机同步leader数据，调用sync()方法 。 水平扩容 ZK做的不好的地方。 ZooKeeper 在水平扩容扩容方面做得并不十分完美，需要进行整个集群的重启