集群服务器

一、MongoDB分片介绍 1.1 什么是MongoDB分片   对于数据库来讲，在大数据量和高吞吐量的场景下，会对单节点造成较大压力，大查询会将单机CPU耗尽，大数据量会对单机的存储压力较大，最终会耗尽系统的内存而将压力转移到磁盘IO上。MongoDB采用分片技术来将大型集合分割到不同服务器上，也就是水平扩展。   分片技术为应对高吞吐量与大数据量提供了方法，减少了每个分片需要存储的数据量和需要处理的请求数，因此，通过分片集群可以提高MongoDB的存储容量和吞吐量。 1.2 分片技术的优势 1、透明化    MongoDB自带mongos路由进程。通过mongos将客户端发来的请求准确无误的路由到集群中的一个或者一组服务器上，同时会把接收到的响应聚合起来发回到客户端。 2.高可用   MongoDB通过将副本集和分片集群结合使用，在确保数据实现分片的同时，也确保了各分片数据都有相应的备份，这样就可以确保当主服务器宕机时，其他的从库可以立即替换，继续工作。 3.易扩展   当系统需要更多的空间和资源的时候，MongoDB使我们可以按需方便的扩充系统容量。 组件 说明 Mongos 提供对外应用访问，所有操作均通过mongos执行。一般有多个mongos节点。数据迁移和数据自动平衡。 Config Server 存储集群所有节点、分片数据路由信息。默认需要配置3个Config

Redis 面试题 1、什么是 Redis? 2、Redis 的数据类型？ 3、使用 Redis 有哪些好处？ 4、Redis 相比 Memcached 有哪些优势？ 5、Memcache 与 Redis 的区别都有哪些？ 6、Redis 是单进程单线程的？ 7、一个字符串类型的值能存储最大容量是多少？ 8、Redis 的持久化机制是什么？各自的优缺点？ 9、Redis 常见性能问题和解决方案？ 10、redis 过期键的删除策略？ 11、Redis 的回收策略（淘汰策略）? 12、为什么 edis 需要把所有数据放到内存中？ 13、Redis 的同步机制了解么？ 14、Pipeline 有什么好处，为什么要用 pipeline？ 15、是否使用过 Redis 集群，集群的原理是什么？ 16、Redis 集群方案什么情况下会导致整个集群不可用？ 17、Redis 支持的 Java 客户端都有哪些？官方推荐用哪个？ 18、Jedis 与 Redisson 对比有什么优缺点？ 19、Redis 如何设置密码及验证密码？ 20、说说 Redis 哈希槽的概念？ 21、Redis 集群的主从复制模型是怎样的？ 22、Redis 集群会有写操作丢失吗？为什么？ 23、Redis 集群之间是如何复制的？ 24、Redis 集群最大节点个数是多少？ 25、Redis 集群如何选择数据库？ 26

在2018年年初，Jenkins X首次发布，它由Apache Groovy语言的创建者Jame Strachan创建。Jenkins X 是一个高度集成化的 CI/CD 平台，基于 Jenkins 和 Kubernetes 实现，旨在解决微服务体系架构下的云原生应用的持续交付的问题，简化整个云原生应用的开发、运行和部署过程。仅需一条Jenkins X命令，管理员可以创建一个Kubernetes集群，并安装用于管理应用程序、创建流水线并部署一个应用程序到不同的环境中的工具。 Jenkin X还是由插件配置的可扩展自动化服务器，可充当持续集成（CI）服务器，持续部署（CD）hub和自动化测试。 Jenkins X（也称为JX）可以轻松地安装在现有的云提供商上（如GKE、AKS等）。或者，如果你由本地Kubernetes集群，也可以使用Jenkins X。通过jx命令，你可以在本地或远程云提供商（如Google Cloud Platform）上快速部署集群。 本文将教您完成在Ubuntu Server 18.04上运行的现有Kubernetes集群上安装Jenkins X的过程。 前期准备 我将演示在本地和Google Cloud Platform上部署Kubernetes集群（使用Jenkins X）。为此，您需要： 已安装Kubernetes的Ubuntu Server的运行实例。

1.什么是Redis集群？ Redis的集群有两种： 读写分离集群，主从复制。 内置集群，分片。 2.为什么要使用Redis集群？ 读写分离集群，解决的是高可用问题。 内置集群，解决的是高扩展和高可用问题。 3.如何搭建Redis集群？ 为了保证集群投票，至少需要3个主节点，每个主节点至少需要一个从节点，作为读写分离和热备，总共需要6台服务器。 3.1准备集群节点 复制一个干净的Redis环境的bin文件夹，清理后作为第一个Redis节点 # 进入redis安装目录 cd /usr/local/redis #新建目录，存放redis集群节点目录 mkdir redis-cluster # 复制redis cp -R bin/ redis-cluster/node1 #进入node1目录 cd redis-cluster/node1 # 删除快照和持久化文件（如果有的话） rm -f dump.rdb & rm -f appendonly.aof # 删除原来的配置文件（如果该配置文件被修改过，则删除，可选） #rm -r redis.conf # 复制新的配置文件（可选） #cp /root/redis-5.0.5/redis.conf ./ # 修改配置文件 vi redis.conf 3.2集群环境的Redis配置文件 # 不能设置密码，否则集群启动时会连接不上 #

Ceph组件 RADOS（Reliable Autonomic Distributed Object Store） RADOS是Ceph 存储集群的基础。Ceph 中的一切都以对象的形式存储，而RADOS 就负责存储这些对象，而不考虑它们的数据类型。RADOS 层确保数据一致性和可靠性。对于数据一致性，它执行数据复制、故障检测和恢复。还包括数据在集群节点间的recovery。 OSD 实际存储数据的进程。通常一个OSD daemon绑定一个物理磁盘。Client write/read 数据最终都会走到OSD去执行write/read操作。 MON（monitor） Monitor在Ceph集群中扮演者管理者的角色，维护了整个集群的状态，是Ceph集群中最重要的组件。 Mon保证集群的相关组件在同一时刻能够达成一致，相当于集群的领导层，负责收集、更新和发布集群信息。为了规避单点故障，在实际的Ceph部署环境中会部署多个Mon，同样会引来多个Mon之前如何协同工作的问题。 LIbrados 简化访问RADOS的一种方法，目前支持PHP、Ruby、Java、Python、C和C++语言。它提供了Ceph 存储集群的一个本地接口RADOS ，并且是其他服务(如RBD 、RGW) 的基础，以及为CephFS 提供POSIX 接口。librados API 支持直接访问RADOS

Hbase的集群环境搭建 注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行 第一步：下载对应的HBase的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz 第二步：压缩包上传并解压 将我们的压缩包上传到node01服务器的/export/softwares路径下并解压 cd /export/softwares/ tar -zxvf hbase-1.2.0-cdh5.14.0-bin.tar.gz -C …/servers/ 第三步：修改配置文件 第一台机器进行修改配置文件 cd /export/servers/hbase-1.2.0-cdh5.14.0/conf 修改第一个配置文件hbase-env.sh 注释掉HBase使用内部zk vim hbase-env.sh export JAVA_HOME=/export/servers/jdk1.8.0_141 export HBASE_MANAGES_ZK=false

文章目录 ceph-deploy部署集群 ceph-deploy 部署单机 ceph-deploy 创建osd ceph osd创建资源池 ceph创建rbd块设备 ceph创建fs文件系统 本文档主要参考 ceph官方命令 进行部署，使用的时侯ceph-deploy原生命令方式进行集群各个组件的创建，删除，后续会增加扩容相关的命令。 ceph-deploy部署集群 修改hosts文件，增加想要创建的集群节点名称和对应ip的映射关系 hosts文件可以加快域名解析，同时方便局域网用户来为服务器创建容易记住的名字(node1,node2,node3…) vim /etc/hosts 增加如下ip到主机名称的映射关系: 10.192.55.95 node1 10.192.55.6 node2 10.192.55.100 node3 表示三结点的集群，同时需要将该文件拷贝到每个节点上 scp /etc/hosts 10.192.55.6:/etc 修改hostname ，即对应hosts文件中的域名，在进行节点通信的时候主机间能够进行映射 在每个ip上执行如右命令 hostname node1 ,同时为了重启后生效应执行 echo node1 >/etc/hostname 或者直接编辑文件 vim /etc/sysconfig/network ，在其中增加 HOSTNAME=node1

本片文章主要是关于使用Kettle的UI界面： Spoon来实现基于集群的对数据库中的数据表数据进行排序的试验。 以及在实验过程中所要开启的Carte服务的一些配置文件的设置， 还有基于Windows cmd 的相关Carte命令。 文章主要分为六个部分： 1.介绍carte 　　 2.carte相关配置文件的设定 3.carte服务的开启命令 4.在kettle的图形界面中对集群进行相关的设定 　　 5.使用kettle集群模式对相关的数据进行排序 6.有关于集群调用子服务器的java源代码调用实现 1.介绍carte carte是由kettle所提供的web server的程序， carte也被叫做子服务器（slave） 在kettle调用集群（cluster）来进行分布式分发、处理任务的时候， 可以开启多个carte服务进程 来进行分发ETL（master）任务和接收，运行，提交ETL任务（slave）。 就像是《pentaho kettle solutions》中对Carte的定义： "Carte a lightweight server process allows for remote monitoring and enables the transformation clustering capabilities ". "Carte是一个轻量级的服务器进程

本篇博客,小菌为大家带来的是关于HBase的集群环境搭建。 在开始之前,有一个 注意事项 :HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行。 第一步: 下载对应的HBase 的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz 第二步：压缩包上传并解压 将我们的压缩包上传到node01服务器的/export/softwares路径下并解压 cd /export/softwares/ tar -zxvf hbase-1.2.0-cdh5.14.0-bin.tar.gz -C .. /servers/ 第三步：修改配置文件 第一台机器进行修改配置文件 cd /export/servers/hbase-1.2.0-cdh5.14.0/conf 修改第一个配置文件hbase-env.sh vim hbase-env.shll export JAVA_HOME = /export/servers/jdk1.8.0_141 export HBASE_MANAGES

一、资料文档 Kafka：中。有kafka作者自己写的书，网上资料也有一些。rabbitmq：多。有一些不错的书，网上资料多。zeromq：少。没有专门写zeromq的书，网上的资料多是一些代码的实现和简单介绍。rocketmq：少。没有专门写rocketmq的书，网上的资料良莠不齐，官方文档很简洁，但是对技术细节没有过多的描述。activemq：多。没有专门写activemq的书，网上资料多。 二、开发语言 Kafka：Scala rabbitmq：Erlang zeromq：c rocketmq：java activemq：java 三、支持的协议 Kafka：自己定义的一套…（基于TCP） rabbitmq：AMQP zeromq：TCP、UDP rocketmq：自己定义的一套… activemq：OpenWire、STOMP、REST、XMPP、AMQP 四、消息存储 Kafka：内存、磁盘、数据库。支持大量堆积。 kafka的最小存储单元是分区，一个topic包含多个分区，kafka创建主题时，这些分区会被分配在多个服务器上，通常一个broker一台服务器。分区首领会均匀地分布在不同的服务器上，分区副本也会均匀的分布在不同的服务器上，确保负载均衡和高可用性，当新的broker加入集群的时候，部分副本会被移动到新的broker上。根据配置文件中的目录清单