集群服务器

Redis单机版搭建 wget http://download.redis.io/releases/redis-5.0.7.tar.gz tar xzf redis-5.0.7.tar.gz cd redis-5.0.7 make && make install 在redis安装目录创建两个文件夹etc（用于存放redis.conf），bin（存放相应的命令脚本） 将redis.conf移到etc目录中，将src下的mkreleasehdr.sh、redis-benchmark、redis-check-aof、redis-check-rdb、redis-cli、redis-server移到bin目录中 mv redis.conf etc /#进入src目录下 mv mkreleasehdr.sh redis-benchmark redis-check-aof redis-check-rdb redis-cli redis-server ../bin/ 配置redis.conf（常用配置项） #注释掉这一行，否则其它机器不可以访问当前redis，也可以改成其他ip #bind 127.0.0.1 #将protected-mode后面的yes改成no,也是为了让其他ip访问当前redis protected-mode no #将daemonize后面的no改成yes

Redis-cluster集群 + ElasticSeach 1.Redis-cluster集成 学习之前，首先要弄清楚什么是集群，为什么我们要使用集群 1.1什么是集群： 集群就是 很多服务器组成的一个网络。指的是将多台服务器集中在一起，实现同一业务。 1.2为什么要集群： 一台服务器不能满足开发需要的时候，需要多台服务器来支持。这个时候就需要做集群，但是集群往往伴随着分布式; 1.3分布式是什么： 分布式是指将不同的业务分布在不同的地方 1.4 集群提供了以下两个关键特性： 1、可扩展性－－集群的性能不限于单一的服务实体，新的服务实体可以动态地加入到集群，从而增强集群的性能。动态添加服务器 2、高可用性－－集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中，同样的服务可以由多个服务实体提供。如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。集群提供的从一个出错的服务实体恢复到另一个服务实体的功能增强了应用的可用性 当访问的服务器挂了时，集群要有能力找可以正常使用额服务器继续提供服务器。 2）两大能力 为了具有可扩展性和高可用性特点，集群的必须具备以下两大能力： 1、负载均衡－－负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。 2、错误恢复－－由于某种原因，执行某个任务的资源出现故障

Zookeeper集群快速搭建 1.cd /usr/local/zookeeper/conf(如在192.168.212.101服务器) mv zoo_sample.cfg zoo.cfg 修改conf: vi zoo.cfg 修改两处 （1） dataDir=/usr/local/zookeeper/data（注意同时在zookeeper创建data目录） （2）最后面添加（基数台服务器） server.0=192.168.212.101:2888:3888 server.1=192.168.212.102:2888:3888 server.2=192.168.212.103:2888:3888 Ip:心跳端口：通讯端口 2.创建服务器标识即myid 在dataDir 目录下创建myid文件，内容为0 ，对应server.0（如在192.168.212.101服务器) 3.复制zookeeper 将zookeeper复制到服务器192.168.212.102，192.168.212.103 并将myid修改对应的值 4.启动zookeeper 启动3台机器，命令：bash /usr/local/zookeeper/bin/zkServer.sh start 5.查看状态 bash /usr/local/zookeeper/bin/zkServer.sh status

1.Redis 的数据类型？ 2.使用 Redis 有哪些好处？ 3.Redis 是单进程单线程的？ 4.Redis 的持久化机制是什么？各自的优缺点？ 1、什么是 Redis? Redis 是完全开源免费的，遵守 BSD 协议，是一个高性能的 key-value 数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： （1）Redis 支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 （2）Redis 不仅仅支持简单的 key-value 类型的数据，同时还提供 list，set，zset，hash 等数据结构的存储。 （3）Redis 支持数据的备份，即 master-slave 模式的数据备份。 Redis 优势 （1）性能极高 – Redis 能读的速度是 110000 次/s,写的速度是 81000 次/s 。 （2）丰富的数据类型 – Redis 支持二进制案例的 Strings, Lists, Hashes, Sets 及Ordered Sets 数据类型操作。 （3）原子 – Redis 的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过 MULTI 和 EXEC指令包起来。 （4）丰富的特性 – Redis 还支持 publish

文章目录 一、Redis 集群结构以及设计理念 1. Redis 集群架构模式有哪几种？ 2. Redis 集群最大节点个数是多少？ 3. Redis 集群的主从复制模型是怎样的？ 4. 请介绍一下 Redis 集群实现方案 5. Redis 集群会有写操作丢失吗？为什么？ 6. Redis 慢查询是什么？通过什么配置？ 7. Redis 的慢查询修复经验有哪些？怎么修复的？ 8. 如何优化 Redis 服务的性能？ 9. Redis 的主从复制模式有什么优缺点? 10. Redis sentinel（哨兵）模式优缺点有哪些？ 11. 如何设置 Redis 的最大连接数？查看 Redis 的最大连接数？查看 Redis 的当前连接数？ 12. 介绍一些 Redis 常用的安全设置？ 二、Redis 缓存管理与持久化机制 1. Redis 持久化机制有哪些？ 2. Redis 持久化机制 AOF 和 RDB 有哪些不同之处？ 3. 请介绍一下 RDB 持久化机制的优缺点 4. 请介绍一下 AOF 持久化机制的优缺点 5. 如果 AOF 文件的数据出现异常， Redis 服务怎么处理？ 6. 常见的淘汰算法有哪些？ 7. Redis 淘汰策略有哪些？ 8. Redis 缓存失效策略有哪些？ 9. Redis 如何做内存优化？ 10. 什么是 bigkey？ 有什么影响？ 11.

有一种常见的方法可以大幅提高服务器的安全性，这就是集群。 　　1、 集群的基本概念 　　Cluster集群技术可如下定义：一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。 　　大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败，并可透明地向Cluster中加入组件。 　　一个Cluster包含多台（至少二台）拥有共享数据存储空间的服务器。任何一台服务器运行一个应用时，应用数据被存储在共享的数据空间内。每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。 　　Cluster内各节点服务器通过一内部局域网相互通讯。当一台节点服务器发生故障时，这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务发生故障时，应用服务将被重新启动或被另一台服务器接管。当以上任一故障发生时，客户将能很快连接到新的应用服务上。 　　2、 集群的硬件配置 　　［镜像服务器双机系统］ 　　集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案，通常镜像服务的硬件配置需要两台服务器，在每台服务器有独立操作系统硬盘和数据存贮硬盘，每台服务器有与客户端相连的网卡，另有一对镜像卡或完成镜像功能的网卡。 　

https://blog.csdn.net/wanglei_storage/article/details/77508620 实践中会发现，生产环境中使用单个 Docker 节点是远远不够的，搭建 Docker 集群势在必行。然而，面对 Kubernetes, Mesos 以及 Swarm 等众多容器集群系统，我们该如何选择呢？它们之中，Swarm 是 Docker 原生的，同时也是最简单，最易学，最节省资源的，比较适合中小型公司使用。 Docker Swarm 介绍 Swarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker 的一个子命令。目前，Swarm 是 Docker 社区提供的唯一一个原生支持 Docker 集群管理的工具。它可以把多个 Docker 主机组成的系统转换为单一的虚拟 Docker 主机，使得容器可以组成跨主机的子网网络。 Docker Swarm 是一个为 IT 运维团队提供集群和调度能力的编排工具。用户可以把集群中所有 Docker Engine 整合进一个「虚拟 Engine」的资源池，通过执行命令与单一的主 Swarm 进行沟通，而不必分别和每个 Docker Engine 沟通。在灵活的调度策略下，IT 团队可以更好地管理可用的主机资源

8 Hadoop的使用指南 8.1 Hadoop的介绍 Hadoop最早起源于 Nutch 。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。 ——分布式文件系统（GFS），可用于处理海量网页的 存储 ——分布式计算框架MAPREDUCE，可用于处理海量网页的 索引计算 问题。 Nutch的开发人员完成了相应的开源实现 HDFS 和 MAPREDUCE ，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目. 狭义上来说，hadoop就是单独指代hadoop这个软件， HDFS ：分布式文件系统 MapReduce : 分布式计算系统 广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件 8.2、hadoop的历史版本介绍 1.x版本系列：hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等 2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性 3.x版本系列: 加入多namenoode新特性 8.3、hadoop三大公司发型版本介绍 免费开源版本apache: http://hadoop

1、Hadoop集群搭建 1.1 虚拟机环境 VMware Workstation Pro 15.0 Centos 6.5 64bit 内存4G，硬盘50G，采用NAT方式联网。 安装好linux /boot 200M /swap 2g / 剩余 1.2 安装JDK（以root为例） 1.2.1卸载已有JDK （1）查询系统是否安装JDK： 命令：rpm -qa | grep java （2）如果安装的版本低于1.7，卸载该JDK： root用户命令：rpm -e 软件包路径 （3）查看JDK安装路径： 命令：which java 1.2.2安装JDK （1）上传jdk安装包 ： jdk-8u171-linux-x64.tar.gz （2）解压安装包到指定目录： tar -zxvf jdk-8u171-linux-x64.tar.gz -C /root/apps （3）配置系统环境变量： 到系统配置文件中添加JAVA_HOME vi /etc/profile 在profile文件中添加 export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 export PATH=$PATH:$JAVA_HOME/bin （4）刷新配置 source /etc/profile (5) 检查安装是否成功 java -version 1.3 关闭防火墙，同步时间 1

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Redis 介绍 redis.io Redis是一个键值对存储数据库，属于一种NoSQL，其数据存储在内存里，读写速度非常快，据说是可以达到10w并发。支持数据持久化。它属于单线程服务，但这不影响它的高并发特性。 类似键值对数据库还有Memcached，但Redis比Memcached支持更多类型的数据。Mecached只支持string类型的数据，但Redis除了支持string外，还支持hash，set，list，zset(有序集合) Redis安装 wget http://download.redis.io/releases/redis-5.0.3.tar.gz tar zxf redis-5.0.3.tar.gz cd redis-5.0.3 make make install 启动服务 cp redis.conf /etc/ vi /etc/redis.conf #将daemonize no改为daemonize yes redis-server /etc/redis.conf CentOS7下编写服务管理脚本 vi /usr/lib/systemd/system/redis.service ##内容如下 [Unit] Description=Redis After=network.target