集群服务器

集群 集群主要的使用场景是为了分担请求的压力，也就是在几个服务器上部署相同的应用程序，来分担客户端请求。 将多台服务器集中在一起，每台服务器都实现相同的业务，做相同的事情 但是每台服务器并不是缺一不可，存在的作用主要是缓解并发压力和单点故障转移问题。 实现：高扩展、高性能、低成本、高可用！ 分布式 分布式是指 多个系统协同合作完成一个特定任务的系统 将多台服务器集中在一起，每台服务器都实现总体中的不同业务，做不同的事情。 分布式是解决中心化管理的问题，把所有的任务叠加到一个节点处理，太慢了。 所以把一个大的问题拆分为多个小的问题，并分别解决，最终协同合作。分布式的主要工作是分解任务，将职能拆解。 并且每台服务器都缺一不可，如果某台服务器故障，则网站部分功能缺失，或导致整体无法运行。 存在的主要作用是大幅度的提高效率，缓解服务器的访问和存储压力。 将一套系统拆分成不同子系统部署在不同服务器上（这叫分布式）， 然后部署多个相同的子系统在不同的服务器上（这叫集群），部署在不同服务器上的同一个子系统应做负载均衡。 分布式：一个业务拆分为多个子业务，部署在多个服务器上 。 集群：同一个业务，部署在多个服务器上 。 来源： https://www.cnblogs.com/liuzs/p/12034738.html

注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行 第一步：下载对应的HBase的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz 第二步：压缩包上传并解压 将我们的压缩包上传到node01服务器的/export/softwares路径下并解压 cd /export/softwares/ tar -zxvf hbase-1.2.0-cdh5.14.0-bin.tar.gz -C …/servers/ 第三步：修改配置文件 第一台机器进行修改配置文件 cd /export/servers/hbase-1.2.0-cdh5.14.0/conf 修改第一个配置文件hbase-env.sh 注释掉HBase使用内部zk vim hbase-env.sh export JAVA_HOME=/export/servers/jdk1.8.0_141 export HBASE_MANAGES_ZK=false 修改第二个配置文件hbase-site.xml

Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、NoSQL（Not only SQL） 1.泛指非关系数据库 2.不支持SQL语法 3.存储结构与传统的关系型数据库不同，NoSQL的存储形式是key-value形式 4.NoSQL中没有通用语言，每种NoSQL都有自己的api和语法，以及擅长的业务场景 5.产品种类较多： Redis MongoDB Hbase Hadoop Cassandra Hadoop 二、NoSQL与SQL比较 1.适应场景不同： SQL：关系比较复杂的数据查询场景 NoSQL：与SQL相反 2.事务特性的支持： SQL：非常完善 NoSQL：基本不支持 3.两者取长补短，在慢慢融合 三、Redis特性 1.Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载使用 2.不仅支持key-value，还支持set、zset、list、hash等数据结构存储 3.Redis支持数据的备份，Master-Slave模式 四、Redis优势 1.性能高。读能力：110000次/秒，写能力：81000/秒 2.丰富的数据类型。Redis支持二进制案例的Strings，Lists，Hashes，Sets及Ordered Sets数据类型操作 3.原子。Redis的所有操作都是原子性的

一、安装redis 0、安装wget> yum install wget;安装gcc> yum install gcc 1、新建目录 mkdir -p /usr/soft wget http://download.redis.io/releases/redis-5.0.5.tar.gz或者手动下载之后放到/usr/soft目录下 2、解压 tar -zxvf redis-5.0.5.tar.gz 3、编译和安装 进入到redis-5.0.5路径下执行make install，结果会在src目录和/usr/local/bin目录下生成可执行文件 4、新建目录 mkdir -p /usr/local/redis/6001 cp /usr/soft/redis-5.0.5/redis.conf /usr/local/redis/6001 5、修改/usr/local/redis/6001/redis.conf port 6001 daemonize yes bind 0.0.0.0 6、修改防火墙配置，开启端口 firewall-cmd --zone=public --add-port=6001 --permanent 7、启动redis服务 ./redis-server redis.conf 8、访问redis服务 ./redis-cli -h ip -p 6001 二

一 hadoop 简介 1 Hadoop 整体框架 Hadoop 由HDFS 、MapReduce、HBASE、hive 和zookeeper 等成员组成，其中最 基础最重要的元素是底层用于存储集群中所有存储节点文件的文件系统HDFS 来 执行MapReduce 程序的MapReduce 引擎 1 pig 是一个基于Hadoop 的大规模数据分析平台，pig 为复杂的海量数据并行计 算提供了一个简单的操作和编程接口 2 hive 是基于Hadoop 的一个工具，提供完整的SQL 查询，可以将sql 语句转换 为MapReduce （映射）任务进行执行 3 zookeeper：高效的，可扩展的协调系统，存储和协调关键共享状态 4 HBASE 是一个开源的，基于列存储模型的分布式数据库 5 hdfs 是一个分布式文件系统，具有高容错的特点，适合于那些超大数据集的应 用程序， 6 MapReduce 是一种编程模式，用于大规模数据集的并行计算 2 hadoop 集群部署结构 3 hadoop 核心设计 1 HDFS 是一个高度容错性的分布式文件系统，可以被广泛的部署于廉价的PC 上，他以流式访问模式访问应用程序的数据，这样可以提高系统的数据吞吐量，因而非常适合用于具有超大数据集的应用程序中 HDFS 架构采用主从架构，一个HDFS 集群应该包含一个namenode

0. 引言 hadoop 集群，初学者顺利将它搭起来，肯定要经过很多的坑。经过一个星期的折腾，我总算将集群正常跑起来了，所以，想将集群搭建的过程整理记录，分享出来，让大家作一个参考。 由于搭建过程比较漫长，所以，这篇文章应该也会很长，希望大家能耐心看完。 1. 集群环境和版本说明 3台CentOS 7.4 的服务器，4CPU，8G内存； jdk 1.8 hadoop 2.7.7 spark 2.3.0 hive 2.1.1 节点和主机hostname对应关系： 主节点： 172.18.206.224 nn1 Namenode and YARN Resourcemanage 从节点1： 172.18.206.228 dn1 Datanode and YAR  Nodemanager 从节点2： 172.18.206.229 dn2 Datanode and YARN Nodemanager 为hadoop集群，创建一个non-root 用户，我使用的用户名是 hadoop。安装目录统一在hadoop用户的家目录 /data/hadoop 下。 2. hadoop 集群安装 2.1 安装 jdk 1.8版本 由于 hadoop 集群需要java 环境的支持，所以，在安装集群之前，首先确认你的系统是否已经安装了jdk，检查如下： [root@ND-ES-3 ~]# java

下面就正经解释下三种结构的区别吧～ 单机结构 我想大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就是单机结构。 那么，单机结构有啥缺点呢？我想缺点是显而易见的，单机的处理能力毕竟是有限的，当你的业务增长到一定程度的时候，单机的硬件资源将无法满足你的业务需求。此时便出现了集群模式，往下接着看。 集群结构 集群模式在程序猿界有各种装逼解释，有的让你根本无法理解，其实就是一个很简单的玩意儿，且听我一一道来。 单机处理到达瓶颈的时候，你就把单机复制几份，这样就构成了一个“集群”。集群中每台服务器就叫做这个集群的一个“节点”，所有节点构成了一个集群。每个节点都提供相同的服务，那么这样系统的处理能力就相当于提升了好几倍（有几个节点就相当于提升了这么多倍）。 但问题是用户的请求究竟由哪个节点来处理呢？最好能够让此时此刻负载较小的节点来处理，这样使得每个节点的压力都比较平均。要实现这个功能，就需要在所有节点之前增加一个“调度者”的角色，用户的所有请求都先交给它，然后它根据当前所有节点的负载情况，决定将这个请求交给哪个节点处理。这个“调度者”有个牛逼了名字——负载均衡服务器。 集群结构的好处就是系统扩展非常容易。如果随着你们系统业务的发展，当前的系统又支撑不住了

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 在2018年年初，Jenkins X首次发布，它由Apache Groovy语言的创建者Jame Strachan创建。Jenkins X 是一个高度集成化的 CI/CD 平台，基于 Jenkins 和 Kubernetes 实现，旨在解决微服务体系架构下的云原生应用的持续交付的问题，简化整个云原生应用的开发、运行和部署过程。仅需一条Jenkins X命令，管理员可以创建一个Kubernetes集群，并安装用于管理应用程序、创建流水线并部署一个应用程序到不同的环境中的工具。 Jenkin X还是由插件配置的可扩展自动化服务器，可充当持续集成（CI）服务器，持续部署（CD）hub和自动化测试。 Jenkins X（也称为JX）可以轻松地安装在现有的云提供商上（如GKE、AKS等）。或者，如果你由本地Kubernetes集群，也可以使用Jenkins X。通过jx命令，你可以在本地或远程云提供商（如Google Cloud Platform）上快速部署集群。 本文将教您完成在Ubuntu Server 18.04上运行的现有Kubernetes集群上安装Jenkins X的过程。 前期准备 我将演示在本地和Google Cloud Platform上部署Kubernetes集群（使用Jenkins X）。为此

HBase集群环境配置 一、集群规划 二、前置条件 三、集群搭建 3.1 下载并解压 3.2 配置环境变量 3.3 集群配置 3.4 HDFS客户端配置 3.5 安装包分发 四、启动集群 4.1 启动ZooKeeper集群 4.2 启动Hadoop集群 4.3 启动HBase集群 4.5 查看服务 一、集群规划 这里搭建一个 3 节点的 HBase 集群，其中三台主机上均为 Regin Server 。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 上部署备用的 Master 服务。Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用 Master 会成为新的主 Master 。 二、前置条件 HBase 的运行需要依赖 Hadoop 和 JDK( HBase 2.0+ 对应 JDK 1.8+ ) 。同时为了保证高可用，这里我们不采用 HBase 内置的 Zookeeper 服务，而采用外置的 Zookeeper 集群。相关搭建步骤可以参阅： Linux 环境下 JDK 安装 Zookeeper 单机环境和集群环境搭建 Hadoop 集群环境搭建 三、集群搭建 3.1 下载并解压 下载并解压，这里我下载的是 CDH 版本 HBase，下载地址为：http://archive

参考: Zookeeper面试题 参考: zookeeper数据同步 参考: 如果有人问你ZooKeeper是什么，就把这篇文章发给他 参考: 理解zookeeper选举机制 参考: 【zookeeper】事件 watch 机制 原理 参考: ZooKeeper Watch机制 参考: 利用Zookeeper实现 - 分布式锁 文章目录 1.是什么 2.特性 1.读写请求处理 2.全局有序性 3.通知机制 3.节点类型 4.集群角色 1.Leader 2.Follower 3.Observer 5.工作原理 1.ZAB协议 1.恢复模式（选主）-leader选举 2.广播模式（同步） 2.Server工作状态 3.原子广播 5.watch机制 1.概述 2.特性 6.宕机处理 7.实际应用 1.命名服务 2.配置管理 3.集群管理 4.队列管理 5.数据复制 6.分布式锁 1.大致思想 2.实现排他锁 3.实现共享锁 4.羊群效应与共享锁改进 5.优点 6.缺点 1.是什么 ZooKeeper是一个分布式的，开放源码的 分布式应用程序协调服务 ，是 集群的管理者 ， 监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作 。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 Zookeeper提供一个多层级的节点命名空间（节点称为znode）。与文件系统不同的是