集群服务器

为了演示集群的效果，这里准备一台虚拟机(window 7)，在虚拟机中搭建了单IP多节点的zookeeper集群（多IP节点的也是同理的），并且在本机（win 7）和虚拟机中都安装了kafka。 前期准备说明： 1.三台zookeeper服务器，本机安装一个作为server1，虚拟机安装两个(单IP) 2.三台kafka服务器，本机安装一个作为server1，虚拟机安装两个。 备注 ：当然你可以直接在虚拟机上安装三个服务器分别为server1、server2、server3 。 虚拟机和本机网络环境 1.将虚拟机的网络模式调整为桥接模式，将虚拟机的防火墙功能关闭； 2.将主机的防火墙也关闭。 3.互相ping，测试是否能正常连接.。 下载kafka 从Kafka官网 http://kafka.apache.org/downloads 下载Kafka安装包。(要下载Binary downloads这个类型，不要下载源文件，方便使用) 下载zookeeper 从zookeeper官网 http://zookeeper.apache.org/releases.html 下载zookeeper安装包。 下载JDK 从官网 http://www.java.com/download/ 下载(建议下载Oracle官方发布的Java),，配置环境变量。 zookeeper集群环境搭建 本机配置

====软件版本==== jdk：jdk-8u77-linux-x64.tar.gz zookeeper：zookeeper-3.4.6.tar.gz hadoop：hadoop-2.7.4.tar.gz hbase：hbase-1.3.1-bin.tar.gz ====前提准备==== 3台vmware虚拟机（已配置无秘钥访问） 其中，/etc/hosts文件内容如下： ====安装jdk==== 上传安装包，解压缩，然后配置环境变量即可。 正常配置之后，在服务器任意路径执行java -version可以显示java版本。如下所示。 ====安装zookeeper==== 这里也不在过多描述，简单罗列一下配置文件。 配置文件：zoo.cfg 需要分别在3个节点的，dataDir路径下生成节点的myid。 启动并验证zookeeper是否正常 启动命令：/home/hadmin/zookeeper-3.4.6/bin/zkServer.sh start 查看状态：/home/hadmin/zookeeper-3.4.6/bin/zkServer.sh status 启动之后，3个节点的状态分别如下： ====安装hadoop==== 因为HBase的底层是基于Hadoop的hdfs的，所以在安装HBase之前，必须要安装Hadoop，并确保hdfs正常。

1.1. Zookeeper的 安装 与使用 ZooKeeper的安装包括单机模式安装，以及集群模式安装。 安装如果有不懂可以看： https://blog.csdn.net/lihao21/article/details/51778255 1.1.1. Windows环境下搭建Zookeeper 环境要求：必须要有 jdk环境。 （1） 安装 jdk （2） 安装 zookeeper，可以在http://zookeeper.apache.org/官网下下载zookeeper。 我下载的是 3.3.6版本的zookeeper。 （3） 解压 zookeeper后获取到zookeeper的目录。 对主要的一些目录做介绍： Bin：主要运行的一些脚本 Conf：配置文件的所在地 Lib：zookeeper的jar （4） 启动 zookeeper服务 走到 bin目录下去运行zkServer.cmd，双击它，但是出现一闪而退的情况，这是正常的。 到 conf目录下将zoo_sample.cfg复制粘贴命名为zoo.cfg。 并修改其中的内容： 1 # The number of milliseconds of each tick 2 3 tickTime=2000 4 5 # The number of ticks that the initial 6 7 #

一 Kubernetes概述 名称 Kubernetes 源于希腊语，意为 “舵手” 或 “飞行员”。Google 在 2014 年开源了 Kubernetes 项目，Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。Kubernetes 拥有一个庞大且快速增长的生态系统。Kubernetes 的服务、支持和工具广泛可用。 1.1 容器发展由来 传统部署时代： 早期，组织在物理服务器上运行应用程序。无法为物理服务器中的应用程序定义资源边界，这会导致资源分配问题。例如，如果在物理服务器上运行多个应用程序，则可能会出现一个应用程序占用大部分资源的情况，结果可能导致其他应用程序的性能下降。一种解决方案是在不同的物理服务器上运行每个应用程序，但是由于资源利用不足而无法扩展，并且组织维护许多物理服务器的成本很高。 虚拟化部署时代： 作为解决方案，引入了虚拟化功能，它允许您在单个物理服务器的 CPU 上运行多个虚拟机（VM）。虚拟化功能允许应用程序在 VM 之间隔离，并提供安全级别，因为一个应用程序的信息不能被另一应用程序自由地访问。 因为虚拟化可以轻松地添加或更新应用程序、降低硬件成本等等，所以虚拟化可以更好地利用物理服务器中的资源，并可以实现更好的可伸缩性。 每个 VM 是一台完整的计算机，在虚拟化硬件之上运行所有组件

kubernetes核心组件之apiserver详解 1、API Server简介 1.1 API Server的功能 1.2 kube-apiserver工作原理 1.3 访问kubernetes API 1.4 API server和集群模块的交互 1.4.1 API Server与kubelet的交互 1.4.2 API Server与kube-controller-manager交互 1.4.3 API Server与kube-scheduler交互 2、API Server启动参数详解 3、API Server安装和运行 1、API Server简介 k8s API Server提供了k8s各类资源对象（pod,RC,Service等）的增删改查及watch等HTTP Rest接口，是整个系统的数据总线和数据中心 。 1.1 API Server的功能 提供了集群管理的REST API接口 (包括认证授权、数据校验以及集群状态变更)； 提供其他模块之间的数据交互和通信的枢纽 （其他模块通过API Server查询或修改数据，只有API Server才直接操作etcd）; 是资源配额控制的入口 ； 拥有完备的集群安全机制 ; 1.2 kube-apiserver工作原理 kube-apiserver提供了k8s的rest api，实现了认证、授权和准入控制等安全功能

Linux服务器配置 关闭交换分区 [root@localhost kubelet] swapoff -a [root@localhost kubelet] vi /etc/fstab 关闭selinux [root@localhost kubelet] vim /etc/sysconfig/selinux [root@localhost kubelet] setenforce 0 关闭防火墙 [root@localhost kubelet] systemctl disable firewalld [root@localhost kubelet] systemctl stop firewalld 安装docker 卸载旧docker [root@localhost kubelet] yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine 安装工具 [root@localhost kubelet] yum install -y yum-utils device-mapper-persistent-data lvm2 配置docker的yum源 [root

第1章 Redis介绍 1.1 Redis是什么 Redis是一种基于键值对的NoSQL数据库,与很多键值对数据库不同,redis中的值可以有string,hash,list,set,zset,geo等多种数据结构和算法组成. 因为Redis会将所有的数据都放在内存中,所以他的读写性能非常惊人. 不仅如此,Redis还可以将内存中的数据利用快照和日志的形式保存到硬盘上 Redis还提供了键过期,发布订阅,事务,流水线等附加功能. 1.2 Redis重要特性 1.速度快 Redis所有的数据都存放在内存中 Redis使用C语言实现 Redis使用单线程架构 2.基于键值对的数据结构服务器 5中数据结构:字符串,哈希,列表,集合,有序集合 3.丰富的功能 提供了键过期功能,可以实现缓存 提供了发布订阅功能,可以实现消息系统 提供了pipeline功能,客户端可以将一批命令一次性传到Redis,减少了网络开销 4.简单稳定 源码很少,3.0版本以后5万行左右. 使用单线程模型法,是的Redis服务端处理模型变得简单. 不依赖操作系统的中的类库 5.客户端语言多 java,PHP,python,C,C++,Nodejs等 6.持久化 RDB和AOF 7.主从复制 8.高可用和分布式 哨兵 集群 1.3 Redis应用场景 1.缓存-键过期时间 缓存session会话 缓存用户信息

新建pxc001服务器： 系统：centos7 内存：2G 磁盘：128G IP地址：192.168.0.201（第一节点） 192.168.0.202 192.168.0.203 #vi /etc/selinux/config SELINUX=disabled #修改该项为disabled #执行命令 setenforce 0 #systemctl restart firewalld 开放防火墙这4个端口 firewall-cmd --add-port=4444/tcp --permanent firewall-cmd --add-port=4567/tcp --permanent firewall-cmd --add-port=4568/tcp --permanent firewall-cmd --add-port=3306/tcp --permanent 安装集群 #yum -y install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm #yum -y update percona-release #yum -y install Percona-XtraDB-Cluster-57 启动mysql，并修改密码 service

作者 | 声东 阿里云售后技术专家 导读 ：阿里云售后技术团队的同学，每天都在处理各式各样千奇百怪的线上问题。常见的有网络连接失败、服务器宕机、性能不达标及请求响应慢等。但如果要评选的话，什么问题看起来微不足道事实上却让人绞尽脑汁，我相信肯定是“删不掉”的问题，比如文件删不掉、进程结束不掉、驱动卸载不了等。这样的问题就像冰山，隐藏在它们背后的复杂逻辑，往往超过我们的预想。 背景 今天我们讨论的这个问题，跟 K8s 集群的 Namespace 有关。Namespace 是 K8s 集群资源的“收纳”机制。我们可以把相关的资源“收纳”到同一个 Namespace 里，以避免不相关资源之间不必要的影响。 Namespace 本身也是一种资源。通过集群 API Server 入口，我们可以新建 Namespace，而对于不再使用的 Namespace，我们需要清理掉。Namespace 的 Controller 会通过 API Server，监视集群中 Namespace 的变化，然后根据变化来执行预先定义的动作。 有时候，我们会遇到下图中的问题，即 Namespace 的状态被标记成了 "Terminating"，但却没有办法被完全删除。 从集群入口开始 因为删除操作是通过集群 API Server 来执行的，所以我们要分析 API Server 的行为。跟大多数集群组件类似，API

拓扑图： haproxy下载地址：https://src.fedoraproject.org/repo/pkgs/haproxy/ 实战： 1、安装依赖包： [root@tiandong66 ~]# yum -y install make gcc gcc-c++ openssl-devel 2、安装haproxy [root@tiandong66 ~]# tar zxvf haproxy-1.7.9.tar.gz -C /usr/local/src/ [root@tiandong66 ~]# cd /usr/local/src/haproxy-1.7.9/ [root@tiandong66 haproxy-1.7.9]# uname -r 查看内核版本 3.10.0-693.el7.x86_64 [root@tiandong66 haproxy-1.7.9]# make TARGET=linux2628 PREFIX=/usr/local/haproxy [root@tiandong66 haproxy-1.7.9]# make install PREFIX=/usr/loacl/haproxy [root@tiandong66 haproxy-1.7.9]# cd /usr/local/haproxy/ [root@tiandong66 haproxy]# ll 总用量 0