master

1.概述 　　HBase的存储结构和关系型数据库不一样，HBase面向半结构化数据进行存储。所以，对于结构化的SQL语言查询，HBase自身并没有接口支持。在大数据应用中，虽然也有SQL查询引擎可以查询HBase，比如Phoenix、Drill这类。但是阅读这类SQL查询引擎的底层实现，依然是调用了HBase的Java API来实现查询，写入等操作。这类查询引擎在业务层创建Schema来映射HBase表结构，然后通过解析SQL语法数，最后底层在调用HBase的Java API实现。 　　本篇内容，笔者并不是给大家来介绍HBase的SQL引擎，我们来关注HBase更低层的东西，那就是HBase的存储实现。以及跨集群的HBase集群数据迁移。 2.内容 　　HBase数据库是唯一索引就是RowKey，所有的数据分布和查询均依赖RowKey。所以，HBase数据库在表的设计上会有很严格的要求，从存储架构上来看，HBase是基于分布式来实现的，通过Zookeeper集群来管理HBase元数据信息，比如表名就存放在Zookeeper的/hbase/table目录下。如下图所示： 2.1 Architecture 　　HBase是一个分布式存储系统，底层数据存储依赖Hadoop的分布式存储系统（HDFS）。HBase架构分三部分来组成，它们分别是：ZooKeeper

这里部署环境为 CDH6.2 集群，三个节点，Flink 版本为编译的 Flink1.9.1 版本。 Flink集群有两种部署的模式，分别是 Standalone 以及 YARNCluster 模式。 Standalone 模式 ，Flink 必须依赖于 ZooKeeper 来实现 JobManager 的 HA（Zookeeper 已经成为了大部分开源框架 HA 必不可少的模块）。在 Zookeeper 的帮助下，一个Standalone 的 Flink 集群会同时有多个活着的 JobManager，其中只有一个处于工作状态，其他处于 Standby 状态。当工作中的 JobManager 失去连接后（如宕机或 Crash）， ZooKeeper 会从 Standby 中选举新的 JobManager 来接管 Flink 集群。 YARN Cluaster 模式 ，Flink 就要依靠 YARN 本身来对 JobManager 做 HA 了。其实这里完全是 YARN 的机制。对于 YARNCluster 模式来说， JobManager 和 TaskManager 都是启动在 YARN 的 Container中。此时的 JobManager，其实应该称之为 Flink Application Master。也就说它的故障恢复，就完全依靠着 YARN 中的

主从服务器说明不止一台服务器，这就需要mysql进行远程连接，所以 切记 关防火墙 关防火墙 关防火墙 1、主从服务器分别作以下操作 ： 1.1、版本一致 1.2、初始化表，并在后台启动mysql 1.3、修改root的密码 2、修改主服务器master: #vi /etc/my.cnf [mysqld] log-bin=mysql-bin //[必须]启用二进制日志 server-id=222 //[必须]服务器唯一ID，默认是1，一般取IP最后一段 3、修改从服务器slave: #vi /etc/my.cnf [mysqld] log-bin=mysql-bin //[不是必须]启用二进制日志 server-id=226 //[必须]服务器唯一ID，默认是1，一般取IP最后一段 4、重启两台服务器的mysql /etc/init.d/mysql restart 5、在主服务器上建立帐户并授权slave: #/usr/local/mysql/bin/mysql -uroot -proot mysql>GRANT REPLICATION SLAVE ON *.* to 'mysync'@'%' identified by 'q123456';//一般不用root帐号，%表示所有客户端都可能连，只要帐号，密码正确，此处可用具体客户端IP代替， 如192.168.145.226

一、从库配置 1、修改从库配置文件 server-id = 216 #从库自己的id，不可与主库重复 binlog-do-db=microtransaction_bak #要同步的数据库名 relay-log = D:/log/mysql-relay-bin #中继日志的路径 2、重启mysql从服务器 3、设置与主库相关的信息 change master to master_host='192.168.20.217', master_user = 'root', master_password = '123456', master_port=3306, master_log_file='master-bin.000001', master_log_pos=155; 4、启动从库复制线程 start slave; 5、检查从库复制状态 show slave status; 主要检查两个参数：Slave_IO_Running和Slave_Sql_Running。这两个值为Yes，OK从库配置好了。 二、主库配置 1、修改主库配置文件 server-id=111 #服务id，一般为ip后三位 log-bin="D:/mysql-5.6.32-winx64/data/mysql-log-bin.log" #二进制日志的路径 binlog-do-db=test #要同步的数据库名

mysql主从数据库配置 如何配置mysql主从数据库 首先确保主从服务器上的Mysql版本相同 主数据库服务器配置： 1. 修改主数据库的配置文件 my.ini, 修改之后重启 Mysql 服务。 [mysqld] port=3306 server-id=10 #与从数据库不同 log-bin=c:\log-bin.log #日志文件 binlog-do-db=tpceshi #这里设置需要在主服务器记录日志的数据库，只有在这里设置了的数据库才能被复制到从服务器 binlog-ignore-db=mysql #这里设置在主服务器上不记度日志的数据库 2. 打开 mysql 命令行登陆 mysql, ， 设置一个从数据库的账户，给从数据库分配复制权限 mysql>GRANT REPLICATION SLAVE ON *.* TO slave001'@'192.168.0.99' IDENTIFIED BY '123456'; slave001: 用户名 192.168.0.99 ：IP 123456 ：密码 3.show masterstatus; 显示主数据库状态 File: 数据库日志文件 Position: 日志位置 这2个选项用于在从数据库服务器中配置 //////////////// 从数据库数据同步 //////////////// 好了，现在可以停止主数据的的更新操作

使用 3 台阿里云服务器（k8s-master0, k8s-master1, k8s-master2）作为 master 节点搭建高可用集群，负载均衡用的是阿里云 SLB ，需要注意的是由于阿里云负载均衡不支持后端服务器自己转发给自己，所以 master 节点的 control-plane-endpoint 不能走负载均衡。 先在 k8s-master0 上安装好 k8s ，安装步骤见 Ubuntu 安装 k8s 三驾马车 kubelet kubeadm kubectl ，然后打快照创建阿里云 ecs 镜像。 确定 control-plane-endpoint 主机名，这里假设是 k8s-api ，在 k8s-master0 的 hosts 中添加 k8s-api 的解析。 10.0.1.81 k8s-api 在 k8s-master0 上创建集群， kubeadm init \ --control-plane-endpoint "k8s-api:6443" --upload-certs \ --image-repository registry.aliyuncs.com/google_containers \ --pod-network-cidr=192.168.0.0/16 \ --v=6 创建成功后会出现下面的提示 Your Kubernetes control-plane

创建资源的两种方式 1用命令行的方式创建： 了解* •json格式 [root@master manifests]# pwd /etc/kubernetes/manifests [root@master manifests]# vim etcd.yaml 17行： --data-dir=/var/lib/etcd 1.3台导入镜像：nginx.tar httpd.tar docker load < httpd.tar && docker load < nginx.tar 全部更新镜像： docker pull nginx //创建pod控制器，deployment [root@master ~]# kubectl run web --image=nginx --replicas=5 //查看控制器情况 [root@master ~]# kubectl get deployments. [root@master ~]# kubectl get pod //查看资源详细信息 [root@master ~]# kubectl describe deployments. web //查看命名空间 [root@master ~]# kubectl get namespaces 简写： kubectl get ns [root@master ~]# kubectl get pod --all

Deployment: kind: Deployment apiVersion: extensions/v1beta1 metadata: name: skx spec: replicas: 3 template: metadata: labels: app: skx_server spec: containers: name: httpd-test image: 192.168.1.10:5000/httpd:v1 ports: containerPort: 80 PS：注意，在Deployment资源对象中，可以添加Port字段，但此字段仅供用户查看，并不实际生效。 如下： ports: containerPort: 80 SERVICE kind: Service apiVersion: v1 metadata: name: skx-svc spec: selector: app: skx_server ports: protocol: TCP port: 80 targetPort: 80 关联主机： kind: Service apiVersion: v1 metadata: name: skx-svc spec: type: NodePort selector: app: skx_server ports: protocol: TCP port: 80

参考: 龙果学院 http://www.roncoo.com/share.html?hamc=hLPG8QsaaWVOl2Z76wpJHp3JBbZZF%2Bywm5vEfPp9LbLkAjAnB%2BnHpF8rHqMAsZ9U%2Ff1CcK%2Fi%2BOWuJ8pVcwcq6A%3D%3D 一、场景需求 二、Keepalived 简要介绍 Keepalived 是一种高性能的服务器高可用或热备解决方案，Keepalived 可以用来防止服务器单点故障的发生，通过配合 Nginx 可以实现 web 前端服务的高可用。 Keepalived 以 VRRP 协议为实现基础，用 VRRP 协议来实现高可用性(HA)。VRRP(VirtualRouter Redundancy Protocol)协议是用于实现路由器冗余的协议，VRRP 协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器 IP(一个或多个)，而在路由器组内部，如果实际拥有这个对外 IP 的路由器如果工作正常的话就是 MASTER，或者是通过 算法 选举产生，MASTER 实现针对虚拟路由器 IP 的各种网络功能， 如 ARP 请求，ICMP，以及数据的转发等；其他设备不拥有该虚拟 IP，状态是 BACKUP，除了接收 MASTER 的VRRP 状态通告信息外，不执行对外的网络功能。当主机失效时，BACKUP

一. 搭建环境 操作系统：CentOS7 内存：2GB 核心数：单核 redis版本：5.0.7 集群结构：3主3从 二. redis安装 # 解压redis tar - xzvf redis - 5 . 0 . 7 . tar . gz cd redis - 5 . 0 . 7 # 编译并且安装 make && make install # 启动redis，查看是否安装成功 / usr / local / bin / redis - server / usr / local / src / redis - 5 . 0 . 7 / redis . conf # 客户端连接 / usr / local / bin / redis - cli - h 127 . 0 . 0 . 1 三. 集群搭建 我们这里只使用了一台机器搭建了一个伪集群，条件允许的话可以采用6台服务器搭建 在/opt目录下，当然也可以自己定义目录，创建6个文件夹，用来启动6个redis应用 cd / opt mkdir myredis cd myredis mkdir redis7000 mkdir redis7001 mkdir redis7002 mkdir redis7003 mkdir redis7004 mkdir redis7005 拷贝一份redis.conf到redis7000目录下 cp / usr