mysql集群

根据文档搭建... https://dev.mysql.com/doc/refman/8.0/en/mysql-innodb-cluster-production-deployment.html 环境准备: 1 下载和安装需要的软件(本人的软件版本--都是mysql Community中的Linux Generic版本) mysql-server(mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz) mysql-router(mysql-router-8.0.17-linux-glibc2.12-x86_64.tar.xz) mysql-shell(mysql-shell-8.0.17-linux-glibc2.12-x86-64bit.tar.gz) 安装(以mysql server为例，其他类似,以下都是Mysql_tar操作系统用户操作): cd /home/mysql_tar tar -xvf mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz ln -s mysql-8.0.17-linux-glibc2.12-x86_64 mysql_install(方便升级) ...mysql-router... ....mysql_shell... 编辑环境变量: vim /home/mysql_tar/.bash

https://www.cnblogs.com/zzhangyuhang/p/9039695.html https://www.jianshu.com/p/dea6a78b9dff 在Spark1.6中我们使用的叫Hive on spark，主要是依赖hive生成spark程序，有两个核心组件SQLcontext和HiveContext。 这是Spark 1.x 版本的语法 1 2 3 4 5 //set up the spark configuration and create contexts val sparkConf = new SparkConf().setAppName( "SparkSessionZipsExample" ).setMaster( "local" ) // your handle to SparkContext to access other context like SQLContext val sc = new SparkContext(sparkConf).set( "spark.some.config.option" , "some-value" ) val sqlContext = new org.apache.spark.sql.SQLContext(sc) 而Spark2.0中我们使用的就是sparkSQL，是后继的全新产品

经历了之前的两篇，我们已经大体上了解了docker部署容器的过程。 使用docker部署nginx+tomcat架构 使用docker部署nginx+tomcat架构(2)：访问mysql数据库 不过，整个部署过程中需要手动输入很多的docker命令，稍显繁琐并且容易出错。那么有没有一种相对简洁优雅的方式来完成这些部署工作呢？答案是有的，docker-compose（一下简称“compose”）正是为此而生。 关于docker-compose（了解更多： https://docs.docker.com/compose/ ）： Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。Compose 是一个用户定义和运行多个容器的 Docker 应用程序。在 Compose 中你可以使用 YAML 文件来配置你的应用服务。然后，只需要一个简单的命令，就可以创建并启动你配置的所有服务。 *“compose”的安装过程这里就不详述了，不过个人推荐通过pip进行安装，具体安装过程可百度得知。 下面就让我们来使用“compose”完成之前的部署工作，看看“compose”是怎么简化操作的。 先看一个配置文件docker-compose.yml： version: "3" services: mysql: image: mysql:5.7

本人在centos7 的环境下部署，怎么在centos7 下配置静态 IP 关闭防火墙 以及安装jdk在这里不多赘述， centos7 配置静态ip可以参考: https://www.cnblogs.com/braveym/p/8523100.html 和 https://www.cnblogs.com/braveym/p/9096402.html Airflow 基础安装 1、默认自带python2环境，自行安装pip sudo yum -y install epel-release sduo yum install python-pip 2、进行pip的更新，否则很多安装会报错 sudo pip install --upgrade pip sudo pip install --upgrade setuptools 3、安装开发库 sudo yum install python-devel sudo yum install libevent-devel sudo yum install mysql-devel 4、安装centos7下的mysql 在安装mysql前建议先更新一下源，不然下载老失败 打开centos的yum文件夹（需要root权限或者拥有该目录的操作权限才可以） 输入命令cd /etc/yum.repos.d 用wget下载repo文件 输入命令sudo wget

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的，面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 一个新颖的数据库中间件产品 主要特性 ： 支持SQL92标准 支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法 遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。 基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。 支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster 基于Nio实现，有效管理线程，解决高并发问题。 支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。 支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。 支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。 支持多租户方案。 支持分布式事务（弱xa）。 支持XA分布式事务（1.6.5）。 支持全局序列号

Ambari简介 Ambari概述 Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等；除此之外，Ambari还支持Spark、Storm等计算框架及资源调度平台YARN。 Apache Ambari 从集群节点和服务收集大量信息，并把它们表现为容易使用的，集中化的接口：Ambari Web. Ambari Web显示诸如服务特定的摘要、图表以及警报信息。可通过Ambari Web对Hadoop集群进行创建、管理、监视、添加主机、更新服务配置等；也可以利用Ambari Web执行集群管理任务，例如启用 Kerberos 安全以及执行Stack升级。任何用户都可以查看Ambari Web特性。拥有administrator-level 角色的用户可以访问比 operator-level 或 view-only 的用户能访问的更多选项。例如，Ambari administrator 可以管理集群安全，一个 operator 用户可以监控集群，而 view-only 用户只能访问系统管理员授予他的必要的权限。 Ambari体系结构 Ambari 自身也是一个分布式架构的软件

Alibaba Nacos 学习（一）：Nacos介绍与安装 Alibaba Nacos 学习（二）：Spring Cloud Nacos Config Alibaba Nacos 学习（三）：Spring Cloud Nacos Discovery - FeignClient,Nacos 服务注册与发现 Alibaba Nacos 学习（四）：Nacos Docker Alibaba Nacos 学习（五）：K8S Nacos搭建,使用nfs 准备环境 Centos7 192.168.50.21 k8s-master 2G Centos7 192.168.50.22 k8s-node01 2G Centos7 192.168.50.23 k8s-node02 2G K8S集群搭建参考 https://www.cnblogs.com/woxpp/p/11875547.html master安装好Git ,yum install git master,node01,node02 安装 nfs-utils yum install nfs-utils master,node01,node02添加nfs exports配置，为了解决后续的nfs报错异常 /data/mysql-slave *(insecure,fsid=0,rw,async,no_root_squash) /data

原文: http://blog.gqylpy.com/gqy/245 " 目录 #. MySQL支持的存储引擎 1. InnoDB 2. MyISAM 3. NDB 4. Memory 5. Infobright 6. NTSE 7. BLACKHOLE MySQL中的库即文件夹，表即文件 现实生活中我们用来存储数据的文件有不同的类型，每种文件类型对应各自不同的处理机制.（如：处理文本用txt类型，处理表格用excel， 处理图片 用png等） 数据库中的表也应该有不同的类型，表的类型不同，会对应mysql不同的存取机制，表类型又称为存储引擎. PS：存储引擎说白了就是如何存储数据，如何为存储的数据建立索引和如何更新、查询数据等技术的实现方法。因为在关系数据库 中数据 的存储是以表的形式存储的，所以存储引擎也可以称为表类型（即存储和操作此表的类型） 在Oracle和SQL Server等数据库中只有一种存储引擎，所有数据库存储管理机制都是一样的，而MySQL数据库提供了多种存储引擎，用户可以根据不同的需求为数据表选择不同的存储引擎，用户也可以根据自己的需要编写自己的存储引擎。  SQL解释器

####原理######## mysql 的数据同步，在 mysql 官方网站文档上，叫 replication 字面是重作的意思，意译就是同步了。 mysql 为了实现 replication 必须打开 bin-log 项，也是打开二进制的 mysql 日志记录选项。 mysql 的 bin log 二进制日志，可以记录所有影响到数据库表中存储记录内容的 sql 操作，如 insert / update / delete 操作，而不记录 select 这样的操作。因此，我们可以通过二进制日志把某一时间段内丢失的数据可以恢复到数据库中，( 如果二进制日志中记录的日志项，包涵数据库表中所有数据，那么，就可以恢复本地数据库的全部数据了 ) 而这个二进制日志，如果用作远程数据库恢复，那就是 replication 了。 这就是使用 replication 而不用 sync 的原因。 这也是为什么要设置 bin-log = 这个选项的原因。 在同步过程中，最重要的同步参照物，就是同步使用那一个二进制日志文件，从那一条记录开始同步。 下面的官方文档，说明如何安装与设置 mysql 同步操作，当然，英文版 http://dev.mysql.com/doc/mysql/en/Replication_HOWTO.html 以下是中文翻译： 　1. 首先，你应该有两个或两个以上的 mysql

单一的 MySQL 服务器一旦宕机，会造成单点故障，整个系统无法运转，所以要有主库(Master)和从库(Slave备库)两份，主库故障时自动切换至备库。另外，大多企业应用是写的少(INSERT/DELETE/UPDATE)查的多(SELECT)，所以还要实现读写分离，以便根据读写比例分别扩展读、写库节点的数目。这么复杂的切库与数据分流，如果在应用内部实现，会很繁琐，而且耦合度高，可采用数据库中间件实现这些功能。本文是使用 MyCAT 实现双主(写)双从(读) MySQL 的部署。 作者： 王克锋 出处： https://kefeng.wang/2016/12/22/mycat-mysql/ 版权： 自由转载-非商用-非衍生-保持署名 ，转载请标明作者和出处。 1 MySQL 开源中间件比较 1.1 TDDL(alibaba) 不是独立运行的中间件，以 JAR 包形式供给应用调用；社区已停滞。 1.2 Amoeba(alibaba，陈思儒) 独立运行的中间件，介于应用和MySQL集群之间，后端使用JDBC Driver，所以更通用；社区已停滞。 1.3 Cobar(alibaba) 是 Amoeba 的进化版本，后端JDBC Driver改为原生的 MySQL 协议，不通用，但更强大（如主备切换）；社区已停滞(2013年)。 1.4 MyCAT 是 Cobar 的进化版本，后端由