mysql集群

WINDOWS下Mysql搭建主从服务器 目录 WINDOWS下Mysql搭建主从服务器 要求 主库配置 为从库创建账户 从服务器配置 修改同步用户数据 排错 检验 半同步复制 宕机处理 [要求] 数据库要求版本一致 mysql5.5以上版本 在my.ini 文件中找到[mysqld] （如果没有my.ini 请自行创建文件或将my_default.ini 重命名为 my.ini） [主库配置] ### 主库配置 #给服务器取一个独特的ID server-id=1 #申明二进制日志的文件为mysql-bin.xxxx log-bin=mysql-bin #二进制文件类型 mixed 混合 statement 记录执行语句 row 记录磁盘变化 binlog-format=mixed 并重启mysql 服务 net stop mysql net start mysql 确认主库的server-id,在主库执行 SHOW VARIABLES LIKE 'server_id'; mysql> SHOW VARIABLES LIKE 'server_id'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | server_id | 1 | +---------------+----

服务器： manager—MHA的管理节点，负责监控主从集群状态并进行故障迁移 Master–主节点 Slave1 Slave2 准备软件：mysql5.7、mha-manager、mha-node（最好rpm包）、低版本maxscale 提前做好ssh互信 1.所有服务器安装依赖包：防止报错都安装 Yum -y install epel-* 安装扩展源（防止自带的yum源不足） yum install -y perl perl-DBI perl-DBD-MySQL perl-IO-Socket-SSL perl-Time-HiRes perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager 2.所有服务器安装mysql5.7到/usr/local/mysql下 mysql5.7安装注意事项：需要初始化生成原始密码，备份并删除原始my.cnf文件防止后期soket和pid报错 groupadd mysql useradd -r -g mysql mysql mkdir /usr/local/mysql/data -p chown -R mysql:mysql /usr/local/mysql/ chmod -R 755 /usr/local/mysql/ 某个版本之后这个步骤是下面这样

1.什么是NoSQL Nosql的全称是Not Only Sql 这个概念早起就有人提出，而我们常用的都是关系型数据库。就像我们常用mysql,sqlserver一样，这些数据库一般用来存储重要信息，应对普通的业务是没有问题的。但是，随着互联网的高速发展，传统的关系型数据库在应付超大规模，超大流量以及高并发的时候力不从心。而就在这个时候，Nosql得到的告诉的发展。 2.为什么要使用NoSQL 单机 MySQL 的美好时代 在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。 在那个时候，更多的都是静态网页，动态交互类型的网站不多 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yHjk2K6A-1577542875039)(D:\youruike\MongoDB\assets\1575617897290.png)] 上述架构下，我们来看看数据存储的瓶颈是什么？ DAL : Data Access Layer（数据访问层 – Hibernate，MyBatis） 数据量的总大小一个机器放不下时 数据的索引（B+ Tree）一个机器的内存放不下时 访问量(读写混合)一个实例不能承受 如果满足了上述1 or 3个时，只能对数据库的整体架构进行重构。 Memcached(缓存)+MySQL+垂直拆分 后来，随着访问量的上升

现在Redis越来越火，为了适应技术的发展，开始学习一下Redis，在学习Redis之前先学习一下Nosql。 第一部分：入门概述 1.1 互联网时代背景下大机遇，为什么用nosql 1.1.1 单机Mysql的美好年代（好几年前） 当时的业务很相对简单，就是JSP--->Action---->Service---->DAO----->数据库，数据库也就是一个实例而已，无论是Mysql还是Oracle。把这五层缩减为三层的话便是：应用层------>DAO层------>Mysql实例。 以前一个网站的访问量一般不大，用单个数据库可以轻松应付。但是随着时代的发展，上述数据存储遇到了存储的瓶颈： 1) 数据量的总大小，一个机器放不下时(以Mysql为例，单表存储大概三百多万的数据的时候DBA就该进行预警并优化分割了) 2) 数据的索引(B+Tree)，一个机器的内存放不下时(众所周知，为表建立索引也是需要消耗内存的，当我们所建立的索引内存盛不下时) 3) 访问量（读写混合）一个实例不能承受 1.1.2 Memcached(缓存)+MySQL+垂直拆分 后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引

NoSQL入门和概述目录导航： NoSQL入门概述 3V+3高 当下的NoSQL经典应用 NoSQL数据模型简介 NoSQL数据库的四大分类 在分布式数据库中CAP原理CAP+BASE NoSQL 入门概述 互联网时代背景下的大机遇，为什么用NoSQL 单机MySQL的美好年代 在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站不多。 上述架构下，我们来看看数据存储的瓶颈是什么？ 数据量的总大小，一个机器放不下时 数据的索引（B+ Tree）一个机器的内存放不下时 访问量（读写混合）一个实例不能承受 如过满足了上述1 or 3个，需要进化... Memcached（缓存）+ MySQL + 垂直拆分 后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使 用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力，但是当访问量继续增大的时候，多台web机器通过文件缓存不能 共享，大量的小文件缓存也带了了比较高的IO压力。在这个时候，Memcached就自然的成为一个非常时尚的技术产品。 Memcached作为一个独立的分布式的缓存服务器

入门概述： 1.为什么要用到NoSQL 　　a) 单机MySQL的美好年代，在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站不多。 　　上述架构下，我们来看看数据存储的瓶颈是什么？ 　　1.数据量的总大小 一个机器放不下时 　　2.数据的索引（B+ Tree）一个机器的内存放不下时 　　3.访问量(读写混合)一个实例不能承受 　　 如果满足了上述1 or 3个，进化...... 　　b) Memcached(缓存)+MySQL+垂直拆分，后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力，但是当访问量继续增大的时候，多台web机器通过文件缓存不能共享，大量的小文件缓存也带了了比较高的IO压力。在这个时候，Memcached就自然的成为一个非常时尚的技术产品。 　　 Memcached作为一个独立的分布式的缓存服务器，为多个web服务器提供了一个共享的高性能缓存服务，在Memcached服务器上，又发展了根据hash算法来进行多台Memcached缓存服务的扩展

airflow 安装配置 airflow 相关软件安装 python 3.6.5 安装 安装依赖程序 ； [root@node01 ~]# yum -y install zlib zlib-devel bzip2 bzip2-devel ncurses ncurses-devel readline readline-devel openssl openssl-devel openssl-static xz lzma xz-devel sqlite sqlite-devel gdbm gdbm-devel tk tk-devel gcc 下载python ； 可以前往 https://www.python.org/ftp/python/查看Python各个版本，这里，我们选择安装Python-3.6.5.tgz版本。通过如下命令下载Python源码压缩包 ： [root@node01 ~]# wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz 解压Python源码压缩包 ； [root@node01 ~]# tar -zxvf Python-3.6.5.tgz [root@node01 ~]# cd Python-3.6.5 安装python ； [root@node01 Python-3.6.5]# .

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 首先我在自己的linux虚拟机上安装了一个数据库，这样加上我windows上的数数据库就可以模拟主从备份了。 安装过程没什么好说的，日后再补充。 值得注意的一点是，安装好之后到 /usr/share/mysql 目录下去copy个my.cnf 这个时候有很多个选择的，例如 my-large.cnf my-medium.cnf my-small.cnf 从名字就可以看出，一个是规模大的，一个中等的，一个小的，里面的配置有所不同 这样不用到处去找mysql的配置优化 一、主库配置 比较简单 server-id数据库服务的标志，注意在所有集群中不要重复就行了 log-bin开启二进制日志，数据从主库copy到从库就是靠这个日志来执行的。 [mysqld] server-id=101 log-bin=mysql-bin 修改配置文件时候，重启mysql服务 二、从表配置 log-bin开启二进制日志，可以不开启。注意从库，同时也可以作为其他库的主库这样可以实现多数据库集群。之前看到一篇比较好的文章的，等我找回来再看看。 server-id 集群中唯一 relay-log salve线程是在relay-log里面读取二进制log执行 log-slave-updates 允许通过log更新数据库1就是true read

#mysql_root_password echo -n 'test.123' |base64 #mysql_user echo -n 'admin' |base64 #mysql_user_password echo -n 'test.123' |base64 # 密码 cat <<END > mysql-secret.yaml apiVersion: v1 kind: Secret metadata: name: mysql-secret namespace: default labels: app: mysql data: mysql_root_password: dGVzdC4xMjM= mysql_user: YWRtaW4= mysql_user_password: dGVzdC4xMjM= END kubectl apply -f mysql-secret.yaml # 服务 cat <<END > mysql-service.yaml apiVersion: v1 kind: Service metadata: annotations: service.alpha.kubernetes.io/tolerate-unready-endpoints: "true" name: mysql namespace: default labels: app: mysql

准备： onproxy 192.168.1.25 MySQL主 192.168.1.17 MySQL从 192.168.1.18 客户机 192.168.1.22 oneproxy 点此下载 提取码：tquu 安装： [root@localhost root]# tar -zxf oneproxy-rhel5-linux64-v6.0.0-ga.tar.gz -C /usr/local/ [root@localhost root]# cd /usr/local/oneproxy/ [root@localhost oneproxy]# vim demo.sh export ONEPROXY_HOME=/usr/local/oneproxy [root@localhost oneproxy]# chmod +x demo.sh [root@localhost oneproxy]# ./demo.sh [root@localhost oneproxy]# vim oneproxy.service ONEPROXY_HOME修改为 ONEPROXY_HOME=/usr/local/oneproxy [root@localhost oneproxy]# cp oneproxy.service /etc/init.d/oneproxy [root@localhost oneproxy]#