log文件

MySQL读写分离(ProxySQL) 读写分离原理 读写分离就是用户在发送请求时，请求经过中间件，中间件将请求中的读和写操作分辨出来将读请求发送给后端的从服务器，将写请求发送给后端的主服务器，再又主服务器通过主从复制将数据复制给其他从服务器 常见MySQL中间件 名称 公司 站点地址 mysql-proxy Oracle https://downloads.mysql.com/archives/proxy Atlas Qihoo https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md dbproxy 美团 https://github.com/Meituan-Dianping/DBProxy Cetus 网易乐得 https://github.com/Lede-Inc/cetus Amoeba https://sourceforge.net/projects/amoeba/ Cobar 阿里巴巴 Amoeba的升级版 Mycat 基于Cobar http://www.mycat.io ProxySQL https://proxysql.com/ 本文以ProxySQL为例来介绍读写分离的使用方法 ProxySQL简介 ProxySQL为MySQL的中间件，其有两个版本官方版和percona版

一、如何发送数据 　　在Primary数据库，DataGuard可以使用归档进程(ARCn)或者日志写进程(LGWR)收集redo数据并传输到standby,不管是中哪种方式都由一个核心参数控制:LOG_ARCHIVE_DEST_n 1. 了解LOG_ARCHIVE_DEST_n参数 　　LOG_ARCHIVE_DEST_n(从1到10)定义redo文件路径。该参数必须通过location或service指定归档文件路径。location表示本地路径，service通常是net service name,即接收redo数据的standby数据库。 注意：每一个LOG_ARCHIVE_DEST_n都有一个对应的LOG_ARCHIVE_DEST_STATE_n参数，该参数拥有以下4个属性值： ENABLE:默认值，表示允许传输服务 DEFER: 指定对应的log_archive_dest_n参数有效，但暂不使用 ALTERNATE:禁止传输，但是如果其他相关的目的地的连接通通失败，则它将变成enable RESET:功能与DEFER类似，不过如果传输目的地之前有过错误，它会清除所有错误信息 指定本地归档路径: LOG_ARCHIVE_DEST_1='LOCATION=c:\oracle\orcl' LOG_ARCHIVE_DEST_STATE_1='ENABLE' 指定redo传输服务

链接：https://pan.baidu.com/s/1-mUSaciMNolE1aqBP9suWg 提取码：gz03 git视频课程列表 git简介Git 简介 git安装与配置： 最常用的 git 命令有： 创建一个版本库： 版本创建与回退 4.1使用； 1、创建一个版本库 2、创建一个提交后版本1 3、查看版本记录， 4、版本回退 4.2、工作区和版本库 4.3、管理修改， 4.4、撤销修改 4.5、对比文件的不同 4.6、删除文件 查看日志的简洁版本 git基本操作版本小结 删除的补充 分支管理 5.1、分支的概念 5.2、创建与合并分支 分支操作小结： 5.3、解决冲突 5.4、分支管理策略 5.5、Bug分支 使用github 6.1创建仓库 相当于git init 6.2添加ssh账户 6.3克隆项目 6.4上传分支 6.5将本地分支跟踪服务器分支 6.6从远程分支上拉取代码 工作使用git 一、Git 简介 git历史 1、linus创建linux的时候用diff方式汇总代码 2、bitkeeper授权给linus公司，因为开发samba的andrew视图破解协议被bitmover公司发现了， 要求收回linux社区免费使用bitkeeper的使用权 3、linus两周时间用c写了一个分布式版本控制系统，git 4、linux系统的源码由git管理 5

文章目录 一.入门 1.1 简介 Topics/logs Distribution Producers Consumers Guarantees 1.2 Use cases Messaging Websit activity tracking Log Aggregation 二. 设计原理 1.Persistence 2.Efficiency 3. Producer Load balancing Asynchronous send 4.Consumer 5.Message Delivery Semantics 6. Replication 7.Log 8.Distribution 总结: 三.主要配置 1.Broker主要配置 2.Consumer主要配置 3.Producer主要配置 前言: Kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设计要求,非常适合使用kafka。 一.入门 1.1 简介 Kafka是一个"分布式的"/“可分区的(partitioned)”/“基于备份的

MySQL级联复制 在生产换进中有一种主从复制的方法主节点先将数据同步到一个中间的从节点，然后由从节点给后续的其他从节点来复制数据，这种复制方式称为级联复制。 级联复制的好处是可以极大的减轻主节点的压力 级联复制在配置时需要在中间节点上启用log_slave_updates的选项。 级联复制的配置方法 准备主机4台，1台主节点(Master)，1台中间从节点(Slave)，1台从节点(Slave1) 主机 系统 ip Master CentOS7 192.168.73.110 Slave CentOS7 192.168.73.111 Slave1 CentOS7 192.168.73.112 主节点配置(Master) 1.修改配置文件 [mysqld] log-bin=/data/bin/mysql-bin #启动二进制日志 binlog-format=row #修改日志格式 server-id=1 2.创建二级制日志目录 [root@Master ~]# mkdir /data/bin [root@Master ~]# chown -R mysql.mysql /data/bin 3.启动服务，查看当前二进制日志所在的位置 [root@Master ~]# systemctl start mariadb [root@Master ~]# mysql -e "SHOW

概述 目前业界对数据库性能优化普遍采用集群方式，而oracle集群软硬件投入昂贵，mysql则比较推荐用mycat去搭建数据库集群，下面介绍一下怎么用mycat+haproxy+keepalived搭建一个属于mysql数据库的高可用负载均衡。 主要思路： 简单说，实现mysql主备复制-->利用mycat实现负载均衡。 比较了常用的读写分离方式，推荐mycat，社区活跃，性能稳定。 以下基于centos7操作系统进行演示。 架构图 以下是这次搭建的架构图。 主机1与主机2上的keepalived会为该服务器抢占vip，抢占到vip后，对该主机的访问可以通过原来的ip访问，也可以直接通过vip访问，当其中一台宕机时，vip会漂移到另一台机器上，当我们访问VIP时haproxy会根据配置将请求分发到两台Mycat上实现负载均衡，并且haproxy会检测mycat是否存活。 下面先介绍下后端数据库的搭建部分。 一、安装部署mysql 1、安装依赖 yum install tcl gcc perl perl-JSON.noarch perl-Time-HiRes.x86_64 -y 2、创建基础目录并修改文件夹的属组 mkdir -p /data/datafile mkdir -p /data/log chown -R mysql:mysql /data 3、安装mysql数据库

一、本博文内容简介： 有关mariaDB的介绍，大家可以移步到百度百科或者mariaDB官网进行查看。 本文主要是介绍mariaDB二进制包如何进行安装，以及mariaDB服务安装后的如何启动以及账户安全设置等等 mariaDB截止2020-02-24日，目前发部的最新的二进制版本是mariadb-10.5.1-linux-glibc_214-x86_64.tar.gz。本文采用这个版本的二进制安装。 二、二进制安装mariadb： 官方二进制安装文档 https://mariadb.com/kb/en/installing-mariadb-binary-tarballs/ 下载地址 https://downloads.mariadb.com/MariaDB/mariadb-10.5/bintar-linux-glibc_214-x86_64/mariadb-10.5.1-linux-glibc_214-x86_64.tar.gz 创建数据目录： useradd mysql -s /sbin/nologin -M mkdir /data/mysql/mysql3306/{data,binlog,logs,tmp} -p cd /data/mysql/;chown -R mysql.mysql mysql3306 安装相关依赖和下载解压： yum install libaio.x86

MySQL高可用集群之MHA 一、MHA简介 MHA（Master High Availability） 目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。 在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 MHA里有两个角色一个是 MHA Node（数据节点） 另一个是MHA Manager（管理节点） 。 MHA Manager 可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。 MHA Node 运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。 MHA自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh访问，MHA没法保存二进制日志

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 MHA里有两个角色一个是MHA Node（数据节点）另一个是MHA Manager（管理节点）。 MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。 MHA工作架构示意图如下： 在MHA架构中，可以采用半同步复制的方式，来最大限度的保证数据的一致性，MySQL的主从复制中，默认是采用异步来做主从复制的，但是异步有些弊端，下面是对异步、半同步的一个简单介绍： 异步与半同步：默认情况下MySQL的复制是异步的，Master上所有的更新操作写入Binlog之后并不确保所有的更新都被复制到Slave之上。异步操作虽然效率高，但是在Master

环境介绍： windows 2012 R2*2台 主库：安装oracle软件、监听、实例 备库：安装oracle软件、监听 数据库版本：11.2.0.4 主库：orcl 备库：prod 1、主库 create pfile='C:\Users\Administrator\Desktop\file\pfile.ora' from spfile; alter database force logging; alter system set log_archive_config='DG_CONFIG=(orcl,prod)' scope=spfile; alter system set log_archive_dest_1='location=C:\app\archive valid_for=(ALL_LOGFILES,ALL_ROLES) DB_UNIQUE_NAME=orcl' scope=both sid=' '; alter system set log_archive_dest_2='service=prod LGWR ASYNC valid_for=(ONLINE_LOGFILES,PRIMARY_ROLE) db_unique_name=prod' scope=both sid=' '; alter system set log_archive_dest_state_1=