log文件

# cat my_full_backup.sh #!/bin/bash BEGINTIME=`date +"%Y-%m-%d %H:%M:%S"` format_time=`date +"%Y-%m-%d_%H:%M:%S"` week=`date +%w` port=3306 ip=192.168.1.101 backdir=/tmp/xtrabackup file_cnf=/app/mysqldata/3306/my.cnf user_name=xtrabk password=onlybackup out_log=$backdir/Xtrabackup_log_$format_time time_cost=$backdir/Xtrabackup_time.txt mysql_path=/usr/bin mkdir -p $backdir #full if [ ! -d "$backdir/full" ];then echo "#####start full backup at $BEGINTIME to directory full" >>$time_cost ${mysql_path}/innobackupex --defaults-file=$file_cnf --no-timestamp --parallel=4 --throttle=200 --kill-long

MySQL的备份还原(mysqldump) MySQL的还原前提是要建立在，有完全备份和二进制日志开启的前提下，并且二进制日志文件和完全备份存放在与数据库文件不同的磁盘上，否则当磁盘发生损坏数据将无法进行恢复。 开启二进制日志 开启二进制日志需要将MySQL中的sql_log_bin和log_bin这两个选项 1.开启sql_log_bin 系统中默认开启sql_log_bin选项所以此处无需修改 MariaDB [(none)]> SHOW VARIABLES LIKE 'sql_log_bin'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | sql_log_bin | ON | +---------------+-------+ 1 row in set (0.01 sec) 2.开启log_bin 此选项需要对MySQL的配置文件进行修改，在修改之前需要先创建一个二进制日志存放的位置。 注意：不要和数据库存放在统一磁盘内，不要和数据库存放在统一磁盘内，不要和数据库存放在统一磁盘内 重要的事情说三遍。 [root@localhost ~]# mkdir /data/bin [root@localhost ~]# chown -R mysql.mysql /data

https://blog.51cto.com/13476134/2370714 本文开始讲组提交和二阶段提交前,先了解下BINLOG和REDO LOG; 两个日志关系 在ORACLE 对应的是REDO LOG和ARCHIVE LOG ,只是两者关系不一样。 在ORACLE数据库里 ARCHIVE LOG 是 REDO LOG的 历史日志记录。 REDO LOG 就记录当前数据库修改行为的日志。 REDO LOG 一般分成3组， 每组里面必须有1个日志文件，自然可以1个以上的日志文件。通过切换组 就可以把REDO LOG 文件写入到ARCHIVE LOG文件中。 在MYSQL 里面 INNDOB的REDO LOG和MYSQL 的BINLOG 是两个独立体，不像ORACLE是时间上的关系。因为MYSQL 里面可以包含多个存储引擎，每个引擎有自己的独立日志。BINLOG是处于MYSQL的服务层，而REDO LOG 是INNDODB存储引擎层。当一个事务涉及了多个存储引擎的时候，也就是跨了引擎。那么只有BINLOG记录的才是唯一正确的，而INNODB记录的只是事务修改了INNODB引擎的，而该事务修改别的引擎就无法记录了。所以在MYSQL里面一切以BINLOG为主。 REDO 组提交 所为组提交，是只一组事务一起提交。innodb Redo log的刷盘操作将会是最终影响MySQL

MHA(Master High Availability)目前在 MySQL 高可用方面是一个相对成熟的解决方案, 是一套优秀的作为 MySQL 高可用性环境下故障切换和主从提升的高可用软件。在 MySQL 故障切换过程中,MHA 能做到在 0~30 秒之内自动完成数据库的故障切换操 作,并且在进行故障切换的过程中,MHA 能在最大程度上保证数据的一致性,以达 到真正意义上的高可用。 该软件由两部分组成:MHA Manager(管理节点)和 MHA Node(数据节点)。MHA Manager 可以单独部署在一台独立的机器上管理多个 master-slave 集群,也可以部署在一台 slave 节 点上。 MHA Node 运行在每台 MySQL 服务器上,MHA Manager 会定时探测集群中的 master 节点,当 master 出现故障时,它可以自动将最新数据的 slave 提升为新的 master,然后将 所有其他的 slave 重新指向新的 master。整个故障转移过程对应用程序完全透明。MHA 可 以 与半同步复制结合起来,目前 MHA 主要支持一主多从的架构,要搭建 MHA,要求一个复制集群 中必须最少有三台数据库服务器,一主二从,即一台充当 master,一台充当备用 master,另 外一台充当从库. MHA 切换步骤: 1.从宕机的 master

一般的时间滚动log配置是 <appender name="logAppender" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>${LOG_PATH}/log.log</file> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern>${LOG_PATH}/log_%d{yyyy-MM-dd}.log</fileNamePattern> </rollingPolicy> <encoder> <charset>UTF-8</charset> <pattern>%msg%n</pattern> </encoder></appender> 如果要实时生成带时间标记的log文件，而不是第二天才能生成，那么只要去掉<file>标签 就可以了 <appender name="logAppender" class="ch.qos.logback.core.rolling.RollingFileAppender"> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">

ELK学习指南 一、elasticsearch安装配置 1.1、Elasticsearch介绍 ES是一个基于Lucene实现的开源，分布式，Restful全文搜索引擎，此外，它还是一个分布式实时文档存领储，其中每个文档的第个field均是被索引的数据，且可被搜索，也是一个带实时分析功能的分布式搜索引擎，能够扩展至数以百计的节点实时处理PB级的数据。 基本组件： 索引（index）:文档容器，换句话说，索引是具有类似属性的文档的集合。类似于表，索引名必须使用小写字母。 类型（type）:类型是索引内部的逻辑分区，其意义完全取决于用户需求，一个索引内部可定义一个或多个类型，一般来说，类型就是拥有相同的域的文档的预定义。 文档(document)：文档 是Lucence索引和搜索的原子单位，它包含了一个或多个域，是域的容器，基于JSON格式 表示，每个域的组成部分：一个名字，一个或多个值：拥有多个值的域，通常称为多值域。 映射（mapping）：原始内容存储为文档之前需要事先进行分析：例如切词、过滤掉某些词等：映射用于定义此分析机制该如何实现；除此之外，ES还为映射提供诸如将域中的内容排序等功能。 ES的集群组件： Cluster：ES的集群标识为集群名称；默认为“elasticsearch”。节点就是靠此名称来决定加入到哪个集群，一个节点只能属于一个集群 Node:

环境说明: 　　主服务器:CentOS7.5 　　从服务器:Windows10(本地测试机) 1. 配置master(主服务器,CentOS7.5) 1.1 首先查看CentOS上面的MySQL是否启动 systemctl status mysqld 1.2 修改MySQL配置文件 vi /etc/my.cnf 添加以下内容: #服务器唯一id,默认是1(主从都必须不一样) server-id=1000 #启动二进制日志名称为mysql-bin log-bin=mysql-bin #binlog-do-db与binlog-ignore-db互斥,设置其中一个即可 #binlog-do-db=需要同步的数据库名(多个数据库重复设置即可) binlog-do-db=test01 #binlog-ignore-db=不需要同步的数据库01(多个数据库重复设置即可) #binlog-ignore-db=不需要同步的数据库02(多个数据库重复设置即可) #动清理30天之前的log文件(可自由指定时间) expire_logs_days=30 ##启用gtid类型,否则就是普通的复制架构(主从服务器都要配置且相同,要关都关,要开都开) #gtid_mode=on ###强制gtid的一致性 #enforce_gtid_consistency=1 ##当mysql启动或重启时

rman duplicate database 必须是同样的平台，可是支持32bit\64bit 间复制，且 在复制完毕后须要执行$ORACLE_HOME/rdbms/admin/utlirp.sql 脚本来转换pl/sql 代码 The DUPLICATE command requires one or more auxiliary channels. These channels perform the work of the duplication on the auxiliary database instance. rman duplicate 命令须要在备库上至少要分配一个以上辅助通道（auxiliary channels） If the source database files are in the Oracle Managed Files (OMF) format, then you cannot use the DB_FILE_NAME_CONVERT and LOG_FILE_NAME_CONVERT initialization parameters or the fileNameConversionSpec clause to generate new OMF file names for the duplicate database. If you do

1 复制概述 Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。 请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。 1.1 mysql支持的复制类型： 　　（１）：基于语句的复制： 在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。 一旦发现没法精确复制时， 会自动选着基于行的复制。 　　（２）：基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持 　　（３）：混合类型的复制: 默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。 　　 1

MHA：Master HA，对主节点进行监控，可实现自动故障转 移至其它从节点；通过提升某一从节点为新的主节点，基于主 从复制实现，还需要客户端配合实现，目前MHA主要支持一 主多从的架构，要搭建MHA,要求一个复制集群中必须最少有 三台数据库服务器，一主二从，即一台充当master，一台充 当备用master，另外一台充当从库，如果财大气粗，也可以用一台专门的服务器来当MHA监控管理服务器 MHA工作原理 1 从宕机崩溃的master保存二进制日志事件（binlog events） 2 识别含有最新更新的slave 3 应用差异的中继日志（relay log）到其他的slave 4 应用从master保存的二进制日志事件（binlog events） 5 提升一个slave为新的master 6 使其他的slave连接新的master进行复制 注意：MHA需要基于ssh，key验证登入方法 相关软件包 MHA监控服务器安装:mha4mysql-manager-0.55-1.el5.noarch，mha4mysql-node-0.54-1.el5.noarch 其他主从集群服务器安装:mha4mysql-node-0.54-1.el5.noarch 下面是实验环境 四台centos-7主机，一台搭建MHA管理服务器，另外三台，做一主二从架构