log文件

启动客户端的命令 /opt/cloudera/parcels/KAFKA-4.0.0-1.4.0.0.p0.1/bin/kafka-console-producer --broker-list hadoop102:9092 --topic topic_start 去上面目录下找到kafka-console-consumer #!/bin/bash # Reference: http://stackoverflow.com/questions/59895/can-a-bash-script-tell-what-directory-its-stored-in SOURCE="${BASH_SOURCE[0]}" BIN_DIR="$( dirname "$SOURCE" )" while [ -h "$SOURCE" ] do SOURCE="$(readlink "$SOURCE")" [[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE" BIN_DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )" done BIN_DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )" LIB_DIR=$BIN_DIR/../lib # Autodetect JAVA_HOME

一.备份的原因 运维工作的核心简单概括就两件事: 1）第一个是保护公司的数据. 2）第二个是让网站能7*24小时提供服务(用户体验)。 1）备份就是为了恢复。 2）尽量减少数据的丢失（公司的损失） 二.备份的类型 冷备份: 这些备份在用户不能访问数据时进行，因此无法读取或修改数据。这些脱机备份会阻止执行任何使用数据的活动。这些类型的备份不会干扰正常运行的系统的性能。但是，对于某些应用程序，会无法接受必须在一段较长的时间里锁定或完全阻止用户访问数据。 温备份: 这些备份在读取数据时进行，但在多数情况下，在进行备份时不能修改数据本身。这种中途备份类型的优点是不必完全锁定最终用户。但是，其不足之处在于无法在进行备份时修改数据集，这可能使这种类型的备份不适用于某些应用程序。在备份过程中无法修改数据可能产生性能问题。 热备份: 这些动态备份在读取或修改数据的过程中进行，很少中断或者不中断传输或处理数据的功能。使用热备份时，系统仍可供读取和修改数据的操作访问。 三.备份的方式 1.逻辑备份: 基于SQL语句的备份 1）binlog 2）into outfile mysql> select * from world.city into outfile '/tmp/world_city.data'; 3）mysqldump 4）replication 5）mysqlbinlog 2.物理备份:

我们依然尽可能采用yum来安装我们需要的软件，由系统官方维护的软件，其安全性和稳定性都值得信赖，并且容易管理，升级方便，但是在 CentOS 和RHEL的官方yum源中暂时没有Nginx等软件包，所以我们需要使用EPEL的yum源。EPEL是什么，EPEL的yum源怎么添加，点击这里 http://www.linuxidc.com/Linux/2012-10/71850.htm 查看。 本文将要介绍的Nginx+Apache结构，其实就是Nginx做前端，Apache做后端，充分发挥他们各自的优势之处。Nginx对于高并发性能出众，Proxy功能强效率高，占用系统资源少，而Apache在高并发时对队列的处理比FastCGI（Nginx需要通过fastcgi等方式运行php）更好，并且在处理动态php页面时，mod_php也比php-cgi更稳定更高效。 也就是说，我们的目的是，由Nginx来接收客户端的请求，如果是动态页面请求，就交给Apache处理，然后经由Nginx再返回给客户端，其余的请求，则由Nginx自己处理，然后把结果返回给客户端，。当然了，你完全可以让Nginx只做Proxy功能，所有的请求都交给Apache,Tomcat等处理，本文使用前者。 但是，在本文中，我们实现的是在一台服务器里一个Nginx加一个Apache的简单结构，在实际应用中

问题汇总 show master status没有结果， binglog没有开关或生效 log_bin serverid 步骤 1.准备多实例环境 2.配置my.cnf 3登录主库增加用于从库连接主库的同步账号rep并且授权replication slave同步的权限 4登录主库。整库锁表flush table with read lock (窗口关闭失效，超时参数达到也失效)，然后show master status 查看binlog的位置状态 5新开窗口linux命令行导出sql拷贝到从库所在的及其 6解锁及其 7把主库导出的sql恢复到从库中 8根据主库的show master status查看binlog的位置状态在从库执行change master to 9从库开启开关start slave 10 show slave status查看同步状态 要点 异步方式同步 逻辑同步模式，多种模式，默认是通过sql语句执行 主库通过记录binlog实现对从库的同步，binlog记录数据库的跟新语句 主库一个线程，从库由1个io线程和一个sql线程来完成 从库关键文件master。info，relay-log,relay info功能 若想完成级联 需要打开logbin和log-slave-updates; 生产环境快速配置mysql主从复制的方案 安装好配置从库的数据库

python logging模块 原文：http://www.cnblogs.com/dahu-daqing/p/7040764.html 1 logging模块简介 logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等；相比print，具备如下优点： 可以通过设置不同的日志等级，在release版本中只输出重要信息，而不必显示大量的调试信息； print将所有信息都输出到标准输出中，严重影响开发者从标准输出中查看其它数据；logging则可以由开发者决定将信息输出到什么地方，以及怎么输出； 2 logging模块使用 2.1 基本使用 配置logging基本的设置，然后在控制台输出日志， import logging logging.basicConfig(level = logging.INFO,format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s') logger = logging.getLogger(__name__) logger.info("Start print log") logger.debug("Do something") logger.warning("Something maybe fail.") logger

一、备份的目的 做灾难恢复：对损坏的数据进行恢复和还原 需求改变：因需求改变而需要把数据还原到改变以前 测试：测试新功能是否可用 二、备份需要考虑的问题 可以容忍丢失多长时间的数据； 恢复数据要在多长时间内完； 恢复的时候是否需要持续提供服务； 恢复的对象，是整个库，多个表，还是单个库，单个表。 三、备份的类型 1、根据是否需要数据库离线 冷备（cold backup） ：需要关mysql服务，读写请求均不允许状态下进行； 温备（warm backup） ： 服务在线，但仅支持读请求，不允许写请求； 热备（hot backup） ：备份的同时，业务不受影响。 注： 1、这种类型的备份，取决于业务的需求，而不是备份工具 2、MyISAM不支持热备，InnoDB支持热备，但是需要专门的工具 2、根据要备份的数据集合的范围 完全备份：full backup，备份全部字符集。 增量备份: incremental backup 上次完全备份或增量备份以来改变了的数据，不能单独使用，要借助完全备份，备份的频率取决于数据的更新频率。 差异备份：differential backup 上次完全备份以来改变了的数据。 建议的恢复策略： 完全+增量+二进制日志 完全+差异+二进制日志 3、根据备份数据或文件 物理备份：直接备份数据文件 优点： 备份和恢复操作都比较简单，能够跨mysql的版本，

通常数据库备份数据文件、 binlog 日志文件和 my.cnf 配置文件都应在其他地方保存一份甚至多份 仅备份是没有任何意义, 需要在测试环境中做日常恢复演练, 测试备份的可用性, 恢复较比备份更加的重要 备份: 能够有效防止设备故障以及人为误操作带来的数据丢失, 例如:将数据文件保存在远端。 冗余: 数据有多分冗余, 但不等于备份, 只能防止机械故障丢失的数据, 例如: 主备模式、数据库集群。 Mysql逻辑备份与恢复 完整备份与恢复 增量备份与恢复 Mysql物理备份与恢复 完整备份与恢复 增量备份与恢复 toc 数据库备份必须考虑因素 数据的一致性 服务的可用性 数据库备份方式 逻辑备份: 备份 DDL DML DCL 语句, 适用于中小型数据库, 效率相对低下。 mysqldump、mydumper 物理备份: 直接复制数据库文件, 适用于大型数据库环境, 效率相对较高。 xtrabackup、inbackup、cp、tar、lvm snapshot 数据库备份模式 完全备份 增量备份 差异备份 Mysql逻辑备份与恢复 Mysql自带逻辑备份工具 mysqldump , 可以保证数据备份一致性, 以及服务可用性 不管物理备份还是逻辑备份, 必须开启 binlog 日志 mysqldump -h 服务器 -u 用户名 -p 密码 数据库名 > 备份文件.sql -A, -

目录 一.备份的原因 二.备份的类型 三.备份的方式 四.备份策略 五.备份工具 六、企业故障恢复案例 1.模拟环境 2.模拟恢复数据过程： 一.备份的原因 运维工作的核心简单概括就两件事: 1）第一个是保护公司的数据. 2）第二个是让网站能7*24小时提供服务(用户体验)。 1）备份就是为了恢复。 2）尽量减少数据的丢失（公司的损失） 二.备份的类型 冷备份: 这些备份在用户不能访问数据时进行，因此无法读取或修改数据。这些脱机备份会阻止执行任何使用数据的活动。这些类型的备份不会干扰正常运行的系统的性能。但是，对于某些应用程序，会无法接受必须在一段较长的时间里锁定或完全阻止用户访问数据。 温备份: 这些备份在读取数据时进行，但在多数情况下，在进行备份时不能修改数据本身。这种中途备份类型的优点是不必完全锁定最终用户。但是，其不足之处在于无法在进行备份时修改数据集，这可能使这种类型的备份不适用于某些应用程序。在备份过程中无法修改数据可能产生性能问题。 热备份: 这些动态备份在读取或修改数据的过程中进行，很少中断或者不中断传输或处理数据的功能。使用热备份时，系统仍可供读取和修改数据的操作访问。 三.备份的方式 逻辑备份: 1. 逻辑备份 1）binlog 2）into outfile mysql> select * from world.city into outfile '/tmp

目录 物理备份（Xtrabackup） 1.全量备份 2.增量备份及恢复 3.差异备份及恢复 4.实战：企业级增量恢复实战 物理备份（Xtrabackup） Xtrabackup安装 #下载epel源 wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-6.repo #安装依赖 yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL #下载Xtrabackup wget httpss://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm 备份方式（物理备份） 1）对于非innodb表（比如myisam）是直接锁表cp数据文件，属于一种温备。 2）对于innodb的表（支持事务），不锁表，cp数据页最终以数据文件方式保存下来，并且把redo和undo一并备走，属于热备方式。 3）备份时读取配置文件/etc/my.cnf 1.全量备份 #全备 [root@db01 data]#

一.备份的原因 运维工作的核心简单概括就两件事: 1）第一个是保护公司的数据. 2）第二个是让网站能7*24小时提供服务(用户体验)。  备份的原因 1）备份就是为了恢复。 2）尽量减少数据的丢失（公司的损失） 回到顶部(go to top) 二.备份的类型 1.冷备份: 这些备份在用户不能访问数据时进行，因此无法读取或修改数据。这些脱机备份会阻止执行任何使用数据的活动。这些类型的备份不会干扰正常运行的系统的性能。但是，对于某些应用程序，会无法接受必须在一段较长的时间里锁定或完全阻止用户访问数据。 2.温备份: 这些备份在读取数据时进行，但在多数情况下，在进行备份时不能修改数据本身。这种中途备份类型的优点是不必完全锁定最终用户。但是，其不足之处在于无法在进行备份时修改数据集，这可能使这种类型的备份不适用于某些应用程序。在备份过程中无法修改数据可能产生性能问题。 3.热备份: 这些动态备份在读取或修改数据的过程中进行，很少中断或者不中断传输或处理数据的功能。使用热备份时，系统仍可供读取和修改数据的操作访问。 回到顶部(go to top) 三.备份的方式 1.逻辑备份: 基于SQL语句的备份 1）binlog 2）into outfile mysql> select * from world.city into outfile '/tmp/world_city.data'; 3